robots.txt 建议

  • 禁止抓取后台与调试路径
  • 允许抓取公开内容页面
  • 明确 sitemap 地址

llms.txt 建议

  • 标注允许训练和摘要的页面范围
  • 标记禁止抓取的敏感页面
  • 保持与隐私条款一致