# 1. 默认规则:适用于所有常规爬虫 (包括 Googlebot) User-agent: * Allow: /llms.txt Allow: /llms-full.txt Disallow: /supplier-client/ Disallow: /purchasing-side/ Disallow: /api/auth/ Disallow: /api/captcha/ Disallow: /api/mail/ Disallow: /api/admin/ # 2. AI 爬虫专属规则:明确允许抓取核心内容,仅限制敏感后台 User-agent: GPTBot User-agent: ClaudeBot User-agent: PerplexityBot User-agent: Google-Extended User-agent: CCBot Allow: / Allow: /llms.txt Allow: /llms-full.txt Disallow: /supplier-client/ Disallow: /purchasing-side/ Disallow: /api/auth/ Disallow: /api/captcha/ Disallow: /api/mail/ Disallow: /api/admin/ # 3. Sitemap 声明 (注意:如果是移动端专属 sitemap,请改为 m. 的链接) Sitemap: https://foodtechx.com/sitemap.xml # Sitemap: https://m.foodtechx.com/sitemap.xml (如果移动端有独立 sitemap,请取消注释并启用)