# Copus robots.txt
#
# 策略：只挡「拿去训练模型」的爬虫，放行「帮读者找到我们」的搜索与答案引擎。
#
# 为什么这么分：站内作品要让英文读者搜得到（含 ChatGPT / Claude / Perplexity 这类
# 答案引擎的引用），但作者的作品不应被拿去训练模型 —— 后者是我们对作者的承诺。
# 两类爬虫各家都用**不同的 user-agent** 区分，所以这两件事可以同时做到。
#
# 改动前请读各家官方文档，不要凭 UA 名字猜用途（ChatGPT-User 是用户主动触发的抓取，
# 不是训练爬虫；Google-Extended 不影响 Google 搜索排名）。
#   OpenAI:     https://developers.openai.com/api/docs/bots
#   Anthropic:  https://support.claude.com/en/articles/8896518
#   Google:     https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers
#   Perplexity: https://docs.perplexity.ai/guides/bots

User-agent: *
Allow: /

# ─────────────────────────────────────────────────────────────
# 允许：搜索引擎与 AI 答案引擎（帮读者找到作品，不用于训练）
# 以下均由 `User-agent: *` 覆盖放行，此处显式列出以免日后被误挡。
# ─────────────────────────────────────────────────────────────
# Googlebot        — Google 搜索索引（也决定 AI Overviews 能否引用）
# Bingbot          — Bing 搜索索引（也是 Copilot 的来源）
# OAI-SearchBot    — ChatGPT 搜索结果收录（官方：不用于训练）
# ChatGPT-User     — 用户在 ChatGPT 里主动要求访问网页时触发
# Claude-SearchBot — Claude 搜索索引（官方：提升搜索结果质量）
# Claude-User      — 用户向 Claude 提问时触发的抓取
# PerplexityBot    — Perplexity 搜索收录（官方：不用于训练基础模型）
# Perplexity-User  — 用户在 Perplexity 提问时触发的抓取
# Applebot         — Apple 搜索/Siri（训练另有 Applebot-Extended，见下）

# ─────────────────────────────────────────────────────────────
# 禁止：模型训练爬虫
# ─────────────────────────────────────────────────────────────

# OpenAI — 训练基础模型
User-agent: GPTBot
Disallow: /

# Anthropic — 训练（ClaudeBot 是现行 UA；下面两个是早期/遗留 UA，一并保留）
User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

# Google — 仅控制 Gemini 训练与 Gemini Apps 的 grounding；
# 官方明确：不影响 Google 搜索收录与排名，AI Overviews 由 Googlebot 决定，不受此项影响。
User-agent: Google-Extended
Disallow: /

# Apple — 训练 Apple 基础模型（Applebot 本身用于搜索，不挡）
User-agent: Applebot-Extended
Disallow: /

# Meta — 训练
User-agent: meta-externalagent
Disallow: /

User-agent: FacebookBot
Disallow: /

# 字节跳动 — 训练
User-agent: Bytespider
Disallow: /

# Common Crawl — 公开数据集，被广泛用作训练语料
User-agent: CCBot
Disallow: /

# 其他数据采集
User-agent: Omgilibot
Disallow: /

User-agent: Omgili
Disallow: /

User-agent: Amazonbot
Disallow: /

Sitemap: https://www.copus.io/sitemap.xml
Sitemap: https://www.copus.io/discovery-sitemap.xml