# =====================================================================
# PhenoDB robots.txt
# =====================================================================
# Rechtshinweis: Die Inhalte dieser Website (Texte, Bilder, Daten, Aggregation)
# sind urheberrechtlich und datenbankrechtlich geschützt (§§ 4, 87a UrhG).
#
# Widerspruch gegen Text- und Data-Mining gemäß § 44b Abs. 3 UrhG /
# Art. 4 Abs. 3 DSM-RL (EU) 2019/790 — maschinenlesbar hiermit erklärt:
# Das Text- und Data-Mining sowie das Training kommerzieller KI-Modelle
# mit Inhalten dieser Website ist NICHT gestattet, ausgenommen für
# wissenschaftliche Forschung durch Forschungsorganisationen i.S.d.
# § 60d UrhG mit nicht-kommerziellem Zweck.
#
# Machine-readable TDM opt-out: see also /ai.txt and HTML meta tags.
# Contact for licensing inquiries: legal@phenodb.eu
# =====================================================================

User-agent: *
Allow: /

Sitemap: https://phenodb.eu/sitemap.xml

# API und Admin nicht crawlen
Disallow: /api/cmd
Disallow: /api/v1/
Disallow: /api/legal/
Disallow: /monitoring
Disallow: /login
Disallow: /register
Disallow: /forgot-password
Disallow: /reset-password
Disallow: /terpene-admin
Disallow: /logo-review.html
Disallow: /affiliate-dashboard.html
Disallow: /breeder-dashboard
Disallow: /seedshop-dashboard
Disallow: /profile
Disallow: /admin.html
Disallow: /admin
Disallow: /*/admin
Disallow: /admin-submissions
Disallow: /*/admin-submissions
Disallow: /user/
Disallow: /grow-reports
Disallow: /*/grow-reports
Disallow: /cups
Disallow: /*/cups
Disallow: /submit
Disallow: /*/submit

# Search/filter/pagination URLs (duplicate content)
Disallow: /strains?
Disallow: /breeders?
Disallow: /seedshops?
Disallow: /*/strains?
Disallow: /*/breeders?

# Terpene pagination
Disallow: /terpenes/*?page=*
Disallow: /*/terpenes/*?page=*

# =====================================================================
# AI / ML / Scraping — TDM opt-out (§ 44b Abs. 3 UrhG)
# =====================================================================
# Alle hier gelisteten Agents sind NICHT berechtigt, Inhalte zu scrapen,
# indexieren (außer klassische Websuche) oder für KI-Training zu nutzen.

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: GoogleOther
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: cohere-training-data-crawler
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Perplexity-User
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: Omgili
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Meta-ExternalFetcher
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: ImagesiftBot
Disallow: /

User-agent: DiffBot
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: AI2Bot
Disallow: /

User-agent: Timpibot
Disallow: /

User-agent: ICC-Crawler
Disallow: /

User-agent: YouBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: dotbot
Disallow: /