# ====================================================================
# 1. WELKOM AI-CRAWLERS (Geef expliciete toegang voor AI-training)
# ====================================================================

# OpenAI (ChatGPT / GPTBot)
User-agent: GPTBot
User-agent: ChatGPT-User
Allow: /

# Google AI (Gemini / Vertex AI)
User-agent: Google-Extended
Allow: /

# Anthropic (Claude)
User-agent: ClaudeBot
User-agent: Claude-Web
Allow: /

# Perplexity AI
User-agent: PerplexityBot
Allow: /

# Common Crawl (Grote dataset gebruikt door veel AI-modellen)
User-agent: CCBot
Allow: /

# Apple AI (Apple Intelligence)
User-agent: AppleBot-Extended
Allow: /

# Andere bekende AI bots (Amazon, Meta, etc.)
User-agent: Amazonbot
User-agent: FacebookBot
User-agent: Cohere-ai
Allow: /

# ====================================================================
# 2. STANDAARD ZOEKMACHINES (Voor indexering in Google en Bing)
# ====================================================================
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# ====================================================================
# 3. SITEMAP VERWIJZING (Lost de SEO-foutmelding op)
# ====================================================================
Sitemap: https://bouwbedrijfcdv.nl/sitemap_index.xml