User-agent: *
Disallow: /admin
Disallow: /zoeken/suggesties
Disallow: /self-hosted/
# Beoordelen-endpoints zijn POST-only (405 op GET) — niet laten crawlen
Disallow: */beoordelen
# PDFs onder /storage/ zijn crawlbaar maar krijgen X-Robots-Tag: noindex via Nginx —
# Google moet de PDF kunnen ophalen om de noindex-header te kunnen lezen, daarom
# geen Disallow hier (anders werken de twee regels tegen elkaar).

# AI crawlers — welkom
User-agent: GPTBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Bytespider
Allow: /

User-agent: CCBot
Allow: /

Sitemap: https://www.minipret.nl/sitemap.xml