# robots.txt für NaBrHo GmbH
# Entsorgungsfachbetrieb - Containerdienst - Wertstoffhof in Anhausen, Kreis Neuwied

User-agent: *

# Admin-Bereiche blockieren
Disallow: /admin/
Disallow: /api/

# Kundenbereiche und Checkout blockieren
Disallow: /warenkorb/
Disallow: /checkout/
Disallow: /danke/
Disallow: /bestellung/
Disallow: /bestellung-erfolgreich/

# Entwicklung und System blockieren
Disallow: /app/api/
Disallow: /app/admin/
Disallow: /_next/
Disallow: /node_modules/
Disallow: /.git/

# Temporäre und Backup-Dateien blockieren
Disallow: /backup/
Disallow: /database/
Disallow: /scripts/
Disallow: /*.sql$
Disallow: /*.json$
Disallow: /orders.json

# Private Dokumente schützen (falls vorhanden)
Disallow: /private/
Disallow: /uploads/temp/

# Debug und Test-Seiten blockieren
Disallow: /debug-og/
Disallow: /test-meta/

# Öffentliche Bereiche explizit erlauben
Allow: /
Allow: /containerdienst
Allow: /konfigurator
Allow: /wertstoffhof
Allow: /entsorgungsfachbetrieb
Allow: /abfallbuddy
Allow: /jobbuddy
Allow: /antwortbuddy
Allow: /kontakt
Allow: /presse
Allow: /reisemobil-wiegen
Allow: /grunschnitt-holzaufbereitung
Allow: /socialmedia

# Wichtige Dateien erlauben
Allow: /robots.txt
Allow: /llms.txt
Allow: /sitemap.xml
Allow: /favicon.ico

# Statische Assets erlauben
Allow: /images/
Allow: /documents/
Allow: /public/
Allow: /uploads/containers/
Allow: /uploads/presse/
Allow: /*.css$
Allow: /*.js$
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.webp$
Allow: /*.svg$
Allow: /*.pdf$

# Crawl-Delay für bessere Performance
Crawl-delay: 1

# Sitemap-Verweis
Sitemap: https://nabrho.de/sitemap.xml

# Spezielle Anweisungen für verschiedene Bots
User-agent: Googlebot
Disallow: /admin/
Disallow: /api/
Disallow: /warenkorb/
Disallow: /checkout/

User-agent: Bingbot
Disallow: /admin/
Disallow: /api/
Disallow: /warenkorb/
Disallow: /checkout/

# AI/LLM Bots explizit erlauben (für llms.txt)
User-agent: GPTBot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /warenkorb/

User-agent: ChatGPT-User
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /warenkorb/

User-agent: CCBot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /warenkorb/

User-agent: Claude-Web
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /warenkorb/

# Aggressive Crawler blockieren
User-agent: AhrefsBot
Crawl-delay: 10

User-agent: SemrushBot
Crawl-delay: 10

User-agent: MJ12bot
Disallow: /