# ═══════════════════════════════════════════════════════════════════════════
# robots.txt — Plantilla canónica (Vault Maestro · EJEMPLOS)
# PROPÓSITO: permitir indexación de buscadores y motores de IA (GEO), permitir
#   bots de redes sociales (OG/cards), bloquear scrapers SEO abusivos, y declarar
#   el/los sitemap(s). Copiar a `public/robots.txt` y reemplazar el dominio.
# ORIGEN: BOMBERO/public/robots.txt (allowlist de bots IA/GEO + bloqueo de
#   scrapers) + EVENTECH/public/robots.txt (esquema mínimo) + INFLAPY/PROYECTORED
#   (Disallow /_astro/ y páginas auxiliares sin valor SEO).
# DECISIÓN: por defecto PERMITIMOS bots de IA. El directorio/contenido busca ser
#   citado en ChatGPT, Gemini, Claude, Perplexity y AI Overviews. Si el cliente
#   NO quiere alimentar entrenamiento de IA, mover GPTBot/CCBot/Google-Extended/
#   anthropic-ai/ClaudeBot al bloque "Disallow: /" (variante EVENTECH).
# ═══════════════════════════════════════════════════════════════════════════

# ─── Reglas globales ───
User-agent: *
Allow: /
Disallow: /_astro/
Disallow: /api/
Disallow: /draft/
Disallow: /admin/
Disallow: /404
Disallow: /gracias
Crawl-delay: 1

# ─── Google (prioritario) ───
User-agent: Googlebot
Allow: /
Crawl-delay: 0

User-agent: Googlebot-Image
Allow: /img/
Allow: /images/
Allow: /*.avif
Allow: /*.webp
Allow: /*.jpg
Allow: /*.jpeg
Allow: /*.png
Allow: /*.svg

User-agent: Googlebot-News
Allow: /blog/

# ─── Bing y otros buscadores ───
User-agent: Bingbot
Allow: /
Crawl-delay: 1

User-agent: DuckDuckBot
Allow: /

User-agent: Yandex
Allow: /
Crawl-delay: 2

# ─── Redes sociales (necesario para previews OG / Twitter Cards) ───
User-agent: facebookexternalhit
Allow: /

User-agent: Facebot
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: LinkedInBot
Allow: /

User-agent: WhatsApp
Allow: /

User-agent: Pinterest
Allow: /

User-agent: Slackbot
Allow: /

User-agent: TelegramBot
Allow: /

# ─── Motores de IA / GEO (PERMITIDOS por defecto — ver DECISIÓN arriba) ───
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: GoogleOther
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: CCBot
Allow: /

# ─── Bots/scrapers bloqueados ───
# Bytespider (ByteDance): histórico de scraping abusivo.
User-agent: Bytespider
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

# ─── Sitemaps (REEMPLAZA el dominio) ───
# @astrojs/sitemap genera sitemap-index.xml. Si hay sitemap de directorio
# programático (arquetipo D), declararlo también (origen BOMBERO).
Sitemap: https://refacciones3d.com/sitemap-index.xml
# Sitemap: https://refacciones3d.com/sitemap-directorio.xml

# ─── Host ───
Host: https://refacciones3d.com