# =====================================================
# robots.txt - Optimisé pour samaro.fr
# Dernière mise à jour : 07/05/2025 par CRONUTS.DIGITAL
# Description : Ce fichier optimise l’exploration par les moteurs de recherche (SEO classique + IA),
# réduit le contenu dupliqué, protège les zones sensibles et améliore la vitesse de crawl.
# =====================================================

# ==================================
# 1. AUTORISER LES BOTS UTILES
# ==================================

# Autoriser Google et ses robots associés (SEO, images, mobile, publicité)
User-agent: Googlebot
Allow: /
Allow: /*.css$
Allow: /*.js$

Disallow: *?compare=*
Disallow: *search_query=*
Disallow: *orderby=*
Disallow: *orderway=*

Disallow: */contact-us/?product-ref=*
Disallow: *?refinementList


User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Googlebot-Mobile
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Mediapartners-Google
Allow: /

# Autoriser les outils SEO (Ahrefs, SEMrush...)
User-agent: SemrushBot
Allow: /

User-agent: AhrefsBot
Allow: /

User-agent: Siteliner
Allow: /

# ✅ Raisonnement :
# On veut autoriser les bots qui améliorent la visibilité dans les résultats (Google, SEO, outils d’audit).

# ==================================
# 2. BLOQUER LES ZONES SENSIBLES ET DUPLIQUÉES
# ==================================

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /cgi-bin/
Disallow: /xmlrpc.php
Disallow: /wp-json/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /*?preview=true
Disallow: /*?replytocom
Disallow: /*/trackback/
Disallow: /*add-to-cart=
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /compare/
Disallow: /wishlist/
Disallow: /thank-you/
Disallow: /order-received/
Disallow: /?s=

# Spécifique à Polylang (pour éviter l’indexation multiple des recherches selon les langues)
Disallow: /fr/recherche/
Disallow: /en/search/
Disallow: /es/buscar/

# Bloquer les flux RSS et commentaires
Disallow: /feed/
Disallow: /comments/
Disallow: /comments/feed/
Disallow: /*/feed/

# Bloquer les dossiers de plugins/thèmes/cache inutiles pour les moteurs
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/mezcalito/
Disallow: /wp-content/uploads/acf-json/
Disallow: /wp-includes/

# Autoriser l’AJAX utilisé par Contact Form 7, ACF, WooCommerce
Allow: /wp-admin/admin-ajax.php

# ✅ Raisonnement :
# On réduit le crawl sur les ressources non utiles au SEO (scripts, login, backoffice, recherche interne),
# ce qui améliore la vitesse et la qualité d’indexation du vrai contenu.

# ==================================
# 3. COMPATIBILITÉ AVEC LES MOTEURS DE RECHERCHE IA
# ==================================

# Autoriser les bots d’IA pour l’affichage, la réponse et l’indexation en temps réel
User-agent: OAI-SearchBot
User-agent: ChatGPT-User  
User-agent: PerplexityBot
User-agent: FirecrawlAgent
User-agent: AndiBot
User-agent: ExaBot
User-agent: PhindBot
User-agent: YouBot
Allow: /

# Bloquer les bots qui collectent des données pour l'entraînement IA (protection du contenu propriétaire)
#User-agent: GPTBot
#User-agent: CCBot
#User-agent: Google-Extended
#Disallow: /

# ✅ Raisonnement :
# On différencie l’indexation IA utile (recherche, agents) de l’entraînement LLM. On autorise les premiers,
# mais on protège le contenu contre les IA qui exploitent les données sans retour de visibilité.

# ==================================
# 4. BLOQUER LES SCRAPERS ET BOTS MALVEILLANTS
# ==================================

User-agent: MSIECrawler
User-agent: WebCopier
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: Xenu
User-agent: Offline Explorer
User-agent: Teleport
User-agent: WebZIP
User-agent: SiteSnagger
User-agent: WebStripper
User-agent: linko
User-agent: larbin
Disallow: /

# ✅ Raisonnement :
# Ces bots aspirent le site sans permission et augmentent la charge serveur. On les bloque.

# ==================================
# 5. PLANS DE SITE POUR UNE INDEXATION OPTIMALE
# ==================================

Sitemap: https://www.samaro.fr/post-sitemap2.xml
Sitemap: https://www.samaro.fr/page-sitemap.xml
Sitemap: https://www.samaro.fr/product-sitemap.xml
Sitemap: https://www.samaro.fr/product-sitemap2.xml
Sitemap: https://www.samaro.fr/product-sitemap3.xml
Sitemap: https://www.samaro.fr/product-sitemap4.xml
Sitemap: https://www.samaro.fr/product-sitemap5.xml
Sitemap: https://www.samaro.fr/category-sitemap.xml
Sitemap: https://www.samaro.fr/product-family-sitemap.xml
Sitemap: https://www.samaro.fr/product-market-sitemap.xml
Sitemap: https://www.samaro.fr/brand-sitemap.xml
Sitemap: https://www.samaro.fr/product_cat-sitemap.xml
Sitemap: https://www.samaro.fr/author-sitemap.xml

# ✅ Raisonnement :
# Ces sitemaps facilitent l’exploration et la mise à jour du contenu par les moteurs de recherche.