# ============================================================ # SPOTLAG - robots.txt # https://www.spotlag.com/ # ============================================================ # ------------------------------------------------------------ # CRAWLERS GENERAUX # S'applique notamment à Googlebot, Bingbot, # OAI-SearchBot, GPTBot, Google-Extended, etc. # ------------------------------------------------------------ User-agent: * Allow: / # Administration Disallow: /wp-admin/ Disallow: /vp-admin/ Allow: /wp-admin/admin-ajax.php # Anciennes ressources WordPress / WP Rocket Disallow: /wp-content* Disallow: /wp-content/plugins/wp-rocket/inc/front/js/lazyload- # Anciennes pages "spot" avec paramètres Disallow: /*spot/?type=page-de-spot&category* Disallow: /*spot/?type=page-de-spot&tags=* Disallow: /*spot/?type=page-de-spot®ion* Disallow: /*spot/?tags* Disallow: /*spot/?search_keywords* Disallow: /*spot/?sort* Disallow: /*spot/?sort=je-me-laisse-guider* Disallow: /*spot/region* Disallow: /*spot/?* # Soirée entreprise # Autorise la page principale mais bloque les sous-URLs Allow: /soiree-entreprise/$ Disallow: /soiree-entreprise/ # Taxonomies / anciennes pages Disallow: /tag/ Disallow: /region/ Disallow: /listing/ # Parcours applicatifs / pages non SEO Disallow: /step* Disallow: /tableau-de-bord* Disallow: /demande* Disallow: /confirmation* Disallow: /espace-pro Disallow: /finalisation-partenariat Disallow: /formulaire* Disallow: /inscription* # Anciennes pages régionales Disallow: /region-ile-de-france Disallow: /region-ile-de-france/team-building-ile-de-france # Pages à ne pas crawler / indexer Disallow: /newsletter Disallow: /nous-rejoindre Disallow: /page-test Disallow: /parrainage Disallow: /prochain-evenement Disallow: /questionnaire-satisfaction-client Disallow: /remerciement Disallow: /spotpage Disallow: /template* Disallow: /votre-avis # ------------------------------------------------------------ # WP ROCKET # Conservé comme dans votre fichier actuel # ------------------------------------------------------------ User-agent: wprocketbot Allow: / Allow: /api* # ------------------------------------------------------------ # GOOGLE ADS # AdsBot ignore le groupe User-agent: * # On l'autorise explicitement à contrôler les landing pages. # ------------------------------------------------------------ User-agent: AdsBot-Google Allow: / User-agent: AdsBot-Google-Mobile Allow: / # ------------------------------------------------------------ # SITEMAP # ------------------------------------------------------------ Sitemap: https://www.spotlag.com/sitemap.xml