# =============================================== # ROBOTS.TXT AWANNABY - VERSION SEO PREMIUM # =============================================== # Site: https://awannaby.fr # Version: 1.0 - Optimisation SEO maximale 2025 # Dernière mise à jour: 26 Juin 2025 # Contact: infos@awannaby.com # Spécialiste: Marquage publicitaire & objets promotionnels # =============================================== # =============================================== # RÈGLES GÉNÉRALES POUR TOUS LES ROBOTS # =============================================== User-agent: * # === AUTORISATIONS PRINCIPALES - PAGES BUSINESS === # Pages stratégiques - Accès prioritaire maximum Allow: / Allow: /index.html Allow: /awannaby_devis.html Allow: /awannaby_services.html Allow: /awannaby_techniques.html # Navigation principale Allow: /index_categories.html Allow: /tous-les-produits.html # Catégories principales - Priorité haute Allow: /bagagerie-voyage.html Allow: /serviettes-et-sacs-d-ecole.html # Catégories business importantes Allow: /categorie_bagagerie-voyage.html Allow: /categorie_bureau-business.html Allow: /categorie_cuisine-table.html Allow: /categorie_ecriture.html Allow: /categorie_textile-promotionnel.html Allow: /categorie_usb-multimedia.html Allow: /categorie_outils-lampes.html Allow: /categorie_victuailles-boissons.html Allow: /categorie_plein-air-relaxion.html # Autres catégories Allow: /categorie_bien-etre-accessoires.html Allow: /categorie_cadeaux-de-saison.html Allow: /categorie_jardin.html Allow: /categorie_maison-decoration.html Allow: /categorie_parapluies-parasols.html Allow: /categorie_primes.html Allow: /categorie_temps-meteo.html # Pages de pagination Allow: /categorie_bagagerie-voyage_page_*.html Allow: /categorie_bureau-business_page_*.html Allow: /categorie_cuisine-table_page_*.html Allow: /categorie_ecriture_page_*.html Allow: /categorie_outils-lampes_page_*.html Allow: /categorie_plein-air-relaxion_page_*.html Allow: /categorie_usb-multimedia_page_*.html Allow: /categorie_victuailles-boissons_page_*.html # Pages spéciales Allow: /categorie_.html Allow: /fichier_html.html # Pages légales Allow: /pages_legales_awannaby.html # Page d'erreur personnalisée Allow: /404.html # === PRODUITS INDIVIDUELS (PRIORITÉ E-COMMERCE) === # Tous les produits avec référence numérique Allow: /1*_*.html Allow: /2*_*.html Allow: /3*_*.html Allow: /4*_*.html Allow: /5*_*.html Allow: /6*_*.html Allow: /7*_*.html Allow: /8*_*.html Allow: /9*_*.html Allow: /10*_*.html # === RESSOURCES STATIQUES (DÉBLOQUAGE CRITIQUE) === # Images optimisées Allow: /images/ Allow: /images-awannaby-goodies-publicitaires/ Allow: /images-awannaby-goodies-publicitaires/2025/optimized Allow: /img/ Allow: /photos/ Allow: /pictures/ Allow: /*.jpg$ Allow: /*.jpeg$ Allow: /*.png$ Allow: /*.webp$ Allow: /*.svg$ Allow: /*.ico$ Allow: /*.gif$ # Feuilles de style et scripts (CRITIQUE POUR GOOGLE) Allow: /*.css$ Allow: /*.js$ # Polices de caractères Allow: /*.woff$ Allow: /*.woff2$ Allow: /*.ttf$ Allow: /*.otf$ # Documents Allow: /*.pdf$ # Fichiers système essentiels Allow: /robots.txt Allow: /sitemap*.xml Allow: /favicon.ico # === RÉFÉRENCEMENT SITEMAP === Sitemap: https://awannaby.fr/sitemap.xml # === INTERDICTIONS SÉCURISÉES === # Scripts PHP de contact (protection) # Dossiers système et administration Disallow: /admin/ Disallow: /_admin/ Disallow: /wp-admin/ Disallow: /administrator/ Disallow: /backend/ Disallow: /panel/ Disallow: /dashboard/ Disallow: /cpanel/ Disallow: /control/ # Dossiers privés et configuration Disallow: /private/ Disallow: /internal/ Disallow: /config/ Disallow: /includes/ Disallow: /scripts/ Disallow: /.git/ Disallow: /.svn/ Disallow: /.htaccess Disallow: /.htpasswd Disallow: /.env # Dossiers temporaires et technique Disallow: /tmp/ Disallow: /temp/ Disallow: /cache/ Disallow: /logs/ Disallow: /log/ Disallow: /backup/ Disallow: /backups/ Disallow: /old/ Disallow: /archive/ # Environnements de développement Disallow: /dev/ Disallow: /development/ Disallow: /test/ Disallow: /tests/ Disallow: /staging/ Disallow: /beta/ Disallow: /preview/ Disallow: /demo/ # Fichiers sensibles Disallow: /*.log Disallow: /*.sql Disallow: /*.db Disallow: /*.bak Disallow: /*.old Disallow: /*.ini Disallow: /*.conf Disallow: /*.config Disallow: /*wp-config.php Disallow: /*config.php Disallow: /*.tmp Disallow: /*.swp Disallow: /*.DS_Store # Paramètres URL optimisés pour e-commerce # Bloquer tracking inutile Disallow: /*?utm_* Disallow: /*?gclid=* Disallow: /*?fbclid=* Disallow: /*?session=* Disallow: /*?sessionid=* Disallow: /*?PHPSESSID=* Disallow: /*?sid=* Disallow: /*?ref=* Disallow: /*?affiliate=* # Autoriser paramètres SEO e-commerce utiles Allow: /*?page=* Allow: /*?search=* Allow: /*?q=* Allow: /*?sort=* Allow: /*?category=* Allow: /*?cat=* Allow: /*?filter=* # =============================================== # RÈGLES SPÉCIFIQUES PAR MOTEUR DE RECHERCHE # =============================================== # === GOOGLE (PRIORITÉ ABSOLUE E-COMMERCE) === User-agent: Googlebot Allow: / # Note: Google ignore crawl-delay, optimiser via Search Console User-agent: Googlebot-Image Allow: /images/ Allow: /img/ Allow: /photos/ Allow: /*.jpg$ Allow: /*.jpeg$ Allow: /*.png$ Allow: /*.webp$ Allow: /*.svg$ Allow: /*.gif$ User-agent: Googlebot-Video Allow: /*.mp4$ Allow: /*.webm$ User-agent: Googlebot-News Allow: / # === BING === User-agent: Bingbot Allow: / Crawl-delay: 2 User-agent: BingPreview Allow: / # === AUTRES MOTEURS PRINCIPAUX === User-agent: Slurp Allow: / Crawl-delay: 3 User-agent: DuckDuckBot Allow: / Crawl-delay: 2 User-agent: Baiduspider Allow: / Crawl-delay: 5 User-agent: YandexBot Allow: / Crawl-delay: 3 # === RÉSEAUX SOCIAUX (IMPORTANT E-COMMERCE) === User-agent: facebookexternalhit Allow: / Allow: /images/ User-agent: Twitterbot Allow: / Allow: /images/ User-agent: LinkedInBot Allow: / User-agent: WhatsApp Allow: / Allow: /images/ User-agent: TelegramBot Allow: / Allow: /images/ User-agent: InstagramBot Allow: / Allow: /images/ # === SEO TOOLS AUTORISÉS (LIMITÉS) === User-agent: AhrefsBot Allow: / Crawl-delay: 10 User-agent: SemrushBot Allow: / Crawl-delay: 10 User-agent: MJ12bot Allow: / Crawl-delay: 15 User-agent: DotBot Allow: / Crawl-delay: 15 # === ARCHIVES LÉGITIMES (OPTIONNEL) === User-agent: archive.org_bot Allow: / Disallow: /admin/ Disallow: /private/ Crawl-delay: 30 User-agent: ia_archiver Allow: /sitemap.xml Disallow: / # =============================================== # BLOCAGE BOTS INDÉSIRABLES (PROTECTION 2025) # =============================================== # === IA ET SCRAPING (MISE À JOUR 2025) === User-agent: CCBot Disallow: / User-agent: ChatGPT-User Disallow: / User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: Claude-Web Disallow: / User-agent: Claude-3-Web Disallow: / User-agent: anthropic-ai Disallow: / User-agent: AI2Bot Disallow: / User-agent: Bard Disallow: / User-agent: Gemini-Web Disallow: / User-agent: OpenAI-SearchBot Disallow: / # === NOUVEAUX SCRAPERS IA 2025 === User-agent: PerplexityBot Disallow: / User-agent: Perplexity-Bot Disallow: / User-agent: You.com Disallow: / User-agent: You-Bot Disallow: / User-agent: Cohere-Web Disallow: / User-agent: SearchGPT Disallow: / # === BOTS AGRESSIFS ET SCRAPERS === User-agent: WebReaper Disallow: / User-agent: WebCopier Disallow: / User-agent: HTTrack Disallow: / User-agent: Offline Explorer Disallow: / User-agent: Teleport Disallow: / User-agent: WebZip Disallow: / User-agent: WebSauger Disallow: / User-agent: WebStripper Disallow: / User-agent: NetAnts Disallow: / User-agent: Wget Disallow: / User-agent: curl Disallow: / # === SPAM ET MALWARE === User-agent: EmailCollector Disallow: / User-agent: EmailSiphon Disallow: / User-agent: WebBandit Disallow: / User-agent: ExtractorPro Disallow: / User-agent: CopyRightCheck Disallow: / User-agent: SiteSnagger Disallow: / User-agent: ProWebWalker Disallow: / User-agent: CheeseBot Disallow: / User-agent: BLEXBot Disallow: / User-agent: MegaIndex Disallow: / User-agent: PetalBot Disallow: / # === BOTS E-COMMERCE MALVEILLANTS === User-agent: PriceGrabber Disallow: / User-agent: ShopBot Disallow: / User-agent: ProductBot Disallow: / User-agent: CompetitorBot Disallow: / User-agent: PriceSpy Disallow: / User-agent: DataBot Disallow: / User-agent: HarvestBot Disallow: / # === BLOCAGE SÉCURISÉ SUPPLÉMENTAIRE === User-agent: 008 Disallow: / User-agent: ABACHOBot Disallow: / User-agent: Abonti Disallow: / User-agent: AddThis Disallow: / User-agent: AIBOT Disallow: / User-agent: BackDoorBot Disallow: / User-agent: Black Hole Disallow: / User-agent: BotALot Disallow: / User-agent: CherryPicker Disallow: / User-agent: DISCo Disallow: / User-agent: EmailWolf Disallow: / User-agent: EroCrawler Disallow: / User-agent: Exabot Disallow: / User-agent: Flaming AttackBot Disallow: / User-agent: GetRight Disallow: / User-agent: grub Disallow: / User-agent: hloader Disallow: / User-agent: httplib Disallow: / User-agent: humanlinks Disallow: / User-agent: JennyBot Disallow: / User-agent: k2spider Disallow: / User-agent: larbin Disallow: / User-agent: LexiBot Disallow: / User-agent: libWeb Disallow: / User-agent: LinkextractorPro Disallow: / User-agent: LinkWalker Disallow: / User-agent: lwp-trivial Disallow: / User-agent: Mata Hari Disallow: / User-agent: MIIxpc Disallow: / User-agent: Mister PiX Disallow: / User-agent: MSIECrawler Disallow: / User-agent: NICErsPRO Disallow: / User-agent: Openfind Disallow: / User-agent: Python-urllib Disallow: / User-agent: RepoMonkey Disallow: / User-agent: RMA Disallow: / User-agent: SpankBot Disallow: / User-agent: spanner Disallow: / User-agent: Telesoft Disallow: / User-agent: TurnitinBot Disallow: / User-agent: VCI Disallow: / User-agent: WebAuto Disallow: / User-agent: WebEnhancer Disallow: / User-agent: Website Quester Disallow: / User-agent: Webster Pro Disallow: / User-agent: Xenu Disallow: / User-agent: Zeus Disallow: / User-agent: ZyBORG Disallow: / Sitemap: https://awannaby.fr/sitemap.xml # =============================================== # SITEMAPS AWANNABY # =============================================== # Sitemap principal (CRITIQUE) Sitemap: https://awannaby.fr/sitemap.xml # Sitemaps spécialisés (si futurs) # Sitemap: https://awannaby.fr/sitemap-produits.xml # Sitemap: https://awannaby.fr/sitemap-categories.xml # Sitemap: https://awannaby.fr/sitemap-images.xml # =============================================== # MÉTADONNÉES CONTACT ET VALIDATION # =============================================== # Contact technique : infos@awannaby.com # Téléphone : 06 24 09 01 99 # Adresse : 1 boulevard Isaac Pereire, 77220 Tournan-en-Brie # Spécialité : Marquage publicitaire & objets promotionnels depuis 1995 # Dernière vérification : 26 Juin 2025 # Validé avec : Google Search Console Robots.txt Tester # Taille fichier : ~18KB (limit 500KB OK) # Charset : UTF-8 ✓ # =============================================== # OPTIMISATIONS SEO AWANNABY SPÉCIFIQUES # =============================================== # ✅ PRIORITÉ: Pages business (devis, services, techniques) # ✅ E-COMMERCE: Toutes catégories et produits autorisés # ✅ TECHNIQUE: CSS/JS débloqués pour Google rendering # ✅ SÉCURITÉ: Scripts PHP protégés # ✅ PERFORMANCE: Crawl-delay optimisé par moteur # ✅ PROTECTION: Bots IA et scrapers bloqués # ✅ IMAGES: Accès total pour SEO visuel # ✅ PAGINATION: Toutes pages catégories accessibles # =============================================== # STRATÉGIE AWANNABY 2025 # =============================================== # 🎯 Focus business : devis et services prioritaires # 📊 E-commerce optimisé : 1600+ produits indexables # 🔒 Sécurité renforcée : scripts protégés # 🚀 Performance SEO : sitemap référencé # 💼 B2B friendly : paramètres métier autorisés # =============================================== # FIN - ROBOTS.TXT AWANNABY OPTIMISÉ V1.0 # ===============================================