Robots.txt ligne génante selon Googlebot votre avis ?

Discussion dans 'Crawl et indexation Google, sitemaps' créé par potas74, 23 Mai 2017.

  1. potas74
    potas74 Nouveau WRInaute
    Inscrit:
    11 Février 2014
    Messages:
    24
    J'aime reçus:
    0
    bonjour à tous,
    sur mon CMS prestashop j'ai cette ligne qui est considérée comme "erreur grave" dans GWT (outil test robots.txt) :
    Disallow: /*?
    faut-il la supprimer car elle bloque google pour accéder au dossier images
    mais en même temps est-ce qu'en la supprimant, Google va se mettre à indexer des fichiers à la racine de mon site ?
    idem pour la ligne :
    Disallow: */modules/
     
  2. klp
    klp WRInaute discret
    Inscrit:
    19 Octobre 2016
    Messages:
    154
    J'aime reçus:
    4
    Bonjour,

    "Disallow : /*? " empêche aux robots d’accéder et de parcourir les pages de ton site qui contiennent un "?" dans leur adresse. (par exemple : example.com/tapage.html?produit=1)

    Si tu veux empêcher les robots d'accéder à des dossiers ou des fichiers en particulier, tu peux rajouter des lignes du style :

    Disallow : /dossier1
    Disallow : /dossier2/dossier3/page1.html

    Ou en autoriser d'autres :

    Allow : /dossier4

    Cordialement.
     
  3. potas74
    potas74 Nouveau WRInaute
    Inscrit:
    11 Février 2014
    Messages:
    24
    J'aime reçus:
    0
    merci de ta réponse rapide
    A ton avis vaut mieux enlever cette consigne ("Disallow : /*? ") du robots.txt car la seule ligne que GWT signale comme erreur élevé c'est mon img de logo "/img/logo.jpg?1467640803" c'est pour ça que Google signale que c'est une erreur "élévé"
     
Chargement...
Similar Threads - Robots ligne génante Forum Date
Limite nombre de lignes robots.txt Crawl et indexation Google, sitemaps 7 Décembre 2011
Nouvelle ligne sitemap dans le fichier robots.txt Crawl et indexation Google, sitemaps 11 Avril 2007
Limites du fichier robots.txt 100 lignes pour GOOGLE Crawl et indexation Google, sitemaps 16 Juillet 2005
Audit SEO : questions techniques sur robots.txt Demandes d'avis et de conseils sur vos sites 19 Septembre 2022
Page de Login et fichier Robots.Txt Débuter en référencement 11 Septembre 2022
Duplicate content "?p=..." et robots.txt Crawl et indexation Google, sitemaps 7 Septembre 2022
Meta robots noindex WordPress Problèmes de référencement spécifiques à vos sites 9 Août 2022
robots.txt bloque l'accès à mon site par Google Débuter en référencement 7 Juillet 2022
Pourquoi ne pas utiliser le robots.txt pour interdire l'indexation ? Débuter en référencement 14 Avril 2022
canonical et robots=index sur une même page Débuter en référencement 7 Décembre 2021
le noindex dans le robots.txt Débuter en référencement 19 Novembre 2021
suppression des pages bloquées par robots.txt Débuter en référencement 18 Octobre 2021
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 14 Juillet 2021
Les mots-clés de mon site ne sont pas détectés par les robots de référencement Problèmes de référencement spécifiques à vos sites 7 Juillet 2021
Wordpress et le robots.txt Débuter en référencement 21 Juin 2021
Search Console noindex détecté dans la balise Meta robots Débuter en référencement 21 Mai 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021
erreurs robots.txt Crawl et indexation Google, sitemaps 23 Décembre 2020
Google me dit que ma page est bien indexée mais bloquée par robots.txt Crawl et indexation Google, sitemaps 25 Novembre 2020