robots.txt bloque l'accès à mon site par Google

Discussion dans 'Débuter en référencement' créé par laurentsc, 7 Juillet 2022.

  1. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Bonjour,
    je viens de découvrir qu'on peut tester le site vu par Google (mobile) : https://search.google.com/test/mobile-friendly/etc
    Mais ça se passe mal : Google n'a pas accès à cette URL
    Exploration autorisée ? error
    Non : bloquée par le fichier robots.txt
    Récupération de page error
    Échec : Bloquée par le fichier robots.txt

    Comme je craignais que Google ne trouve pas le fichier robots.txt (y en avait pas), j'en ai mis tout simple :

    User-agent: *

    Qu'est-ce qui lui plaît pas SVP ?
     
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 011
    J'aime reçus:
    133
    Il nous faut l'url du site pour te répondre
     
  3. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    https://pasdpanique.fr/
    Le site n'en est qu'à son début et certains textes ne sont là que pour faire du remplissage (donc c'est du provisoire)
     
  4. cthierry
    cthierry WRInaute passionné
    Inscrit:
    15 Janvier 2005
    Messages:
    2 361
    J'aime reçus:
    90
    Il n'aime peut-être pas la seconde ligne, mais comme le site est en dev, pas trop grave du coup :)

    User-agent: *
    Disallow: /
     
    laurentsc apprécie ceci.
  5. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 011
    J'aime reçus:
    133
    Même avec que cthierry. Avec cette configuration de robots.txt, tu interdit le site à Google.
     
    laurentsc apprécie ceci.
  6. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Au début, mon robots.txt contenait exactement les 2 lignes proposées par cthierry et j'avais le même message d'erreur (et encore avant, pas de fichier robots.txt du tout et déjà même erreur).

    Si je fais ce test, c'est après avoir lu Pour commencer, testez votre site dans l'outil de test d'optimisation mobile afin de déterminer comment Googlebot voit votre site dans https://developers.google.com/search/docs/advanced/guidelines/get-started-developers (guide sur le SEO pour les développeurs, chapitre Premiers pas avec la recherche Google : guide du développeur)

    Je débute en SEO, donc ne sais pas trop comment commencer et après quelques lectures, j'ai cru bon faire ça...
     
  7. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 011
    J'aime reçus:
    133
    Ton robots.txt, a date, contient toujours ces deux même ligne :

    User-agent: *
    Disallow: /

    Disallow:/ signifie que tu interdit l'accès de tout le site
     
  8. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Donc normal que Google ne puisse accéder. Mais si je supprime le fichier robots.txt, même erreur. Pourquoi ?
     
  9. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    31 738
    J'aime reçus:
    336
    Bonjour,

    Il faut laisser l'accès aux pages indexables aussi.

    Votre page d'accueil indique un blocage :
    Code:
    <meta name='robots' content='noindex, nofollow' />
    Le fichier robots.txt est toujours en ligne aussi avec le blocage :
    pasdpanique fr/robots.txt

    Temps de réponse : 5 minutes.
    Cordialement.
     
    laurentsc apprécie ceci.
  10. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    31 738
    J'aime reçus:
    336
    Votre site a aussi de nombreux problèmes, exemples :
    - Problèmes avec l'affichage responsive des pages
    - Textes qui sont cachés par les couleurs des images
    - Images qui sont mal intégrées dans le template
    - Page "Combien pour supprimer guêpes ou frelons" avec comme seul texte "Une fortune"

    Vous devriez demander des conseils via le forum :
    Demandes d'avis et de conseils sur vos sites.

    Actuellement, le site semble clairement en construction et fera fuir vos utilisateurs.
    Courage pour tout le travail encore à faire et motivation.

    Temps de réponse : 10 minutes.
     
  11. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Corrigé ; c'est un site Wordpress et dans Réglages->Lecture, j'ai décoché Demander aux moteurs de recherche de ne pas indexer ce site
    Corrigé ; j'avais effacé le fichier avec Filezilla mais il était encore là ; dans le plugin Yoast SEO, dans l'onglet outils, on peut éditer et modifier le fichier robots.txt ; j'ai enlevé le code.
    Cependant Google Search Console dit encore qu'il ne peut pas accéder :(

    L'URL https://pasdpanique.fr/robots.txt existe encore mais ça affiche une page blanche.

    Les nombreux problèmes que vous cités, j'en suis conscient (pour certains), mais comme vous dites, le site est en construction (je le démarre). Ce qui me gêne, c'est que même si très mal positionné, Google le détecte quand même (faire guêpes grenoble)(dans Services Anti Nuisibles).
    L'ami pour lequel je le fais tient au référencement ; c'est pour ça que je m'en préoccupe.
     
  12. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    31 738
    J'aime reçus:
    336
    Il faut le temps que les changements soient pris en compte.
    Normal (c'est un fichier robots.txt vide).
    Quand un site est en construction, le travail de création se fait en preprod, pas en prod.
    C'est plutôt pénalisant de lancer un site de cette manière, donc non recommandé.
    Donc il aurait été mieux de lancer un site qui ne soit pas en construction, pour ne pas générer des problèmes.

    Le site est disponible en HTTP et HTTPS, vous ne devriez laisser que le HTTPS.

    Compléments :
    - Migrer un site vers HTTPS : le guide complet
    - Google cherche à afficher vos pages en HTTPS dans les SERP au lieu des HTTP
    - Tout pour la redirection HTTP vers HTTPS (.htaccess, Apache, IIS, Nginx, Lighttpd)

    Temps de réponse : 20 minutes.
     
    laurentsc apprécie ceci.
  13. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Si je rajoute un fichier robots.txt interdisant l'indexation (et peut-être une authentification (login et mot de passe)), est-ce que c'est bon ?

    Oui, c'est clair, mais en preprod, peut-on quand même travailler sur le SEO pour que le site soit bien ficelé dès qu'on le passe en prod ?

    Je regarde.
     
  14. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 011
    J'aime reçus:
    133
    En théorie, le site de pré-production, tu travailles dessus en vase clos : tu utilises un domaine / sous-domaine différent de celui de production et tu en interdit l'accès au moteur de manière réellement efficace (restriction d'accès par IP, mise en place d'un htaccess + htpasswd).

    Ça ne t'empêchera pas de contribuer tes balises title / meta, d'ajouter du contenu etc.
     
    laurentsc et Madrileño aiment ça.
  15. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Si je déplace le site dans domaine_identique/preprod, est-ce que c'est bon ?
    Le htaccess + htpasswd, je connais. restriction d'accès par IP : c'est un site wordpress et j'ai l'option Restreindre l’accès de ce site aux visiteurs connectés ou dont l’adresse IP est autorisée . Si j'ai bien compris, une connexion, ça suffit et pas besoin de rentrer les adresses IP. OK ?

    bien sûr, mais étant parfaitement débutant en la matière, je voulais tester le SEO soit avec le plugin Wordpress Yoast SEO soit avec un outil de mon hébergeur. J'ai peur que si je restreins l'accès, ça ne sera plus possible. Vrai ou faux ?
     
  16. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Merci de répondre au post précédent, posté hier en début d'après-midi (sans votre aide, je suis incapable de me débrouiller)
     
  17. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    31 738
    J'aime reçus:
    336
    Bonjour,
    Autant utiliser cette méthode.
    En preprod, vous ne pourrez tester que l'interface des deux outils.
    Si vous souhaitez tester l'efficacité des outils avec les moteurs, le mieux serait d'avoir un site de test.
    Les WRInautes répondent pendant le temps libre qu'ils ont, désolé si ce n'est pas toujours rapide. :D

    Temps de réponse : 20 minutes.
    Cordialement.
     
  18. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Merci pour la réponse.

    Autrement dit aucun moyen de contrôle sur ce qu'on a fait pour le SEO avant de publier le site...
    Donc un site différent qui servirait uniquement à tester ?

    Pouvez-vous répondre à ça aussi ?
     
  19. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 011
    J'aime reçus:
    133
    Ce n'est pas forcément une bonne idée de te baser sur les recommandations de ces plugins, qui ont une vision très simpliste du SEO.
     
    Marie-Aude apprécie ceci.
  20. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    31 738
    J'aime reçus:
    336
    Bonjour,
    C'est ce qui est fait par certains (Tests et études de cas).
    La preprod est souvent en sous-domaine (avec la protection "htaccess + htpasswd")
    La prod qui est donc le site fonctionnel se situe à la racine du domaine pour les utilisateurs.
    En effet.

    Temps de réponse : 10 minutes.
    Cordialement.
     
    #20 Madrileño, 10 Juillet 2022
    Dernière édition: 10 Juillet 2022
  21. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    J'en déduis que pour effectuer un bon travail pour le SEO, il ne faut pas se contenter de suivre ces recommandations des plugins mais par exemple suivre les conseils donnés ici : https://www.webrankinfo.com/forum/t/recapitulatif-seo-kit-madrileno.191334/
    OK ?
     
  22. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 011
    J'aime reçus:
    133
    Oui, entre autres.
     
  23. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Je viens de tester et selon moi, il y a une redirection de HTTP vers HTTPS et donc le site en HTTP n'est pas disponible. Je me trompe ?
     
  24. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    31 738
    J'aime reçus:
    336
    Bonjour,

    Version en HTTP sans redirection vers HTTPS.
    Canonical de la version HTTP vers HTTP (shortlink aussi).
    Donc ce n'est pas encore bon.

    Temps de réponse : 5 minutes.
    Cordialement.
     
  25. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Je n'arrive pas à trouver la procédure. Seule chose que j'ai cru comprendre : éviter un sous-répertoire (comme https://paspanique.fr/preprod) et privilégier un sous-domaine (par exemple : https://dev-pasdpanique.fr). Cela dépend-il de l'hébergeur, et sinon, merci de m'indiquer la procédure.
     
  26. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Etonnant car avec Firefox, sur mon PC, la redirection de HTTP vers HTTPS se fait, mais pas avec Google Chrome...

    Je ne connais pas. Merci de préciser ce qu'est cette forme canonique.
     
  27. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    31 738
    J'aime reçus:
    336
    Les outils de Google indiquent la même erreur.
    Pour comprendre : URL canonique : le guide complet.
    Source : Aider Google à choisir l'URL canonique appropriée pour vos pages en double.

    Temps de réponse : 10 minutes.
     
  28. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Comment on voit ça ? Je me dis que si je sais ça, ça peut m'aider à mieux comprendre ce qu'on peut tirer de ces outils...
     
  29. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    31 738
    J'aime reçus:
    336
    Exemple, avec l'outil indiqué au début du sujet.
    L'outil indique un rel canonical en HTTP uniquement :
    .
    Temps de réponse : 5 minutes.
    Cordialement.
     
  30. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Bonjour,
    j'ai mis à jour les balises "canonical" (à l'aide du plugin YOAST Seo). Par exemple :
    Code:
    <link rel="canonical" href="https://pasdpanique.fr/" />
    
    Par contre, dans le code source du site, y a encore des HTTP :
    Code:
    <meta property="og:image" content="http://pasdpanique.fr/wp-content/uploads/2022/07/site-web-en-construction-300x166.jpg" />
    Cela est-il gênant ? (Je ne sais pas comment ça se fait)
     
  31. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Y a-t-il encore l'erreur ? Selon moi, non. On est OK ?
     
  32. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    31 738
    J'aime reçus:
    336
    Bonjour,

    URL canonique : La page d'accueil indique bien HTTPS (code source).
    Site disponible en HTTP : Toujours pareil (tests avec différents outils).

    Vous pouvez vérifier si vous avez bien configuré le site en HTTPS.
    Complément : https://fr.wordpress.org/support/article/https-for-wordpress/ .

    Temps de réponse : 15 minutes.
    Cordialement.
     
    laurentsc apprécie ceci.
  33. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    J'espère avoir corrigé ; si non, merci de m'indiquer avec quel outil on peut le voir. Je verrai la réponse que demain...Bonne nuit ;)
     
  34. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    31 738
    J'aime reçus:
    336
    laurentsc apprécie ceci.
  35. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    C'est fait (non sans mal) : https://test.pasdpanique.fr/
    Mais la protection htaccess+htpasswd, ici, ne veut rien savoir ; pas de fenêtre d'authentification, on ouvre directement le site ; c'est très probablement mon fichier .htaccess qui pose problème, mais je trouve pas, donc si vous avez une idée :
    Code:
    AuthUserFile /var/www/vhosts/pasdpanique.fr/test.pasdpanique.fr/.htpasswd
    AuthName "Admin Access"
    AuthType Basic
    require valid-user
    
    Quand ce souci sera réglé, il me restera le problème avec le http et le https...
     
  36. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    31 738
    J'aime reçus:
    336
    laurentsc et spout aiment ça.
  37. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Merci pour le générateur ; le résultat obtenu ressemble comme 2 gouttes d'eau à mon dernier essai ; mais échec :(

    le .htaccess généré est :
    Code:
    AuthUserFile /var/www/vhosts/pasdpanique.fr/test.pasdpanique.fr/.htpasswd
    AuthName "pasdpanique"
    AuthType Basic
    require valid-user
    
     
  38. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Quand je dis échec, ça veut dire qu'aucune fenêtre d'authentification n'apparaît ; on ouvre directement le site (testé avec Firefox et Google Chrome).
     
  39. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    31 738
    J'aime reçus:
    336
    Bonjour,

    Vérifier si le chemin est correct (souvent le problème).
    Et si les deux fichiers sont bien au bon endroit sur le serveur.

    Temps de réponse : 5 minutes.
    Cordialement.
     
  40. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Pour connaître le chemin du fichier .htpasswd, j'ai mis dans le répertoire qui le contient le fichier test.php :
    Code:
    <?php
    echo realpath(__FILE__);
    
    et https://test.pasdpanique.fr/test.php affiche /var/www/vhosts/pasdpanique.fr/test.pasdpanique.fr/test.php
    L'arborescence du serveur est :
    httpdocs (répertoire qui contient le site publique)
    test.pasdpanique.fr (répertoire du sous-domaine)
    autres répertoires

    .htaccess et .htpasswd sont dans le répertoire test.pasdpanique.fr

    Voyez-vous un problème ?
     
  41. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Comme le problème était encore là, j'ai décidé de repartir de zéro (donc tout refaire). C'est finalement OK mais pas simple : pour le .htaccess, j'ai utilisé le générateur de spout et cette fois, ça m'affichait bien la fenêtre d'authentification mais pour le .htpasswd, si je prenais celui généré par son générateur (j'ai essayé les cryptages sha1 et md5), ça me refusait les identifiants alors je l'ai généré avec https://www.infowebmaster.fr/outils/crypter-htpasswd.php et cette fois OK (pour être sûr, j'ai redémarré l'ordi et refait un essai)
     
  42. teralgo
    teralgo WRInaute occasionnel
    Inscrit:
    2 Juillet 2009
    Messages:
    400
    J'aime reçus:
    30
    500
    Internal Server Error
     
  43. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Ça doit dépendre du paramétrage de ton navigateur, car je viens d'essayer sur un autre ordi (mon ordi professionnel (en Windows 11 tous les 2)) et ça m'a dit que je prenais un risque et m'a demandé si je voulais continuer ; ayant accepté, ça a fonctionné (page d'authentification puis, ayant saisi les bons identifiants, affichage du site).
     
    #43 laurentsc, 12 Août 2022
    Dernière édition: 12 Août 2022
  44. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    erreur 500, sur quelle URL ?
     
  45. teralgo
    teralgo WRInaute occasionnel
    Inscrit:
    2 Juillet 2009
    Messages:
    400
    J'aime reçus:
    30
    L'accueil mais maintenant ca marche
     
    laurentsc apprécie ceci.
  46. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Le 7 juillet, vous m'aviez conseillé ça. Or dans votre 3e lien, je lis Si vous voulez rediriger toute URL en HTTP vers l'URL équivalente en HTTPS, ajoutez ceci dans le virtualhost qui correspond au HTTP
    Je voudrais donc faire ça mais il se trouve où ce virtualhost ?

    OK, j'avais vu le souci et ai compris qu'il fallait supprimer le fichier .htaccess qui n'avait rien à faire là...
     
  47. teralgo
    teralgo WRInaute occasionnel
    Inscrit:
    2 Juillet 2009
    Messages:
    400
    J'aime reçus:
    30
    le virtual host c'est dans la configuration apache sur le serveur pour faire simple sous wordpress quand on sait pas faire de redirections c'est de forcer le https avec une extension
     
    laurentsc apprécie ceci.
  48. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Si je mets dans un fichier .htaccess placé à la racine du répertoire contenant
    Code:
    Redirect permanent / https://test.pasdpanique.fr/
    cela fera-t-il le job ?
     
  49. laurentsc
    laurentsc WRInaute discret
    Inscrit:
    28 Mars 2022
    Messages:
    117
    J'aime reçus:
    8
    Ayant demandé à l'hébergeur un accès SSH au virtualhost concernant le HTTP, c'était pas possible sur mon serveur, par contre, il m'a conseillé une autre méthode pour passer en HTTPS. De ce fait, à la racine de mon site, j'ai mis le .htaccess suivant :
    Code:
    RewriteEngine On
    RewriteCond %{HTTPS} off
    RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI}
    
    Merci de me dire si la conversion en HTTPS est correcte :
    URL en HTTPS : https://pasdpanique.fr/
    URL en HTTP : http://pasdpanique.fr/
     
  50. teralgo
    teralgo WRInaute occasionnel
    Inscrit:
    2 Juillet 2009
    Messages:
    400
    J'aime reçus:
    30
    super ca marche
     
    laurentsc apprécie ceci.
Chargement...
Similar Threads - robots bloque accès Forum Date
Bloquer l'accès à certains robots et parseurs URL Rewriting et .htaccess 12 Juin 2012
Bloquer l'accés à des "sous-liens" en utilisant robots.txt Problèmes de référencement spécifiques à vos sites 5 Mars 2009
Robots.txt Le fichier bloque l'accès à mon site Administration d'un site Web 22 Juin 2006
suppression des pages bloquées par robots.txt Débuter en référencement 18 Octobre 2021
Google me dit que ma page est bien indexée mais bloquée par robots.txt Crawl et indexation Google, sitemaps 25 Novembre 2020
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Search Console bloquée par le fichier robots.txt Crawl et indexation Google, sitemaps 25 Juin 2019
Site non responsive, ressources bloquées robots.txt Crawl et indexation Google, sitemaps 15 Avril 2019
Problèmes d'indexation à cause de ressources bloquées (robots.xt) Crawl et indexation Google, sitemaps 22 Novembre 2018
Bloquer une section dans mon fichier robots.txt Débuter en référencement 9 Novembre 2018
Mon site est bloqué par le fichier robots.txt Crawl et indexation Google, sitemaps 12 Septembre 2018
WordPress Bloquer ou non WP include dans le robots.txt ? Référencement Google 5 Septembre 2018
fichier robots.txt bloquer paramètre p= Crawl et indexation Google, sitemaps 4 Septembre 2018
WOOCOMMERCE wordpress ROBOTS.TXT, que bloquez vous ? e-commerce 22 Juin 2018
Résolu Toutes les URL bloquées par le fichier robots.txt Crawl et indexation Google, sitemaps 28 Mars 2018
Ressources bloquées dans robots.txt Crawl et indexation Google, sitemaps 3 Octobre 2016
Urls bloquées sur webmaster tools àcause de robots.txt ? Crawl et indexation Google, sitemaps 11 Avril 2016
Google affiche dans ses résultats des URLS bloquées par robots.txt ! Crawl et indexation Google, sitemaps 26 Juin 2015
Robots.txt comment bloquer une URL précise (pas tout ce qui y ressemble) Problèmes de référencement spécifiques à vos sites 14 Octobre 2014