Outils de test du fichier ROBOTS.TXT

[saluts92]

bonjour
Cela faisait longtemps que je n'avais pas eu besoin de mettre à jour mon fichier robots.txt
e que je viens de faire, mais je ne retrouve plus l'outil Google permettant de tester des URL après avoir chargé la nouvelle version de mon fichier robots.txt

Existe t-il toujours (jene le trouve pas) ? si oui, où cela svp ?

merci

 

[cthierry]

C'est dans paramètres (menu de gauche).

 

[saluts92]

C'est dans paramètres (menu de gauche).

oui ça j'ai vu, ça permet "juste" de charger le fichier robots.txt

moi, je recherche l'outil ou tu saisis une URL pour tester si elle est bloquée ou non

 

[cthierry]

Chez moi, cela affiche "valides" donc c'est que c'est bon quand je demande une nouvelle exploration.

Sinon, il y a celui de Bing : https://www.bing.com/webmasters/robotstxttester

 

[saluts92]

Chez moi, cela affiche "valides" donc c'est que c'est bon quand je demande une nouvelle exploration.

ok, mais ca ne te dite pas si tu t'es planté dans la rédaction de certaines lignes

 

[cthierry]

Perso, je ne me prend pas plus la tête que cela. Si Google me dit que c'est OK alors c'est qu'il est valide.
Et j'ai bien compris que tu voulais cette page comme en parle ce site web : https://robots-txt.com/ressources/robots-txt-tester/ . Mais tout comme toi, je ne l'ai pas trouvé ^^.

Sinon, il y a plusieurs outils proposés sur différents sites ou bien tu peux demander au stagiaire : "Est-ce que ce robots.txt te semble valide ? : URL du robots.txt"

 

[saluts92]

Et j'ai bien compris que tu voulais cette page comme en parle ce site web : https://robots-txt.com/ressources/robots-txt-tester/ . Mais tout comme toi, je ne l'ai pas trouvé ^^

oui c'est ça

 

[bg62]

Et j'ai bien compris que tu voulais cette page comme en parle ce site web : https://robots-txt.com/ressources/robots-txt-tester/ . Mais tout comme toi, je ne l'ai pas trouvé ^^.

dans la search console > paramètres ( colonne de gauche en bas ) > robots.txt et hop !! ( éventuellement 'ouvrir le rapport' si besoin ...
' quand on veut, on trouve '

 

[cthierry]

C'est dans paramètres (menu de gauche).

Quand on a voulu, on a pas pu Il voulait comme sur le lien en fait !

 

[bg62]

Quand on a voulu, on a pas pu Il voulait comme sur le lien en fait !

alors reste à espérer qu'avec ces explications ( + celles de GG ) ce sera possible pour lui ...

 

[saluts92]

quand on veut, on trouve '

cela ne répond pas à mon besoin
quand on lit pas, on répond à coté de la question

 

[WebRankInfo]

Je remonte ce fil car il n'avait pas eu de vraie réponse : Google a bien supprimé fin 2023 l'outil où l'on saisissait une URL pour savoir si le robots.txt la bloquait. Le rapport robots.txt de la Search Console qui l'a remplacé montre le fichier récupéré et ses erreurs de lecture, mais il ne teste pas une URL.

J'ai donc créé un outil qui fait ce test

Tu saisis l'URL d'une page, et il te dit si le robots.txt en ligne l'autorise ou l'interdit pour Googlebot, Bingbot, Applebot et les principaux robots des IA (GPTBot, ClaudeBot, PerplexityBot…), avec la ligne qui décide à chaque fois.
Il signale aussi les lignes mal écrites ou ignorées par les robots, ce que tu cherchais pour vérifier ta rédaction.
Il demande vraiment la page sous le nom de chaque robot, ce qui montre si un pare-feu ou un CDN les bloque malgré un robots.txt permissif.

L'outil a une limite, puisqu'il ne lit que le fichier publié sur le site. Pour tester des lignes avant de les mettre en ligne, le testeur de Bing cité plus haut par cthierry reste utile.

Vos retours m'intéressent, si vous voyez un cas mal interprété.