GG index ma page robots.txt !

WRInaute impliqué
Bonjour chers wristes...

Je suis trés surpris de voir que GG a indexé la page robots.txt de mon site, affiche son contenu !!!

Peut on m'expliquer pourquoi, car je trouve ça un peu bcp dangereux ....

voila ce que gg a affiché parmis le ref nat


User-agent: * Disallow: /repinterdit/
User-agent: * Disallow: /repinterdit/
www.domainedemonsite.fr/robots.txt - En cache - Pages similaires

C'est allucinant il affiche meme le nom du repertoire interdit a la navigation 8O

Merci a tous
 
WRInaute impliqué
druart a dit:
Effectivement c'est étonnant

D'ailleurs il a aussi indexé le sien : http://xewing.com/rgay5dyf
ou par exemple celui de la maison blanche : http://xewing.com/r24j8xd2

Tu dois être célèbre :-)

Blague mise à part c'est effectivement curieux.
Il n'y aurait pas un lien quelque part vers ton robots.txt ?

Pas tout compris à la blague :?

Non non aucun lien, ce serait idiot, c'est contraire au principe...
Je me demande si ça n'a pas de rapport avec les outils de GG webmaster qui merdent et qui ref tous les fichiers présents ???
 
Olivier Duffez (admin)
Membre du personnel
au fait, en quoi est-ce un pb ? il s'agit d'un fichier public accessible à tous
 
WRInaute impliqué
WebRankInfo a dit:
au fait, en quoi est-ce un pb ? il s'agit d'un fichier public accessible à tous

C'est rare que je pose une question qui invite l'honorable webmaster (olivier) à répondre.

Mode :: Je suis pas peu fier !!! :lol:

Sinon, pour en revenir au sujet, j'ai du faire une mauvaise interpretation de l'utilisation du fichier robots.txt.

J'ai cru comprendre que ce fichier permettait d'interdire a GG d'indexer les pages cités (ça c'est ok) et DONC de ne pas indiquer egalement le contenu du fichier permettant de cacher les fichiers cités (et la je me suis trompé).

JE ne sais pas comment faire alors pour eviter que quiconque ne trouve un fichier ou repertoire dans un ref nat.

merci
 
WRInaute passionné
WebRankInfo a dit:
au fait, en quoi est-ce un pb ? il s'agit d'un fichier public accessible à tous


Effectivement Olivier ce n'est nullement un problème : on se retrouve avec tellement de curieux qui entrent robots.txt ou sitemap.xml...

Mais ce qui est (à mon sens amusant) c'est de savoir pourquoi ou comment ce fichier est indexé ;-)

Après, si on ne veut pas que ses fichiers (ou dossiers) sensibles soient identifiables on fait en sorte de ne pas les afficher là ;-)
 
WRInaute accro
rachatdecredits a dit:
J'ai cru comprendre que ce fichier permettait d'interdire a GG d'indexer les pages cités
Pas exactement. Il permet d'interdire à Google de visiter les pages citées. Il arrive que des pages interdites par robots.txt soient indexées sans avoir été visitées par Googlebot.

Pour être certain qu'une page ne sera pas indexée, il faut que sa visite soit autorisée par robots.txt et qu'elle contienne la balise meta "robots" avec l'option "noindex".

Jean-Luc
 
WRInaute impliqué
jeanluc a dit:
rachatdecredits a dit:
J'ai cru comprendre que ce fichier permettait d'interdire a GG d'indexer les pages cités
Pas exactement. Il permet d'interdire à Google de visiter les pages citées. Il arrive que des pages interdites par robots.txt soient indexées sans avoir été visitées par Googlebot.

Pour être certain qu'une page ne sera pas indexée, il faut que sa visite soit autorisée par robots.txt et qu'elle contienne la balise meta "robots" avec l'option "noindex".

Jean-Luc

Merci jean luc pour cette info.

maintenant cela me pose un pb que gg index mon fichier robots car si quelqu'un le voit, il peut se rendre dans le dit repertoire et visualiser des infos confidentielles? que dois je faire s'il vous plait?
 
WRInaute accro
Que Google l'indexe ou pas ne change rien. Tape http://www.ton_site.com/robots.txt dans la barre d'adresse de ton navigateur et tu verras ton fichier robots.txt. Croire que ce fichier est un moyen de sécuriser le site est une idée fausse; c'est uniquement un outil pour donner des instructions aux "bons" robots.

Astuce: tu n'es pas obligé d'indiquer le nom de répertoire exact dans robots.txt. Il suffit d'indiquer les premières lettres (et qu'elles ne correspondent pas à un autre répertoire). Exemple: pour interdire /repertoire-top-secret, tu peux écrire:
Code:
Disallow /repertoire-to
Jean-Luc
 

➡️ Offre MyRankingMetrics ⬅️

pré-audit SEO gratuit avec RM Tech (+ avis d'expert)
coaching offert aux clients (avec Olivier Duffez ou Fabien Faceries)

Voir les détails ici

coaching SEO
Discussions similaires
Haut