Influence d'un robot.txt vide

WRInaute impliqué
Marre de voir des erreur 404 dans mes logs apache en rapport avec le robots.txt, je souhaiterai savoir si placer un fichier robots.txt vide pouvait influencer sur le passage des bots

Je pense que non, mais je préfére demander :)
 
WRInaute discret
Coucou,

Ben il m'est arrivé un truc bizare à ce sujet, aussi je te conseil de mettre un fichier robot.txt même vide.

mon site, hébergé chez free, avait près de 500 pages référencé dans google. des mots clés comme jeu médiéval m'ammenait directement à la première page de google.
Le truc fut qu'un jour, ce mot clé me placa en 2eme sur cette requête, puis 5eme position, puis ... carrément en 3 pages ...
la requete : site:http://monsite
ne renvoiait plus que 15 pages ...

Je pense pas que les autres jeux médiévaux aient tous améliorés leur référencement, et je comprenais pas pourquoi Google se désintéressait de mon site, alors que y'a un contenu réel, et que je respecte le W3C à la lettre. Je me suis placé dans la console Google (où j'ai placé mes sitemap) et là, je constate que cet idiot bloquait uniquement par ce que je n'avais pas de fichier robot.txt il me mettait 480 pages introuvables ...
J'ai mis le fichier robot.txt vide à Noël et le jour de l'an j'avais déjà plus que 200 pages introuvables ... petit à petit, tout est revenu à la normale.

Bilan, je pense que Free ont modifié leur conf apache. Dans l'absolu, sur tous mes autres sites (hébergé par telle ou telle société), j'ai mis un fichier robots.txt vide. Plus de mauvaise surprise comme ça ^^ !

Je t'encourage à faire de même.
En te souhaitant bon courage pour le Webmastering ^^.
Kéké (qui fête son 10 sites en lignes ^^)
 

➡️ Offre MyRankingMetrics ⬅️

pré-audit SEO gratuit avec RM Tech (+ avis d'expert)
coaching offert aux clients (avec Olivier Duffez ou Fabien Faceries)

Voir les détails ici

coaching SEO
Discussions similaires
Haut