Problème robots.txt

[Fourmie]

Salut,
je suis confronté à un problème étrange.... Jusqu'ici, tout fonctionnait bien, google prenait mon sitemap sans problème et je n'avais que de trés rares erreurs d'accés à certaines URL. Mon fichier robots.txt à la racine ne posait pas problème...... le classement dans google et le nombre d'URL lues idem.... pas de problème!

Cependant, hier en tapant ma requète favorite pour voir où j'en étais, plus rien.... moi qui étais premier avec ma page index... plus rien... au mieux, 30eme position sur une URL autre que ma page d'acceuil. Je vais voir dans mon tableau de bord google.... et je m'apercois qu'apparemment mon sitemap ne fonctionnerait plus suite à l'impossibilité d'atteindre le fichier robots.txt.

J'ai controlé ce dernier, j'ai fait des recherches voir si par zazar il n'y aurait pas une coquille.... nada...... j'ai fait le même genre de recherche voir si mon sitemap était bien rédigé.... à priori nada... tout est OK!

Pour couronner le tout, google me trouve 29 URL innacessibles avec le sempiternel "impossible d'atteindre robots.txt"... et deux ou trois ( seulement) "réseau innacessible".
Que se passe t'il ????????
L'ennuie forcemment c'est que de fait il semble que mon classement soit en chute libre!

 

[Koxin-L]

Comment veux tu une aide ou un avis sans donner le ndd du site qui pose problème ?

 

[Fourmie]

rep

le nom de domaine est scooterlambretta.org....

 

[Koxin-L]

robots.txt fonctionne.

Par contre, vire la ligne

User-agent: Mediapartners-Google*
Disallow:

Il aime peut-être pas.

Pour le sitemap, il se nomme comment ?
Parce que -http://www.scooterlambretta.org/sitemap.xml ça marche pas.

Ensuite met ca dans ton robots.txt

Sitemap: http://www.scooterlambretta.org/nomdusitemap.xml

 

[jeanluc]

Ton robots.txt n'est pas correct.

Contrairement à ce qu'indique Koxin-L, ceci est correct:

User-agent: Mediapartners-Google* 
Disallow:

Tu donnes ainsi accès à tout ton site au robot AdSense.

Ce qui n'est pas correct, c'est qu'il n'y a pas de ligne vide avant

User-agent: *

Il est impossible de prévoir ce que feront les robots devant une telle anomalie.

J'ajouterais aussi une ligne vide à la fin.

Il se peut que ceci n'ait rien à voir avec ton problème. Si, quand Google a esssayé de lire ton robots.txt, celui-ci était inaccessible (problème technique serveur ou liaison), alors googlebot ne se risque pas dans le site.

Jean-Luc

 

[Fourmie]

rep

Bon, merçi pour l'info, je vais voir.....

 

[HawkEye]

Ce qui n'est pas correct, c'est qu'il n'y a pas de ligne vide avant

User-agent: *

Il est impossible de prévoir ce que feront les robots devant une telle anomalie.

+1 !

J'ajouterais aussi une ligne vide à la fin.

et encore +1 !

 

[Fourmie]

rep

Bon.... j'avance..... autre questions au sujet du sitemap en lui même. Celui ci est généré par un programme auto "nukeseo". Je viens de me rendre compte, hormis le codage qui semble tout a fait correct qu'il met comme date de dernière modif la date du jour et qu'il prétend que la fréquence de changement est journalière ce qui est faux pour beaucoup car nombre d'URL sont des articles biens établis.... n'est ce pas pénalisant ou tout du moins inutile???? D'autre part, l'URL de l'index du site n'est pas présente..... hors, s'il y a une page qui change régulièrement (daily) c'est bien celle là!

Enfin et pour terminer, il semble que google a enfin repris mon sitemap... puisque j'ai plus l'erreur mais il ne me donne pas le nombre d'URL fournies???

 

[Koxin-L]

Contrairement à ce qu'indique Koxin-L, ceci est correct:

User-agent: Mediapartners-Google* 
Disallow:

Tu donnes ainsi accès à tout ton site au robot AdSense.

J'ai pas dis que c'était incorrect, mais je soumettais l'hypothèse qu'il bloque là dessus.
Ne pas mettre la ligne laisse aussi le robot se balader partout ;-)

Le coup d'une ligne vide m'échappe, mais si c'est ça le bug...

 

[Fourmie]

rep

Enclair, si je comprends bien, j'ai tout interet à enlever

User-agent: Mediapartners-Google* 
Disallow:

et de laisser le reste du code tel que en mettant une ligne vierge en début et fin du fichier texte.... dont l'utilité m'échappe...

 

[HawkEye]

Re: rep

et de laisser le reste du code tel que en mettant une ligne vierge en début et fin du fichier texte.... dont l'utilité m'échappe...

Pas au début, uniquement à la fin.
NE me demande pas à quand ça revient,... mais c'est quasiment "institutionnel", de finir son robots.txt par un retour à la ligne, et Google bloque sur son absence dans bien des cas.

 

[Fourmie]

rep

Ce que je comprends pas dans la console google c'est celà :


Apparemment, le fichier robots ne lui pose plus problème ( il n'en posait d'ailleurs pas il y a quelques semaines) et apparemment le sitemap semble OK..... mais je ne comprends pas en ce cas pourquoi il ne me donne pas le nombre d'URL fournies!

 

[Fourmie]

poteau rose

Ca y est, j'ai trouvé le poteau rose ( depuis quelques jours heureusement).....
Alors voilà, aucun problème de fichier robots.txt ni de problème avec le sitemap.... le souci, c'est simplement que mon hébergeur a un moment donné pour une raison qui m'échappe banni une ou plusieurs adresses IP qu'utilisent les moteurs de Google.... Aprés déblocage des IP, tout refonctionne à nouveau!

Mais comme j'ai pas de bol.... et que mon paiment paypal pour renouvellement d'hébergement a foiré, mon hébergeur a changé du jour au lendemain ma page d'acceuil pour une page à la con que Google c'est mis en devoir d'indexer sur le champ en lieu et place de la vraie!

Bref, cette histoire d'IP bannie m'a renvoyé aux fin fond du trou du c... du monde à la lpus grande joie de mes concurrents :lol: J'espère qu'ils apprécient! Seule inconnue..... c'est combien de temps il va me falloir pour refaire surface.... plusieurs mois je présume.... :cry:

 

[Fourmie]

rep

Voilà, tout est rentré dans l'ordre.... google a bien réindexé mon site, et je suis revenu à la position initiale occupée.... Bref, un mois de galère car mon hébergeur avait malencontreusement banni l'IP de google.... tout du moins d'un ou plusieurs de ses robots!
Je pensais pas refaire surface aussi rapidement! :lol:

CONCLUSION...... attention, dans les outils google la mention "impossible d'atteindre le fichier robots.txt" peut EGALEMENT venir d'un problème d'IP bannie et non d'une erreur de syntaxe dans la prog!