Probleme avec robots.txt ?

freetopien · 28 Avril 2007

Bonjour,

Y-a t-il un probleme avec mon
robots.txt :

Code:

Sitemap: http://example.com/sitemap.php

User-agent: *
Disallow: /dossier1

User-agent: Alexibot
User-agent: asterias
User-agent: BackDoorBot/1.0
User-agent: Black Hole
Disallow: /

car mon site ne s'indexe pas malgré le PR3 tout frais de la page d'accueil...
Je dois attendre c'est ça ?

Merci

amokk · 29 Avril 2007

freetopien a dit:
Bonjour,

Y-a t-il un probleme avec mon
robots.txt :

Code:

Sitemap: http://example.com/sitemap.php User-agent: * Disallow: /dossier1 User-agent: Alexibot User-agent: asterias User-agent: BackDoorBot/1.0 User-agent: Black Hole Disallow: /

Pas de probleme concernant la mise en page de ton fichier robots.txt, le probleme vient de ton header (solution plus bas dans la reponse) Sinon petite parenthese concernant ton sitemap, ce n'est pas cela que tu dois donner aux moteur... je te conseille donc de chercher sur WRI comment realiser un bon sitemap XML : https://www.webrankinfo.com/forum/t/sitemap-xml.71840/

freetopien a dit:
car mon site ne s'indexe pas malgré le PR3 tout frais de la page d'accueil...
Je dois attendre c'est ça ?

Comme cité plus haut l'erreur vient de ton codage, dans le header de ta page d'accueil car tu mets cela :

Code:

<meta name="robots" content="noodp" />

remplace le par cela

Code:

<meta name="robots" content="index, follow">

ca marchera desuite beaucoup mieux 8)

freetopien · 29 Avril 2007

Merci amokk de m'avoir répondu.

Pour le sitemap je croyais que l'on mettait ce que l'on voulait (bien que j'avais déjà le sitemapgoogle.xml), donc je l'ai remplacé par le fichier xml.

COncernant pour la balise robots noodp, elle sert à ce que google ne prenne pas en référence la description de dmoz. (je l'avais fais sur mon ancien site et cela ne m'avait pas posé de problèmes). Dans le doute je l'ai mis en commentaires.
Enfin, il me semble que

Code:

<meta name="robots" content="index, follow">

n'est pas obligatoire pour le referencement d'une page donc je ne l'ai pas mis.
Tu n'es pas d'accord ?

Voilà, j'ai donc inclu le xml dans le sitemap, et mis noodp en commentaire, cela devrait porter ses fruits.

Tu as d'autres suggestions ?

@+ et merci.