Robots.txt utile ou inutile ?

[jiojioforever]

Bonjour,
j'ai vu que l'on pouvait placer un fichier robots.txt à la racine de notre site.
Sachant que je n'ai aucune base de donnée ni de partie administration, j'aurais voulu savoir si cela était un plus pour le referencement de mon site

en mettant : User-agent: * dans mon fichier

en gros, je n'ai rien à cacher sur mon site. Toutes les pages doivent être referencées.

 

[schtroumpf]

Non, ça n'apporte rien au référencement.

Arnaud

 

[jiojioforever]

ok merci bien pour ta réponse :wink:

 

[jiojioforever]

et concernant les flux RSS ?

 

[objectifweb]

Bonjour,

Ca change rien au référencement sauf si tu as des pages orphelines à présenter au moteur, mais quand même c'est utile pour diminuer le log des erreurs, chaque fois que le moteur scanne ton site, une ligne d'erreur s'affiche dans tes fichiers log

Pat

 

[schtroumpf]

mais quand même c'est utile pour diminuer le log des erreurs, chaque fois que le moteur scanne ton site, une ligne d'erreur s'affiche dans tes fichiers log

Pat

Oui, exact, c'est la seule raison pour laquelle je l'ai mis en place.

Arnaud

 

[jiojioforever]

vous parlez des flux ou du robots.txt là ?

si c'est le robots.txt c'est bien de le placer alors ? vu qu'on peut voir les erreurs du robot et donc les rectifier ?

 

[jiojioforever]

vous parlez des flux ou du robots.txt là ?

si c'est le robots.txt c'est bien de le placer alors ? vu qu'on peut voir les erreurs du robot et donc les rectifier ?

 

[jiojioforever]

dans mon robots.txt j'ai mis que 'User-agent: *' et quand je vais sur https://www.google.com/webmasters partie robots.txt, il me dit que mon fichier n'est pas valide ? normal ?

 

[yep]

le placement du fichier robots.txt est une norme. Il devrait être obligatoire, même vide.

 

[jeanluc]

dans mon robots.txt j'ai mis que 'User-agent: *' et quand je vais sur https://www.google.com/webmasters partie robots.txt, il me dit que mon fichier n'est pas valide ? normal ?

Exact, il n'est pas valide. Si tu ne veux rien interdire, mets un fichier robots.txt totalement vide ou mets:

User-agent: *
Disallow:

Le dernière ligne dit que tu ne veux rien interdire.

Jean-Luc

 

[samuel]

Voilà je pense que tout à été dit, il devrait être mis pour tout les sites, mais n'apporte rien pour le référencement, du moins plus de contrôle pour le webmaster dans le cas de contenu que l'on ne veux pas indexer.

 

[wullon]

Pour préciser, je ne sais pas si c'était clair : au-delà du fait que c'est une norme, ne pas avoir un robots.txt va ajouter une erreur 404 dans les logs, à chaque fois qu'un bot (qui respecte le robots.txt ^^) passe, ce qui peut vite devenir pénible.

 

[Monty973]

Il peut être utile au référencement dans la mesure ou il peut permettre d'éviter l'indexation de certaines pages (groupées dans des répertoires par exemple) qui pourraient être vu par les moteurs comme du duplicate content.

wullon +1,

ça épure les logs

 

[ManaZen]

Bonsoir,
Après avoir ajouté le sitemaps, nous avons obtenu sur diagnostic - exploration du web
128 erreurs - Url inaccessible avec le détail suivant

- impossible d'atteindre le fichier robots.txt

Effectivement nous n'avons pas de fichier robots.txt

Si quelqu'un peux m'aider, ma question est la suivante,
Pourquoi avons nous cette erreur sur 128 pages produit alors que notre le site comprend plus de 600 pages produit?

Si je rajoute un fichier robots.txt contenant

User-Agent: *
Disallow: /admin/
Disallow: /download/
Disallow: /images/
Disallow: /includes/
Disallow: /pub/

Vais-je supprimer ce type d'erreur.

Comme nous sommes plus ou moin bien référencé pour le moment, ne risquons nous pas de faire pire que bien, mais surtout nous voulons comprendre le pourquoi.

Merci pour votre aide.

 

[Pandore]

User-agent: *
Disallow:

Tu es sur que l'on peut mettre une minuscule à "agent" ??? Ou c'est une erreur de frappe ???

Sur cette page, on voit plutôt une majuscule : Comment créer un fichier robots.txt ?

 

[jeanluc]

Après avoir ajouté le sitemaps, nous avons obtenu sur diagnostic - exploration du web
128 erreurs - Url inaccessible avec le détail suivant

- impossible d'atteindre le fichier robots.txt

Effectivement nous n'avons pas de fichier robots.txt

Bonsoir Voisin,

Une "URL inaccessible", c'est un dysfonctionnement du site. Quand une page n'existe pas, c'est "introuvable" que tu trouves dans le rapport. Ce que tu constates n'a donc rien à voir avec la présence ou l'absence d'un fichier robots.txt.

Faut pas hésiter non plus à consulter l'aide en ligne de Google, par exemple, Qu'est-ce qu'une erreur du type URL inaccessible ? :wink:

Jean-Luc

 

[HawkEye]

Bonsoir Voisin

WRI a la frite on dirait

 

[jeanluc]

Tu es sur que l'on peut mettre une minuscule à "agent" ??? Ou c'est une erreur de frappe ???

Je suis sûr. Ce n'est pas une faute de frappe.

La spécification dit :

Each record contains lines of the form "<field>:<optionalspace><value><optionalspace>". The field name is case insensitive.

Jean-Luc

 

[Pandore]

Excellent ! Merci pour la précision jeanluc :wink:

 

[ManaZen]

zut j'ai posté un message et il est parti je ne sais ou, comment faire pour le transférer ici
Maladresse du débutant

 

[ManaZen]

robots.txt utile

Voilà je l'ai retrouvé,

Bonjour,

J'ai donc vérifié, mais je ne vois pas de disfonctionnement dans le site sur les pages qui signale l'erreur "Impossible d'atteindre robots.txt" ni d'erreur dans le code.
Certaines pages avec cette erreur sont référencées sur gg d'autres pas, donc mystère, je vais ajouter le robots.txt et attendre la prochaine visite de googelbot.


Pour info voici ce que raconte google sur URL inaccessible /robots.txt inaccessible
https://www.google.com/support/webmaster ... 5154&hl=fr

J'en déduis donc que le robots.txt est indispensable pour google!?

 

[jeanluc]

Re: robots.txt utile

J'en déduis donc que le robots.txt est indispensable pour google!?

Elle est bien bonne! :lol:

Jean-Luc

 

[serval2a]

Bonjour,
Google dit simplement sur cette page qu'il diffère la visite du site lorsque l'appel du fichier robots.txt lui renvoit une erreur autre que 404 (exemple : 500, 401, 403...) pour ne pas risquer d'explorer des urls interdites.

 

[jeanluc]

Re: robots.txt utile

J'ai donc vérifié, mais je ne vois pas de disfonctionnement dans le site sur les pages qui signale l'erreur "Impossible d'atteindre robots.txt" ni d'erreur dans le code.

Il est possible que le problème que Google a constaté était temporaire et qu'il a disparu.

Jean-Luc