Pas de robots.txt

[OTP]

Bonjour,

Je me suis rendu compte hier que j'ai oublié de mettre un robots.txt sur un des mes sites principaux (que celui qui ne s'est jamais trompé me jette la première PR...).

Est-ce que celà a pu nuire à son indexation/à son référencement ? De façon grave ?

Michaël

 

[dorian53]

Salut,

Non je ne vois pas comment (le spider ne le trouve pas il continue) dans la mesure où 90% des directives du robots.txt sont faites pour reinsteindre l'indexation.

 

[UsagiYojimbo]

...

... je ne pense pas que cela puisse poser problème au niveau référencement.

Perso je ne met un robots.txt à la racine de mes sites que lorsque j'ai des pages que je ne veux pas voir référencées dans celui-ci (où quand j'en ai marre de voir le nombre de 404 alourdir mes logs).

 

[ebe327]

Non au contraire cela a permis de référencer des choses qui n’avaient pas besoin d'être connu.
J'ai longtemps fonctionné sans robot.txt ni de sitemap ni de compte Google, cela ne m’a pas empêché de me positionner.

Maintenant je l'ai place pour n'indexer uniquement les pages qui doit être visible du public

 

[e-kiwi]

je n'ai jamais mis de robots.txt non plus. si c est pénalisant, c'est balo mais je penses vraiment pas

 

[OTP]

Ok, merci à tous.
Je suis rassuré !
J'en ai mis un qui autorise à aller partout...

 

[finstreet]

j'en ai un vide uniquement pour éviter les erreurs 404

 

[OTP]

j'en ai un vide uniquement pour éviter les erreurs 404

C'est justement en étudiant mes 404 que j'ai découvert l'oubli.

 

[Moof]

Salut,

Non je ne vois pas comment (le spider ne le trouve pas il continue) dans la mesure où 90% des directives du robots.txt sont faites pour reinsteindre l'indexation.

Ah bon ? Les 10% restant m'intéressent donc . Quelles sont les directives de robots.txt qui favorisent l'indexation ?

 

[dorian53]

Salut,

Non je ne vois pas comment (le spider ne le trouve pas il continue) dans la mesure où 90% des directives du robots.txt sont faites pour resteindre l'indexation.

Ah bon ? Les 10% restant m'intéressent donc . Quelles sont les directives de robots.txt qui favorisent l'indexation ?

La formulation inverse d'une phrase n'est représentatif du reste des cas existants.

Exemple
- 90% des gens sont grands.
- Ah bon 10% des autres sont petits ?
- Non


Les instructions User-agent: et Allow: n'ont à la base pas pour but de restreindre un accès, ni le favoriser.