Robots.txt

[dogdog06]

Salut à tous,

je viens vers vous car je ne comprends pas pourquoi Google référence mon site, alors que je lui demande de ne pas l'indexer via mon robots.txt

User-Agent: *
Disallow: http://www.monsite.fr
Disallow: /

j'avais donné mon fichier robots.TXT est-ce une erreur d'avoir mis TXT en maj ?
Merci pour l'explication
++

 

[WebRankInfo]

il faut écrire robots.txt comme ça, sans majuscules
il faut aussi supprimer la ligne Disallow: http://www.monsite.fr
es-tu allé voir ton compte Google Webmaster Tools ?

 

[dogdog06]

Salut,

Le site étant en production, je n'ai pas encore crée de compte google webmaster.
Je ne voulais pas que Google le référence dans l'état actuel (aucun contenu, lien mort...).
J'ai fais les modifs du robots.txt :

User-Agent: *
Disallow: /

penses-tu que cette erreur sera préjudiciable pour un référencement futur ?

 

[Rod la Kox]

... mais comme un site ne prod n'est pas sécurisé via un robots.txt, on le bloque par htaccess.

 

[dogdog06]

OKI merci,

Je viens de modifier mon htaccess, répertoires protégés.
Mais maintenant que Google à visité mon site en prod, je me retrouve avec des pages indexés , je fais quoi ?

 

[WebRankInfo]

j'ai pas tout capté... si ton site est en prod, sa dernière version est bien celle qui est en ligne ? dans ce cas pourquoi vouloir bloquer ?

 

[Madrileño]

Mais maintenant que Google à visité mon site en prod, je me retrouve avec des pages indexés , je fais quoi ?

Le conseil de Rod la Kox :

... mais comme un site ne prod n'est pas sécurisé via un robots.txt, on le bloque par htaccess.

.

Il existe des URL prévues pour les exemples comme : "example.com" ou "example.net".

N'hésitez pas à participer sur le forum en répondant aussi à d'autres topics.