robot.txt

[JeromeRookie]

Bonjour,
je suis en train de créer un nouveau site et comme je ne suis pas encore content des url, j'aimerais que google ne le référence pas. J'ai donc placé un fichier robot.txt à la racine du site avec ceci à l'intérieur.

User-agent: *
Disallow: /

mais je constate ce matin que GG a déjà réusi a entrer sur le site et à référencer 40 url. ai-je une erreur dans mon robot.txt ?
Merci

 

[finstreet]

le fichier doit s'appeller robots.txt pas robot.txt

 

[Khal3d]

P.S: une fois le fichier robots.txt est visité par google-bot, ton site ne pourra etre indexé que 6 mois aprés...

 

[finstreet]

P.S: une fois le fichier robots.txt est visité par google-bot, ton site ne pourra etre indexé que 6 mois aprés...

ca sort d'où ca ?

A chaque fois que GG Bot vient il regarde le robots.txt ... c quoi ce truc de 6 mois ?

 

[Khal3d]

ça m'est arrivée une fois, le site a disparu de google pendant 6 mois...et je l'ai lu quelques part dans les pages 'webmasters' de google...

 

[bg62]

:wink:
Là c'est presque du délire ....
@mitiés
b g

 

[finstreet]

ça m'est arrivée une fois, le site a disparu de google pendant 6 mois...et je l'ai lu quelques part dans les pages 'webmasters' de google...

c'est uniquement si tu interdis l'accès à GG... pas si tu l'autorises

 

[effisk]

A chaque fois que GG Bot vient il regarde le robots.txt

pas à chaque fois. Mais régulièrement, oui.

 

[finstreet]

A chaque fois que GG Bot vient il regarde le robots.txt

pas à chaque fois. Mais régulièrement, oui.

vu la goule de ma 404 en quelques jours quand y'avait pas de robots... à mon avis c dans 80% des cas qu'il le lit

 

[HawkEye]

robots.txt

URL: °http://annuaire.indexweb.info/robots.txt
Dernier téléchargement: 19 octobre 2006 23:49:12 PDT
État: 200 (Opération effectuée)

Merci Google Sitemaps.

https://www.google.com/support/webmaster ... 8475&hl=fr

 

[Quedlazik]

User-agent: *
Disallow: /

Je veux que les pages d'un de mes anciens sites ne soient plus référencées, il suffit que je mette ça à la racine de mon ftp pour résoudre le problème?

 

[Zaarco]

Je crois que le probleme que j'ai (pas d'indexation des pages par google) est liee avec ce meme fichier robots.txt
J'ai ce truc

User-agent: *
Disallow: /

Comment je peux changer ?
Remplacer Disallow par Allow ?

 

[finstreet]

Je crois que le probleme que j'ai (pas d'indexation des pages par google) est liee avec ce meme fichier robots.txt
J'ai ce truc

User-agent: *
Disallow: /

Comment je peux changer ?
Remplacer Disallow par Allow ?

le laisser vide ca ira

 

[Quedlazik]

User-agent: *
Disallow: /

Je veux que les pages d'un de mes anciens sites ne soient plus référencées, il suffit que je mette ça à la racine de mon ftp pour résoudre le problème?

 

[jeanluc]

Cet ancien site existe toujours ou pas ?

Jean-Luc

 

[Quedlazik]

Théoriquement il n'existe plus, mais j'ai toujours 7160 pages qui sont indexées alors qu'elles n'existent plus!

 

[jeanluc]

Si les pages du site n'existent plus, il ne faut pas mettre ce robots.txt parce qu'il interdit à Google de venir voir ce qui se passe dans le site, donc Google ne peut pas constater que les pages ont disparu.

Voir aussi la procédure accélérée de suppression d'URL si tu es certain de ne plus utiliser ces adresses pendant au moins 6 mois : Comment supprimer un lien désactivé des résultats de recherche ? et suivre le lien système de suppression automatique d'URL.

Jean-Luc

 

[HawkEye]

Retourner un code d'erreur 410 ("Gone") sur ces pages permet à Google de comprendre que cette page n'existe plus.

Ca peut paraître contradictoire, mais: pour qu'il aille choper ce code 410, il faut qu'il visite les pages, et s'il ne les a visitées initialement que sur base de quelques maigres liens sur un domaine tout neuf, il ne viendra pas avant 6 mois (façon de parler...), donc...

...pour les faire disparaître de l'index, il faut

1. Mettre un code d'erreur 410
2. Faire des liens vers ces pages (eh oui )

 

[Quedlazik]

Si les pages du site n'existent plus, il ne faut pas mettre ce robots.txt parce qu'il interdit à Google de venir voir ce qui se passe dans le site, donc Google ne peut pas constater que les pages ont disparu.

Voir aussi la procédure accélérée de suppression d'URL si tu es certain de ne plus utiliser ces adresses pendant au moins 6 mois : Comment supprimer un lien désactivé des résultats de recherche ? et suivre le lien système de suppression automatique d'URL.

Jean-Luc

Merci ta technique a marché et en 24 heures toutes les pages se sont supprimées comme m'avait promis google!