Indexation des résultats d'un moteur de recherche

Membre Honoré
Vous pouvez voir le fichier robots.txt de Google pour voir comment indexer un moteur de recherche selon Google. Et là certains vont dire mais :
Google a dit:
User-agent: *
Disallow: /search
Effectivement.

C'est un peu comme l'histoire du disque rayé.

Vous prenez l'exemple avec un moteur de recherche qui fait l'indexation des résultats d'un autre moteur de recherche (ou ses propres pages). ;)
 
WRInaute accro
BonWeb a d'ailleurs bien souffert de cette indexation de résultats de moteurs... si GG se lance là dedans... ca va en lourder énormément des résultats... et finalement, ce serait pas plus mal :)
 
Discussions similaires
Haut