WRInaute passionné
bonjour,
tout le monde ici connaît Madrileño, le robot de WRI, capable de différencier le nouveau venu du cador, et capable de répondre aux questions les plus pointues, notamment en postant les liens qui vont bien, liens qui s'avèrent dans 99% des cas pertinents, et qui répondent à 99% des questions posées ici.
j'aimerais autoriser ce robot à venir crawler mes sites, et pour cela j'aimerais avoir des précisions sur le fichier robots.txt, car j'ai l'impression que derrière ce robot sur-performant se cache un nouveau moteur de recherche révolutionnaire, susceptible de concurrencer Google d'ici la mi-2009 (d'après mes informations).
est-ce que ce code permet au robot Madrileño de bien crawler toutes mes pages?
je me demande aussi si je ne m'expose pas à des problèmes de Duplicate Content en autorisant le bot Madrileño à s'inscrire sur mon forum dédié à la propagation de la fièvre aphteuse chez le moustique chilien? (PR1 mais bientôt PR2, je l'ai inscrit automatiquement sur 1 600 annuaires, c'était pas cher, et il sera bientôt premier sur tous ses mots-clés).
tout le monde ici connaît Madrileño, le robot de WRI, capable de différencier le nouveau venu du cador, et capable de répondre aux questions les plus pointues, notamment en postant les liens qui vont bien, liens qui s'avèrent dans 99% des cas pertinents, et qui répondent à 99% des questions posées ici.
j'aimerais autoriser ce robot à venir crawler mes sites, et pour cela j'aimerais avoir des précisions sur le fichier robots.txt, car j'ai l'impression que derrière ce robot sur-performant se cache un nouveau moteur de recherche révolutionnaire, susceptible de concurrencer Google d'ici la mi-2009 (d'après mes informations).
est-ce que ce code permet au robot Madrileño de bien crawler toutes mes pages?
Code:
User-Agent: Madrileño
Disallow:
je me demande aussi si je ne m'expose pas à des problèmes de Duplicate Content en autorisant le bot Madrileño à s'inscrire sur mon forum dédié à la propagation de la fièvre aphteuse chez le moustique chilien? (PR1 mais bientôt PR2, je l'ai inscrit automatiquement sur 1 600 annuaires, c'était pas cher, et il sera bientôt premier sur tous ses mots-clés).