Disallow fichiers robots de facebook

Nouveau WRInaute
Bonjour,
J'ai exploré le fichier robots.txt de facebook, j'ai trouvé à la fin du fichier:
User-agent: *
Disallow: /

ce que je sais si j'ajoute ces mots dans mon fichier robots.txt mon site sera totalement bloqué.

Est ce qu'il y'a quelqu'un qui peut m'expliquer ?
 
WRInaute discret
Bonjour.

Si tu les ajoutes au début de ton fichier, c'est clair que tu bloques tout.

Par contre, si tu regardes ce qu'a fait Facebook, c'est différent.

Les règles se suivent dans l'ordre donc il autorise les bots des moteurs leader (Google, Bing, Baidu, Yandex pour ne citer qu'eux) en leur bloquant l'accès à seulement certaines pages.

Et l'instruction de fin en censée bloquer tous les autres bots.

@++
 
Discussions similaires
Haut