Disallow fichiers robots de facebook

[elhamdouny]

Bonjour,
J'ai exploré le fichier robots.txt de facebook, j'ai trouvé à la fin du fichier:
User-agent: *
Disallow: /

ce que je sais si j'ajoute ces mots dans mon fichier robots.txt mon site sera totalement bloqué.

Est ce qu'il y'a quelqu'un qui peut m'expliquer ?

 

[Supermaury]

Bonjour.

Si tu les ajoutes au début de ton fichier, c'est clair que tu bloques tout.

Par contre, si tu regardes ce qu'a fait Facebook, c'est différent.

Les règles se suivent dans l'ordre donc il autorise les bots des moteurs leader (Google, Bing, Baidu, Yandex pour ne citer qu'eux) en leur bloquant l'accès à seulement certaines pages.

Et l'instruction de fin en censée bloquer tous les autres bots.

@++

 

[elhamdouny]

Merci bien compris