Bonjour, Je suis en train de lire cet article sur le fichier robots.txt, et je ne comprends pas bien ça : C' est pourtant le but de ce fichier, d' indexer ou non des pages, je ne comprends pas... Merci pour vos précisions, bonne soirée.
Non, le but de ce fichier est de bloquer ou pas l'exploration par les robots. Pour l'indexation, c'est la meta robots.
Re, Je viens de lire l' article. Effectivement c' est plus clair, il ne faut pas confondre exploration et indexation. Merci et bonne soirée.
Dîtes moi si je me trompe, mais tu peux bloquer le crawl depuis robots.txt si la page n'a pas encore était indexée. Google ne viendra pas la crawl donc ne l'indexera pas. Si elle a été indexée, ça devient problématique.