Bonjour à tous, je possède un site internet, sur certain mot clé j’étaie dans les premier, maintenant que je teste je le suis pas j'essaye de comprendre encore pourquoi ... ma question es celle-çi j'ai une tonne de page que j'aimerai supprimer de l'indexation de google mon fichier robots.txt et le suivant User-agent: * Allow: / User-agent: Googlebot Disallow: /coco-1 Disallow: /bobo-2 ... Allow: / içi on comprends que google va pas prendre la page coco-1 et bobo-2 le site est en multilingue j'ai plus au moins 50 pages traduits en néerlandais mais je veux pas que google l'index avec cela je peux empeche l'indexation User-agent: Googlebot Disallow: /coco-1 Disallow: /bobo-2 Disallow: /nl Disallow: /nl/ ... Allow: / ou je dois faire un part un pour tout les pages Disallow: /nl/coco-1 Disallow: /nl/coco-2 etc. Deuxième question le fichier sitemaps si je l'optimise bien il affichera juste les pages que je veux que ça s'affiche n'est ce pas?
la directive Allow ne sert à rien, sauf pour des cas bien particuliers si tu veux interdire l'accès à tout un répertoire (/nl/ par exemple), tu peux faire Disallow: /nl/ par contre ça bloque le crawl, et non pas l'indexation si les pages sont déjà indexées, tu peux les faire désindexer en : 1- interdisant le crawl du répertoire 2- puis en demandant la désindexation via GWT concernant l'autre question, je te conseille de bien lire mon tuto fichier sitemaps tu verras que Google ne se limite pas à crawler (et encore moins indexer) ce qui est indiqué dans le sitemap
Merci pour votre réponses comme je disais en haut, sur certain mot clé j’étaie dans les premiers et plus maintenant lorsque je me connecte a google webmaster tool il m'indique ça -http://www.sitenet.be Googlebot ne peut pas accéder à votre site. ça veux dire quoi? pensez vous que a cause de ce message je ne suis pas dans les premiers ? j'ai vu votre tuto, en faite j'utilise wordpress et j'utilise le plugins xml-sitemap generator pensez vous que si je l'optimise c'est suffisant, ou c'est meilleur de faire sois même avec un fichier text ... merci
Quand je clique l'info on me donne ça Au cours des 24 dernières heures, Googlebot a rencontré 2 erreurs en tentant d'accéder au fichier robots.txt. Pour éviter d'explorer les pages répertoriées dans ce fichier, nous avons reporté notre exploration. Le taux d'erreurs liées au fichier robots.txt à l'échelle de votre site est de 100.0 %. Vous trouverez davantage d'informations détaillées sur ces erreurs dans les Outils pour les webmasters. Pensez vous que ce format pour le robots.txt et mauvais User-agent: * Allow: / User-agent: Googlebot Disallow: /coco Disallow: /bobo Disallow: /toto Disallow: /lolo Disallow: /nono Disallow: /body-auto Allow: /