A propos du robots.txt et sitemap

IVIedia · 29 Mars 2013

Bonjour à tous,

je possède un site internet, sur certain mot clé j’étaie dans les premier, maintenant que je teste je le suis pas

j'essaye de comprendre encore pourquoi ...

ma question es celle-çi

j'ai une tonne de page que j'aimerai supprimer de l'indexation de google

mon fichier robots.txt et le suivant

User-agent: *
Allow: /

User-agent: Googlebot
Disallow: /coco-1
Disallow: /bobo-2
...
Allow: /

içi on comprends que google va pas prendre la page coco-1 et bobo-2

le site est en multilingue j'ai plus au moins 50 pages traduits en néerlandais mais je veux pas que google l'index avec cela je peux empeche l'indexation

User-agent: Googlebot
Disallow: /coco-1
Disallow: /bobo-2
Disallow: /nl
Disallow: /nl/
...
Allow: /

ou je dois faire un part un pour tout les pages

Disallow: /nl/coco-1
Disallow: /nl/coco-2

etc.

Deuxième question le fichier sitemaps si je l'optimise bien
il affichera juste les pages que je veux que ça s'affiche n'est ce pas?

WebRankInfo · 29 Mars 2013

la directive Allow ne sert à rien, sauf pour des cas bien particuliers
si tu veux interdire l'accès à tout un répertoire (/nl/ par exemple), tu peux faire Disallow: /nl/
par contre ça bloque le crawl, et non pas l'indexation

si les pages sont déjà indexées, tu peux les faire désindexer en :
1- interdisant le crawl du répertoire
2- puis en demandant la désindexation via GWT

concernant l'autre question, je te conseille de bien lire mon tuto fichier sitemaps
tu verras que Google ne se limite pas à crawler (et encore moins indexer) ce qui est indiqué dans le sitemap

IVIedia · 29 Mars 2013

Merci pour votre réponses

comme je disais en haut, sur certain mot clé j’étaie dans les premiers et plus maintenant

lorsque je me connecte a google webmaster tool

il m'indique ça -http://www.sitenet.be Googlebot ne peut pas accéder à votre site.

ça veux dire quoi?

pensez vous que a cause de ce message je ne suis pas dans les premiers ?

j'ai vu votre tuto, en faite j'utilise wordpress et j'utilise le plugins xml-sitemap generator

pensez vous que si je l'optimise c'est suffisant, ou c'est meilleur de faire sois même avec un fichier text ...
merci

IVIedia · 29 Mars 2013

Quand je clique l'info on me donne ça

Au cours des 24 dernières heures, Googlebot a rencontré 2 erreurs en tentant d'accéder au fichier robots.txt. Pour éviter d'explorer les pages répertoriées dans ce fichier, nous avons reporté notre exploration. Le taux d'erreurs liées au fichier robots.txt à l'échelle de votre site est de 100.0 %.

Vous trouverez davantage d'informations détaillées sur ces erreurs dans les Outils pour les webmasters.

Pensez vous que ce format pour le robots.txt et mauvais

User-agent: *
Allow: /

User-agent: Googlebot
Disallow: /coco
Disallow: /bobo
Disallow: /toto
Disallow: /lolo
Disallow: /nono
Disallow: /body-auto
Allow: /

Similar Threads - propos robots sitemap	Forum	Date
Robots.txt et ht access à propos des fichiers d'un repertoire	Débuter en référencement	2 Mai 2011
Question à propos d'une sorte de duplicate content	Problèmes de référencement spécifiques à vos sites	11 Février 2020
Google qui me propose les résultats de Bing	Le café de WebRankInfo	18 Août 2019
Pourquoi mon patron me protège-t-il à propos de la recherche par mot clé?	Demandes d'avis et de conseils sur vos sites	20 Juillet 2019
à propos de la commande site:www.monsite.fr	Référencement Google	22 Juin 2019
Questions à propos d'AMP et du carrousel	Référencement Google	27 Mai 2019
Structure titre pour les Commentaires / A propos de l'auteur / Article similaires	Débuter en référencement	5 Mai 2019
Pourquoi Google ne propose pas la balise titre que je lui indique ?	Problèmes de référencement spécifiques à vos sites	10 Avril 2019
Est-il intéressant de proposer les articles en version PDF ?	Référencement Google	8 Janvier 2019
A propos du diaporama	Problèmes de référencement spécifiques à vos sites	15 Mai 2018