Sitemap.xml

[LionelWRI]

Bonjour,

Grâce à xml-sitemaps.com, j'ai créé un fichier sitemap.xml que j'ai placé à la racine de mon site.

Dans mon fichier robots.txt (à la racine) je l'ai signalé :

User-agent: *
Sitemap: http://monsite.free.fr/sitemap.xml

A chaque recherche sur Google sur "monsite", mon fichiers sitemap.xml apparait dans le référencement…

Comment faire pour qu'il ne monte plus dans les pages de Google lors d'une recherche sur "monsite" ?

 

[WebRankInfo]

1- sauf si ton site est énorme et crée plusieurs pages par jour, tu n'as pas besoin de sitemap
2- ton fichier robots.txt est invalide car il manque une instruction après la 1ère ligne. Tel qu'il est, autant supprimer la 1ère ligne
3- si tu veux déclarer un sitemap, va dans Google Webmaster Tools plutôt que dans ton fichier robots.txt

 

[LionelWRI]

Merci de ton conseil. J'ai donc retiré mon fichier "sitemap.xml" de mon site ainsi que la ligne y faisont référence sur mon fichiers "robots.txt".

ton fichier robots.txt est invalide car il manque une instruction après la 1ère ligne.

Et manque-t-il comme instruction à cette première ligne ? :roll:
J'avais pourtant bien regardé divers sites expliquant ces fichiers "robots.txt"… :?: :idea:

Je viens de rajouter # et l'interdit à deux fichiers :

#
User-agent: *
Disallow: /erreur404.html
Disallow: /travaux.html

et validé, comme tu m'as dit, dans "Google Webmaster Tools".

 

[Drinato]

#

ça tu peux enlever

Disallow: /erreur404.html

et ça aussi

1- sauf si ton site est énorme et crée plusieurs pages par jour, tu n'as pas besoin de sitemap

tu veux dire que pour un site avec plus de 1000 pages c'est pas mal d'en mettre un ?

 

[WebRankInfo]

il faut voir le sitemap comme un moyen d'accélérer le crawl, pas comme un moyen d'assurer que les pages sont crawlées
donc si ton site ne crée pas bcp de pages par jour, ça ne sert à rien
à l'inverse, c'est utile pour améliorer le crawl

je me rappelle avoir travaillé pour un client qui avait un site avec 1 million de NOUVELLES pages chaque jour

 

[Drinato]

donc si ton site ne crée pas bcp de pages par jour, ça ne sert à rien
à l'inverse, c'est utile pour améliorer le crawl

ok merci

je me rappelle avoir travaillé pour un client qui avait un site avec 1 million de NOUVELLES pages chaque jour

cela me fait penser à une discussion animée que j'ai eue récemment sur le sujet, dans le cas ou il y a plusieurs milliers voir millions de pages sur un site il semble intéressant si le site est découpé en catégories de créer 1 sitemap ou flux rss par catégorie (le sitemap semble peut être plus adapté vu le volume). Imaginons 500 catégories avec de 1000 à 50 000 pages par catégories cela ferait donc 500 sitemap dont on met les url dans un fichier, fichier que l'on soumet à GWT

Qu'en penses tu ?

 

[e-kiwi]

il te semble intéressant pour quoi ? dans quel but ?

 

[Drinato]

pour orienter un crawl qui se disperse
c'est à dire un crawl pas ridicule en volume mais parfois pas le plus pertinent quant aux url visitées