Nouvelle ligne sitemap dans le fichier robots.txt

WRInaute accro
Jusqu'à présent, une fois le fichier XML sitemap créé, il fallait le soumettre à l'ensemble des moteurs pour que ceux-ci le prennent en compte. Par exemple, pour Google, il fallait se connecter aux outils pour webmaster afin d'indiquer l'url du fichier sitemap. Désormais, les moteurs se sont mis d'accord pour une nouvelle ligne à insérer sur le fichier robots.txt pour indiquer l'emplacement de ce fichier.

Il suffit d'insérer la ligne suivante :
Sitemap: <URL du fichier sitemap>


Source
 
WRInaute accro
Si on en a plusieurs, j'imagine que c'est ça:

Code:
Sitemap: http://www.mysite.com/sitemap.xml
Sitemap: http://www.mysite.com/dossier/sitemap.xml
 
WRInaute accro
Moi je ne comprend vraiment pas l'intérêt du sitemap...
Les feed RSS font très bien l'affaire et sont plus standards...
Je ne donne pas 2 ans à ce format.
 
WRInaute accro
Audiofeeline a dit:
Moi je ne comprend vraiment pas l'intérêt du sitemap...
Les feed RSS font très bien l'affaire et sont plus standards...
Je ne donne pas 2 ans à ce format.
Ces stats (que je trouve peu communes) seraient-elles liées au fait que tu n'utilises pas de sitemap?
 
WRInaute accro
Ces stats peu communes sont liées au fait que j'ai pas mal bossé pour être assez bien placé sur tous les moteurs.
Et j'utilise le sitemap! :)
 
WRInaute accro
Audiofeeline a dit:
Ces stats peu communes sont liées au fait que j'ai pas mal bossé pour être assez bien placé sur tous les moteurs.
Et j'utilise le sitemap! :)
Je ne te suis plus trop: tu sembles dénigrer le sitemap pourtant tu l'utilises 8O
 
WRInaute accro
Audiofeeline a dit:
Pas le choix mais je pense que ce format n'avait pas besoin d'exister.
Les principaux moteurs de recherche ne semblent pas de ton avis ( moi non plus :) ): pour une fois qu’il y a consensus sur un format :wink:
 
WRInaute occasionnel
Bonjour,

Je cherche à savoir ce qu'est un "SiteMap", comment cela se créé, etc...

Existe-t-il déjà un post concernant cela ?

Merci d'avance.
 
WRInaute accro
salva a dit:
Les principaux moteurs de recherche ne semblent pas de ton avis ( moi non plus :) ): pour une fois qu’il y a consensus sur un format :wink:
Regarde Yahoo! qui prend en charge les flux RSS pour faire la même chose.
Je pense que les autres moteurs suivront et que le sitemap disparaitra ce qui me semble le plus logique, en plus la détection du RSS peut se faire automatiquement.

Ceci-dit, je n'ai jamais constaté de différence d'indexation avec ou sans sitemap...
 
WRInaute accro
Audiofeeline a dit:
salva a dit:
Les principaux moteurs de recherche ne semblent pas de ton avis ( moi non plus :) ): pour une fois qu’il y a consensus sur un format :wink:
Regarde Yahoo! qui prend en charge les flux RSS pour faire la même chose.
Je pense que les autres moteurs suivront et que le sitemap disparaitra ce qui me semble le plus logique, en plus la détection du RSS peut se faire automatiquement.

Ceci-dit, je n'ai jamais constaté de différence d'indexation avec ou sans sitemap...
C’est triste pour Yahoo mais s’il était encore une référence ça se saurait :oops:

La détection automatique est également transposable pour le sitemap
 
WRInaute accro
latitude1661 a dit:
Quel est l'interet d'avoir plusieurs sitemaps?

Ben pourquoi pas ? Si on en a un statique et un dynamique appartenant à un autre répertoire ?

t'as pas d'autres questions de ce genre ? lol
 
WRInaute accro
Attention, je ne mets pas en cause le principe mais le fait qu'on pourrait très bien faire la même chose avec un flux RSS, ça éviterait de multiplier les fichiers destinés aux bots...
 
WRInaute discret
sitemap.asp ? je peux le passer dans le fichier robots.txt ?

J'ai un sitemap dynamique, enregistré sous google via l'url sitemap.asp et google s'en sort bien... probleme, est-ce que dans le robots.txt, je peux mettre une ligne avec :
Sitemap: http://www.example.com/sitemap.asp

Les moteurs vont-il accepter que le sitemap soit générer par l'appel de cet apge (comme le fait google à ce jour) ? à votre avis ?
 
WRInaute accro
Re: sitemap.asp ? je peux le passer dans le fichier robots.t

J'imagine que oui. Fais le test.

Peux-tu donner l'url du sitemap histoire de voir comment un navigateur l'affiche?
 
WRInaute passionné
Audiofeeline a dit:
salva a dit:
Les principaux moteurs de recherche ne semblent pas de ton avis ( moi non plus :) ): pour une fois qu’il y a consensus sur un format :wink:
Regarde Yahoo! qui prend en charge les flux RSS pour faire la même chose.
Je pense que les autres moteurs suivront et que le sitemap disparaitra ce qui me semble le plus logique, en plus la détection du RSS peut se faire automatiquement.

Ceci-dit, je n'ai jamais constaté de différence d'indexation avec ou sans sitemap...

Le sitemap a des info que le rss n'a pas et vice-versa.
Le rss te donne un aperçu d'un contenu et son adresse avec une date de création.
Le sitemap te donne une adresse sans contenu avec une période d'actualisation


Dans tous les cas, si on utilisait les rss, il faudrait faire un rss specifique. Avec comme seul info l'url de la page. Et comme info, la periodicité de l'actualisation de la page.
Il faudrait aussi pouvoir indiquer que tu as un flux rss tout en indiquant qu'il est sans contenu.
 
WRInaute accro
L’analyse de mon robot.txt dans "outils pour webmasters" après ajout de la ligne "sitemap"

Google m'affiche "syntaxe non comprise". 8O

Allez comprendre...
 
WRInaute discret
Re: extension php

ManaZen a dit:
J'ai ajouté la ligne dans mon robots.txt,
sitmap: http://example.com/dossier/monsite_sitemap.php

Pensez-vous que l'extension php pose un problème ?
Merci

En aucun cas l'extension php pose un problème tant que ton fichier est en xml à l'intérieur. Le fait de générer un sitemap à la volée ne gêne en rien pour les moteurs de recherche, ils l'enregistrent comme si c'était un fichier statique (ce qui est bien dommage : il faut pinguer yahoo à chaque modification ...[si quelqu'un sait comment faire j'aimerais bien savoir, je me connecte dans le siteexplorer et je fais un resubmit du sitemap pour le moment])
 
WRInaute passionné
Audiofeeline a dit:
Ceci-dit, je n'ai jamais constaté de différence d'indexation avec ou sans sitemap...

GG indexe grâce à lui des pages d'un de mes sites qui avaient plus de 4 ans et qu'il ignorait jusqu'alors. :wink:
 
WRInaute discret
Bellegarde-webb a dit:
Y a-t-il un outil pratique et facile pour faire un sitemap dynamique?

:)

Le mieux est d'utiliser tes connaissances en PHP, si c'est pour indexer des pages web existantes (c'est à dire visible en se connectant en ftp), utilise les fonctions ftp de php (filemtime [pour savoir la date de modification du fichier par exemple])
Sinon, si les pages sont de l'url rewriting, utilise la base de données ou sont stockées tes pages. Je pense qu'il est facile de créer le sitemap.

Pour ceux qui veulent le header php :
Code:
<?php
	header("content-type: application/xml");
	echo '<'.'?xml version="1.0" encoding="ISO-8859-1"?'.'>
	<urlset xmlns="https://www.google.com/schemas/sitemap/0.84">
	';
?>
 
WRInaute accro
Re: extension php

ddpetit a dit:
En aucun cas l'extension php pose un problème tant que ton fichier est en xml à l'intérieur. Le fait de générer un sitemap à la volée ne gêne en rien pour les moteurs de recherche, ils l'enregistrent comme si c'était un fichier statique (ce qui est bien dommage : il faut pinguer yahoo à chaque modification ...[si quelqu'un sait comment faire j'aimerais bien savoir, je me connecte dans le siteexplorer et je fais un resubmit du sitemap pour le moment])

D'ailleurs, avec ce nouveau système du robots.txt il n'y a plus besoin de pinger ?
Je suis pas sûr d'avoir tout saisi :S.
 
WRInaute impliqué
ddpetit a dit:
Pour ceux qui veulent le header php :
Code:
<?php
	header("content-type: application/xml");
	echo '<'.'?xml version="1.0" encoding="ISO-8859-1"?'.'>
	<urlset xmlns="https://www.google.com/schemas/sitemap/0.84">
	';
?>

Et il suffit d'ajouter tous les "bons" <urlset .......>
Hum hum.
Et notre bon vieux pingomatic, ça doit suffire après tout. :(
 
WRInaute discret
wullon a dit:
ddpetit a dit:
En aucun cas l'extension php pose un problème tant que ton fichier est en xml à l'intérieur. Le fait de générer un sitemap à la volée ne gêne en rien pour les moteurs de recherche, ils l'enregistrent comme si c'était un fichier statique (ce qui est bien dommage : il faut pinguer yahoo à chaque modification ...[si quelqu'un sait comment faire j'aimerais bien savoir, je me connecte dans le siteexplorer et je fais un resubmit du sitemap pour le moment])

D'ailleurs, avec ce nouveau système du robots.txt il n'y a plus besoin de pinger ?
Je suis pas sûr d'avoir tout saisi :S.

Oui, je pense que ça permettrait de ne plus pinguer mais apparemment c'est pas encore très bien en place au niveaux des différents moteurs, il vaut mieux patienter plutôt que de faire redescendre son positionnement à cause d'une erreur du fichier robots ...

Bellegarde-webb a dit:
ddpetit a dit:
Pour ceux qui veulent le header php :
Code:
<?php
	header("content-type: application/xml");
	echo '<'.'?xml version="1.0" encoding="ISO-8859-1"?'.'>
	<urlset xmlns="https://www.google.com/schemas/sitemap/0.84">
	';
?>

Et il suffit d'ajouter tous les "bons" <urlset .......>
Hum hum.
Et notre bon vieux pingomatic, ça doit suffire après tout. :(

Je soumets mon sitemap avec xmlns="[...]google[...]" sur google et yahoo : aucun problème sur la validité.
 
WRInaute impliqué
Audiofeeline a dit:
Bah normalement...
Mais sérieusement, vous constatez des différences avec l'utilisation du sitemap?
Aucune sauf si les liens qui composent ton site sont mal foutus et que les pages sont mal linkees entres elles
 
WRInaute passionné
narayana a dit:
Audiofeeline a dit:
Bah normalement...
Mais sérieusement, vous constatez des différences avec l'utilisation du sitemap?
Aucune sauf si les liens qui composent ton site sont mal foutus et que les pages sont mal linkees entres elles

Je m'auto site, vu que tout le monde à zappé :lol:
Koxin-L a dit:
GG indexe grâce à lui des pages d'un de mes sites qui avaient plus de 4 ans et qu'il ignorait jusqu'alors. :wink:
Et je précise que mes pages sont bien écrite et les url normale. :wink:
 
WRInaute passionné
salva a dit:
L’analyse de mon robot.txt dans "outils pour webmasters" après ajout de la ligne "sitemap", Google m'affiche "syntaxe non comprise". 8O

Allez comprendre...
Alors ? ça marche ou bien ? :?

Sinon pour la balise <urlset> du sitemap, faut il ajouter cette ligne pour que les 3 moteurs prennent en considération le sitemap en commun ?
Code:
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9
 
WRInaute accro
Ce que je peux avancer, depuis que la ligne est rajoutée (et malgré le message "Syntaxe non comprise" concernant le robot.txt dans Outils pour webmaster), en pingant uniquement Google et Yahoo, les trois bots effectuent leur crawl dans la même heure, MSNbot compris sans le pinguer.

Encore trop peu de recul mais mon positionnement sur les trois moteurs est stable.
 
WRInaute passionné
Je suis une bille en Anglais ! :lol:
salva a dit:
david96 a dit:
Alors ? ça marche ou bien ? :?

Sinon pour la balise <urlset> du sitemap, faut il ajouter cette ligne pour que les 3 moteurs prennent en considération le sitemap en commun ?
Code:
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9
Ce que je peux avancer, depuis que la ligne est rajoutée (et malgré le message "Syntaxe non comprise" concernant le robot.txt dans Outils pour webmaster), en pingant uniquement Google et Yahoo, les trois bots effectuent leur crawl dans la même heure, MSNbot compris sans le pinguer.

Encore trop peu de recul mais mon positionnement sur les trois moteurs est stable.
Merci, il est vrai qu'il est encore trop tôt pour le dire...
Sinon en ce qui concerne ma question sur la balise <urlset> l'ajout de l'url (sitemaps.org) est à indiquer ou pas ? :?
 
WRInaute accro
david96 a dit:
Je suis une bille en Anglais ! :lol:
salva a dit:
david96 a dit:
Alors ? ça marche ou bien ? :?

Sinon pour la balise <urlset> du sitemap, faut il ajouter cette ligne pour que les 3 moteurs prennent en considération le sitemap en commun ?
Code:
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9
Ce que je peux avancer, depuis que la ligne est rajoutée (et malgré le message "Syntaxe non comprise" concernant le robot.txt dans Outils pour webmaster), en pingant uniquement Google et Yahoo, les trois bots effectuent leur crawl dans la même heure, MSNbot compris sans le pinguer.

Encore trop peu de recul mais mon positionnement sur les trois moteurs est stable.
Merci, il est vrai qu'il est encore trop tôt pour le dire...
Sinon en ce qui concerne ma question sur la balise <urlset> l'ajout de l'url (sitemaps.org) est à indiquer ou pas ? :?
Affirmatif.

Voici l'exemple donné par sitemap.org
Code:
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <url>
      <loc>http://www.example.com/</loc>
      <lastmod>2005-01-01</lastmod>
      <changefreq>monthly</changefreq>
      <priority>0.8</priority>
   </url>
</urlset>
 
WRInaute passionné
Merci ;-)

edit : au détriment de celle-ci alors ? :
Code:
xmlns="https://www.google.com/schemas/sitemap/0.84"
 
WRInaute accro
david96 a dit:
Merci ;-)

edit : au détriment de celle-ci alors ? :
Code:
xmlns="https://www.google.com/schemas/sitemap/0.84"
Non, en plus du reste: :wink:
Code:
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="https://www.google.com/schemas/sitemap/0.84 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd">
 
Nouveau WRInaute
Je ne comprends pas bien toute la discussion.
- Pour mes sites, j'utilise systématiquement une sitemap parce qu'elle facilite la vie des moteurs de recherche et que c'est donc mon intérêt
- Initialement, cela ne marchait qu'avec Google et il faut passer par les outils (qui, cela dit, présente aussi des tas de choses utiles) et par la 'validation de propriété du site'.
- Ensuite Yahoo s'y est mis aussi, là encore avec validation de propriété
- Donc, tout cela prend du temps
- Et maintenant, on me dit que je peux me simplifier la vie simplement en rajoutant une ligne dans robots.txt. Il faudrait vraiment que je sois maso pour refuser cette simplification qui m'aidera auprès de Google et Yahoo PLUS LES AUTRES que je n'avais pas encore attaqués: MSN, Ask... et je ne doute pas que d'autres s'y mettent par la suite.
- Vérifiez bien toutes les information: il ne faut en principe mettre qu'UNE SEULE ligne dans le robots.txt. MAIS elle peut donner l'adresse d'un index qui contiendrait lui-même l'adresse de plusieurs maps.
- POURQUOI XML? Si vous ne voulez pas vous prendre la tête avec les sitemaps en XML... faites-les en txt, il suffit de mettre les adresses http://* une par ligne, FICHIER EN UTF-8. Moi, j'utilise tout bêtement Xenu, et j'ai ma map txt en un rien de temps...
 
WRInaute discret
Eddydiver a dit:
Bonjour,

Je cherche à savoir ce qu'est un "SiteMap", comment cela se créé, etc...


Merci d'avance.

Tu peux utiliser Yooda Map
http://www.yooda.com/outils_referencement/Yooda_map.php

A la fin, vérifie qu'il a bien inscrit toutes tes URL, car il omet celles qu'il ne peut pas atteindre en suivant les liens (javascript par exemple)... comme un robot en fait...

Il est très facile ensuite de les rajouter manuellement, en prenant modèle sur les autres lignes. Un peu long, s'il y en a beaucoup, mais bon !!! :wink:
 
WRInaute accro
Tout est rentré dans l'ordre ce matin, la ligne "syntaxe non comprise" a disparu.

Google semble enfin reconnaître la syntaxe :)
 
Nouveau WRInaute
Re: extension php

ddpetit a dit:
ManaZen a dit:
J'ai ajouté la ligne dans mon robots.txt,
sitmap: -http://example.com/dossier/monsite_sitemap.php

Pensez-vous que l'extension php pose un problème ?
Merci

En aucun cas l'extension php pose un problème tant que ton fichier est en xml à l'intérieur. Le fait de générer un sitemap à la volée ne gêne en rien pour les moteurs de recherche, ils l'enregistrent comme si c'était un fichier statique (ce qui est bien dommage : il faut pinguer yahoo à chaque modification ...[si quelqu'un sait comment faire j'aimerais bien savoir, je me connecte dans le siteexplorer et je fais un resubmit du sitemap pour le moment])

Bonjour !

Dans ce cas je pense que si mon sitemap en xml est accessible par une url du genre -www.mon-site.com/index.php?id=130 cela ne pose pas de probleme ? (mon sitemap est généré automatiquement)
De plus, une autre question : si je fais une redirection pour que mon sitemap soit accesible via l'adresse -www.mon-site.com/sitemap.xml est ce que cela est genant pour google si l'adresse du sitemap que je lui fournit est celle de la redirection ?
 
WRInaute accro
Re: extension php

NamNam a dit:
Bonjour !

Dans ce cas je pense que si mon sitemap en xml est accessible par une url du genre -www.mon-site.com/index.php?id=130 cela ne pose pas de probleme ? (mon sitemap est généré automatiquement)
De plus, une autre question : si je fais une redirection pour que mon sitemap soit accesible via l'adresse -www.mon-site.com/sitemap.xml est ce que cela est genant pour google si l'adresse du sitemap que je lui fournit est celle de la redirection ?
Si tu rediriges le sitemap sur -www.mon-site.com/sitemap.xml, tu fournies cette même url à Google.
 
Nouveau WRInaute
atbm a dit:
A la fin, vérifie qu'il a bien inscrit toutes tes URL, car il omet celles qu'il ne peut pas atteindre en suivant les liens (javascript par exemple)... comme un robot en fait...

Il est très facile ensuite de les rajouter manuellement, en prenant modèle sur les autres lignes. Un peu long, s'il y en a beaucoup, mais bon !!! :wink:
Euh.. en fait, ce serait une bonne idée que toutes les pages soient accessibles avec des liens "en dur" (plus précisément: ni en flash, ni en javascript). Si non, on perd autant d'occasions de simplifier la vie des moteurs.
D'accord, des liens en javascript ou en flash c'est plus classe... mais pourquoi ne pas les "doubler" par des liens en dur?
 
Nouveau WRInaute
Bonjour !

Quant à moi, j'ai l'habitude lui soumettre un sitemap index sous le format .gz.
Pensez-vous que cela posera un problème si je rajoute la ligne d'appel avec ce fomat dans le fichier robots.txt ?
 
WRInaute accro
hp_angel a dit:
Bonjour !

Quant à moi, j'ai l'habitude lui soumettre un sitemap index sous le format .gz.
Pensez-vous que cela posera un problème si je rajoute la ligne d'appel avec ce fomat dans le fichier robots.txt ?
xml, txt et gz sont des extensions pris en charge.
 
Nouveau WRInaute
syntaxe précise

Bonjour,
est-il important de ne pas mettre d'espace entre "Sitemap" et les 2 points ?
question bête mais bon..
si oui je vais refaire mes robots.txt !

Merci de votre réponse
 
Discussions similaires
Haut