Nouvelle ligne sitemap dans le fichier robots.txt

Idée géniale! Je viens d'ajouter la ligne, on verra si cela fonctionne.
Apparament il faut indiquer l'adresse complete du fichier avec les http://

 

Si on en a plusieurs, j'imagine que c'est ça:

Code:

Sitemap: http://www.mysite.com/sitemap.xml
Sitemap: http://www.mysite.com/dossier/sitemap.xml

 

Quel est l'interet d'avoir plusieurs sitemaps?

 

Moi je ne comprend vraiment pas l'intérêt du sitemap...
Les feed RSS font très bien l'affaire et sont plus standards...
Je ne donne pas 2 ans à ce format.

 

Ces stats peu communes sont liées au fait que j'ai pas mal bossé pour être assez bien placé sur tous les moteurs.
Et j'utilise le sitemap!

 

Pas le choix mais je pense que ce format n'avait pas besoin d'exister.

 

En tout cas bien pratique...

 

Bonjour,

Je cherche à savoir ce qu'est un "SiteMap", comment cela se créé, etc...

Existe-t-il déjà un post concernant cela ?

Merci d'avance.

 

Et mis en plae dans la foulée.

Au pire rien de plus
Au mieux, une meilleure indexation du site :-D

 

Regarde Yahoo! qui prend en charge les flux RSS pour faire la même chose.
Je pense que les autres moteurs suivront et que le sitemap disparaitra ce qui me semble le plus logique, en plus la détection du RSS peut se faire automatiquement.

Ceci-dit, je n'ai jamais constaté de différence d'indexation avec ou sans sitemap...

 

Ben pourquoi pas ? Si on en a un statique et un dynamique appartenant à un autre répertoire ?

t'as pas d'autres questions de ce genre ? lol

 

Attention, je ne mets pas en cause le principe mais le fait qu'on pourrait très bien faire la même chose avec un flux RSS, ça éviterait de multiplier les fichiers destinés aux bots...

 

sitemap.asp ? je peux le passer dans le fichier robots.txt ?

J'ai un sitemap dynamique, enregistré sous google via l'url sitemap.asp et google s'en sort bien... probleme, est-ce que dans le robots.txt, je peux mettre une ligne avec :
Sitemap: http://www.example.com/sitemap.asp

Les moteurs vont-il accepter que le sitemap soit générer par l'appel de cet apge (comme le fait google à ce jour) ? à votre avis ?

 

extension php

J'ai ajouté la ligne dans mon robots.txt,
sitmap: http://example.com/dossier/monsite_sitemap.php

Pensez-vous que l'extension php pose un problème ?
Merci

 

Le sitemap a des info que le rss n'a pas et vice-versa.
Le rss te donne un aperçu d'un contenu et son adresse avec une date de création.
Le sitemap te donne une adresse sans contenu avec une période d'actualisation


Dans tous les cas, si on utilisait les rss, il faudrait faire un rss specifique. Avec comme seul info l'url de la page. Et comme info, la periodicité de l'actualisation de la page.
Il faudrait aussi pouvoir indiquer que tu as un flux rss tout en indiquant qu'il est sans contenu.

 

Pour créér ton sitemap :
http://www.xml-sitemaps.com/

 

+1 :?

 

Pareil :
"robots.txt file does not appear to be valid"

 

Re: extension php

En aucun cas l'extension php pose un problème tant que ton fichier est en xml à l'intérieur. Le fait de générer un sitemap à la volée ne gêne en rien pour les moteurs de recherche, ils l'enregistrent comme si c'était un fichier statique (ce qui est bien dommage : il faut pinguer yahoo à chaque modification ...[si quelqu'un sait comment faire j'aimerais bien savoir, je me connecte dans le siteexplorer et je fais un resubmit du sitemap pour le moment])

 

Y a-t-il un outil pratique et facile pour faire un sitemap dynamique?

 

GG indexe grâce à lui des pages d'un de mes sites qui avaient plus de 4 ans et qu'il ignorait jusqu'alors. :wink:

 

Le mieux est d'utiliser tes connaissances en PHP, si c'est pour indexer des pages web existantes (c'est à dire visible en se connectant en ftp), utilise les fonctions ftp de php (filemtime [pour savoir la date de modification du fichier par exemple])
Sinon, si les pages sont de l'url rewriting, utilise la base de données ou sont stockées tes pages. Je pense qu'il est facile de créer le sitemap.

Pour ceux qui veulent le header php :

Code:

<?php
	header("content-type: application/xml");
	echo '<'.'?xml version="1.0" encoding="ISO-8859-1"?'.'>
	<urlset xmlns="https://www.google.com/schemas/sitemap/0.84">
	';
?>

 

Re: extension php

D'ailleurs, avec ce nouveau système du robots.txt il n'y a plus besoin de pinger ?
Je suis pas sûr d'avoir tout saisi :S.

 

Bah normalement...
Mais sérieusement, vous constatez des différences avec l'utilisation du sitemap?

 

Et il suffit d'ajouter tous les "bons" <urlset .......>
Hum hum.
Et notre bon vieux pingomatic, ça doit suffire après tout.

 

Oui, je pense que ça permettrait de ne plus pinguer mais apparemment c'est pas encore très bien en place au niveaux des différents moteurs, il vaut mieux patienter plutôt que de faire redescendre son positionnement à cause d'une erreur du fichier robots ...

Je soumets mon sitemap avec xmlns="[...]google[...]" sur google et yahoo : aucun problème sur la validité.

 

Aucune sauf si les liens qui composent ton site sont mal foutus et que les pages sont mal linkees entres elles

 

Je m'auto site, vu que tout le monde à zappé :lol:

Et je précise que mes pages sont bien écrite et les url normale. :wink:

 

Alors ? ça marche ou bien ? :?

Sinon pour la balise <urlset> du sitemap, faut il ajouter cette ligne pour que les 3 moteurs prennent en considération le sitemap en commun ?

Code:

xmlns="http://www.sitemaps.org/schemas/sitemap/0.9

 

L'interview vocale pour ceux qui comprennent l'anglais :
http://videos.webpronews.com/2007/04/12 ... -and-rand/

 

Je suis une bille en Anglais ! :lol:

Merci, il est vrai qu'il est encore trop tôt pour le dire...
Sinon en ce qui concerne ma question sur la balise <urlset> l'ajout de l'url (sitemaps.org) est à indiquer ou pas ? :?

 

Merci ;-)

edit : au détriment de celle-ci alors ? :

Code:

xmlns="https://www.google.com/schemas/sitemap/0.84"

 

Merci, c'est chose faite ! Bon bâ attendons de voir tout ça !

 

Je ne comprends pas bien toute la discussion.
- Pour mes sites, j'utilise systématiquement une sitemap parce qu'elle facilite la vie des moteurs de recherche et que c'est donc mon intérêt
- Initialement, cela ne marchait qu'avec Google et il faut passer par les outils (qui, cela dit, présente aussi des tas de choses utiles) et par la 'validation de propriété du site'.
- Ensuite Yahoo s'y est mis aussi, là encore avec validation de propriété
- Donc, tout cela prend du temps
- Et maintenant, on me dit que je peux me simplifier la vie simplement en rajoutant une ligne dans robots.txt. Il faudrait vraiment que je sois maso pour refuser cette simplification qui m'aidera auprès de Google et Yahoo PLUS LES AUTRES que je n'avais pas encore attaqués: MSN, Ask... et je ne doute pas que d'autres s'y mettent par la suite.
- Vérifiez bien toutes les information: il ne faut en principe mettre qu'UNE SEULE ligne dans le robots.txt. MAIS elle peut donner l'adresse d'un index qui contiendrait lui-même l'adresse de plusieurs maps.
- POURQUOI XML? Si vous ne voulez pas vous prendre la tête avec les sitemaps en XML... faites-les en txt, il suffit de mettre les adresses http://* une par ligne, FICHIER EN UTF-8. Moi, j'utilise tout bêtement Xenu, et j'ai ma map txt en un rien de temps...

 

Tu peux utiliser Yooda Map
http://www.yooda.com/outils_referencement/Yooda_map.php

A la fin, vérifie qu'il a bien inscrit toutes tes URL, car il omet celles qu'il ne peut pas atteindre en suivant les liens (javascript par exemple)... comme un robot en fait...

Il est très facile ensuite de les rajouter manuellement, en prenant modèle sur les autres lignes. Un peu long, s'il y en a beaucoup, mais bon !!! :wink:

 

Pour ma part, j'ai ajouté la ligne avec Plan Sitemap : comme présenté http://www.sitemaps.org/fr/protocol.html#submit_robots et je n'ai pas d'erreur...

 

Idem, mis à part que sur le compte sitemap de Google, il nous dit ne pas comprendre cette syntaxe, bon pas grave, la mise à jour ne doit pas être en synchro ! Tant que ça marche

edit : Tient c'est marrant la syntaxe n'est pas la même ? :
http://www.sitemaps.org/protocol.html#submit_robots

 

Oui normal, yen a un français et l'autre en anglais...
Dans cette URL : http://www.sitemaps.org/fr/protocol.html#submit_robots , on voit "FR", dans l'autre non...

D'où la différence
sitemap_location
emplacement_sitemap

Mais au final, comme c'est ton URL que tu mets, cela n'a pas grande importance ! :wink:

 

Oups ! Autant pour moi ! J'avais pas vu la ligne:

Sitemap
ou
Plan Sitemap

Alors lequel choisir ???
Ici on préconise Sitemap :
http://googlewebmastercentral.blogspot.com/2007/04/whats-new-with-sitemapsorg.html

 

C'est pas une erreur de traduction :lol: ?

 

Je crois que tu as mis dans le mille wullon !
Traduction -> Trahison ! :lol:

 

Re: extension php

Bonjour !

Dans ce cas je pense que si mon sitemap en xml est accessible par une url du genre -www.mon-site.com/index.php?id=130 cela ne pose pas de probleme ? (mon sitemap est généré automatiquement)
De plus, une autre question : si je fais une redirection pour que mon sitemap soit accesible via l'adresse -www.mon-site.com/sitemap.xml est ce que cela est genant pour google si l'adresse du sitemap que je lui fournit est celle de la redirection ?

 

D'accord, merci :wink:

 

Euh.. en fait, ce serait une bonne idée que toutes les pages soient accessibles avec des liens "en dur" (plus précisément: ni en flash, ni en javascript). Si non, on perd autant d'occasions de simplifier la vie des moteurs.
D'accord, des liens en javascript ou en flash c'est plus classe... mais pourquoi ne pas les "doubler" par des liens en dur?

 

Bonjour !

Quant à moi, j'ai l'habitude lui soumettre un sitemap index sous le format .gz.
Pensez-vous que cela posera un problème si je rajoute la ligne d'appel avec ce fomat dans le fichier robots.txt ?

 

Merci Salva,

J'avais justement tenté l'expérience et Google vient de passer ==> pas de problème

 

syntaxe précise

Bonjour,
est-il important de ne pas mettre d'espace entre "Sitemap" et les 2 points ?
question bête mais bon..
si oui je vais refaire mes robots.txt !

Merci de votre réponse

 

finalement on met quoi ?
Sitemap: http://www.mon_site.com/sitemap.xml