Nouvelle ligne sitemap dans le fichier robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par salva, 11 Avril 2007.

  1. salva
    salva WRInaute accro
    Inscrit:
    16 Avril 2006
    Messages:
    3 577
    J'aime reçus:
    0
    Jusqu'à présent, une fois le fichier XML sitemap créé, il fallait le soumettre à l'ensemble des moteurs pour que ceux-ci le prennent en compte. Par exemple, pour Google, il fallait se connecter aux outils pour webmaster afin d'indiquer l'url du fichier sitemap. Désormais, les moteurs se sont mis d'accord pour une nouvelle ligne à insérer sur le fichier robots.txt pour indiquer l'emplacement de ce fichier.

    Il suffit d'insérer la ligne suivante :
    Sitemap: <URL du fichier sitemap>


    Source
     
  2. latitude1661
    latitude1661 WRInaute discret
    Inscrit:
    25 Mai 2006
    Messages:
    93
    J'aime reçus:
    0
    Idée géniale! Je viens d'ajouter la ligne, on verra si cela fonctionne.
    Apparament il faut indiquer l'adresse complete du fichier avec les http://
     
  3. YoyoS
    YoyoS WRInaute accro
    Inscrit:
    14 Septembre 2006
    Messages:
    3 249
    J'aime reçus:
    0
    Si on en a plusieurs, j'imagine que c'est ça:

    Code:
    Sitemap: http://www.mysite.com/sitemap.xml
    Sitemap: http://www.mysite.com/dossier/sitemap.xml
     
  4. latitude1661
    latitude1661 WRInaute discret
    Inscrit:
    25 Mai 2006
    Messages:
    93
    J'aime reçus:
    0
    Quel est l'interet d'avoir plusieurs sitemaps?
     
  5. Audiofeeline
    Audiofeeline WRInaute accro
    Inscrit:
    20 Octobre 2005
    Messages:
    4 200
    J'aime reçus:
    2
    Moi je ne comprend vraiment pas l'intérêt du sitemap...
    Les feed RSS font très bien l'affaire et sont plus standards...
    Je ne donne pas 2 ans à ce format.
     
  6. salva
    salva WRInaute accro
    Inscrit:
    16 Avril 2006
    Messages:
    3 577
    J'aime reçus:
    0
    Ces stats (que je trouve peu communes) seraient-elles liées au fait que tu n'utilises pas de sitemap?
     
  7. Audiofeeline
    Audiofeeline WRInaute accro
    Inscrit:
    20 Octobre 2005
    Messages:
    4 200
    J'aime reçus:
    2
    Ces stats peu communes sont liées au fait que j'ai pas mal bossé pour être assez bien placé sur tous les moteurs.
    Et j'utilise le sitemap! :)
     
  8. salva
    salva WRInaute accro
    Inscrit:
    16 Avril 2006
    Messages:
    3 577
    J'aime reçus:
    0
    Je ne te suis plus trop: tu sembles dénigrer le sitemap pourtant tu l'utilises 8O
     
  9. Audiofeeline
    Audiofeeline WRInaute accro
    Inscrit:
    20 Octobre 2005
    Messages:
    4 200
    J'aime reçus:
    2
    Pas le choix mais je pense que ce format n'avait pas besoin d'exister.
     
  10. salva
    salva WRInaute accro
    Inscrit:
    16 Avril 2006
    Messages:
    3 577
    J'aime reçus:
    0
    Les principaux moteurs de recherche ne semblent pas de ton avis ( moi non plus :) ): pour une fois qu’il y a consensus sur un format :wink:
     
  11. Boetio
    Boetio WRInaute discret
    Inscrit:
    23 Juin 2006
    Messages:
    124
    J'aime reçus:
    0
    En tout cas bien pratique...
     
  12. Eddydiver
    Eddydiver WRInaute occasionnel
    Inscrit:
    12 Avril 2007
    Messages:
    345
    J'aime reçus:
    0
    Bonjour,

    Je cherche à savoir ce qu'est un "SiteMap", comment cela se créé, etc...

    Existe-t-il déjà un post concernant cela ?

    Merci d'avance.
     
  13. cthierry
    cthierry WRInaute passionné
    Inscrit:
    15 Janvier 2005
    Messages:
    2 192
    J'aime reçus:
    39
    Et mis en plae dans la foulée.

    Au pire rien de plus
    Au mieux, une meilleure indexation du site :-D
     
  14. Audiofeeline
    Audiofeeline WRInaute accro
    Inscrit:
    20 Octobre 2005
    Messages:
    4 200
    J'aime reçus:
    2
    Regarde Yahoo! qui prend en charge les flux RSS pour faire la même chose.
    Je pense que les autres moteurs suivront et que le sitemap disparaitra ce qui me semble le plus logique, en plus la détection du RSS peut se faire automatiquement.

    Ceci-dit, je n'ai jamais constaté de différence d'indexation avec ou sans sitemap...
     
  15. salva
    salva WRInaute accro
    Inscrit:
    16 Avril 2006
    Messages:
    3 577
    J'aime reçus:
    0
    C’est triste pour Yahoo mais s’il était encore une référence ça se saurait :oops:

    La détection automatique est également transposable pour le sitemap
     
  16. YoyoS
    YoyoS WRInaute accro
    Inscrit:
    14 Septembre 2006
    Messages:
    3 249
    J'aime reçus:
    0
    Ben pourquoi pas ? Si on en a un statique et un dynamique appartenant à un autre répertoire ?

    t'as pas d'autres questions de ce genre ? lol
     
  17. Audiofeeline
    Audiofeeline WRInaute accro
    Inscrit:
    20 Octobre 2005
    Messages:
    4 200
    J'aime reçus:
    2
    Attention, je ne mets pas en cause le principe mais le fait qu'on pourrait très bien faire la même chose avec un flux RSS, ça éviterait de multiplier les fichiers destinés aux bots...
     
  18. frenot
    frenot WRInaute discret
    Inscrit:
    10 Décembre 2004
    Messages:
    66
    J'aime reçus:
    0
    sitemap.asp ? je peux le passer dans le fichier robots.txt ?

    J'ai un sitemap dynamique, enregistré sous google via l'url sitemap.asp et google s'en sort bien... probleme, est-ce que dans le robots.txt, je peux mettre une ligne avec :
    Sitemap: http://www.example.com/sitemap.asp

    Les moteurs vont-il accepter que le sitemap soit générer par l'appel de cet apge (comme le fait google à ce jour) ? à votre avis ?
     
  19. salva
    salva WRInaute accro
    Inscrit:
    16 Avril 2006
    Messages:
    3 577
    J'aime reçus:
    0
    Re: sitemap.asp ? je peux le passer dans le fichier robots.t

    J'imagine que oui. Fais le test.

    Peux-tu donner l'url du sitemap histoire de voir comment un navigateur l'affiche?
     
  20. ManaZen
    ManaZen Nouveau WRInaute
    Inscrit:
    25 Septembre 2006
    Messages:
    7
    J'aime reçus:
    0
  21. Suede
    Suede WRInaute passionné
    Inscrit:
    4 Octobre 2002
    Messages:
    2 474
    J'aime reçus:
    0
    Le sitemap a des info que le rss n'a pas et vice-versa.
    Le rss te donne un aperçu d'un contenu et son adresse avec une date de création.
    Le sitemap te donne une adresse sans contenu avec une période d'actualisation


    Dans tous les cas, si on utilisait les rss, il faudrait faire un rss specifique. Avec comme seul info l'url de la page. Et comme info, la periodicité de l'actualisation de la page.
    Il faudrait aussi pouvoir indiquer que tu as un flux rss tout en indiquant qu'il est sans contenu.
     
  22. Bellegarde-webb
    Bellegarde-webb WRInaute passionné
    Inscrit:
    12 Juillet 2006
    Messages:
    1 004
    J'aime reçus:
    0
    Pour créér ton sitemap :
    http://www.xml-sitemaps.com/


    :)
     
  23. salva
    salva WRInaute accro
    Inscrit:
    16 Avril 2006
    Messages:
    3 577
    J'aime reçus:
    0
    L’analyse de mon robot.txt dans "outils pour webmasters" après ajout de la ligne "sitemap"
    [​IMG]

    Google m'affiche "syntaxe non comprise". 8O

    Allez comprendre...
     
  24. pfff
    pfff Nouveau WRInaute
    Inscrit:
    10 Septembre 2006
    Messages:
    44
    J'aime reçus:
    0
    +1 :?
     
  25. Boetio
    Boetio WRInaute discret
    Inscrit:
    23 Juin 2006
    Messages:
    124
    J'aime reçus:
    0
    Pareil :
    "robots.txt file does not appear to be valid"
     
  26. ddpetit
    ddpetit WRInaute discret
    Inscrit:
    22 Février 2006
    Messages:
    65
    J'aime reçus:
    0
    Re: extension php

    En aucun cas l'extension php pose un problème tant que ton fichier est en xml à l'intérieur. Le fait de générer un sitemap à la volée ne gêne en rien pour les moteurs de recherche, ils l'enregistrent comme si c'était un fichier statique (ce qui est bien dommage : il faut pinguer yahoo à chaque modification ...[si quelqu'un sait comment faire j'aimerais bien savoir, je me connecte dans le siteexplorer et je fais un resubmit du sitemap pour le moment])
     
  27. Bellegarde-webb
    Bellegarde-webb WRInaute passionné
    Inscrit:
    12 Juillet 2006
    Messages:
    1 004
    J'aime reçus:
    0
  28. Koxin-L
    Koxin-L WRInaute passionné
    Inscrit:
    29 Mars 2007
    Messages:
    1 541
    J'aime reçus:
    1
    GG indexe grâce à lui des pages d'un de mes sites qui avaient plus de 4 ans et qu'il ignorait jusqu'alors. :wink:
     
  29. ddpetit
    ddpetit WRInaute discret
    Inscrit:
    22 Février 2006
    Messages:
    65
    J'aime reçus:
    0
    Le mieux est d'utiliser tes connaissances en PHP, si c'est pour indexer des pages web existantes (c'est à dire visible en se connectant en ftp), utilise les fonctions ftp de php (filemtime [pour savoir la date de modification du fichier par exemple])
    Sinon, si les pages sont de l'url rewriting, utilise la base de données ou sont stockées tes pages. Je pense qu'il est facile de créer le sitemap.

    Pour ceux qui veulent le header php :
    Code:
    <?php
    	header("content-type: application/xml");
    	echo '<'.'?xml version="1.0" encoding="ISO-8859-1"?'.'>
    	<urlset xmlns="https://www.google.com/schemas/sitemap/0.84">
    	';
    ?>
     
  30. wullon
    wullon WRInaute accro
    Inscrit:
    18 Septembre 2004
    Messages:
    2 811
    J'aime reçus:
    0
    Re: extension php

    D'ailleurs, avec ce nouveau système du robots.txt il n'y a plus besoin de pinger ?
    Je suis pas sûr d'avoir tout saisi :S.
     
  31. Audiofeeline
    Audiofeeline WRInaute accro
    Inscrit:
    20 Octobre 2005
    Messages:
    4 200
    J'aime reçus:
    2
    Bah normalement...
    Mais sérieusement, vous constatez des différences avec l'utilisation du sitemap?
     
  32. Bellegarde-webb
    Bellegarde-webb WRInaute passionné
    Inscrit:
    12 Juillet 2006
    Messages:
    1 004
    J'aime reçus:
    0
    Et il suffit d'ajouter tous les "bons" <urlset .......>
    Hum hum.
    Et notre bon vieux pingomatic, ça doit suffire après tout. :(
     
  33. ddpetit
    ddpetit WRInaute discret
    Inscrit:
    22 Février 2006
    Messages:
    65
    J'aime reçus:
    0
    Oui, je pense que ça permettrait de ne plus pinguer mais apparemment c'est pas encore très bien en place au niveaux des différents moteurs, il vaut mieux patienter plutôt que de faire redescendre son positionnement à cause d'une erreur du fichier robots ...

    Je soumets mon sitemap avec xmlns="[...]google[...]" sur google et yahoo : aucun problème sur la validité.
     
  34. narayana
    narayana WRInaute impliqué
    Inscrit:
    28 Janvier 2005
    Messages:
    730
    J'aime reçus:
    0
    Aucune sauf si les liens qui composent ton site sont mal foutus et que les pages sont mal linkees entres elles
     
  35. Koxin-L
    Koxin-L WRInaute passionné
    Inscrit:
    29 Mars 2007
    Messages:
    1 541
    J'aime reçus:
    1
    Je m'auto site, vu que tout le monde à zappé :lol:
    Et je précise que mes pages sont bien écrite et les url normale. :wink:
     
  36. david96
    david96 WRInaute passionné
    Inscrit:
    28 Août 2005
    Messages:
    1 205
    J'aime reçus:
    0
    Alors ? ça marche ou bien ? :?

    Sinon pour la balise <urlset> du sitemap, faut il ajouter cette ligne pour que les 3 moteurs prennent en considération le sitemap en commun ?
    Code:
    xmlns="http://www.sitemaps.org/schemas/sitemap/0.9
     
  37. salva
    salva WRInaute accro
    Inscrit:
    16 Avril 2006
    Messages:
    3 577
    J'aime reçus:
    0
    Ce que je peux avancer, depuis que la ligne est rajoutée (et malgré le message "Syntaxe non comprise" concernant le robot.txt dans Outils pour webmaster), en pingant uniquement Google et Yahoo, les trois bots effectuent leur crawl dans la même heure, MSNbot compris sans le pinguer.

    Encore trop peu de recul mais mon positionnement sur les trois moteurs est stable.
     
  38. SuperPJ
    SuperPJ WRInaute occasionnel
    Inscrit:
    15 Janvier 2005
    Messages:
    417
    J'aime reçus:
    0
  39. david96
    david96 WRInaute passionné
    Inscrit:
    28 Août 2005
    Messages:
    1 205
    J'aime reçus:
    0
    Je suis une bille en Anglais ! :lol:
    Merci, il est vrai qu'il est encore trop tôt pour le dire...
    Sinon en ce qui concerne ma question sur la balise <urlset> l'ajout de l'url (sitemaps.org) est à indiquer ou pas ? :?
     
  40. salva
    salva WRInaute accro
    Inscrit:
    16 Avril 2006
    Messages:
    3 577
    J'aime reçus:
    0
    Affirmatif.

    Voici l'exemple donné par sitemap.org
    Code:
    <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
       <url>
          <loc>http://www.example.com/</loc>
          <lastmod>2005-01-01</lastmod>
          <changefreq>monthly</changefreq>
          <priority>0.8</priority>
       </url>
    </urlset>
     
  41. david96
    david96 WRInaute passionné
    Inscrit:
    28 Août 2005
    Messages:
    1 205
    J'aime reçus:
    0
    Merci ;-)

    edit : au détriment de celle-ci alors ? :
    Code:
    xmlns="https://www.google.com/schemas/sitemap/0.84"
     
  42. salva
    salva WRInaute accro
    Inscrit:
    16 Avril 2006
    Messages:
    3 577
    J'aime reçus:
    0
    Non, en plus du reste: :wink:
    Code:
    <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="https://www.google.com/schemas/sitemap/0.84 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd">
    
     
  43. david96
    david96 WRInaute passionné
    Inscrit:
    28 Août 2005
    Messages:
    1 205
    J'aime reçus:
    0
    Merci, c'est chose faite ! Bon bâ attendons de voir tout ça ! :D
     
  44. fibo
    fibo Nouveau WRInaute
    Inscrit:
    17 Novembre 2005
    Messages:
    19
    J'aime reçus:
    0
    Je ne comprends pas bien toute la discussion.
    - Pour mes sites, j'utilise systématiquement une sitemap parce qu'elle facilite la vie des moteurs de recherche et que c'est donc mon intérêt
    - Initialement, cela ne marchait qu'avec Google et il faut passer par les outils (qui, cela dit, présente aussi des tas de choses utiles) et par la 'validation de propriété du site'.
    - Ensuite Yahoo s'y est mis aussi, là encore avec validation de propriété
    - Donc, tout cela prend du temps
    - Et maintenant, on me dit que je peux me simplifier la vie simplement en rajoutant une ligne dans robots.txt. Il faudrait vraiment que je sois maso pour refuser cette simplification qui m'aidera auprès de Google et Yahoo PLUS LES AUTRES que je n'avais pas encore attaqués: MSN, Ask... et je ne doute pas que d'autres s'y mettent par la suite.
    - Vérifiez bien toutes les information: il ne faut en principe mettre qu'UNE SEULE ligne dans le robots.txt. MAIS elle peut donner l'adresse d'un index qui contiendrait lui-même l'adresse de plusieurs maps.
    - POURQUOI XML? Si vous ne voulez pas vous prendre la tête avec les sitemaps en XML... faites-les en txt, il suffit de mettre les adresses http://* une par ligne, FICHIER EN UTF-8. Moi, j'utilise tout bêtement Xenu, et j'ai ma map txt en un rien de temps...
     
  45. atbm
    atbm WRInaute discret
    Inscrit:
    7 Février 2005
    Messages:
    163
    J'aime reçus:
    0
    Tu peux utiliser Yooda Map
    http://www.yooda.com/outils_referencement/Yooda_map.php

    A la fin, vérifie qu'il a bien inscrit toutes tes URL, car il omet celles qu'il ne peut pas atteindre en suivant les liens (javascript par exemple)... comme un robot en fait...

    Il est très facile ensuite de les rajouter manuellement, en prenant modèle sur les autres lignes. Un peu long, s'il y en a beaucoup, mais bon !!! :wink:
     
  46. lululelutin
    lululelutin WRInaute discret
    Inscrit:
    26 Juin 2003
    Messages:
    60
    J'aime reçus:
    0
  47. david96
    david96 WRInaute passionné
    Inscrit:
    28 Août 2005
    Messages:
    1 205
    J'aime reçus:
    0
    Idem, mis à part que sur le compte sitemap de Google, il nous dit ne pas comprendre cette syntaxe, bon pas grave, la mise à jour ne doit pas être en synchro ! Tant que ça marche :)

    edit : Tient c'est marrant la syntaxe n'est pas la même ? :
    http://www.sitemaps.org/protocol.html#submit_robots
     
  48. atbm
    atbm WRInaute discret
    Inscrit:
    7 Février 2005
    Messages:
    163
    J'aime reçus:
    0
    Oui normal, yen a un français et l'autre en anglais...
    Dans cette URL : http://www.sitemaps.org/fr/protocol.html#submit_robots , on voit "FR", dans l'autre non...

    D'où la différence
    sitemap_location
    emplacement_sitemap

    Mais au final, comme c'est ton URL que tu mets, cela n'a pas grande importance ! :wink:
     
  49. atbm
    atbm WRInaute discret
    Inscrit:
    7 Février 2005
    Messages:
    163
    J'aime reçus:
    0
  50. wullon
    wullon WRInaute accro
    Inscrit:
    18 Septembre 2004
    Messages:
    2 811
    J'aime reçus:
    0
    C'est pas une erreur de traduction :lol: ?
     
  51. david96
    david96 WRInaute passionné
    Inscrit:
    28 Août 2005
    Messages:
    1 205
    J'aime reçus:
    0
    Je crois que tu as mis dans le mille wullon !
    Traduction -> Trahison ! :lol:
     
  52. salva
    salva WRInaute accro
    Inscrit:
    16 Avril 2006
    Messages:
    3 577
    J'aime reçus:
    0
    Tout est rentré dans l'ordre ce matin, la ligne "syntaxe non comprise" a disparu.

    Google semble enfin reconnaître la syntaxe :)
     
  53. NamNam
    NamNam Nouveau WRInaute
    Inscrit:
    23 Avril 2007
    Messages:
    4
    J'aime reçus:
    0
    Re: extension php

    Bonjour !

    Dans ce cas je pense que si mon sitemap en xml est accessible par une url du genre -www.mon-site.com/index.php?id=130 cela ne pose pas de probleme ? (mon sitemap est généré automatiquement)
    De plus, une autre question : si je fais une redirection pour que mon sitemap soit accesible via l'adresse -www.mon-site.com/sitemap.xml est ce que cela est genant pour google si l'adresse du sitemap que je lui fournit est celle de la redirection ?
     
  54. salva
    salva WRInaute accro
    Inscrit:
    16 Avril 2006
    Messages:
    3 577
    J'aime reçus:
    0
    Re: extension php

    Si tu rediriges le sitemap sur -www.mon-site.com/sitemap.xml, tu fournies cette même url à Google.
     
  55. NamNam
    NamNam Nouveau WRInaute
    Inscrit:
    23 Avril 2007
    Messages:
    4
    J'aime reçus:
    0
    D'accord, merci :wink:
     
  56. fibo
    fibo Nouveau WRInaute
    Inscrit:
    17 Novembre 2005
    Messages:
    19
    J'aime reçus:
    0
    Euh.. en fait, ce serait une bonne idée que toutes les pages soient accessibles avec des liens "en dur" (plus précisément: ni en flash, ni en javascript). Si non, on perd autant d'occasions de simplifier la vie des moteurs.
    D'accord, des liens en javascript ou en flash c'est plus classe... mais pourquoi ne pas les "doubler" par des liens en dur?
     
  57. hp_angel
    hp_angel Nouveau WRInaute
    Inscrit:
    3 Novembre 2006
    Messages:
    40
    J'aime reçus:
    0
    Bonjour !

    Quant à moi, j'ai l'habitude lui soumettre un sitemap index sous le format .gz.
    Pensez-vous que cela posera un problème si je rajoute la ligne d'appel avec ce fomat dans le fichier robots.txt ?
     
  58. salva
    salva WRInaute accro
    Inscrit:
    16 Avril 2006
    Messages:
    3 577
    J'aime reçus:
    0
    xml, txt et gz sont des extensions pris en charge.
     
  59. hp_angel
    hp_angel Nouveau WRInaute
    Inscrit:
    3 Novembre 2006
    Messages:
    40
    J'aime reçus:
    0
    Merci Salva,

    J'avais justement tenté l'expérience et Google vient de passer ==> pas de problème
     
  60. emerit
    emerit Nouveau WRInaute
    Inscrit:
    30 Mai 2007
    Messages:
    1
    J'aime reçus:
    0
    syntaxe précise

    Bonjour,
    est-il important de ne pas mettre d'espace entre "Sitemap" et les 2 points ?
    question bête mais bon..
    si oui je vais refaire mes robots.txt !

    Merci de votre réponse
     
  61. sebcbien_bzh
    sebcbien_bzh Nouveau WRInaute
    Inscrit:
    2 Avril 2007
    Messages:
    40
    J'aime reçus:
    0
  62. salva
    salva WRInaute accro
    Inscrit:
    16 Avril 2006
    Messages:
    3 577
    J'aime reçus:
    0
Chargement...
Similar Threads - Nouvelle ligne sitemap Forum Date
Nouvelle boutique en ligne Demandes d'avis et de conseils sur vos sites 15 Décembre 2015
Merci pour vos avis sur la nouvelle boutique en ligne Demandes d'avis et de conseils sur vos sites 12 Juin 2015
Google+1 en ligne en France, et nouvelle présentation Google : l'entreprise, les sites web, les services 29 Juin 2011
petite nouvelle cherche formation... en ligne Débuter en référencement 18 Juin 2011
Une nouvelle solution de paiement en ligne "made in France" ? Monétisation d'un site web 3 Février 2011
PHP HTML : problème nouvelle ligne Remplacement par "rn" Développement d'un site Web ou d'une appli mobile 20 Septembre 2010
Chute de mes nouveaux visiteurs depuis la mise en ligne d'une nouvelle version ! Problèmes de référencement spécifiques à vos sites 17 Février 2010
Nouvelle méthode SEO méthode américaine Référencement Google 16 Octobre 2019
Nouvelle présentatation des résultats du moteur de recherche google Référencement Google 5 Octobre 2019
Choix nom de domaine pour site secondaire activité Australie (.com.au) et Nouvelle Zélande (.co.nz) Référencement international (langues, pays) 23 Septembre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice