Google SiteMaps : comment guider Google dans son site

Discussion dans 'Crawl et indexation Google, sitemaps' créé par vanillefraise, 3 Juin 2005.

  1. vanillefraise
    vanillefraise WRInaute discret
    Inscrit:
    29 Novembre 2002
    Messages:
    213
    J'aime reçus:
    0
  2. foodstyling
    foodstyling WRInaute discret
    Inscrit:
    1 Novembre 2002
    Messages:
    249
    J'aime reçus:
    0
    Je viens de télécharger le script, lu en diagonale. Ca a l'air super(à première vue). J'essaye demain.j'en donnerai des nouvelles
     
  3. vanillefraise
    vanillefraise WRInaute discret
    Inscrit:
    29 Novembre 2002
    Messages:
    213
    J'aime reçus:
    0
    Ce n'est pas le script qui me paraît le plus intéressant, c'est le principe.

    Si je comprends bien, il s'agit de donner à Google des informations sur les différentes sections d'un site, leur importance, leur fréquence de mise à jour, ... sous la forme de fichiers XML, pour aider Googlebot (et les autres robots indexeurs qui reconnaitraient ce protocole) à indexer plus efficacement les contenus, en utilisant moins de ressources.
     
  4. foodstyling
    foodstyling WRInaute discret
    Inscrit:
    1 Novembre 2002
    Messages:
    249
    J'aime reçus:
    0
    En effet, je me suis mal exprimé
     
  5. Phobos
    Phobos WRInaute impliqué
    Inscrit:
    21 Mars 2004
    Messages:
    730
    J'aime reçus:
    0
    Salut, pourrais tu tout résumer fair un screen ou je ne sais pas? je n'arrive pas à afficher ces pages :(
    edit: ah si, ça s'affiche au bout d'un bout de temps ça fait une erreur 502 trois fois sur 4
     
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 657
    J'aime reçus:
    433
    effectivement c'est une mini révolution !
    je ferai un article dès que possible... après le WE quoi ;-)
     
  7. Phobos
    Phobos WRInaute impliqué
    Inscrit:
    21 Mars 2004
    Messages:
    730
    J'aime reçus:
    0
    Fais le plutôt la semaine prochaine, quand ça marchera :lol:

    j'enchaine erreur 502 sur erreur 502, pas moyen :(

    edit: enfin ça marche ! Faut obligatoirement mettre une unique sitemap ? parce que bon un fichier xml généré à partir de 5500 enregistrements sql qui doit faire 7000 lignes c'est un peu lourd :|
     
  8. Vincent_prague
    Vincent_prague WRInaute discret
    Inscrit:
    12 Mars 2005
    Messages:
    209
    J'aime reçus:
    0
    Moi non plus, je n'arrive pas à atteindre le site google. Pourtant d'habitude, google dimensionne correctement ses serveurs... Victimes de leur succès pour une fois! Ca a l'air vachement intéressant en tout cas :)

    J'aime bien le commentaire du responsable de google dans l'interview :
    Google définit les standards, à l'instar de microsoft (mais ici c'est open source). Révélateur de leur position forte :)
     
  9. loletech
    loletech WRInaute discret
    Inscrit:
    3 Avril 2005
    Messages:
    101
    J'aime reçus:
    0
  10. vanillefraise
    vanillefraise WRInaute discret
    Inscrit:
    29 Novembre 2002
    Messages:
    213
    J'aime reçus:
    0
    Petite précision :

    l'outil pour générer les Sitemaps est open-source ( http://sourceforge.net/projects/goog-sitemapgen ) , par contre, le standard que Google définit ( https://www.google.com/webmasters/sitem ... tocol.html ) est distribué sous licence Creative Commons ( http://creativecommons.org/licenses/by-sa/2.0/deed.fr ) , ce qui est un peu différent.
     
  11. oli004
    oli004 WRInaute passionné
    Inscrit:
    5 Janvier 2005
    Messages:
    1 643
    J'aime reçus:
    0
    Je pense surtout qu'un petit tutorial serait extrêmemnt apprecié :oops:
     
  12. rebirth
    rebirth WRInaute impliqué
    Inscrit:
    18 Avril 2004
    Messages:
    737
    J'aime reçus:
    0
    Allez hop, c'est lance !

    On va voir ce que ca donne sur un site recent et lourd en nombre de pages, et qui ne possede pas de plan de site "a la main"....
     
  13. Phobos
    Phobos WRInaute impliqué
    Inscrit:
    21 Mars 2004
    Messages:
    730
    J'aime reçus:
    0
    http://www.forumfr.com/index-sitemap.xml
    On va voir ce que ça donne, j'ai pas utilisé l'outil en python, je l'ai généré en php vu que leur outil n'était pas trop compatible avec l'organisation :)
     
  14. gorgu
    gorgu WRInaute occasionnel
    Inscrit:
    23 Mars 2005
    Messages:
    299
    J'aime reçus:
    0
    pouarf... on va se crawler tout seul maintenant...
    bon, il va falloir faire des jolis scripts php qui gérent tout cela.

    De se que j'ai lu en gros c'est une grande liste de toutes nos pages avec la date de derniére mise à jour en xml...

    Il va donc falloir tenir soit même à jour tout cela surtout si l'on désire conserver ses forums.
     
  15. oli004
    oli004 WRInaute passionné
    Inscrit:
    5 Janvier 2005
    Messages:
    1 643
    J'aime reçus:
    0
    Peut etre que google fera une comparaison de la date en "lastmod" par rapport a celle du fichier qu'il a en memoire, et si les date sont les mêmes alors google ne crawl pas la page
     
  16. phreddpullfer
    phreddpullfer WRInaute discret
    Inscrit:
    7 Février 2005
    Messages:
    89
    J'aime reçus:
    0
    Meme avec l'option de recuperation des url dans les logs ????
     
  17. Phobos
    Phobos WRInaute impliqué
    Inscrit:
    21 Mars 2004
    Messages:
    730
    J'aime reçus:
    0
    oui, notamment car je ne veux pas inclure les urls présentes dans mon robots.txt (nombreuses) ;)
    Là c'est marqué downloaded, ok, donc ça va j'ai pas fais d'erreurs :)
     
  18. rituel
    rituel WRInaute impliqué
    Inscrit:
    15 Mars 2003
    Messages:
    900
    J'aime reçus:
    0
    D'accord avec Gorgu.
    Pour ma part j'ai préparé une règle de rewriting : sitemap.xml -> sitemap.asp
    Du coup quand il va chercher le fichier xml, je leur balance dynamiquement un plan de mon site, et il me prend tout en compte, même les pages logiques.
     
  19. Americas
    Americas WRInaute accro
    Inscrit:
    24 Septembre 2003
    Messages:
    2 586
    J'aime reçus:
    0
    C'est bien ce que je craignais :roll:

    Avec les réécritures... certains vont certainement en profiter pour faire gober au bot n'importe quel map caché et faire indexer des pages "spéciales"... ça promet :?
     
  20. Rackham
    Rackham WRInaute discret
    Inscrit:
    9 Septembre 2004
    Messages:
    162
    J'aime reçus:
    0
    Générateur SiteMap

    Bonjour,

    Je suis intéressé par un autre générateur, je ne peux pas utiliser Python sur mon serveur. Merci d'avance pour un lien vers le script utilisable.
     
  21. rituel
    rituel WRInaute impliqué
    Inscrit:
    15 Mars 2003
    Messages:
    900
    J'aime reçus:
    0
    Americas tu as pas tort dans ce sens, mais à mon avis ils vont faire gaffe là dessus ...
     
  22. gorgu
    gorgu WRInaute occasionnel
    Inscrit:
    23 Mars 2005
    Messages:
    299
    J'aime reçus:
    0
    euh... les logs c'est encore une enorme connerie.... je sais pas a quoi ils pensent en ce moment... j'ai aps l'intention de faire indexer mes backoffices :p
     
  23. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 109
    J'aime reçus:
    279
    Esperons que cela aidera la pertinence du moteur ...
    loletech :lol: :
     
  24. Phix
    Phix WRInaute occasionnel
    Inscrit:
    15 Juin 2004
    Messages:
    334
    J'aime reçus:
    0
    Ca a l'air très intéressant, espèrons qu'on verra apparaître des outils en php pour générer ces sitemaps...
     
  25. gorgu
    gorgu WRInaute occasionnel
    Inscrit:
    23 Mars 2005
    Messages:
    299
    J'aime reçus:
    0
    ben me parait difficile de faire un outil générique pour les sites en php.

    etant donné qu'il faut prendre en compte la date de derniére modification.
     
  26. Phobos
    Phobos WRInaute impliqué
    Inscrit:
    21 Mars 2004
    Messages:
    730
    J'aime reçus:
    0
    cette date n'est même pas obligatoire, mais oui effectivement, dur dur de faire du générique ;)
     
  27. gorgu
    gorgu WRInaute occasionnel
    Inscrit:
    23 Mars 2005
    Messages:
    299
    J'aime reçus:
    0
    va falloir inventer des mini crawler ;)
     
  28. foodstyling
    foodstyling WRInaute discret
    Inscrit:
    1 Novembre 2002
    Messages:
    249
    J'aime reçus:
    0
    N'ayant jamais fait de fichiers xml, je me retrouve avec une "parsing error" dans mon fichier. QQ pourrait-il poster un exemple de fichier Google sitemap afin de pouvoir trouver mon erreur. Je vais quand même mettre les premieères et dernières lignes de mon fichier, fait sur le modèle de celui de Google. Ce sont les points d'interrogations qui m'inquiètent. Merci d'avance.

    Code:
    <?xml version='1.0' encoding='UTF-8'?>
    <urlset xmlns="https://www.google.com/schemas/sitemap/0.84"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="https://www.google.com/schemas/sitemap/0.84
    https://www.google.com/schemas/sitemap/0.84/sitemap.xsd">
    
    <url>
    ??????<loc>http://www.f**dstyling.be/</loc>
    <lastmod>2005-01-01</lastmod>
    <priority>0.8</priority>
    </url>
    <url>
    <loc>http://www.f**dstyling.be/</loc>
    <lastmod>2005-06-04</lastmod>
    ???</url>
    <url>
    <loc>http://www.f**dstyling.be/Cabillaud_aux_jets.html</loc>
    ???</url>
    <url>
    <loc>http://www.f**dstyling.be/Aspergeveloute.html</loc>
    ???</url>
    <url>
    <loc>http://www.f**dstyling.be/Cabillaud_aux_jets.html</loc>
    ???</url>
     <url>
    <loc>http://www.f**dstyling.be/Cabillaud_feves.html</loc>
     ???</url>
     <url>
    <loc>http://www.f**dstyling.be/Chocofram.html</loc>
    ???</url>
    
    
    et les dernières lignes:
      <url>
    <loc>http://www.f**dstyling.be/detailfr.php?recordID=77</loc>
     ???</url>
      <url>
    <loc>http://www.f**dstyling.be/detailfr.php?recordID=78</loc>
     ???</url>
      <url>
    <loc>http://www.f**dstyling.be/detailfr.php?recordID=80</loc>
     ???</url>
      <url>
    <loc>http://www.f**dstyling.be/detailfr.php?recordID=81</loc>
     ???</url>
    </urlset>
     
  29. gorgu
    gorgu WRInaute occasionnel
    Inscrit:
    23 Mars 2005
    Messages:
    299
    J'aime reçus:
    0
    t'as pas la bonne extention t'as du mettre .php ;)
    il faut pas le passer par le moteur php


    je crois que j'ai trouvé une astuce pour créer le fichier simplement à partir de php
    je tente de coder et je vous tiens au courant
     
  30. foodstyling
    foodstyling WRInaute discret
    Inscrit:
    1 Novembre 2002
    Messages:
    249
    J'aime reçus:
    0
    Non je n'ai pas d'extension php. Voici le message d'erreur:

    [/quote]
     
  31. Rackham
    Rackham WRInaute discret
    Inscrit:
    9 Septembre 2004
    Messages:
    162
    J'aime reçus:
    0
    Dans un message précédent Phobos disait avoir écrit quelque chose, suis toujours intéressé.

    Il y a un exemple de script ici
    http://www.iteam5.net/francesco/sitemap_gen/

    Je m'en vais le tester, mais le voici (l'accès au site est très long) :

    Code:
    <%
    ' sitemap_gen.asp
    ' A simple ASP script to automatically produce sitemaps for a webserver, in the Google Sitemap Protocol (GSP)
    ' by Francesco Passantino
    ' www.iteam5.net/francesco/sitemap_gen
    ' v0.1 released 4 june 2005
    '
    ' BSD 2.0 license,
    ' http://www.opensource.org/licenses/bsd-license.php
    
    
    
    'modify this to change website and root folder
    session("server")="http://www.yousite.net"
    vDir = "/blog/"
    
    
    
    MAXURLS_PER_SITEMAP = 50000
    set fso = CreateObject("Scripting.FileSystemObject")
    root = Server.MapPath(vDir) & "\"
    set fold = fso.getFolder(root)
    
    response.ContentType = "text/xml"
    response.write "<?xml version='1.0' encoding='UTF-8'?>"
    response.write "<!-- generator='http://www.iteam5.net/francesco/sitemap_gen'-->"
    response.write "<urlset xmlns='https://www.google.com/schemas/sitemap/0.84'>"
    
    if fold.subfolders.count > 0 then
    for each f in fold.subfolders
    sfoldname = root & f.name & "\"
    fpath = vDir & f.name & "/"
    
    if folderpermission(fpath) then
    set cfold = fso.getFolder(sfoldname)
    if cfold.subfolders.count > 0 or cfold.files.count > 0 then
    for each sf in cfold.subfolders
    sfoldname = root & f.name & "\" & sf.name & "\"
    path = vDir & f.name & "/" & sf.name & "/"
    set sfold = fso.getFolder(sfoldname)
    if sfold.files.count > 0 then
    for each fil in sfold.files
    response.write getfilelink(path, fil)
    next
    end if
    next
    for each fil in cfold.files
    response.write getfilelink(fpath, fil)
    next
    else
    response.Write getfoldlink(cfold, fpath)
    end if
    if session("URLS")=MAXURLS_PER_SITEMAP then exit for
    end if
    next
    end if
    
    if session("URLS")<MAXURLS_PER_SITEMAP then
    for each fil in fold.files
    response.write getfilelink(vDir, fil)
    next
    end if
    
    response.write "</urlset>"
    set fso = nothing
    
    
    Function getfilelink(fold, file)
    If FileExtensionIsBad(file) then Exit Function
    filelmdate=file.dateLastModified
    if month(filelmdate)<10 then filedatem="0"
    if day(filelmdate)<10 then filedated="0"
    
    filedate=year(filelmdate)&"-"&filedatem&month(filelmdate)&"-"&filedated&day(filelmdate)
    getfilelink = "<url><loc>"&server.htmlencode(session("server")&fold&file.name)&"</loc><lastmod>"&filedate&"</lastmod><priority>1.0</priority></url>"
    session("URLS")=session("URLS")+1
    Response.Flush
    End Function
    
    Function Folderpermission(pathName)
    
    'modify this to exclude path
    PathExclusion=Array("/test1/","/test/test2/")
    Folderpermission =True
    for each PathExcluded in PathExclusion
    if ucase(pathName) = ucase(PathExcluded) then
    Folderpermission = False
    exit for
    end if
    next
    End Function
    
    Function FileExtensionIsBad(sFileName)
    Dim sFileExtension, bFileExtensionIsValid, sFileExt
    
    'http://www.googleguide.com/file_type.html
    Extensions = Array("gif","jpg","zip","pdf","ps","html","htm","asp","wk1","wk2","wk3","wk4","wk5","wki","wks","wku","lwp","mw","xls","ppt","doc","wks","wps","wdb","wri","rtf","ans","txt")
    
    if len(trim(sFileName)) = 0 then
    FileExtensionIsBad = true
    Exit Function
    end if
    
    sFileExtension = right(sFileName, len(sFileName) - instrrev(sFileName, "."))
    bFileExtensionIsValid = false 'assume extension is bad
    for each sFileExt in extensions
    if ucase(sFileExt) = ucase(sFileExtension) then
    bFileExtensionIsValid = True
    exit for
    end if
    next
    FileExtensionIsBad = not bFileExtensionIsValid
    End Function
    %>
     
  32. Phobos
    Phobos WRInaute impliqué
    Inscrit:
    21 Mars 2004
    Messages:
    730
    J'aime reçus:
    0
    <loc>http://www.f**dstyling.be/detailfr.php?recordID=77</loc>
    ???</url>
    doit être:
    <loc>http://www.f**dstyling.be/detailfr.php?recordID=77</loc>
    ???</loc>

    ;)

    Rackham, j'ai écris quelque chose, mais c'est absolument pas adaptable.
     
  33. foodstyling
    foodstyling WRInaute discret
    Inscrit:
    1 Novembre 2002
    Messages:
    249
    J'aime reçus:
    0
    Désolé de t'ennuyer encore une fois,Phobos, mais faut-il que je remplace tous les </url> du fichier par des </loc> ?
     
  34. Phobos
    Phobos WRInaute impliqué
    Inscrit:
    21 Mars 2004
    Messages:
    730
    J'aime reçus:
    0
    non bien sûr, seulement les </url> qui viennent juste après les url ;)
     
  35. gorgu
    gorgu WRInaute occasionnel
    Inscrit:
    23 Mars 2005
    Messages:
    299
    J'aime reçus:
    0
  36. foodstyling
    foodstyling WRInaute discret
    Inscrit:
    1 Novembre 2002
    Messages:
    249
    J'aime reçus:
    0
    Au secours Phobos, je crains de n'avoir rien compris. J'ai fait un test de validation et il me retourne un nombre incalculables d'erreures, heureusement toute du même type.Mais je les comprends pas.Que faire?

     
  37. Phobos
    Phobos WRInaute impliqué
    Inscrit:
    21 Mars 2004
    Messages:
    730
    J'aime reçus:
    0
    les ??? sont de trop dans ton fichier, seul l'url doit être entre <loc> et </loc> ;)
     
  38. gorgu
    gorgu WRInaute occasionnel
    Inscrit:
    23 Mars 2005
    Messages:
    299
    J'aime reçus:
    0
    héhé j'ai modiifé mon script, ont peu facilement l'utiliser comme compteur de visites de page :p
     
  39. rituel
    rituel WRInaute impliqué
    Inscrit:
    15 Mars 2003
    Messages:
    900
    J'aime reçus:
    0
    [lien supprimé par cendrillon]
     
  40. oli004
    oli004 WRInaute passionné
    Inscrit:
    5 Janvier 2005
    Messages:
    1 643
    J'aime reçus:
    0
    @gorgu

    En suivant ton lien, j'arrive a la page mais en haut il y avait :

    Warning: ereg(): REG_BADRPT in /home/jouer/sitemap.php on line 5

    Je présume que ce n'est pas souhaité :?
     
  41. vanillefraise
    vanillefraise WRInaute discret
    Inscrit:
    29 Novembre 2002
    Messages:
    213
    J'aime reçus:
    0
    Attention, il faut que le fichier soit encodé en UTF-8 pour que ça marche :

    ( https://www.google.com/webmasters/sitem ... pXMLFormat )

    ...et ton fichier est encodé en ISO-8859-1 :)
     
  42. gorgu
    gorgu WRInaute occasionnel
    Inscrit:
    23 Mars 2005
    Messages:
    299
    J'aime reçus:
    0
    rien de grave ;) j'ai fait un filtre incorrect et je suis allé me plonger devant la tv avant de vérifier ;) rien à voir avec le script de l'article
     
  43. foodstyling
    foodstyling WRInaute discret
    Inscrit:
    1 Novembre 2002
    Messages:
    249
    J'aime reçus:
    0
    Merci Phobos, je me servais d'un éditeur texte plutôt buggé. Avec unr version plus récente, aucun problème.
     
  44. sky
    sky WRInaute discret
    Inscrit:
    3 Mars 2003
    Messages:
    229
    J'aime reçus:
    0
    Slt,
    Gorgu, sympa ton idée je trouve. Mais, pour ceux qui peuvent avoir accès au tache cron, il serait peut être mieux de regénérer le fichier tous les xx heures ou jours ?

    Je le test en ce moment sous ce principe.

    Si ça interesse, voici le script un peut modifié (juste la création du fichier)
    Code:
    <?php
    //connexion mysql
    
    $toutXml='';
    $toutXml.="<?xml version=\"1.0\" encoding=\"UTF-8\"?>
    <urlset xmlns=\"https://www.google.com/schemas/sitemap/0.84\">
    ";
    
    $liste= mysql_query("SELECT url,date FROM `sitemap` order by id limit 0,50000");
    while(list($a,$b) = mysql_fetch_array($liste))
    {
      $toutXml.=
      "<url>
          <loc>$a</loc>
          <lastmod>$b</lastmod>
       </url>
    ";
    
    }
    
    $toutXml.="</urlset>";
    
    mysql_close;
    
    $fp = fopen("sitemap.xml", "w+");
    fwrite($fp, $toutXml);
    fclose($fp);
    ?>
    Merci en tout cas ;)

    Sky
     
  45. ocabanon
    ocabanon Nouveau WRInaute
    Inscrit:
    31 Mars 2005
    Messages:
    4
    J'aime reçus:
    0
  46. gorgu
    gorgu WRInaute occasionnel
    Inscrit:
    23 Mars 2005
    Messages:
    299
    J'aime reçus:
    0
    oui j'utilises cron mais c'est pas donné à tout le monde :p
     
  47. sky
    sky WRInaute discret
    Inscrit:
    3 Mars 2003
    Messages:
    229
    J'aime reçus:
    0
    Au faite, en me penchant plus sur la syntaxe possible du fichier xml, on voi que l'on peut donner une priorité aux page et une heure plus présise.
    Certains l'ont essayer ?
     
  48. kjbstar
    kjbstar Nouveau WRInaute
    Inscrit:
    18 Février 2004
    Messages:
    12
    J'aime reçus:
    0
    Heu, Gorgu, j'avoue que là je comprend pas trop mon erreur :mrgreen:
    En .php, ton script affiche tout bien...Dans le code source ! Donc inutile...
    En .xml , j'ai le code php qui est afifché en dur, il n est pas interpreté.
    Merci !
     
  49. Ohax
    Ohax WRInaute accro
    Inscrit:
    5 Juillet 2004
    Messages:
    4 920
    J'aime reçus:
    0
    il existe un mod qui fait automatiquemment ça pour phpbb ?

    merci
     
  50. Ohax
    Ohax WRInaute accro
    Inscrit:
    5 Juillet 2004
    Messages:
    4 920
    J'aime reçus:
    0
    J'ai dit une bétise ? ^^
     
  51. kjbstar
    kjbstar Nouveau WRInaute
    Inscrit:
    18 Février 2004
    Messages:
    12
    J'aime reçus:
    0
    Faut croire ;D
    Bah c est surtout que tu demandes un mod qui doit etre assez long à faire moins de 4 jours après la sortie du SiteMap...

    Sinon moi content, il m'a suffit de mater Le Retour du Jedi pour apres résoudre mon probleme en 1 essai ^^
    Par contre, je m'y connais très peu en xml, c'est grave pour google si l'extension est en php ?
     
  52. gorgu
    gorgu WRInaute occasionnel
    Inscrit:
    23 Mars 2005
    Messages:
    299
    J'aime reçus:
    0
    normal... en fait ce fichier n'est pas là pour donner à google un fichier automatiquement. Je penses qu'il faut "valider" un peu tout cela avant de le jeter en pature (c'est un code made in 10 minutes)

    l'idée est donc de lancer la page php dans ton coin. afficher source. Ouvrir note pad , copié collé :)

    et ensuite tu place ce fichier .xml sur ton serveur.

    Une telle requête permettrait trop facilement de mettre ton serveur à plat.
     
  53. a.nonyme4ever
    a.nonyme4ever WRInaute occasionnel
    Inscrit:
    20 Février 2004
    Messages:
    371
    J'aime reçus:
    0
    Si tu adaptes ça au systeme d'archives de WRI ça doit être faisable non ?
     
  54. Molenda
    Molenda Nouveau WRInaute
    Inscrit:
    30 Mai 2005
    Messages:
    1
    J'aime reçus:
    0
    Bonjour,
    Peut tu me dire à qui s'adresser pour installer sur mon site le sitemapgenerator ? Je suis complétement dépassé par cette chose ?

    F.M.
     
  55. JPhi
    JPhi Nouveau WRInaute
    Inscrit:
    27 Juin 2004
    Messages:
    16
    J'aime reçus:
    0
    Il faut que tu ais accès à linux avec python d'installé ou alors un windows avec python ...
    Ensuite ça dépend de quelle source tu utilises pour générer ton sitemap (log httpd,txt, ou répertoire)
    Si tu as un accès à tout ça sur ton serveur tu fais ton fichier config.xml avec tes règles et tu lances :
    python sitemap_gen.py --config=config.xml
    Et tu te retrouves avec un joli sitemap.xml.gz :)
    Ensuite tu le places à un endroit sur ton site et tu indiques à google où il se trouve comme indiqué sur la page sur le sitemap.

    Ce qui me fait marrer c'est la précision avec laquelle il génère les priorités :
    <priority>0.00138312586445</priority>
    :lol:

    Quelqu'un a une idée s'il ya une taille maximum du site map ?
    Apres avoir utilisé le sitemap_gen je comprends maintenant l'intéret du .gz :D
     
  56. sky
    sky WRInaute discret
    Inscrit:
    3 Mars 2003
    Messages:
    229
    J'aime reçus:
    0
    Quelqu'un a une idée s'il ya une taille maximum du site map ? >
    50 000 liens ou un fichier de 10mo
     
  57. hedonism
    hedonism WRInaute discret
    Inscrit:
    29 Novembre 2004
    Messages:
    162
    J'aime reçus:
    0
    Tu sousestimes la communauté phpBB
    http://www.phpbb.com/phpBB/viewtopic.php?t=296051
     
  58. chmouc
    chmouc WRInaute discret
    Inscrit:
    3 Octobre 2003
    Messages:
    234
    J'aime reçus:
    0
    Oui c'était pas super compliqué mais je pense que ça prend pas en compte l'url rewriting.
     
  59. gorgu
    gorgu WRInaute occasionnel
    Inscrit:
    23 Mars 2005
    Messages:
    299
    J'aime reçus:
    0
    pour gziper son sitemap avec mon petit script (je ne le mets aps dans mon article car il faut être conscient des soucis éventuels)
    Code:
    <?
    $html="";
    function cache_write($file,$html, $ext='.xml.gz')
    {
    	$html=gzencode($html, 9);
    	unlink($file.$ext);
        if($fp=fopen($file.$ext,'a'))
        {
        fseek($fp,0);
        fputs($fp,$html);
        fclose($fp);
        }
    	echo"ok";
    }
    // connectez vous avec votre include preféré
    $html.="<?xml version=\"1.0\" encoding=\"UTF-8\" ?>
    <urlset xmlns=\"https://www.google.com/schemas/sitemap/0.84\">
    ";
    $liste= mysql_query("SELECT url,date FROM `sitemap` order by id limit 0,50000");
    while(list($a,$b) = mysql_fetch_array($liste))
    {
    $html.="<url>
     <loc>$a</loc>
     <lastmod>$b</lastmod>
    </url>
    ";
    }
    $html.="</urlset>";
    // déconnectez vous avec votre include preféré
    cache_write('repertoireouvouspouvezecrire/sitemap',$html);
    ?>
     
  60. kjbstar
    kjbstar Nouveau WRInaute
    Inscrit:
    18 Février 2004
    Messages:
    12
    J'aime reçus:
    0
    En meme temps, j ai dit "doit etre", donc j etais pas affirmatif :mrgreen:
    Quoiqu'il en soit, quelle rapidité :O
     
  61. tangui
    tangui WRInaute impliqué
    Inscrit:
    10 Février 2005
    Messages:
    594
    J'aime reçus:
    0
    On dirait que Google a mis en place ce système en vue de son TrustRank, étant donné que la fréquence des MAJ va etre un critère important pour la TR (meme si c'est déjà le cas). Ce googleSiteMaps va faciliter le travail aux robots...
     
  62. gorgu
    gorgu WRInaute occasionnel
    Inscrit:
    23 Mars 2005
    Messages:
    299
    J'aime reçus:
    0
    je suis pas persuadé (loin de là en fait ) que l'a fréquence de MAJ d'une page soit une gage de qualité .

    d'un site surement d'une page moins.

    une page une fois rédigée est rédigée...
     
  63. kjbstar
    kjbstar Nouveau WRInaute
    Inscrit:
    18 Février 2004
    Messages:
    12
    J'aime reçus:
    0
    Ca peut être aussi un moyen rapide et simple de faire connaitre à google l'existence d'un site sans mettre de BL "abusifs" ou que ce soit.

    Je viens de commencer un test, j'ai fini un site hier, referencé seulement sur 4 annuaires à trafic, sans lien en dur, mal indexés (site x...).
    Par contre, j'ai generé un sitemap de ce site, l'ai soumit il y a 6 heures, et une heure apres Google a téléchargé le sitemap.

    Je verrais bien d'içi samedi si ce site sera indexé ou non.
     
  64. rituel
    rituel WRInaute impliqué
    Inscrit:
    15 Mars 2003
    Messages:
    900
    J'aime reçus:
    0
    Encore d'accord avec Gorgu, cela na rien à voir avec le TR.
     
  65. orvinfait
    orvinfait WRInaute discret
    Inscrit:
    3 Décembre 2004
    Messages:
    120
    J'aime reçus:
    0
    Je viens de mettre en ligne un script en PHP créant automatiquement des fichiers sitmap.xml et un fichier sitmap_index.xml. Ce script peut être utilisé par des sites ayant des dizaines de milliers de pages et des sous-répertoires sur trois niveaux. Des fichiers ou des répertoires peuvent être exclus de l'indexation.
    Pour accéder à ce script http://www.orvinfait.fr/scripts_web_performant.html
     
  66. gorgu
    gorgu WRInaute occasionnel
    Inscrit:
    23 Mars 2005
    Messages:
    299
    J'aime reçus:
    0
    j'ai absolument rien compris au fonctionnement du teins ... desolé :)
    une petit page d'explication serait un plus :D
     
  67. orvinfait
    orvinfait WRInaute discret
    Inscrit:
    3 Décembre 2004
    Messages:
    120
    J'aime reçus:
    0
    J'ai pourtant mis quelques explications dans le script mais ce qui me parait évident ne l'est pas forcément pour tous. Je souhaiterai savoir ce qui n'est pas compris où sont les problèmes de compréhension?
     
  68. Gwinck
    Gwinck WRInaute discret
    Inscrit:
    27 Mai 2005
    Messages:
    225
    J'aime reçus:
    0
    Intéressant ce sitemap, mais il y a une grosse différence de travail entre réaliser un sitemap avec juste la pondération+fréquence de maj et réaliser un sitemap avec pondération+fréquence de maj+date de dernière maj puisque si j'ai bien compri dans le deuxième cas il faut générer le sitemap à chaque maj alors que sans la date de dernière maj on peut le laisser tel quel et juste ajouter les nouvelles pages...

    J'ai raté un truc ou mon explication tient la route?

    Vu que la date de dernière mise à jour sert uniquement(?) à empêcher googlebot de repasser inutilement qui va se prendre la tête à mettre à jour cette valeur systématiquement? Dans l'espoir d'avoir un bonus alors que Google spécifie qu'il n'y en a pas pour le positionnement?
     
  69. Gwinck
    Gwinck WRInaute discret
    Inscrit:
    27 Mai 2005
    Messages:
    225
    J'aime reçus:
    0
    Pour ceux qui galèrent vraiment, j'ai vu sur Google groups=>Google-sitemap un gars qui vendait ses services pour la création de sitemaps, quelque chose comme 30$ pour 10.000 pages, je file pas l'url j'aime pas faire trop de pub.

    Ca a l'air sympa les sitemaps mais d'un côté ça favorise pas ceux qui ne font pas de programmation encore une fois, même si c'est du script linéaire pas si abstrait que ça :)
     
  70. sky
    sky WRInaute discret
    Inscrit:
    3 Mars 2003
    Messages:
    229
    J'aime reçus:
    0
    Après avoir tester tout ceci, amélioré le script audessus pour qu'il s'adapte bien à mon site, deux me turlupinent :

    1) Pour les forum, quand un sujet commence à être vieux, faudrai changer le changefreq non? Les jeunes topic devraient avoir un changefreq=daily ou weekly. les vieux yearly?

    2) Est ce qu'il faut vraiment resoumettre le sitemap.xml à google à chaque régénération de ledit fichier ?

    Merci :)
    Sky
     
  71. Phobos
    Phobos WRInaute impliqué
    Inscrit:
    21 Mars 2004
    Messages:
    730
    J'aime reçus:
    0
    1)pour un forum, ne met pas de changefreq
    2)google la reprend quand il faut, pas besoin de resoumettre tout le temps ;)
     
  72. Gwinck
    Gwinck WRInaute discret
    Inscrit:
    27 Mai 2005
    Messages:
    225
    J'aime reçus:
    0
    Pas de changefreq et pas de date de last maj pour les forums? Mettre à jour la date de dernière maj à chaque post ce serait le top, mais c'est clairement infaisable...
     
  73. Phobos
    Phobos WRInaute impliqué
    Inscrit:
    21 Mars 2004
    Messages:
    730
    J'aime reçus:
    0
    je met une lastmaj, je la récupère dans la date du dernier post si elle est plus récente que le dernier changement général (changement d'organisation, etc) :)
     
  74. Gwinck
    Gwinck WRInaute discret
    Inscrit:
    27 Mai 2005
    Messages:
    225
    J'aime reçus:
    0
    Et tu génères ton sitemap souvent du coup?
     
  75. Phobos
    Phobos WRInaute impliqué
    Inscrit:
    21 Mars 2004
    Messages:
    730
    J'aime reçus:
    0
    Tous les jours à 4H30 du matin ;)
     
  76. Gwinck
    Gwinck WRInaute discret
    Inscrit:
    27 Mai 2005
    Messages:
    225
    J'aime reçus:
    0
    Ca m'a l'air bien pensé. Tu as constaté un changement quelconque déjà? Peut-être la fréquence de passage des robots si tu traques celà?
     
  77. Phobos
    Phobos WRInaute impliqué
    Inscrit:
    21 Mars 2004
    Messages:
    730
    J'aime reçus:
    0
    Je traques, mais j'ai pas de stats précises, en ce moment il passe sa vie à me crawler j'ai l'impression, mais je n'ai pas mis en place uniquement la sitemap, il y a eu pas mal d'autres changements ;)
     
  78. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 657
    J'aime reçus:
    433
    J'ai rédigé un article présentant SiteMaps (pour ceux qui ont la flemme de lire toute cette discussion) : https://www.webrankinfo.com/actualites/2 ... temaps.htm

    J'inaugure également la rubrique SiteMaps sur WRI avec un début de FAQ SiteMaps, qui sera complétée prochainement (pour l'instant c'est surtout issu des infos de Google, traduites en français).
    J'espère également pouvoir fournir des scripts ou compléter la liste indiquée sur https://www.webrankinfo.com/dossiers/sitemaps/tutoriel-fichier-sitemap
     
  79. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 657
    J'aime reçus:
    433
  80. Phobos
    Phobos WRInaute impliqué
    Inscrit:
    21 Mars 2004
    Messages:
    730
    J'aime reçus:
    0
    Ah pas mal, il y a même Googlegulp :D
     
  81. oli004
    oli004 WRInaute passionné
    Inscrit:
    5 Janvier 2005
    Messages:
    1 643
    J'aime reçus:
    0
  82. cocota
    cocota WRInaute discret
    Inscrit:
    10 Février 2004
    Messages:
    75
    J'aime reçus:
    0
    Alors là franchement BRAVO !!ça fait 2 heures que je tournais en rond sur les forums pour trouver un tuto et je tombe sur ton script,niquel marche du premier coup,c'est vrai que vous etes tous assez branché programmation et moi et le xml ça fait 2,et gràce à ton script en 2mns j'ai crée tout nikel !!!

    Bravo
     
  83. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 657
    J'aime reçus:
    433
  84. Digit
    Digit WRInaute occasionnel
    Inscrit:
    18 Avril 2003
    Messages:
    441
    J'aime reçus:
    1
  85. Théophraste
    Théophraste WRInaute impliqué
    Inscrit:
    22 Juillet 2004
    Messages:
    627
    J'aime reçus:
    0
    Tiens, ce qui serait rigolo, c'est que les autres moteurs pénalisent les sites utilisant sitemap, pour collaboration...
    Cela serait de bonne guerre, GG utilise un cheval de troie pour rentrer dans les sites, les autres moteurs pourraient tacitement se concerter histoire de limiter ça... Ils pourraient faire de meme, mais après un GG sitemap, s'il faut mettre ds ses pages un msn sitemap, un yahoo sitemap, etc...
    :arrow:
     
  86. pierre_jean
    pierre_jean WRInaute occasionnel
    Inscrit:
    6 Avril 2005
    Messages:
    296
    J'aime reçus:
    0
  87. willyz85
    willyz85 WRInaute discret
    Inscrit:
    1 Mai 2004
    Messages:
    99
    J'aime reçus:
    0
    J'ai cherché un peu partout mais j'ai pas trouvé réponce à ma question.

    Doit on mettre un lien vers sitemap.xml pour que google le detecte ?

    Merci
     
  88. Phobos
    Phobos WRInaute impliqué
    Inscrit:
    21 Mars 2004
    Messages:
    730
    J'aime reçus:
    0
    Salut, non il suffit de lui proposer via l'adresse données dans le premier post ;)
     
  89. Foxus
    Foxus WRInaute passionné
    Inscrit:
    9 Janvier 2005
    Messages:
    1 287
    J'aime reçus:
    0
    j'ai RIEN compris

    en fait c jsute ça le fichier :

    <urlset>
    -
    <url>
    <loc>https://www.google.com/BUILD</loc>
    <lastmod>2005-04-30T03:45:08+00:00</lastmod>
    </url>
    -
    <url>
    <loc>https://www.google.com/about.html</loc>
    <lastmod>2005-05-07T00:45:09+00:00</lastmod>
    </url>
    </urlset>

    Et c'est bon je soumet ça a google via mo ncomtpe google (en mettant les url ?

    ca fait quoi si j'enleve les <lastmod> ?

    je vais me programmer ça en delphi alors si c si simple que ça


    merci de ne aps me laisser sans reponse
     
  90. Ninifoot
    Ninifoot Nouveau WRInaute
    Inscrit:
    14 Juin 2005
    Messages:
    21
    J'aime reçus:
    0
    J'aurai une question :

    mes pages sont appelées par l'URL suivant : articles.php?lng=fr&pg=2, articles.php?lng=fr&pg=3, articles.php?lng=fr&pg=4, etc...

    est-ce qu'il faut que je référence toutes ces pages, ou alors juste la page articles.php ?
     
  91. Gwinck
    Gwinck WRInaute discret
    Inscrit:
    27 Mai 2005
    Messages:
    225
    J'aime reçus:
    0
    Ouai pareil... Les lastmod c'est le plus chiant à générer, quelqu'un a un avis sur un sitemap avec fréquence de maj et priorité uniquement?
     
  92. Mumuri
    Mumuri WRInaute passionné
    Inscrit:
    3 Novembre 2004
    Messages:
    1 417
    J'aime reçus:
    0
    Apparement la structure de sitemap.xml est plus complexe que çà

    http://permalink.gmane.org/gmane.comp.w ... user/61737
    Code:
    <BOUCLE_secteurs(RUBRIQUES) {id_parent=0}>
    <url>
       <loc>#URL_RUBRIQUE</loc>
       <lastmod>[(#DATE|affdate{'Y-m-d'})]</lastmod>
       <changefreq>daily</changefreq>
    </url>
     
  93. graphilab
    graphilab Nouveau WRInaute
    Inscrit:
    6 Mars 2004
    Messages:
    47
    J'aime reçus:
    0
    En fait pour oscommerce on à deja des sitemaps.(On peut aussi ajouter la date d'insertion ou de modification)
    Ce qui est chiant c'est le nombre de requetes hallucinant si votre boutique à des milliers de produits. (sauf si on utilise un systeme de cache)
    J'ai pas analysé le script de google mais appriori j'voit pas comment il peut fonctionner pour un site 100% php/mysql sans quil accede à la base de donnée ou sont stockés les produits, les categories etc...
    [edit]j'avait pas vu le include donc c bon :)[/edit]
     
  94. Foxus
    Foxus WRInaute passionné
    Inscrit:
    9 Janvier 2005
    Messages:
    1 287
    J'aime reçus:
    0
    j'ai betemetn compier le sitemap.xml de googol.com pourtant !!!
     
  95. seabird
    seabird WRInaute occasionnel
    Inscrit:
    1 Décembre 2003
    Messages:
    318
    J'aime reçus:
    0
    Que pensez-vous de http://enarion.net/google/ ? Avez-vous testé ?
    Je viens d'essayer , c'est très simple d'utilisation apparemment. Maintenant faut voir...
     
  96. kloh
    kloh Nouveau WRInaute
    Inscrit:
    14 Juin 2005
    Messages:
    18
    J'aime reçus:
    0
    Au risque qu'elle paraisse déplacée, je réitère la question.. (en gras dans la citation^^)
     
  97. Foxus
    Foxus WRInaute passionné
    Inscrit:
    9 Janvier 2005
    Messages:
    1 287
    J'aime reçus:
    0
    kloh je n'ai pas bien saisis ta question mais j'ai du mal m'exprimé

    je me suis basé sur le sitemap.xml du site google.com

    dedans il est tres tres simpliste, j'ai juste changer les urls par celles de mon site et j'aio soumis l'url de mon sitemap.xml sur mon compte google.

    sa structure est :

    <url>
    <loc>https://www.google.com/BUILD</loc> (la par contre je laisse ou met l'url de mon site ???)
    <lastmod>2005-04-30T03:45:08+00:00</lastmod> : ca je l'ai elenver

    </url>
    -
    <url>
    <loc>https://www.google.com/about.html</loc> je met toute mes url
    <lastmod>2005-05-07T00:45:09+00:00</lastmod> j'enleve ca aussi
    </url>
    </urlset>

    c bon ?

    plus de 650 url dedans generé avec mon soft que je vien de programemr il y a 2 heure (un exe en delphi) :)
     
  98. kloh
    kloh Nouveau WRInaute
    Inscrit:
    14 Juin 2005
    Messages:
    18
    J'aime reçus:
    0
    ok j'avais pas compris, je pensais que tu demandais si c'était comme ça que ça marchais ^^*
    pour un "petit" site comme le mien ça doit marcher cette méthode, je vais essayer..
     
  99. Foxus
    Foxus WRInaute passionné
    Inscrit:
    9 Janvier 2005
    Messages:
    1 287
    J'aime reçus:
    0
    kloh je pense aussi :)

    sinon au debut on doit laisser le : <loc>https://www.google.com/BUILD</loc> ? ou le remplacer ? une intuition ? un avis ?
     
  100. kloh
    kloh Nouveau WRInaute
    Inscrit:
    14 Juin 2005
    Messages:
    18
    J'aime reçus:
    0
    J'ai essayer ce script ( http://www.orvinfait.fr/scripts_web_performant.html ) qui a été donné dans un message plus haut et j'obtiens ce message :
    Warning: readdir(): supplied argument is not a valid Directory resource in /var/www/free.fr/d/9/timesplittersgames/sitemap.php on line 85

    Voilà le passage avec les numéros des lignes:
    Code:
    65 -  /* Mettre l'adresse de votre site ici 
    66 -  exemple: http://www.monsite.fr/
    67 -  Ne pas oublier la barre oblique a la fin
    68 -  */
    69 -  $adresse_site="http://www.timesplittersgames.tk";
    70 - 
    71 -  /* Preciser ici le dossier de depart si besoin.
    72 -  Pour les sites fonctionnant sous Apache mettre: $rep_deb="../www/";   */
    73 -  $rep_deb="";
    74 -
    75 -
    76 -  /*compteur du nombre de fichiers sitmap
    77 -  ces fichiers sont mis dans le tableau $lifi */
    78 -  $vlifi=0;
    79 -  
    80 -  $telo1=0;
    81 -  $a_enr_fir="<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n<urlset xmlns=\"https://www.google.com/schemas/sitemap/0.84\">\n";
    82 -  $a_enr_fi1t=$a_enr_fir;
    83 -  $handle=opendir($rep_deb);
    84 -  $rot1=0;
    85 -  while ($file=readdir($handle)) 
    86 -  	{
    87 -    	if($file != "." && $file != "..") 
    88 -		{
    89 -		$fi1[$rot1]=$file;
    90 -		$rot1++;
    91 - 		}
    92 -	}

    Sinon j'ai utilisé la méthode de Foxus et envoyé à Google et j'attend de voir ce que ça donne

    EDIT : c'est bon la méthode de Foxus marche^^, mon fichier xml vient d'être pris en compte par Google^^
     
Chargement...
Similar Threads - Google SiteMaps guider Forum Date
Google XML Sitemaps (wordpress). images en attachment Développement d'un site Web ou d'une appli mobile 10 Octobre 2016
Utilité des sitemaps et de Google Search Console Débuter en référencement 16 Août 2016
Mise à jour site map (plugin Google xml sitemaps 4.0.2) Référencement Google 7 Avril 2014
Bug Google robots.txt sitemaps Crawl et indexation Google, sitemaps 23 Janvier 2014
Plusieurs Google Sitemaps Crawl et indexation Google, sitemaps 11 Avril 2013
Google Sitemaps : nouveautés janvier 2012 dans GWT Crawl et indexation Google, sitemaps 27 Janvier 2012
Google sitemaps Débuter en référencement 15 Avril 2010
WordPress Lost in Google ! Débuter en référencement Hier à 14:18
Comment Google utilise le spam report Référencement Google Hier à 09:44
Mon site wordpress ne s'affiche pas dans recherches Google Problèmes de référencement spécifiques à vos sites Mardi à 19:40
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice