sitemaps images et disallow repertoire

Discussion dans 'Crawl et indexation Google, sitemaps' créé par rédac cabanes, 20 Mars 2017.

  1. rédac cabanes

    rédac cabanes WRInaute discret

    Inscrit:
    13 Avril 2006
    Messages:
    201
    J'aime reçus:
    0
    Bonjour,

    mon site en SPIP à la particularité de mettre en disallow sur le robot.txt le repertoire /local/ où se trouve les images. Bravo...Selon des topics, ce fichier crée des erreurs d'indéxation car il y a des fichiers vignettes notamment et les préconisations sont de créer un sitemap avec de images. On a crée cela et je l'ai communiqué hier sur la console. Donc pensez vous que cela permet de contourner ce disallow pour google, et du coup cela bloque les autres robots. Je ne sais pas trop quoi faire. :roll:
     
  2. UsagiYojimbo

    UsagiYojimbo WRInaute accro

    Inscrit:
    23 Novembre 2005
    Messages:
    12 380
    J'aime reçus:
    0
    Le plus simple (et le plus fiable) serait plutôt d'ajouter une règle supplémentaire dans le robots.txt :

    Allow: /local/cache-vignette/
     
  3. rédac cabanes

    rédac cabanes WRInaute discret

    Inscrit:
    13 Avril 2006
    Messages:
    201
    J'aime reçus:
    0
    Merci, beaucoup effectivement, on a travaillé le sitemap comme écrit sur ce thread: http://forum.spip.net/fr_259234.html
    Le souci, c'est que j'ai passé le sitemap aussi via la console avec arbo et images mais sur le sujet, je ne sais pas toujours comment gérer le robots.txt pour éviter les 404. Le côté allow est évoqué au début reponse #1 mais plus confirmé par la suite alors qui fait autorité? Actuellement je suis toujours en disallow sur /cache/. Avec tous ces algos, on est un peu parano. :mrgreen:
     
  4. UsagiYojimbo

    UsagiYojimbo WRInaute accro

    Inscrit:
    23 Novembre 2005
    Messages:
    12 380
    J'aime reçus:
    0
  5. rédac cabanes

    rédac cabanes WRInaute discret

    Inscrit:
    13 Avril 2006
    Messages:
    201
    J'aime reçus:
    0
    Ah ben... Je reste sans voix. Atemi! Merci.
     
  6. rédac cabanes

    rédac cabanes WRInaute discret

    Inscrit:
    13 Avril 2006
    Messages:
    201
    J'aime reçus:
    0
    Petit réajustement, car j'ai pas bien saisi.
    on dit justement sur le thread de SPIP, qu'il ne faut surtout pas autoriser l'indexation du repertoire /local/ (on ne peut pas dire à google de répertorier des images qui disparaissaient à chaque vidage du cache)
    c'est pour cela que qu'on suivi et appliqué le sitemap de ORSAL (cf le lien ci dessus)
    On a garde le
    User-agent: *
    Disallow: /local/

    On a placé au dessous des lignes la commande
    Sitemap: http://www.monsite.com/sitemap.xml

    Est ce suffisant (est ce que la ligne sitemap:.... autorise les robots directement à crawler le sitemap ou on a inclus les images) ? c'était ma question, en fait ou il faut forcer par une commande du type

    allow: /sitemap.xml

    Puisque que vous nous indiquez ce lien de tuto.
    Merci
     
  7. UsagiYojimbo

    UsagiYojimbo WRInaute accro

    Inscrit:
    23 Novembre 2005
    Messages:
    12 380
    J'aime reçus:
    0
    Non, tu dois autoriser l'accès au dossier qui contient les vignettes.

    Du coup tu dois remplacer :

    Code:
    Disallow: /local/
    
    Par

    Et ajuster de manière à autoriser au cas par cas les dossier de /local/ qui sont destinés à être indexés.
     
  8. rédac cabanes

    rédac cabanes WRInaute discret

    Inscrit:
    13 Avril 2006
    Messages:
    201
    J'aime reçus:
    0
    Parfait, merci beaucoup, je vois çà en sus du sitemap.
     
  9. UsagiYojimbo

    UsagiYojimbo WRInaute accro

    Inscrit:
    23 Novembre 2005
    Messages:
    12 380
    J'aime reçus:
    0
    NB pour plus tard : tu peux tester tes règles de robots.txt depuis Google Search Console, en vérifiant avec des url lesquelles passeraient ou non.
     
  10. rédac cabanes

    rédac cabanes WRInaute discret

    Inscrit:
    13 Avril 2006
    Messages:
    201
    J'aime reçus:
    0
    Ok, merci, je vais caler cet allow, je présume qu'il y a dans la réponse: une expérience SPIP? Dans ce cas, j'ai un petit souci de saut de balises plus difficile à régler qu'il n'y parait. Un avais est bien venu. Merci
     
  11. UsagiYojimbo

    UsagiYojimbo WRInaute accro

    Inscrit:
    23 Novembre 2005
    Messages:
    12 380
    J'aime reçus:
    0
    Pour ça, comme indiqué sur la réponse qui a été faite sur l'autre sujet, il faut mettre les mains dans le cambouis, ou plutôt dans le dossier squelettes.

    Et oui, j'ai eu pour le moins l'habitude du dit CMS, mon ancienne boîte étant (il ya 5/6 ans) particulièrement axée sur ce dernier. Mais je ne pratique plus :)