Sitemaps images et disallow repertoire

Discussion dans 'Crawl et indexation Google, sitemaps' créé par rédac cabanes, 20 Mars 2017.

Tags:
  1. rédac cabanes
    rédac cabanes WRInaute discret
    Inscrit:
    13 Avril 2006
    Messages:
    199
    J'aime reçus:
    0
    Bonjour,

    mon site en SPIP à la particularité de mettre en disallow sur le robot.txt le repertoire /local/ où se trouve les images. Bravo...Selon des topics, ce fichier crée des erreurs d'indéxation car il y a des fichiers vignettes notamment et les préconisations sont de créer un sitemap avec de images. On a crée cela et je l'ai communiqué hier sur la console. Donc pensez vous que cela permet de contourner ce disallow pour google, et du coup cela bloque les autres robots. Je ne sais pas trop quoi faire. :roll:
     
    #1 rédac cabanes, 20 Mars 2017
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 911
    J'aime reçus:
    75
    Le plus simple (et le plus fiable) serait plutôt d'ajouter une règle supplémentaire dans le robots.txt :

    Allow: /local/cache-vignette/
     
    #2 UsagiYojimbo, 20 Mars 2017
  3. rédac cabanes
    rédac cabanes WRInaute discret
    Inscrit:
    13 Avril 2006
    Messages:
    199
    J'aime reçus:
    0
    Merci, beaucoup effectivement, on a travaillé le sitemap comme écrit sur ce thread: http://forum.spip.net/fr_259234.html
    Le souci, c'est que j'ai passé le sitemap aussi via la console avec arbo et images mais sur le sujet, je ne sais pas toujours comment gérer le robots.txt pour éviter les 404. Le côté allow est évoqué au début reponse #1 mais plus confirmé par la suite alors qui fait autorité? Actuellement je suis toujours en disallow sur /cache/. Avec tous ces algos, on est un peu parano. :mrgreen:
     
    #3 rédac cabanes, 22 Mars 2017
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 911
    J'aime reçus:
    75
    #4 UsagiYojimbo, 22 Mars 2017
  5. rédac cabanes
    rédac cabanes WRInaute discret
    Inscrit:
    13 Avril 2006
    Messages:
    199
    J'aime reçus:
    0
    Ah ben... Je reste sans voix. Atemi! Merci.
     
    #5 rédac cabanes, 23 Mars 2017
  6. rédac cabanes
    rédac cabanes WRInaute discret
    Inscrit:
    13 Avril 2006
    Messages:
    199
    J'aime reçus:
    0
    Petit réajustement, car j'ai pas bien saisi.
    on dit justement sur le thread de SPIP, qu'il ne faut surtout pas autoriser l'indexation du repertoire /local/ (on ne peut pas dire à google de répertorier des images qui disparaissaient à chaque vidage du cache)
    c'est pour cela que qu'on suivi et appliqué le sitemap de ORSAL (cf le lien ci dessus)
    On a garde le
    User-agent: *
    Disallow: /local/

    On a placé au dessous des lignes la commande
    Sitemap: http://www.monsite.com/sitemap.xml

    Est ce suffisant (est ce que la ligne sitemap:.... autorise les robots directement à crawler le sitemap ou on a inclus les images) ? c'était ma question, en fait ou il faut forcer par une commande du type

    allow: /sitemap.xml

    Puisque que vous nous indiquez ce lien de tuto.
    Merci
     
    #6 rédac cabanes, 23 Mars 2017
  7. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 911
    J'aime reçus:
    75
    Non, tu dois autoriser l'accès au dossier qui contient les vignettes.

    Du coup tu dois remplacer :

    Code:
    Disallow: /local/
    Par

    Et ajuster de manière à autoriser au cas par cas les dossier de /local/ qui sont destinés à être indexés.
     
    #7 UsagiYojimbo, 23 Mars 2017
  8. rédac cabanes
    rédac cabanes WRInaute discret
    Inscrit:
    13 Avril 2006
    Messages:
    199
    J'aime reçus:
    0
    Parfait, merci beaucoup, je vois çà en sus du sitemap.
     
    #8 rédac cabanes, 24 Mars 2017
  9. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 911
    J'aime reçus:
    75
    NB pour plus tard : tu peux tester tes règles de robots.txt depuis Google Search Console, en vérifiant avec des url lesquelles passeraient ou non.
     
    #9 UsagiYojimbo, 24 Mars 2017
  10. rédac cabanes
    rédac cabanes WRInaute discret
    Inscrit:
    13 Avril 2006
    Messages:
    199
    J'aime reçus:
    0
    Ok, merci, je vais caler cet allow, je présume qu'il y a dans la réponse: une expérience SPIP? Dans ce cas, j'ai un petit souci de saut de balises plus difficile à régler qu'il n'y parait. Un avais est bien venu. Merci
     
    #10 rédac cabanes, 27 Mars 2017
  11. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 911
    J'aime reçus:
    75
    Pour ça, comme indiqué sur la réponse qui a été faite sur l'autre sujet, il faut mettre les mains dans le cambouis, ou plutôt dans le dossier squelettes.

    Et oui, j'ai eu pour le moins l'habitude du dit CMS, mon ancienne boîte étant (il ya 5/6 ans) particulièrement axée sur ce dernier. Mais je ne pratique plus :)
     
    #11 UsagiYojimbo, 27 Mars 2017
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Sitemaps images disallow Forum Date
Google XML Sitemaps (wordpress). images en attachment Développement d'un site Web ou d'une appli mobile 10 Octobre 2016
Search Console Sitemaps non indéxés ""Impossible de recuperer le sitemap" Crawl et indexation Google, sitemaps 23 Juillet 2020
Si hreflang implémentés par HTML (<head>), inutile dans sitemaps ? Référencement international (langues, pays) 18 Mai 2020
Problème de référencement et ajout sitemaps Problèmes de référencement spécifiques à vos sites 26 Novembre 2019
Problème d'indexation, Sitemaps non lus et baisse drastique du référencement/trafic Débuter en référencement 22 Mars 2019
Taille des sitemaps qui diminue alors que le catalogue produit augmente Débuter en référencement 8 Mars 2019
Modifications de mes sitemaps Débuter en référencement 15 Novembre 2018
Emplacement des sitemaps Crawl et indexation Google, sitemaps 26 Septembre 2018
Sitemaps et état de l'indexation : chiffres différents Crawl et indexation Google, sitemaps 9 Août 2018
Url tronquées dans les sitemaps Crawl et indexation Google, sitemaps 30 Novembre 2017