Problèmes indexation => fichiers robots.txt pourtant ok

Discussion dans 'Crawl et indexation Google, sitemaps' créé par aalex57, 17 Décembre 2012.

  1. aalex57
    aalex57 Nouveau WRInaute
    Inscrit:
    28 Octobre 2009
    Messages:
    17
    J'aime reçus:
    0
    Bonsoir,

    J'ai un petit problème avec l’indexation des mes pages depuis quelques semaines avec les sitemaps, je vous sollicite en espérant que vous pourrez m'aider.

    Sur GWT, quand j'ajoute, ou renvoie un sitemap, j'ai toujours un panneau attention pour me dire que mes URLs sont bloquées par mon fichier robots.txt.
    => http://img26.imageshack.us/img26/2651/capturetws.png
    => http://img84.imageshack.us/img84/9852/capturejdi.png

    Voici mon fichier robots.txt : http://utopiie.com/robots.txt

    J'aimerai savoir, si possible, si c'est "normal"( je pense que non), et comment résoudre ça ?

    D'avance merci !

    Alex
     
  2. StefouFR
    StefouFR Guest
    Bonsoir,

    quelle est l'adresse de ton sitemap s'il te plait ?
     
  3. aalex57
    aalex57 Nouveau WRInaute
    Inscrit:
    28 Octobre 2009
    Messages:
    17
    J'aime reçus:
    0
    Bonsoir,

    J'en ai "plusieurs" :
    * pour le blog :
    => http://utopiie.com/blog/sitemap.xml
    et le même en gz

    J'ai ensuite http://utopiie.com/blog/sitemap_index.xml mais je ne m'en sert pas, c'est celui généré par Wordpress SEO. seul celui du dessus est renseigné dans GWT.
     
  4. StefouFR
    StefouFR Guest
  5. aalex57
    aalex57 Nouveau WRInaute
    Inscrit:
    28 Octobre 2009
    Messages:
    17
    J'aime reçus:
    0
    exact, je n'avais pas du tout fait attention.
    je viens de "renvoyer" les sitemaps, je vais voir, merci !



    édit : j'ai toujours le warning, mais je suis passé à uniquement 112 avertissement sur les sitemaps et avec toujours les même message en "détails" :

    Description :Le sitemap contient des URL qui sont bloquées par le fichier robots.txt.
    Nombre :112

    Exemple :
    Valeur : http://utopiie.com/blog/category/actualites/
    Valeur : http://utopiie.com/blog/category/annonces/
    Valeur : http://utopiie.com/blog/category/astuces/
     
  6. StefouFR
    StefouFR Guest
    Essai sans ces lignes là :
    Disallow: /blog/*?*
    Disallow: /blog/*?

    Juste pour voir si c'est eux qui te bloque.
     
  7. aalex57
    aalex57 Nouveau WRInaute
    Inscrit:
    28 Octobre 2009
    Messages:
    17
    J'aime reçus:
    0
    ça baisse, plus que 84 Warnings :/

    Mais je ne comprend pas trop étant donné que j'avais pris cette partie du fichier robots.txt sur un site "reconnu" sur le SEO, m'enfin :/

    Déjà merci à toi !
     
  8. StefouFR
    StefouFR Guest
    Change le part :
    Et tu me dis ce que GWT t'annonce comme bloqué.
     
  9. aalex57
    aalex57 Nouveau WRInaute
    Inscrit:
    28 Octobre 2009
    Messages:
    17
    J'aime reçus:
    0
    Merci, mais toujours le même nombres d'erreurs :/

    là je viens d'essayer avec juste
    Code:
    Disallow: /documents/*
    Disallow: /tools/*
    
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*
    User-agent: Mediapartners-Google*
    Disallow:
    Allow: /*
    et j'arrive encore avec 28 erreurs, je n'y comprend vraiment plus rien là :/


    édit : en fait non, toujours le même nombres d'erreur oO
     
  10. StefouFR
    StefouFR Guest
  11. aalex57
    aalex57 Nouveau WRInaute
    Inscrit:
    28 Octobre 2009
    Messages:
    17
    J'aime reçus:
    0
    Toujours le même nombre de messages d'erreurs :/
     
  12. StefouFR
    StefouFR Guest
    Le fichier robots.txt se trouve à la racine du site ?

    Essai peut être en mettant le robots.txt et le sitemap.xml à la racine du site ici :
    http://utopiie.com/

    Et dans ce cas le fichier robots.txt devrait ressembler à ça :

    Ton fichier .htaccess est remplie de ligne où c'est resonnable ?
     
  13. aalex57
    aalex57 Nouveau WRInaute
    Inscrit:
    28 Octobre 2009
    Messages:
    17
    J'aime reçus:
    0
    Mon fichier robots est bien à la racine du site et est logiquement le seul : http://utopiie.com/robots.txt

    Mon fichier htacess de mon blog :
    Code:
    ##
    <IfModule mod_rewrite.c>
    RewriteEngine On
    RewriteCond %{REQUEST_METHOD} POST
    RewriteCond %{REQUEST_URI} ^(.*)wp-comments-post\.php*
    RewriteCond %{HTTP_REFERER} !^(.*)utopiie.com.*
    RewriteCond %{HTTP_REFERER} !^http://jetpack\.wordpress\.com/jetpack-comment/ [OR]
    RewriteCond %{HTTP_USER_AGENT} ^$
    RewriteRule ^(.*)$ - [F,L]
    </IfModule>
    
    
    
    # BEGIN W3TC Browser Cache
    <IfModule mod_mime.c>
        AddType text/css .css
        AddType application/x-javascript .js
        AddType text/x-component .htc
        AddType text/html .html .htm
        AddType text/richtext .rtf .rtx
        AddType image/svg+xml .svg .svgz
        AddType text/plain .txt
        AddType text/xsd .xsd
        AddType text/xsl .xsl
        AddType text/xml .xml
        AddType video/asf .asf .asx .wax .wmv .wmx
        AddType video/avi .avi
        AddType image/bmp .bmp
        AddType application/java .class
        AddType video/divx .divx
        AddType application/msword .doc .docx
        AddType application/vnd.ms-fontobject .eot
        AddType application/x-msdownload .exe
        AddType image/gif .gif
        AddType application/x-gzip .gz .gzip
        AddType image/x-icon .ico
        AddType image/jpeg .jpg .jpeg .jpe
        AddType application/vnd.ms-access .mdb
        AddType audio/midi .mid .midi
        AddType video/quicktime .mov .qt
        AddType audio/mpeg .mp3 .m4a
        AddType video/mp4 .mp4 .m4v
        AddType video/mpeg .mpeg .mpg .mpe
        AddType application/vnd.ms-project .mpp
        AddType application/x-font-otf .otf
        AddType application/vnd.oasis.opendocument.database .odb
        AddType application/vnd.oasis.opendocument.chart .odc
        AddType application/vnd.oasis.opendocument.formula .odf
        AddType application/vnd.oasis.opendocument.graphics .odg
        AddType application/vnd.oasis.opendocument.presentation .odp
        AddType application/vnd.oasis.opendocument.spreadsheet .ods
        AddType application/vnd.oasis.opendocument.text .odt
        AddType audio/ogg .ogg
        AddType application/pdf .pdf
        AddType image/png .png
        AddType application/vnd.ms-powerpoint .pot .pps .ppt .pptx
        AddType audio/x-realaudio .ra .ram
        AddType application/x-shockwave-flash .swf
        AddType application/x-tar .tar
        AddType image/tiff .tif .tiff
        AddType application/x-font-ttf .ttf .ttc
        AddType audio/wav .wav
        AddType audio/wma .wma
        AddType application/vnd.ms-write .wri
        AddType application/vnd.ms-excel .xla .xls .xlsx .xlt .xlw
        AddType application/zip .zip
    </IfModule>
    <IfModule mod_expires.c>
        ExpiresActive On
        ExpiresByType text/css A31536000
        ExpiresByType application/x-javascript A31536000
        ExpiresByType text/x-component A31536000
        ExpiresByType text/html A3600
        ExpiresByType text/richtext A3600
        ExpiresByType image/svg+xml A3600
        ExpiresByType text/plain A3600
        ExpiresByType text/xsd A3600
        ExpiresByType text/xsl A3600
        ExpiresByType text/xml A3600
        ExpiresByType video/asf A31536000
        ExpiresByType video/avi A31536000
        ExpiresByType image/bmp A31536000
        ExpiresByType application/java A31536000
        ExpiresByType video/divx A31536000
        ExpiresByType application/msword A31536000
        ExpiresByType application/vnd.ms-fontobject A31536000
        ExpiresByType application/x-msdownload A31536000
        ExpiresByType image/gif A31536000
        ExpiresByType application/x-gzip A31536000
        ExpiresByType image/x-icon A31536000
        ExpiresByType image/jpeg A31536000
        ExpiresByType application/vnd.ms-access A31536000
        ExpiresByType audio/midi A31536000
        ExpiresByType video/quicktime A31536000
        ExpiresByType audio/mpeg A31536000
        ExpiresByType video/mp4 A31536000
        ExpiresByType video/mpeg A31536000
        ExpiresByType application/vnd.ms-project A31536000
        ExpiresByType application/x-font-otf A31536000
        ExpiresByType application/vnd.oasis.opendocument.database A31536000
        ExpiresByType application/vnd.oasis.opendocument.chart A31536000
        ExpiresByType application/vnd.oasis.opendocument.formula A31536000
        ExpiresByType application/vnd.oasis.opendocument.graphics A31536000
        ExpiresByType application/vnd.oasis.opendocument.presentation A31536000
        ExpiresByType application/vnd.oasis.opendocument.spreadsheet A31536000
        ExpiresByType application/vnd.oasis.opendocument.text A31536000
        ExpiresByType audio/ogg A31536000
        ExpiresByType application/pdf A31536000
        ExpiresByType image/png A31536000
        ExpiresByType application/vnd.ms-powerpoint A31536000
        ExpiresByType audio/x-realaudio A31536000
        ExpiresByType image/svg+xml A31536000
        ExpiresByType application/x-shockwave-flash A31536000
        ExpiresByType application/x-tar A31536000
        ExpiresByType image/tiff A31536000
        ExpiresByType application/x-font-ttf A31536000
        ExpiresByType audio/wav A31536000
        ExpiresByType audio/wma A31536000
        ExpiresByType application/vnd.ms-write A31536000
        ExpiresByType application/vnd.ms-excel A31536000
        ExpiresByType application/zip A31536000
    </IfModule>
    <IfModule mod_deflate.c>
        <IfModule mod_setenvif.c>
            BrowserMatch ^Mozilla/4 gzip-only-text/html
            BrowserMatch ^Mozilla/4\.0[678] no-gzip
            BrowserMatch \bMSIE !no-gzip !gzip-only-text/html
            BrowserMatch \bMSI[E] !no-gzip !gzip-only-text/html
        </IfModule>
        <IfModule mod_headers.c>
            Header append Vary User-Agent env=!dont-vary
        </IfModule>
        <IfModule mod_filter.c>
            AddOutputFilterByType DEFLATE text/css application/x-javascript text/x-component text/html text/richtext image/svg+xml text/plain text/xsd text/xsl text/xml image/x-icon
        </IfModule>
    </IfModule>
    <FilesMatch "\.(css|js|htc|CSS|JS|HTC)$">
        <IfModule mod_headers.c>
            Header set Pragma "public"
            Header append Cache-Control "public, must-revalidate, proxy-revalidate"
        </IfModule>
        FileETag MTime Size
        <IfModule mod_headers.c>
             Header set X-Powered-By "W3 Total Cache/0.9.2.4"
        </IfModule>
    </FilesMatch>
    <FilesMatch "\.(html|htm|rtf|rtx|svg|svgz|txt|xsd|xsl|xml|HTML|HTM|RTF|RTX|SVG|SVGZ|TXT|XSD|XSL|XML)$">
        <IfModule mod_headers.c>
            Header set Pragma "public"
            Header append Cache-Control "public, must-revalidate, proxy-revalidate"
        </IfModule>
        FileETag MTime Size
        <IfModule mod_headers.c>
             Header set X-Powered-By "W3 Total Cache/0.9.2.4"
        </IfModule>
    </FilesMatch>
    <FilesMatch "\.(asf|asx|wax|wmv|wmx|avi|bmp|class|divx|doc|docx|eot|exe|gif|gz|gzip|ico|jpg|jpeg|jpe|mdb|mid|midi|mov|qt|mp3|m4a|mp4|m4v|mpeg|mpg|mpe|mpp|otf|odb|odc|odf|odg|odp|ods|odt|ogg|pdf|png|pot|pps|ppt|pptx|ra|ram|svg|svgz|swf|tar|tif|tiff|ttf|ttc|wav|wma|wri|xla|xls|xlsx|xlt|xlw|zip|ASF|ASX|WAX|WMV|WMX|AVI|BMP|CLASS|DIVX|DOC|DOCX|EOT|EXE|GIF|GZ|GZIP|ICO|JPG|JPEG|JPE|MDB|MID|MIDI|MOV|QT|MP3|M4A|MP4|M4V|MPEG|MPG|MPE|MPP|OTF|ODB|ODC|ODF|ODG|ODP|ODS|ODT|OGG|PDF|PNG|POT|PPS|PPT|PPTX|RA|RAM|SVG|SVGZ|SWF|TAR|TIF|TIFF|TTF|TTC|WAV|WMA|WRI|XLA|XLS|XLSX|XLT|XLW|ZIP)$">
        <IfModule mod_headers.c>
            Header set Pragma "public"
            Header append Cache-Control "public, must-revalidate, proxy-revalidate"
        </IfModule>
        FileETag MTime Size
        <IfModule mod_headers.c>
             Header set X-Powered-By "W3 Total Cache/0.9.2.4"
        </IfModule>
    </FilesMatch>
    # END W3TC Browser Cache
    # BEGIN WordPress
    <IfModule mod_rewrite.c>
    RewriteEngine On
    RewriteBase /blog/
    RewriteRule ^index\.php$ - [L]
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteRule . /blog/index.php [L]
    </IfModule>
    
    # END WordPress
    


    Beaucoup de lignes mais c'est généré par le plugin de cache
     
  14. StefouFR
    StefouFR Guest
    A oui pour le fichier robots.txt -_- désolé un moment de fatigue lol !

    Je vais regarder le .htaccess et je t'écris ici si je trouve quelque chose.
     
  15. aalex57
    aalex57 Nouveau WRInaute
    Inscrit:
    28 Octobre 2009
    Messages:
    17
    J'aime reçus:
    0
    Ce n'est pas grave, merci en tout cas pour ton aide !

    Mais normalement le fichier htaccess devrait être "clean" :/
     
  16. aalex57
    aalex57 Nouveau WRInaute
    Inscrit:
    28 Octobre 2009
    Messages:
    17
    J'aime reçus:
    0
    J'ai fais un " find . -name "robots*" -print" à la racine et j'ai trouvé deux autres fichiers robots dans des appli web, je viens de les supprimer, mais le problème est toujours le même :/
     
  17. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 874
    J'aime reçus:
    72
    Le robots.txt que t'indique GWT est-il à jour ?
     
  18. aalex57
    aalex57 Nouveau WRInaute
    Inscrit:
    28 Octobre 2009
    Messages:
    17
    J'aime reçus:
    0
    Oui, il est à jour, et il se trouve bien à la racine de mon site
     
  19. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 874
    J'aime reçus:
    72
    Attention, je ne te demande pas si ton robots.txt est à jour, mais si, quand tu vas sur GWT et que tu regardes quelle version il a en mémoire de ton robots.txt, celui-ci est bien identique à la version que tu as en ligne.
     
  20. aalex57
    aalex57 Nouveau WRInaute
    Inscrit:
    28 Octobre 2009
    Messages:
    17
    J'aime reçus:
    0
    Ah, merci pour la rectification.
    Par contre, je peux voir ça où ?
    ça ne me parle pas là :/
     
  21. StefouFR
    StefouFR Guest
    Le problème ne vient pas de là car Google regarde le robots.txt présent sur le FTP à chaque envoi d'un sitemap.xml.

    Mais tu peux voir ça dans GWT > Etat de santé > URL bloquées.
     
  22. aalex57
    aalex57 Nouveau WRInaute
    Inscrit:
    28 Octobre 2009
    Messages:
    17
    J'aime reçus:
    0
  23. StefouFR
    StefouFR Guest
    Il y a soit un problème dans le .htaccess (peu probable) soit plusieurs robots.txt ou alors un blocage au niveau de l'hébergeur (par exemple OVH).
     
  24. aalex57
    aalex57 Nouveau WRInaute
    Inscrit:
    28 Octobre 2009
    Messages:
    17
    J'aime reçus:
    0
    Pour plusieurs fichiers robots, je ne pense plus, j'ai fais un "ind . -name "robots*" -print" et le seul retourné est celui à la racine.
    pour l'hébergeur, je suis sur 1&1, ça serait bizarre s'ils bloquaient :/
     
  25. StefouFR
    StefouFR Guest
    Si c'est 1&1 alors ce n'est pas l'hébergeur. J'ai longtemps été chez 1&1 et je n'ai jamais eu ce problème.

    J'y étais encore le mois derniers sans ce genre de problème.


    Tente de virer le fichier robots.txt et de laisser seulement le sitemap.xml et le .htaccess pour voir ce que ça donne quand tu envois un nouveau sitemap.xml sur GWT.
     
  26. aalex57
    aalex57 Nouveau WRInaute
    Inscrit:
    28 Octobre 2009
    Messages:
    17
    J'aime reçus:
    0
    Je n'ai à priori plus de problèmes sur le sitemap de mon blog (problèmes à zéro, ouf =D)


    Voici le robots final : http://utopiie.com/robots.txt
     
Chargement...
Similar Threads - Problèmes indexation fichiers Forum Date
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Analyse google search console : liste des problèmes d'indexation Crawl et indexation Google, sitemaps 13 Janvier 2019
Problèmes d'indexation à cause de ressources bloquées (robots.xt) Crawl et indexation Google, sitemaps 22 Novembre 2018
Problèmes d'indexation depuis mise à jour site Crawl et indexation Google, sitemaps 5 Janvier 2013
Problèmes d'indexations Problèmes de référencement spécifiques à vos sites 24 Juin 2012
Problèmes d’indexation de sous domaine Crawl et indexation Google, sitemaps 28 Novembre 2011
Problèmes indexation google domaine / sous domaine Crawl et indexation Google, sitemaps 25 Mars 2009
Problèmes d'indéxation de la page d'accueil Problèmes de référencement spécifiques à vos sites 16 Décembre 2008
Search Console Premier référencement et problèmes Débuter en référencement 11 Novembre 2019
Test d'optimisation mobile : Problèmes de chargement de la page Débuter en référencement 10 Novembre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice