Problèmes indexation => fichiers robots.txt pourtant ok

A
aalex57
Nouveau WRInaute
Bonsoir,

J'ai un petit problème avec l’indexation des mes pages depuis quelques semaines avec les sitemaps, je vous sollicite en espérant que vous pourrez m'aider.

Sur GWT, quand j'ajoute, ou renvoie un sitemap, j'ai toujours un panneau attention pour me dire que mes URLs sont bloquées par mon fichier robots.txt.
=> http://img26.imageshack.us/img26/2651/capturetws.png
=> http://img84.imageshack.us/img84/9852/capturejdi.png

Voici mon fichier robots.txt : http://utopiie.com/robots.txt

J'aimerai savoir, si possible, si c'est "normal"( je pense que non), et comment résoudre ça ?

D'avance merci !

Alex
 
A
aalex57
Nouveau WRInaute
Bonsoir,

J'en ai "plusieurs" :
* pour le blog :
=> http://utopiie.com/blog/sitemap.xml
et le même en gz

J'ai ensuite http://utopiie.com/blog/sitemap_index.xml mais je ne m'en sert pas, c'est celui généré par Wordpress SEO. seul celui du dessus est renseigné dans GWT.
 
A
aalex57
Nouveau WRInaute
exact, je n'avais pas du tout fait attention.
je viens de "renvoyer" les sitemaps, je vais voir, merci !



édit : j'ai toujours le warning, mais je suis passé à uniquement 112 avertissement sur les sitemaps et avec toujours les même message en "détails" :

Description :Le sitemap contient des URL qui sont bloquées par le fichier robots.txt.
Nombre :112

Exemple :
Valeur : http://utopiie.com/blog/category/actualites/
Valeur : http://utopiie.com/blog/category/annonces/
Valeur : http://utopiie.com/blog/category/astuces/
 
S
StefouFR
Guest
Essai sans ces lignes là :
Disallow: /blog/*?*
Disallow: /blog/*?

Juste pour voir si c'est eux qui te bloque.
 
A
aalex57
Nouveau WRInaute
ça baisse, plus que 84 Warnings :/

Mais je ne comprend pas trop étant donné que j'avais pris cette partie du fichier robots.txt sur un site "reconnu" sur le SEO, m'enfin :/

Déjà merci à toi !
 
S
StefouFR
Guest
Change le part :
User-agent: *
Disallow: /blog/cgi-bin
Disallow: /blog/wp-admin
Disallow: /blog/wp-includes
Disallow: /blog/wp-content/*
Disallow: /blog/trackback
Disallow: /blog/feed
Disallow: /blog/comments
Disallow: /blog/trackback
Disallow: /blog/feed
Disallow: /blog/comments
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.swf$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /documents/*
Disallow: /tools/*
Allow: /blog/category/
Allow: /blog/wp-content/uploads

User-agent: Googlebot-Image
Disallow:
Allow: /*

User-agent: Mediapartners-Google*
Disallow:
Allow: /*
Cliquez pour agrandir...

Et tu me dis ce que GWT t'annonce comme bloqué.
 
A
aalex57
Nouveau WRInaute
Merci, mais toujours le même nombres d'erreurs :/

là je viens d'essayer avec juste
Code: 
Disallow: /documents/*
Disallow: /tools/*

User-agent: Googlebot-Image
Disallow:
Allow: /*
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

et j'arrive encore avec 28 erreurs, je n'y comprend vraiment plus rien là :/


édit : en fait non, toujours le même nombres d'erreur oO
 
A
aalex57
Nouveau WRInaute
Mon fichier robots est bien à la racine du site et est logiquement le seul : http://utopiie.com/robots.txt

Mon fichier htacess de mon blog :
Code: 
##
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_METHOD} POST
RewriteCond %{REQUEST_URI} ^(.*)wp-comments-post\.php*
RewriteCond %{HTTP_REFERER} !^(.*)utopiie.com.*
RewriteCond %{HTTP_REFERER} !^http://jetpack\.wordpress\.com/jetpack-comment/ [OR]
RewriteCond %{HTTP_USER_AGENT} ^$
RewriteRule ^(.*)$ - [F,L]
</IfModule>



# BEGIN W3TC Browser Cache
<IfModule mod_mime.c>
    AddType text/css .css
    AddType application/x-javascript .js
    AddType text/x-component .htc
    AddType text/html .html .htm
    AddType text/richtext .rtf .rtx
    AddType image/svg+xml .svg .svgz
    AddType text/plain .txt
    AddType text/xsd .xsd
    AddType text/xsl .xsl
    AddType text/xml .xml
    AddType video/asf .asf .asx .wax .wmv .wmx
    AddType video/avi .avi
    AddType image/bmp .bmp
    AddType application/java .class
    AddType video/divx .divx
    AddType application/msword .doc .docx
    AddType application/vnd.ms-fontobject .eot
    AddType application/x-msdownload .exe
    AddType image/gif .gif
    AddType application/x-gzip .gz .gzip
    AddType image/x-icon .ico
    AddType image/jpeg .jpg .jpeg .jpe
    AddType application/vnd.ms-access .mdb
    AddType audio/midi .mid .midi
    AddType video/quicktime .mov .qt
    AddType audio/mpeg .mp3 .m4a
    AddType video/mp4 .mp4 .m4v
    AddType video/mpeg .mpeg .mpg .mpe
    AddType application/vnd.ms-project .mpp
    AddType application/x-font-otf .otf
    AddType application/vnd.oasis.opendocument.database .odb
    AddType application/vnd.oasis.opendocument.chart .odc
    AddType application/vnd.oasis.opendocument.formula .odf
    AddType application/vnd.oasis.opendocument.graphics .odg
    AddType application/vnd.oasis.opendocument.presentation .odp
    AddType application/vnd.oasis.opendocument.spreadsheet .ods
    AddType application/vnd.oasis.opendocument.text .odt
    AddType audio/ogg .ogg
    AddType application/pdf .pdf
    AddType image/png .png
    AddType application/vnd.ms-powerpoint .pot .pps .ppt .pptx
    AddType audio/x-realaudio .ra .ram
    AddType application/x-shockwave-flash .swf
    AddType application/x-tar .tar
    AddType image/tiff .tif .tiff
    AddType application/x-font-ttf .ttf .ttc
    AddType audio/wav .wav
    AddType audio/wma .wma
    AddType application/vnd.ms-write .wri
    AddType application/vnd.ms-excel .xla .xls .xlsx .xlt .xlw
    AddType application/zip .zip
</IfModule>
<IfModule mod_expires.c>
    ExpiresActive On
    ExpiresByType text/css A31536000
    ExpiresByType application/x-javascript A31536000
    ExpiresByType text/x-component A31536000
    ExpiresByType text/html A3600
    ExpiresByType text/richtext A3600
    ExpiresByType image/svg+xml A3600
    ExpiresByType text/plain A3600
    ExpiresByType text/xsd A3600
    ExpiresByType text/xsl A3600
    ExpiresByType text/xml A3600
    ExpiresByType video/asf A31536000
    ExpiresByType video/avi A31536000
    ExpiresByType image/bmp A31536000
    ExpiresByType application/java A31536000
    ExpiresByType video/divx A31536000
    ExpiresByType application/msword A31536000
    ExpiresByType application/vnd.ms-fontobject A31536000
    ExpiresByType application/x-msdownload A31536000
    ExpiresByType image/gif A31536000
    ExpiresByType application/x-gzip A31536000
    ExpiresByType image/x-icon A31536000
    ExpiresByType image/jpeg A31536000
    ExpiresByType application/vnd.ms-access A31536000
    ExpiresByType audio/midi A31536000
    ExpiresByType video/quicktime A31536000
    ExpiresByType audio/mpeg A31536000
    ExpiresByType video/mp4 A31536000
    ExpiresByType video/mpeg A31536000
    ExpiresByType application/vnd.ms-project A31536000
    ExpiresByType application/x-font-otf A31536000
    ExpiresByType application/vnd.oasis.opendocument.database A31536000
    ExpiresByType application/vnd.oasis.opendocument.chart A31536000
    ExpiresByType application/vnd.oasis.opendocument.formula A31536000
    ExpiresByType application/vnd.oasis.opendocument.graphics A31536000
    ExpiresByType application/vnd.oasis.opendocument.presentation A31536000
    ExpiresByType application/vnd.oasis.opendocument.spreadsheet A31536000
    ExpiresByType application/vnd.oasis.opendocument.text A31536000
    ExpiresByType audio/ogg A31536000
    ExpiresByType application/pdf A31536000
    ExpiresByType image/png A31536000
    ExpiresByType application/vnd.ms-powerpoint A31536000
    ExpiresByType audio/x-realaudio A31536000
    ExpiresByType image/svg+xml A31536000
    ExpiresByType application/x-shockwave-flash A31536000
    ExpiresByType application/x-tar A31536000
    ExpiresByType image/tiff A31536000
    ExpiresByType application/x-font-ttf A31536000
    ExpiresByType audio/wav A31536000
    ExpiresByType audio/wma A31536000
    ExpiresByType application/vnd.ms-write A31536000
    ExpiresByType application/vnd.ms-excel A31536000
    ExpiresByType application/zip A31536000
</IfModule>
<IfModule mod_deflate.c>
    <IfModule mod_setenvif.c>
        BrowserMatch ^Mozilla/4 gzip-only-text/html
        BrowserMatch ^Mozilla/4\.0[678] no-gzip
        BrowserMatch \bMSIE !no-gzip !gzip-only-text/html
        BrowserMatch \bMSI[E] !no-gzip !gzip-only-text/html
    </IfModule>
    <IfModule mod_headers.c>
        Header append Vary User-Agent env=!dont-vary
    </IfModule>
    <IfModule mod_filter.c>
        AddOutputFilterByType DEFLATE text/css application/x-javascript text/x-component text/html text/richtext image/svg+xml text/plain text/xsd text/xsl text/xml image/x-icon
    </IfModule>
</IfModule>
<FilesMatch "\.(css|js|htc|CSS|JS|HTC)$">
    <IfModule mod_headers.c>
        Header set Pragma "public"
        Header append Cache-Control "public, must-revalidate, proxy-revalidate"
    </IfModule>
    FileETag MTime Size
    <IfModule mod_headers.c>
         Header set X-Powered-By "W3 Total Cache/0.9.2.4"
    </IfModule>
</FilesMatch>
<FilesMatch "\.(html|htm|rtf|rtx|svg|svgz|txt|xsd|xsl|xml|HTML|HTM|RTF|RTX|SVG|SVGZ|TXT|XSD|XSL|XML)$">
    <IfModule mod_headers.c>
        Header set Pragma "public"
        Header append Cache-Control "public, must-revalidate, proxy-revalidate"
    </IfModule>
    FileETag MTime Size
    <IfModule mod_headers.c>
         Header set X-Powered-By "W3 Total Cache/0.9.2.4"
    </IfModule>
</FilesMatch>
<FilesMatch "\.(asf|asx|wax|wmv|wmx|avi|bmp|class|divx|doc|docx|eot|exe|gif|gz|gzip|ico|jpg|jpeg|jpe|mdb|mid|midi|mov|qt|mp3|m4a|mp4|m4v|mpeg|mpg|mpe|mpp|otf|odb|odc|odf|odg|odp|ods|odt|ogg|pdf|png|pot|pps|ppt|pptx|ra|ram|svg|svgz|swf|tar|tif|tiff|ttf|ttc|wav|wma|wri|xla|xls|xlsx|xlt|xlw|zip|ASF|ASX|WAX|WMV|WMX|AVI|BMP|CLASS|DIVX|DOC|DOCX|EOT|EXE|GIF|GZ|GZIP|ICO|JPG|JPEG|JPE|MDB|MID|MIDI|MOV|QT|MP3|M4A|MP4|M4V|MPEG|MPG|MPE|MPP|OTF|ODB|ODC|ODF|ODG|ODP|ODS|ODT|OGG|PDF|PNG|POT|PPS|PPT|PPTX|RA|RAM|SVG|SVGZ|SWF|TAR|TIF|TIFF|TTF|TTC|WAV|WMA|WRI|XLA|XLS|XLSX|XLT|XLW|ZIP)$">
    <IfModule mod_headers.c>
        Header set Pragma "public"
        Header append Cache-Control "public, must-revalidate, proxy-revalidate"
    </IfModule>
    FileETag MTime Size
    <IfModule mod_headers.c>
         Header set X-Powered-By "W3 Total Cache/0.9.2.4"
    </IfModule>
</FilesMatch>
# END W3TC Browser Cache
# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /blog/
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /blog/index.php [L]
</IfModule>

# END WordPress



Beaucoup de lignes mais c'est généré par le plugin de cache
 
S
StefouFR
Guest
A oui pour le fichier robots.txt -_- désolé un moment de fatigue lol !

Je vais regarder le .htaccess et je t'écris ici si je trouve quelque chose.
 
A
aalex57
Nouveau WRInaute
J'ai fais un " find . -name "robots*" -print" à la racine et j'ai trouvé deux autres fichiers robots dans des appli web, je viens de les supprimer, mais le problème est toujours le même :/
 
UsagiYojimbo
UsagiYojimbo
WRInaute accro
Attention, je ne te demande pas si ton robots.txt est à jour, mais si, quand tu vas sur GWT et que tu regardes quelle version il a en mémoire de ton robots.txt, celui-ci est bien identique à la version que tu as en ligne.
 
S
StefouFR
Guest
Le problème ne vient pas de là car Google regarde le robots.txt présent sur le FTP à chaque envoi d'un sitemap.xml.

Mais tu peux voir ça dans GWT > Etat de santé > URL bloquées.
 
S
StefouFR
Guest
Il y a soit un problème dans le .htaccess (peu probable) soit plusieurs robots.txt ou alors un blocage au niveau de l'hébergeur (par exemple OVH).
 
A
aalex57
Nouveau WRInaute
Pour plusieurs fichiers robots, je ne pense plus, j'ai fais un "ind . -name "robots*" -print" et le seul retourné est celui à la racine.
pour l'hébergeur, je suis sur 1&1, ça serait bizarre s'ils bloquaient :/
 
S
StefouFR
Guest
Si c'est 1&1 alors ce n'est pas l'hébergeur. J'ai longtemps été chez 1&1 et je n'ai jamais eu ce problème.

J'y étais encore le mois derniers sans ce genre de problème.


Tente de virer le fichier robots.txt et de laisser seulement le sitemap.xml et le .htaccess pour voir ce que ça donne quand tu envois un nouveau sitemap.xml sur GWT.
 
Vous devez vous connecter ou vous inscrire pour répondre ici.
1.fr
Discussions similaires
M
Problèmes d'indexation sur mon site
Réponses
1
Affichages
980
cthierry
cthierry
A
Problèmes d'indexation sur domaine expiré
Réponses
6
Affichages
2K
Madrileño
Madrileño
WebRankInfo
Problèmes d'indexation de Google fin 2020
Réponses
54
Affichages
7K
123boost
123boost
S
Problèmes d'indexation et robots.txt
Réponses
6
Affichages
2K
WebRankInfo
WebRankInfo
luxojr
Problèmes d'indexation à cause de ressources bloquées (robots.xt)
Réponses
4
Affichages
2K
Madrileño
Madrileño
L
Problèmes d'indexation depuis mise à jour site
Réponses
2
Affichages
2K
Lucius Snow
L
C
Problèmes d’indexation de sous domaine
Réponses
5
Affichages
2K
Cassandre14
C
G
Problèmes indexation google domaine / sous domaine
Réponses
4
Affichages
2K
Greg73
G
B
N'avez-vous pas des problèmes Indexation depuis 8 jours ?
Réponses
10
Affichages
2K
baptiste
B
A
Les urls, changement et redirection. ça peut créer des problèmes ?
Réponses
1
Affichages
597
idrissihatim
idrissihatim
S
Question concernant vos problèmes
Réponses
0
Affichages
927
samyamine
S
F
Problèmes de performances avec le cache et le rendu sur mon site Web
Réponses
29
Affichages
3K
flexi2202
F
H
2 problèmes bizarres : Aucune page d'origine détectée et 404
Réponses
3
Affichages
918
WebRankInfo
WebRankInfo
H
problèmes remontés ; exemple : rel="alternate" hreflang="x"
Réponses
1
Affichages
1K
kristel
K
R
Sitemap avis/ problèmes
Réponses
3
Affichages
1K
Madrileño
Madrileño
L
RGPD Problèmes Adsense conformité consentement utilisateur
Réponses
1
Affichages
1K
Madrileño
Madrileño
bg62
Gros problèmes de réintégration chez Adsense
Réponses
29
Affichages
2K
spout
spout
dodo974
WordPress Problèmes de contenu en double
Réponses
4
Affichages
1K
dodo974
dodo974
T
Problèmes Données structurées
Réponses
0
Affichages
1K
TRUNCKS
T
T
problèmes procédures stockées
Réponses
6
Affichages
1K
emualliug
E
Haut