Prb avec le fichier robots.txt bloqué alors que tout semble ok

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Click Busters, 19 Octobre 2012.

  1. Click Busters
    Click Busters Nouveau WRInaute
    Inscrit:
    3 Mars 2008
    Messages:
    46
    J'aime reçus:
    0
    Bonjour à tous,

    Nous venons de finaliser un site sous WP. Comme d'habitude (on est loin de notre premier site, mais là on bloque) nous avions bloqué le site via robots.txt durant la phase de création et GWT avait confirmé le blocage. A présent finalisé nous désirons ouvrir le site aux moteurs et avons donc notifié en BO de WP de demander aux moteurs de recherche d’indexer ce site, avons vérifié l'ensemble de la configuration du WP pour éviter un blocage quelconque et placé un robots.txt adapté au site (voir ci dessous) :

    Code:
    User-agent: *
    Disallow: /wp-login.php
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content
    Allow: /wp-content/uploads
    Disallow: */trackback
    Disallow: /*/feed
    Disallow: /*/comments
    Disallow: /cgi-bin
    Disallow: /*.php$
    Disallow: /*.inc$
    Disallow: /*.gz
    Disallow: /*.cgi
    
    User-agent: Googlebot-Image
    Allow: /
    
    User-agent: Mediapartners-Google
    Allow: /
    Le prb est que ce robots.txt est en place depuis cette nuit mais dans ma console GWT j'ai toujours une notification comme quoi l'accès de Googlebot à est bloqué et me présente un ancien robots.txt, alors que, à moins d'une erreur, ce .txt ci dessus no le bloque pas. Il y a donc un prb mais nous n'arrivons pas à le déceler.

    Quand je vais dans "Explorer comme Google" et je fais un test sur la home du site il me notifiait hier "Refusée par le fichier robots.txt" et ceci avant le changement de robots.txt Mais à présent, suite à une nouveau test d'exploration il notifie "Opération effectuée" + URL et pages référencées par le biais de liens ayant été envoyées pour indexation. Cela sous entend que c'est ok et qu'il y a plus de restriction moteur. Pourquoi alors me notifier que le robot est bloqué dans la section "URL bloquées", et il me présente toujours à cet instant l'ancien robots.txt dans la page.

    Le bot de GG ne met pas à jour instantanément les infos dans le GWT ? Et dans ce cas, quand on change de robots.txt, il y a un moyen de le forcer à faire une mise à jour du robots.txt ? Car dans le GWT, sur la page "URL bloquées", il me notifie un blocage des lien du sitemap. Bien étrange.

    Cela pourrait il venir du htacess mis en place tel que ci dessous :

    Code:
    # BEGIN WordPress
    <IfModule mod_rewrite.c>
    RewriteEngine On
    RewriteBase /
    RewriteRule ^index\.php$ - [L]
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteRule . /index.php [L]
    </IfModule>
    # END WordPress
    
    Options +FollowSymlinks
    RewriteEngine on
    RewriteCond %{HTTP_HOST} ^ledomainenequestion.com$
    RewriteRule ^(.*) http://www.ledomainenequestion/$1 [QSA,L,R=301]
    
    <Files .htaccess>
       order allow,deny
       deny from all
    </Files>
    
    # Interdire la consultation des fichiers
    Options All -Indexes
    
    AddOutputFilterByType DEFLATE text/html text/plain text/xml application/xml application/xhtml+xml text/javascript text/css application/x-javascript
    BrowserMatch ^Mozilla/4 gzip-only-text/html
    BrowserMatch ^Mozilla/4.0[678] no-gzip
    BrowserMatch bMSIE !no-gzip !gzip-only-text/html
    
    FileETag MTime Size
    <ifmodule mod_expires.c>
    <filesmatch "\.(jpg|gif|png|css|js)$">
    ExpiresActive on
    ExpiresDefault "access plus 1 year"
    </filesmatch>
    </ifmodule>
    Merci d'avance de votre point de vue, sur ce blocage ...
     
  2. Marie-Aude
    Marie-Aude WRInaute accro
    Inscrit:
    5 Juin 2006
    Messages:
    16 817
    J'aime reçus:
    202
    Il faut attendre environ 24 h que le fichier soit pris en compte. GBot ne semble charger les robots.txt qu'une fois par jour
     
  3. Click Busters
    Click Busters Nouveau WRInaute
    Inscrit:
    3 Mars 2008
    Messages:
    46
    J'aime reçus:
    0
    Merci Marie-Aude pour ta réponse :D , je vais donc m'armer de patience :? , jusqu’à lundi :D
     
Chargement...
Similar Threads - Prb fichier robots Forum Date
Prbl: Importation gros fichiers ds phpmyadmin Administration d'un site Web 16 Février 2004
WordPress permalink produit préfixe url prb Débuter en référencement 10 Mai 2020
prblm google analytics Google Analytics 2 Mars 2011
Racine du site deux index html et php prb référencement ? Problèmes de référencement spécifiques à vos sites 22 Juillet 2009
prbleme ref Débuter en référencement 7 Janvier 2009
prb url rewritting URL Rewriting et .htaccess 25 Novembre 2008
prb avec mon site Problèmes de référencement spécifiques à vos sites 15 Septembre 2008
prb url rewriting côté PHP URL Rewriting et .htaccess 20 Juillet 2008
Prbleme avec les caracteres speciaux URL Rewriting et .htaccess 21 Décembre 2007
Prb d'affichage des couleurs sous firefox [RESOLU] Développement d'un site Web ou d'une appli mobile 8 Août 2007
Prbl javascript : onchange vers onclick Développement d'un site Web ou d'une appli mobile 30 Juin 2007
Prb htaccess URL Rewriting et .htaccess 28 Juin 2007
Prb de Redirection ou rewriting / espace dans url URL Rewriting et .htaccess 1 Novembre 2006
Prb zonecheck : Impossible de résoudre le 'loopback' Administration d'un site Web 5 Septembre 2006
prb avec le refferer a partir d'une redirection Netlinking, backlinks, liens et redirections 19 Mars 2006
Prb: apache-ssl ne gere pas le php Administration d'un site Web 17 Janvier 2006
prb connexion reseau VPN distant Débuter en référencement 18 Octobre 2005
Prb url rewriting et redirection permanente URL Rewriting et .htaccess 24 Août 2005
Prb de référencement et de page d'accueil Problèmes de référencement spécifiques à vos sites 5 Septembre 2003
Prb Apache 2.0.45 et mod_rewrite URL Rewriting et .htaccess 12 Mai 2003