[resolu]erreur 403 sur l'acces au robot.txt et l'index.php

Discussion dans 'Crawl et indexation Google, sitemaps' créé par farinet, 20 Août 2007.

  1. farinet
    farinet Nouveau WRInaute
    Inscrit:
    12 Avril 2005
    Messages:
    6
    J'aime reçus:
    0
    Bonjours, des que j'inscrit mon site , les google outils me retournent une erreur 403 sur mon fichier robot.txt, pourtant il est a la racine de mon site et accesible ( http://www.rc-plus.com/robots.txt).
    il me signale que mon index est aussi inaccesible 403 ??

    mon googlesitemap est ici: http://www.rc-plus.com/google_sitemap.php


    voila mon robots.txt
    Code:
    User-agent: *	  # Pour tous les robots	
    Disallow:	  # Rien nÕest interdit
    
    main page
    Disallow: /account.php
    Disallow: /advanced_search.php
    Disallow: /checkout_shipping.php
    Disallow: /create_account.php
    Disallow: /login.php
    Disallow: /login.php
    Disallow: /password_forgotten.php
    Disallow: /popup_image.php
    Disallow: /shopping_cart.php
    
    et voila mon .htaccess:
    Code:
    # modifie by riri
      php_value register_globals 1
    # modifie by riri
    
    ErrorDocument 404 http://www.rc-plus.com/index.php
    
    Options +FollowSymLinks
    RewriteEngine On 
    RewriteBase /
    
    RewriteRule ^(.*)-p-(.*).html$ product_info.php?products_id=$2&%{QUERY_STRING}
    RewriteRule ^(.*)-c-(.*).html$ index.php?cPath=$2&%{QUERY_STRING}
    RewriteRule ^(.*)-m-([0-9]+).html$ index.php?manufacturers_id=$2&%{QUERY_STRING}
    RewriteRule ^(.*)-pi-([0-9]+).html$ popup_image.php?pID=$2&%{QUERY_STRING}
    RewriteRule ^(.*)-t-([0-9]+).html$ articles.php?tPath=$2&%{QUERY_STRING}
    RewriteRule ^(.*)-a-([0-9]+).html$ article_info.php?articles_id=$2&%{QUERY_STRING}
    RewriteRule ^(.*)-pr-([0-9]+).html$ product_reviews.php?products_id=$2&%{QUERY_STRING}
    RewriteRule ^(.*)-pri-([0-9]+).html$ product_reviews_info.php?products_id=$2&%{QUERY_STRING}
    RewriteRule ^(.*)-i-([0-9]+).html$ information.php?info_id=$2&%{QUERY_STRING}
    
    auiez vous une idée pour que je puisse referencer mon site ?

    merci pour votre aide
    Richard[/img]
     
  2. farinet
    farinet Nouveau WRInaute
    Inscrit:
    12 Avril 2005
    Messages:
    6
    J'aime reçus:
    0
    j'ai explorer mes logs apache et voila une drole de decouverte:
    Code:
    220.181.19.162 - - [20/Aug/2007:05:12:35 +0200] "GET /robots.txt HTTP/1.1" 200 353 "-" "Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)" 
    74.6.19.151 - - [20/Aug/2007:11:28:10 +0200] "GET /robots.txt HTTP/1.0" 406 344 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)";
    66.249.65.170 - - [20/Aug/2007:12:30:02 +0200] "GET /robots.txt HTTP/1.1" 403 988 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)" 
    70.169.191.4 - - [20/Aug/2007:12:44:07 +0200] "GET /robots.txt HTTP/1.0" 200 353 "-" "envolk/1.7 (+http://www.envolk.com/envolkspiderinfo.html)" 
    122.152.128.49 - - [20/Aug/2007:18:57:30 +0200] "GET /robots.txt HTTP/1.1" 200 353 "-" "Baiduspider+(+http://www.baidu.com/search/spider_jp.html)" 
    64.246.178.34 - - [20/Aug/2007:19:59:35 +0200] "GET /robots.txt HTTP/1.0" 200 353 "http://www.whois.sc/" "SurveyBot/2.3 (Whois Source)"
    
    comment une requete Get sur un meme fichier peut-elle avoire une reponse differente ??
     
  3. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Pour les variations de statut HTTP, il faut croire qu'il y a eu des changements au niveau de ton serveur (ou des problèmes techniques) entre les différentes visites des robots au robots.txt.

    C'est quoi ce "main page" dans ton robots.txt ? En tout cas, ce n'est absolument pas conforme au standard. Quel est le but ?

    Jean-Luc
     
  4. farinet
    farinet Nouveau WRInaute
    Inscrit:
    12 Avril 2005
    Messages:
    6
    J'aime reçus:
    0
    Merci pour ton aide,
    pour le robots.txt, je l'ai modifié ainsi:
    Code:
    User-agent: *	  # Pour tous les robots	
    Disallow:	  # Rien n’est interdit
    
    
    Disallow: /account.php
    Disallow: /advanced_search.php
    Disallow: /checkout_shipping.php
    Disallow: /create_account.php
    Disallow: /login.php
    Disallow: /password_forgotten.php
    Disallow: /popup_image.php
    Disallow: /shopping_cart.php
    
    le truc que je n'arrive pas a m'expliqué c'est que la réponse au get de google est toujours 403, donc ce n'est pas une erreur aléatoire ou un changement au niveau du serveur.
     
  5. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Un fichier robots.txt est composé de groupes d'instructions séparées par une ou plusieurs lignes vides. Chaque groupe d'instructions commence obligatoirement par une ou plusieurs lignes User-agent:, immédiatement suivies de une ou plusieurs lignes Disallow:.

    Donc le contenu de ton fichier n'est toujours pas conforme. :?

    Jean-Luc
     
  6. farinet
    farinet Nouveau WRInaute
    Inscrit:
    12 Avril 2005
    Messages:
    6
    J'aime reçus:
    0
    comme cela ?
    Code:
    User-agent: *	  # Pour tous les robots	
    Disallow:	  # Rien n’est interdit
    
    User-agent: *
    Disallow: /account.php
    Disallow: /advanced_search.php
    Disallow: /checkout_shipping.php
    Disallow: /create_account.php
    Disallow: /login.php
    Disallow: /password_forgotten.php
    Disallow: /popup_image.php
    Disallow: /shopping_cart.php
    Richard
     
  7. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Code:
    User-agent: * 
    Disallow: /account.php 
    Disallow: /advanced_search.php 
    Disallow: /checkout_shipping.php 
    Disallow: /create_account.php 
    Disallow: /login.php 
    Disallow: /password_forgotten.php 
    Disallow: /popup_image.php 
    Disallow: /shopping_cart.php
    Comme ceci, les robots savent qu'ils peuvent aller partout sauf dans les adresses qui commencent par /account.php, par /advanced_search.php, /checkout_shipping.php,... et /shopping_cart.php.

    Tu ne peux pas avoir deux fois "User-agent: *" dans le fichier.

    Malheureusement tout ceci ne résoud pas ton problème de 403...

    Jean-Luc
     
  8. farinet
    farinet Nouveau WRInaute
    Inscrit:
    12 Avril 2005
    Messages:
    6
    J'aime reçus:
    0
    ok, et encore merci :lol: , le fichier robots.txt est bon,
    mais comme tu dit si bien mon problème 403 est toujours là? :evil:

    Richard
     
  9. farinet
    farinet Nouveau WRInaute
    Inscrit:
    12 Avril 2005
    Messages:
    6
    J'aime reçus:
    0
    En fait, c'etait mon hebergeur qui avait un bug, il a tout réparé et tout est rentré dans l'ordre,
    encore merci pour les corrections du fichier robots.txt

    Richard
    :D :lol: :D
     
Chargement...
Similar Threads - [resolu]erreur 403 acces Forum Date
Lecture entete HTTP avec CURL et 403 Développement d'un site Web ou d'une appli mobile 31 Octobre 2019
Sans user agent header 403 sur la home page Référencement Google 29 Mai 2018
Etrange probléme 403 http header sur la home page Développement d'un site Web ou d'une appli mobile 27 Mai 2018
Erreur 403 et Search Console Débuter en référencement 29 Janvier 2017
Google bot et erreur 404 / 403 Crawl et indexation Google, sitemaps 17 Juin 2016
Erreur HTTP_403_Forbidden sur Majestic SEO Développement d'un site Web ou d'une appli mobile 13 Mai 2015
Erreur 403 mais pas partout Netlinking, backlinks, liens et redirections 1 Décembre 2014
Dossier en 403 Débuter en référencement 12 Novembre 2014
403 ou 301 pour l'ip? Débuter en référencement 30 Juillet 2014
Accès refusé : erreur 403 wp-login.php Google Analytics 11 Juin 2013
Erreur 403 Forbidden mais pourquoi ? Développement d'un site Web ou d'une appli mobile 8 Mars 2013
Erreurs 404 et 403 dans les statistiques d'exploration de GWT Débuter en référencement 26 Février 2013
Baisse de trafic et erreur 403 Problèmes de référencement spécifiques à vos sites 4 Décembre 2012
Redirection automatique d'une page 403 et 404 Débuter en référencement 12 Juin 2012
403 forbidden Développement d'un site Web ou d'une appli mobile 23 Mai 2012
Crawl error 403 Débuter en référencement 1 Mai 2012
Php urlencode et Apache RewriteRule = 403 Forbidden URL Rewriting et .htaccess 23 Avril 2012
Pourquoi entête HTTP 403 FORBIDDEN ? Problèmes de référencement spécifiques à vos sites 12 Avril 2012
Script php de pagerank et erreur 403 Netlinking, backlinks, liens et redirections 21 Novembre 2011
Help mon site affiche: 403 forbiden, piraté? Demandes d'avis et de conseils sur vos sites 2 Novembre 2011