fiabilité tableau de bord et outils webmaster ?

Discussion dans 'Crawl et indexation Google, sitemaps' créé par fredwat, 22 Mars 2007.

  1. fredwat
    fredwat WRInaute accro
    Inscrit:
    11 Février 2004
    Messages:
    2 602
    J'aime reçus:
    0
    Bonjour,
    depuis ce matin le tableau de bord indique n'importe quoi...
    URL restreintes par un fichier robots.txt 176 pages bloquées soit-disant par le robots.txt alors qu'en vérifiant le code est bien 200 !
    Résultats visibles et immédiat ( :?: ...alors là Gégé est devenu + rapide que son ombre) chute sur les deux requêtes principales de mon site job (en ligne depuis 3 ans)
    Remarquez-vous le même phénomène (exclusion robots.txt) sur l'un de vos sites ? (ou plusieurs)
    Vos avis et expériences sont les bienvenues :?
     
  2. wullon
    wullon WRInaute accro
    Inscrit:
    18 Septembre 2004
    Messages:
    2 788
    J'aime reçus:
    0
    Je n'ai pas tout saisi.

    Le code renvoyé par une url peut être 200, et cette url peut être bloqué par le robots.txt !
     
  3. fredwat
    fredwat WRInaute accro
    Inscrit:
    11 Février 2004
    Messages:
    2 602
    J'aime reçus:
    0
    ce fichier robots.txt est en place depuis 3 ans et n'a pas été modifié
    ( User-agent: *
    Disallow: )
    Pige pas :roll:
     
  4. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Bonjour fredwat,

    Je ne sais pas de quel site il s'agit, mais ce http://www.photo-industrielle.com/robots.txt n'est pas valide.

    Il faut sauter une ligne entre chaque groupe de directives. Tu dois l'écrire comme ceci:
    Code:
    User-agent: *
    Disallow:
    
    User-agent: QuepasaCreep 
    Disallow: /
    
    User-agent: BotRightHere
    Disallow: /
    ou, au choix, comme ceci:
    Code:
    User-agent: *
    Disallow:
    
    User-agent: QuepasaCreep 
    User-agent: BotRightHere
    Disallow: /
    Jean-Luc
     
  5. fredwat
    fredwat WRInaute accro
    Inscrit:
    11 Février 2004
    Messages:
    2 602
    J'aime reçus:
    0
    salut Jean-luc ;)
    non il s'agit de l'autre
    mais je te remercie pour l'info au sujet du second site !
    Vois-tu ce qui merdouille ?
    @+
    amicalement
    Fred

    ps: comme le dit Jean-Luc "Je ne vois pas ce qui peut gêner Google"
    je demeure donc perplexe quant aux infos données par les outils (et du déclassement qui semble en découler :? )
     
  6. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Pour l'autre, rien à redire. Je ne vois pas ce qui peut gêner Google.

    Jean-Luc
     
  7. fredwat
    fredwat WRInaute accro
    Inscrit:
    11 Février 2004
    Messages:
    2 602
    J'aime reçus:
    0
    Au final je l'ai viré (ce fichier); je verrai bien ce qui se passe :roll:
     
  8. Ytz
    Ytz WRInaute discret
    Inscrit:
    21 Mars 2007
    Messages:
    65
    J'aime reçus:
    0
    J'ai plusieurs sites sans robots.txt (pas le besoin), j'en avais mis puis enlever, jamais vu de différence...

    La seule chose est que le passage d'un robots envoie une erreur 404...pas si grave (?)

    Ytz.
     
  9. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Pas grave du tout, si cela ne te gêne pas de voir ces codes 404 dans tes logs.

    Les robots des moteurs de recherche adorent les sites sans robots.txt. Ils savent que cela veut dire qu'ils sont les bienvenus dans tout le site. Donc pour eux, c'est parfait.

    Tu peux aussi créer un robots.txt vide avec Notepad. Tu éviteras ainsi les codes 404.

    Jean-Luc
     
  10. Ytz
    Ytz WRInaute discret
    Inscrit:
    21 Mars 2007
    Messages:
    65
    J'aime reçus:
    0
    Est ce que cela veut dire qu'un robot.txt vide n'est pas gênant... ?

    Ytz.
     
  11. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Oui. Absolument aucun inconvénient pour le référencement.

    Jean-Luc
     
  12. goldstreet
    goldstreet Nouveau WRInaute
    Inscrit:
    26 Octobre 2007
    Messages:
    10
    J'aime reçus:
    0
    Bonjour,

    Quand vous dites vide, c'est vide vide ?
    ou vide :

    User-agent: *
    Disallow:

    ------------------

    Ma théorie la dessus est que le phénomène de "sand box ou 950" se situe à ce niveau là (pour les sites conformes),
    je site :



    URL inaccessible /robots.txt inaccessible

    Avant d'explorer les pages de votre site, GoogleBot tente de lire votre fichier robots.txt afin d'exclure de cette exploration les pages mentionnées dans ce fichier.

    Le fichier robots.txt étant inaccessible.

    Pour ne pas risquer d'explorer des pages que vous auriez décidé de soustraire à ce processus, GoogleBot difère son exploration.

    Lorsque cela se produit, GoogleBot attend quelque temps avant de revenir sur votre site et n'explore celui-ci qu'après avoir pu atteindre le fichier robots.txt.

    Notez que cette erreur n'est pas équivalente à l'obtention d'une réponse 404 pendant la recherche du fichier robots.txt.

    -----> Dans le cas d'une réponse 404, nous supposons que le fichier robots.txt n'existe pas et poursuivons l'exploration.

    -----------------------------------

    L'inexistance du fichier n'est pas un problème mais ralentit donc le processus.

    J'ai poussé mes recherches la dessus les résultats d'un site faisait du yoyo (indexation, desindexation).

    Merci à tous et j'espère avoir apporté ma petite graine avec ce premier message :>
     
  13. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Bonjour et bienvenue,

    Il n'y a pas de raison de penser que l'absence de robots.txt retarderait ou compliquerait l'indexation. L'absence de ce fichier renvoie immédiatement le code 404 au robot qui le cherche. Il n'y a donc aucun délai et l'absence du fichier a une signification claire: aucune restriction pour les robots. Dans un certain sens, le fichier est "inaccessible", mais pas pour Google car le serveur répond "code 404".

    Ce que Google appelle "inaccessible" est autre chose. Il s'agit d'erreurs qui font que le visiteur (robot ou navigateur) ne reçoit aucun code en retour. Cela se passe quand il y a des problèmes de DNS, des problèmes de surcharge serveur, etc. Google a raison de distinguer ce cas, parce qu'un serveur qui a un problème temporaire peut avoir un fichier robots.txt qui restreint les droits de visite des robots.

    Jean-Luc
     
  14. goldstreet
    goldstreet Nouveau WRInaute
    Inscrit:
    26 Octobre 2007
    Messages:
    10
    J'aime reçus:
    0
    Rebonjour,

    Je sais pas j'ai lu ca dans leur FAQ, c'etait une hypothèse,
    par contre la tienne est correct,
    je marche avec un rewritting avec des dossiers virtuels, serait-ce la cause d'un non retour de réponse (200 ou 404) , qui fait que mon "GoogleBot" se comporte comme ca et retarde le référrencement ?

    Ps : merci pour la bienvenue 8) et mon nom aussi c'est JL

    Question : y' aurait t-il quelqu'un de callé pour une brève analyse en PV d'un site (pour amélioration du poitionnement) ? siou plait :oops:
    (pour le ranking ca va je suis passé a pr3 cette nuit, pour un ndd acheter le 2007-09-28), mais il ressort très mal des pages plus appropriés au détriment d'autres.
     
Chargement...
Similar Threads - fiabilité tableau bord Forum Date
Rapport Analytics et échantillonnage : quelle fiabilité ? Google Analytics 9 Août 2018
Temps moyen passé sur une page : fiabilité ? Google Analytics 10 Mai 2017
[MOZBAR] Niveau de fiabilité du nombre de liens ? Netlinking, backlinks, liens et redirections 21 Septembre 2016
Fiabilité de Keyword planner? Débuter en référencement 22 Janvier 2016
Fiabilité = 0 du générateur de mots clés ?! AdWords 4 Juillet 2013
Fiabilité de SEOquake ? Débuter en référencement 30 Avril 2013
Demande de conseils hébergement, ndd et fiabilité compte mail Noms de domaine et référencement 7 Janvier 2012
fiabilité du comptage des conversions AdWords AdWords 13 Novembre 2011
Utilisation des cookies de GA pour visiteurs uniques, quelle fiabilité? Google Analytics 30 Juin 2011
Interet / Fiabilité outils SEO Débuter en référencement 17 Juin 2011
fiabilité du nombre de visiteurs Google Analytics 30 Avril 2011
Tracking campagne display et fiabilité Google Analytics 24 Septembre 2010
Fiabilité du Webmaster Tools Débuter en référencement 29 Juin 2010
Fiabilité de la fonction time() en php ? Développement d'un site Web ou d'une appli mobile 27 Juin 2009
Fiabilité des stats volume de recherche outil adwords keywords AdWords 25 Juin 2009
Fiabilité classement des mots clé par Googlebot ? Référencement Google 9 Mars 2009
[Google Analytics] Fiabilité des données ecommerce Google Analytics 5 Février 2009
Fiabilité des reponses à ce forum Débuter en référencement 7 Janvier 2009
Google Analytics : fiabilité des filtres Inclure? Google Analytics 10 Octobre 2008
Fiabilité de la commande site: sur Google Crawl et indexation Google, sitemaps 7 Octobre 2008