GoogleBot ne passe plus

Discussion dans 'Crawl et indexation Google, sitemaps' créé par seb4985, 7 Juin 2007.

  1. seb4985
    seb4985 Nouveau WRInaute
    Inscrit:
    26 Février 2007
    Messages:
    25
    J'aime reçus:
    0
    Bonjour, j'ai un petit souci depuis 4 jours, le rotot goole ne passe plus (depuis que j'ai mis un fichier robots.txt)

    URL : en MP

    Je pense que la syntaxe est bonne: je ne veux pas que les robots passent sur le répertoire Forum ni sur la page espace personnel.

    Avant de mettre le fichier rotots, goolgle bot passait 2 fois par jour.

    Si quelqu'un peut m'expliquer, merci d'avance
     
  2. jomree
    jomree WRInaute discret
    Inscrit:
    16 Avril 2007
    Messages:
    84
    J'aime reçus:
    0
    En tous cas, ta syntaxe robots.txt est bonne... :?
     
  3. seb4985
    seb4985 Nouveau WRInaute
    Inscrit:
    26 Février 2007
    Messages:
    25
    J'aime reçus:
    0
    Merci de la confirmation mais alors, qu'est ce qui se passe?
     
  4. frenchhorn
    frenchhorn WRInaute passionné
    Inscrit:
    8 Février 2007
    Messages:
    1 136
    J'aime reçus:
    3
    4 jours seulement pour un site pr 2 ... c'est pas surprenant non?

    surtout si tu desindexe la partie de ton site la plus productive en terme de page (ton forum)
     
  5. seb4985
    seb4985 Nouveau WRInaute
    Inscrit:
    26 Février 2007
    Messages:
    25
    J'aime reçus:
    0
    Je le desindexe parce que c'est un truc perso, sinon avant le fichier robots, il passait tous les jours alors je me demandais si ca ne pouvait pas venir de ca?
    Google n'a rien contre les fichiers robots.txt?
     
  6. jomree
    jomree WRInaute discret
    Inscrit:
    16 Avril 2007
    Messages:
    84
    J'aime reçus:
    0
    Evidemment qu'il n'a rien contre les robots.txt!
    C'est quand même pour les robots que ce fichier a été créé.
    D'ailleurs, tu peux vérifier ce que pense GG de ton fichier robots.txt depuis la page outils pour webmaster de GG.
     
  7. seb4985
    seb4985 Nouveau WRInaute
    Inscrit:
    26 Février 2007
    Messages:
    25
    J'aime reçus:
    0
    Ok merci, je vais tester...
     
  8. Thierry Bugs
    Thierry Bugs WRInaute accro
    Inscrit:
    16 Juin 2004
    Messages:
    3 363
    J'aime reçus:
    1
    tu as une redirection par .htaccess vers "accueil", ça ne viendrait pas de là ??
     
  9. seb4985
    seb4985 Nouveau WRInaute
    Inscrit:
    26 Février 2007
    Messages:
    25
    J'aime reçus:
    0
    Je fais une redirection en javascript et la page index.php = accueil.php, il y a des liens sur l'index.
    j'ai fait ce système pour eviter de compter 10 fois le meme utilisateur dans le compteur.

    Les balise meta sont identiques, ca peut peut etre venir de la?

    la page index.php est indexée mais pas accueil.php alors que d'autres pages le sont, ce qui prouve que googlebot suivait les liens de la page index.
     
  10. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 857
    J'aime reçus:
    5
    On appelle ça un SEO-cide !

    ;)

    Au pire, fais une redirection <meta> si tu ne peux faire une 301 ou une 302.
     
  11. seb4985
    seb4985 Nouveau WRInaute
    Inscrit:
    26 Février 2007
    Messages:
    25
    J'aime reçus:
    0
    Pourquoi? la methode actuelle n'est pas correcte? les robots ont du mal à suivre le lien?
    Pourrai tu me donner un exemple de redirection meta?

    Merci d'avance
     
  12. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 857
    J'aime reçus:
    5
    Les redirections en JavaScript ne sont pas interprétées par les robots.


    Note: en visualisant le code de ta page d'accueil, je remarque qu'il y'a une erreur assez monumentale à corriger:

    tu as un double de ton <title> et de tes <meta> avant ton <head>... ;)
     
  13. seb4985
    seb4985 Nouveau WRInaute
    Inscrit:
    26 Février 2007
    Messages:
    25
    J'aime reçus:
    0
    Ok merci, je vais corriger ca.
    petite question: si je fais une redirection par meta, je peux supprimer le contenu de la page index?
    j'avais mis ce contenu pour etre sur que les robots puissent se promener sur le site. mais si je comprends bien avec une telle rediction (meta) ca ne sert plus à rien.
     
  14. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 857
    J'aime reçus:
    5
    La redirection <meta> n'est pas suivie non plus.
    Son seul avantage par rapport à la redirection JS, c'est qu'elle n'a pas été utilisée à des fins de cloaking, donc qu'elle est moins mal considérée.

    Puisque tu travailles en php, pourquoi ne pas tout simplement faire une 301 par les headers ?

    Code:
    <?php
    		header("Status: 301 Moved Permanently", false, 301);
    		header("Location: http://example.com/accueil.php");
    		exit;
    ?>
     
  15. seb4985
    seb4985 Nouveau WRInaute
    Inscrit:
    26 Février 2007
    Messages:
    25
    J'aime reçus:
    0
    Heu...
    Je ne sais pas du tout ce que s'est,
    les headers sont des balises?
    desole si ma question est stupide

    nos posts se sont croisés, merci pour le code.
    mais concretement, il se passe quoi avec cette methode?
     
  16. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 857
    J'aime reçus:
    5
    J'ai édité mon message pendant que tu posais la question, en donnant la portion de code à utiliser (dans index.php, à la place du reste, et sans aucun contenu avant).
     
  17. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 857
    J'aime reçus:
    5
    Concrètement, en utilisant ce code dans ton fichier index.php (tu peux virer tout le reste), tout visiteur, moteurs compris, est redirigé vers "accueil.php".

    Tous les éléments qui font ton positionnement sont transmis de index.php à accueil.php également (thématisation, backlinks, etc...).
     
  18. seb4985
    seb4985 Nouveau WRInaute
    Inscrit:
    26 Février 2007
    Messages:
    25
    J'aime reçus:
    0
    J'ai tenté la modif mais j'ai une erreur voici:

    je fais le test sur index3.php
     
  19. seb4985
    seb4985 Nouveau WRInaute
    Inscrit:
    26 Février 2007
    Messages:
    25
    J'aime reçus:
    0
    J'avais cette erreur car j'avais du code avant le header.
    Je l'ai enlevé et ca fonctionne.

    Merci beaucoup pour ton aide
     
Chargement...
Similar Threads - GoogleBot Forum Date
Les liens nofollow sont quand même suivis par Googlebot Débuter en référencement 27 Mai 2021
Voir une page (entière) comme Googlebot Développement d'un site Web ou d'une appli mobile 27 Mars 2021
Fréquence passage googlebot Crawl et indexation Google, sitemaps 30 Janvier 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Comment augmenter la fréquence de passage de GoogleBot Crawl et indexation Google, sitemaps 10 Décembre 2019
Site inaccessible pour GoogleBot Crawl et indexation Google, sitemaps 21 Octobre 2019
En décembre 2019 changement de l'user agent de Googlebot Crawl et indexation Google, sitemaps 5 Octobre 2019
googlebot crawle des pages inexistantes Crawl et indexation Google, sitemaps 16 Août 2019
Les pages 404 avec googlebot Crawl et indexation Google, sitemaps 14 Juin 2019
Evergreen Googlebot, basé sur Chromium (Chrome open source) Référencement Google 9 Mai 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
GoogleBot scan url inexistante Crawl et indexation Google, sitemaps 17 Avril 2019
feuilles de styles non obtenues par Googlebot Crawl et indexation Google, sitemaps 28 Septembre 2018
Temps de réponse serveur googlebot Développement d'un site Web ou d'une appli mobile 23 Mai 2018
Strikingly et Googlebot : Contenu invisible dans la Search Demandes d'avis et de conseils sur vos sites 3 Avril 2018
Robots.txt ligne génante selon Googlebot votre avis ? Crawl et indexation Google, sitemaps 23 Mai 2017
Impact gestion paramètre url sur Googlebot Crawl et indexation Google, sitemaps 12 Mai 2017
Googlebot et fichier css/ java Débuter en référencement 24 Juin 2016
Googlebot, Cookie et SEO Crawl et indexation Google, sitemaps 20 Mars 2016
GWT m'invente des pages (Googlebot for smartphones) Crawl et indexation Google, sitemaps 19 Août 2015