Full crawl trés incomplet

Discussion dans 'Crawl et indexation Google, sitemaps' créé par BDGest, 19 Mars 2003.

  1. BDGest
    BDGest WRInaute discret
    Inscrit:
    6 Janvier 2003
    Messages:
    196
    J'aime reçus:
    0
    Ce mois ci, google à complètement oublié une partie de mon site (le forum) lors du full crawl alors que le mois dernier, il était bien passé partout. Voici mon fichier robots.txt que j'ai mis en place suite à l'url rewriting. Vous croyez que cela peut venir de ça :

    Code:
    User-agent: *
    Disallow: /images/
    Disallow: /old_forum/
    Disallow: /old_forum_sav/
    Disallow: /ftp/
    Disallow: /images/
    Disallow: /forum/login.php
    Disallow: /forum/modcp.php
    Disallow: /forum/posting.php
    Disallow: /forum/privmsg.php
    Disallow: /forum/search.php
    Disallow: /forum/viewonline.php
    Disallow: /forum/viewmessage
    Disallow: /forum/viewforum.php
    Disallow: /forum/viewtopic.php
    Disallow: /forum/statistics.php
    Disallow: /forum/site_hist.php
    Disallow: /forum/profilephoto_mod.php
    Disallow: /forum/profile.php
    Disallow: /forum/memberlist.php
    Disallow: /forum/ranking.php
    Disallow: /forum/groupcp.php
    Disallow: /forum/ranking.php
     
  2. Kmacleod
    Kmacleod WRInaute passionné
    Inscrit:
    28 Novembre 2002
    Messages:
    2 468
    J'aime reçus:
    0
    Comment pourrait on dire le contraire :cry:
    Dans ton site il y a des liens style /forum/viewforum.html lequel pointe sur /forum/viewforum.php (par exemple)
    mais le fichier physique est interdit par le Disallow
    Enfin c'est ce que j'en comprends
     
  3. mixmax06
    mixmax06 WRInaute occasionnel
    Inscrit:
    7 Mars 2003
    Messages:
    374
    J'aime reçus:
    0
    disallow

    Salut.
    Ca c'est sur, aucun moteur n'iras sur ces pages.
    La fonction disallow est pour tes pages d'admin de ton site, pas pour ton site entier :cry:
     
  4. BDGest
    BDGest WRInaute discret
    Inscrit:
    6 Janvier 2003
    Messages:
    196
    J'aime reçus:
    0
    Ben oui mais Google voit les fichiers viewforum.html et non viewforum.php ??? Donc si il demande le html, il s'en fout que derriere ce soit un php qui charge la page ? non ?
     
  5. Mitirapa
    Mitirapa WRInaute passionné
    Inscrit:
    10 Juillet 2002
    Messages:
    1 175
    J'aime reçus:
    0
    oui mais c'est le sereur qui donne... google demande le viewforum.html et le serveur donne SI IL A LE DROIT le viewforum.php
    dans ton cas le serveur n'a pas donnée tes fichiers du forum
     
  6. BDGest
    BDGest WRInaute discret
    Inscrit:
    6 Janvier 2003
    Messages:
    196
    J'aime reçus:
    0
    Ce n'est pas comme ça que je comprenais le fonctionnement d'un fichier robots.txt. Pour moi ce fichier est lu exclusivement par les robots (le serveur s'en fout) pour savoir où ils ont le droit de se ballader.

    Quelqu'un peut confirmer ou infirmer ?
     
  7. Kmacleod
    Kmacleod WRInaute passionné
    Inscrit:
    28 Novembre 2002
    Messages:
    2 468
    J'aime reçus:
    0
    Dans ta problèmatique, il y a conflit entre les interdictions du robot et le .htaccess.

    Si un fichier est dans le robot.txt, considère que pour Google il n'existe pas.
    Même s'il lit le fichier .html, à un moment donné il faut bien qu'il aille lire le fichier.php, or le robot ne le veut pas.
     
  8. Mitirapa
    Mitirapa WRInaute passionné
    Inscrit:
    10 Juillet 2002
    Messages:
    1 175
    J'aime reçus:
    0
    oops ce que j'ai dit est faux je me suis mélangé les pinceaux dsl.
     
  9. BDGest
    BDGest WRInaute discret
    Inscrit:
    6 Janvier 2003
    Messages:
    196
    J'aime reçus:
    0
    Ben non puisque le robot ne sait jamais qu'il demande un fichier html. C'est totalement trasnparent pour lui :?:
     
  10. Ben
    Ben WRInaute discret
    Inscrit:
    20 Février 2003
    Messages:
    171
    J'aime reçus:
    0
    Ton fichier robots.txt a l'air correct, le full crawl n'est pas encore fini je pense, il passera peut etre encore dans ton forum.

    Je peux me tromper mais je pense qu'il doit y avoir un delai avant que les nouveaux liens soient pris en compte, j'imagine que google se base encore sur les anciens liens vers ton forum pour crawler a la recherche de nouvelles pages (mais il ne le fait pas a cause du robots.txt). Si il ne les prends pas a ce full crawl il les prendra sans doute au prochain...

    Ben
     
  11. BDGest
    BDGest WRInaute discret
    Inscrit:
    6 Janvier 2003
    Messages:
    196
    J'aime reçus:
    0
    Ben ce qui m'inquiète c'est qu'il avait bien scanné les page au précédent fc en février mais pas ce coup ci :(
     
Chargement...
Similar Threads - Full crawl trés Forum Date
Référencement d'un site full javascript (angular js) Référencement Google 10 Septembre 2019
Recherche full-texte Développement d'un site Web ou d'une appli mobile 31 Janvier 2015
Lien facebook et connexion en partie haut de son site et en full site Débuter en référencement 9 Août 2014
Menu Vs footer full site pour les liens Débuter en référencement 30 Juillet 2014
Footer full site: du texte et des liens Débuter en référencement 26 Septembre 2012
Barre Full Width Développement d'un site Web ou d'une appli mobile 23 Juin 2012
Guide et annuaire touristique, full HTML5, versions classique et mobile Annuaires et moteurs 28 Avril 2012
site en full flash. Développement d'un site Web ou d'une appli mobile 29 Décembre 2011
Recherche fulltext mot féminin et pluriel ? Développement d'un site Web ou d'une appli mobile 18 Mars 2011
Passer un site en full https Rédaction web et référencement 21 Février 2011
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice