le bot me fait planter mon forum...

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Mitirapa, 10 Novembre 2002.

  1. Mitirapa
    Mitirapa WRInaute passionné
    Inscrit:
    10 Juillet 2002
    Messages:
    1 176
    J'aime reçus:
    0
    et oui, voilà j'avais fait un url rewriting...
    et donc les robots (une 50taines d'ip 216.239.46.* en meme temps) regardent toutes les pages...
    mais il y a tellement de requetes au meme moment que ca me fait des erreurs dans le forum...
    je vais donc etre obligé s'il ne s'arrete pas demain de restreindre certains accés... dommage quand meme, j'avais pas prévu ca.
     
  2. Jocelyn
    Jocelyn WRInaute occasionnel
    Inscrit:
    6 Novembre 2002
    Messages:
    382
    J'aime reçus:
    0
  3. Mitirapa
    Mitirapa WRInaute passionné
    Inscrit:
    10 Juillet 2002
    Messages:
    1 176
    J'aime reçus:
    0
    ha je ne savais pas qu'on pouvait leur faire des demandes de ce type..
    mais si je leur dit, ils vont choper que j'ai fait un url-rewriting sur le forum et vu que google n'aime pas trop les forums... je prefere ne rien dire...
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 804
    J'aime reçus:
    259
    Vu que l'objectif de l'URL rewriting est que les robots indexent les pages, ce serait bête de lui demander explicitement de ne pas les indexer !!!
     
  5. Jocelyn
    Jocelyn WRInaute occasionnel
    Inscrit:
    6 Novembre 2002
    Messages:
    382
    J'aime reçus:
    0
    La question dans la FAQ de Google est comme suit :
    Google répond en disant qu'ils chercheront de leur côté où est le problème. Ca ne veut pas dire que dans tous les cas ils vont supprimer les pages de leur index. il y a déjà les balises META pour ça. Je vois plus ça comme un moyen de les aider à améliorer leur crawler.

    Enfin, je n'ai jamais eu ce problème, donc ce ne sont que des suppositions.

    Jocelyn
     
Chargement...
Similar Threads - bot planter forum Forum Date
googlebot crawle des pages inexistantes Crawl et indexation Google, sitemaps Vendredi à 10:06
Search Console un fichier robots.txt pour chaque protocole Débuter en référencement Jeudi à 11:58
Message console "Indexée malgré blocage robot.txt" Crawl et indexation Google, sitemaps 4 Août 2019
Augmenter ses revenus au CPM avec des robots de trafic Monétisation d'un site web 6 Juillet 2019
Search Console bloquée par le fichier robots.txt Crawl et indexation Google, sitemaps 25 Juin 2019
Les pages 404 avec googlebot Crawl et indexation Google, sitemaps 14 Juin 2019
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
Délai de prise en compte changement robots.txt plus long Crawl et indexation Google, sitemaps 18 Mai 2019
Search Console Passage de HTTP à HTTPS (Fichiers ROBOTS.TXT et SITEMAP) 0 Crawl et indexation Google, sitemaps 16 Mai 2019
Evergreen Googlebot, basé sur Chromium (Chrome open source) Référencement Google 9 Mai 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice