Crawler 135 de Googlebot (classique ou Mediapartner ?)

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par MICKI, 6 Septembre 2004.

  1. MICKI
    MICKI WRInaute discret
    Inscrit:
    12 Mai 2004
    Messages:
    209
    J'aime reçus:
    0
    Bonjour à tous,
    les craw 131 à 138 et permanence sur mon site je pense que c'est adsense pourriez vous me le confiemr svp.
    ce que je voudrais savoir c'est pourquoi ces robots arrive à indexé des pages qui ne le sont jamais par googlebot?
    Je prcise que ces robots simule des recherches avec des prix et des critères comme le type de bien ou la ville de facon à visualiser toutes les pages du site 8O .hors les robots d'indexation classique ne le font pas pourquoi?
     
  2. OnAvance
    OnAvance WRInaute occasionnel
    Inscrit:
    11 Avril 2004
    Messages:
    251
    J'aime reçus:
    0
    Pas sur que ce soit des adsenses, j'ai le 131 et le 135 qui passent beaucoup sur un de mes sites qui n'a jamais eu d'adsence...
     
  3. MICKI
    MICKI WRInaute discret
    Inscrit:
    12 Mai 2004
    Messages:
    209
    J'aime reçus:
    0
    super info OnAvance :lol:
    Est-ce que quelqu'un d'autre confirme?
     
  4. shedon
    shedon Nouveau WRInaute
    Inscrit:
    12 Janvier 2004
    Messages:
    47
    J'aime reçus:
    0
    Les robots adsense

    Les robots adsense visitent toutes les pages qui sont visités par des internautes...

    Quand tu as un visiteur qui fait une recherche et qui se retrouve sur une page qui contient de l'adsense, l'adsense fait une requête sur le site de google pour savoir ce qu'il doit afficher et là, si ta page n'est pas connu par google, il déclanche un crawl pour que les adsense puissent s'afficher correctement sur cette page.
     
  5. MICKI
    MICKI WRInaute discret
    Inscrit:
    12 Mai 2004
    Messages:
    209
    J'aime reçus:
    0
    et est ce que ses pages sont indexé dans google?
     
  6. shedon
    shedon Nouveau WRInaute
    Inscrit:
    12 Janvier 2004
    Messages:
    47
    J'aime reçus:
    0
    Mon cas...

    Moi j'ai un site dont aucune page n'est indéxé par google. (Pseudo blacklistage url-trade)

    Dessus, il y'a de l'adsense. Et tous les jours j'ai des visites des bots sur des pages qui correspondent aux visites des visiteurs.

    Je m'explique :
    Je le vois bien sur les pages peu fréquentées. Quand j'ai une visite d'un internaute, peu après, le bot 131 passe sur cette page.

    C'est du au fait que c'est justement de l'adsense et la visite d'un internaute sur cette page qui a provoqué le crawl de cette page : -> Ce n'est donc pas une simulation de google qui parcourt ton site.
    C'est donc différent du robot d'indexation, qui lui, parcourt lespages de lien en lien et tu n'a donc pas de visite simulée !
     
Chargement...
Similar Threads - Crawler 135 Googlebot Forum Date
Crawler une url présente dans un select Développement d'un site Web ou d'une appli mobile 28 Mars 2022
Liens internes invisibles pour les crawlers Demandes d'avis et de conseils sur vos sites 7 Décembre 2021
Signaler aux crawler de ne pas suivre un lien qui nécessite une connexion Crawl et indexation Google, sitemaps 9 Juin 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Crawler un site volumineux Crawl et indexation Google, sitemaps 4 Septembre 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
Comment trouver la vraie adresse IP d'un crawler ? Développement d'un site Web ou d'une appli mobile 13 Février 2019
Crawler des URLs depuis un CSV Crawl et indexation Google, sitemaps 30 Août 2018
Projet : Crawler de site pour mise en cache chez Fasterize Développement d'un site Web ou d'une appli mobile 7 Septembre 2017
Comment crawler la version mobile de mon site? Administration d'un site Web 13 Juillet 2017
Crawler un site mobile m.monsite.fr avec Xenu Link Sleuth? Crawl et indexation Google, sitemaps 10 Janvier 2017
Hide from backlink crawlers? Administration d'un site Web 27 Décembre 2016
Ne pas indexer ni faire crawler Crawl et indexation Google, sitemaps 10 Juin 2016
Crawler de site pour générer les pages en cache Administration d'un site Web 17 Septembre 2015
Crawler les pages en mode connecté Crawl et indexation Google, sitemaps 27 Août 2015
Google veut crawler des élèments qui n'existe pas sur mon serveur Crawl et indexation Google, sitemaps 26 Juin 2015
Spam crawler darodar Crawl et indexation Google, sitemaps 5 Janvier 2015
Script pour crawler un site Développement d'un site Web ou d'une appli mobile 28 Novembre 2014