crawl (exploration)

Bonjour à tous, Je possède un site internet qui connait une chute impressionnante au niveau des requêtes crawlées chaque jour par Google. Aucune...

Bonsoir . Depuis quelques heures je vois des visiteurs sur mon Analytics sur des urls terminant par ?critical_test=1 Savez vous a quoi cela...

Salut, Lorsque l'on désindexe et passe en noindex une page (page zombie selon rmtech), mais que je veux garder cette page sur le site, est-ce...

Bonsoir à tous ! Il y a plusieurs années, j'ai créé des sitemaps pour mon site, et ce pour diverses sections. (forum, articles et autres pages...

Bonjour à tous ! J'aimerais autoriser les bots à crawler mon site en entier sauf une section qui est /Profil/. Est-ce que je dois faire comme...

Bonjour à tous, Je suis en poste depuis quelques semaines chez un constructeur de maisons individuelles avec pas mal de sujets à traiter. Disons...

Bonjour ! J'ai quelques questions concernant l'AMP et le responsive design dans le milieu du Crawl et de l'indexation. Posons les bases de la...

BOnjour, Cela fait plus d'un an que j'ai migré mon site de HTTP en HTTPS J'ai fait ce qu'il fallait dans mon htaccess pour faire de belles...

hello, Pouvez vous me dire ce qui se trouve dans votre wordpress/woocommerce robots.txt et ce que vous bloquez ? Google indexe toutes les pages...

Bonjour, Ce matin à 5h31, j'ai effectué un contrôle de mon site (mon www) avec My Ranking Metrics. Je me suis alors aperçu que l'outil a crawlé...

Bonjour à tous, j'ai reçu un message de google me disant que j'avais un "problème de couverture de l'indexe" je ne sais pas quoi faire pour...

Bonjour à toutes et à tous, Je me permets de venir chercher un peu d'aide par ici concernant une question qui me taraude grandement. J'ai monté...

Bonjour, J'ai lu sur ce forum comment utiliser la mise en cache de Google pour mieux voir la mise en texte seule. Par ce moyen j'ai vu que sur...

Bonjour tout le monde, Sur la nouvelle version de Google Search Console, très prometteuse au demeurant, j'ai une centaine d'avertissements me...

Bonjour à toute la communauté WRI, Votre avis et/ou retours d'expérience m'intéressent par rapport à un phénomène que je rencontre depuis...

Bonjour, Nous savons que dorénavant google utilise la version mobile d'un site pour effectuer le traitement de son algorithme. Donc en clair, il...

Bonjour, Je vois que google crawl systématiquement la page amp correspondante, mais dans les fait elles ne sortent pas dans les résultats, du...

Google a indiqué le 04/12/2017 qu'à partir du 2ème trimestre 2018, son robot Googlebot n'utilisera plus l'ancienne méthode de crawl des contenus...

Bonjour, Depuis hier je constate des données complètement folles dans google Analytics ... Mon trafic augmente de 100% à 200%, ce qui...

Bonjour, Je travaille sur des cocons. Pour pouvoir respecter ceux-ci, il faut éviter que ça s'éparpille partout pour avoir vraiment une structure...

Bonjour, ma question est peut être technique à première vue mais est assez simple. Pour ceux qui ne savent pas ce qu'est Angular, react... ce...

Bonjour, Savez-vous s'il existe actuellement une limite de taille pour le cache Google ? Il y a trèèèès longtemps (je parle d'un temps que les...

Hello à tous, Un de mes sites (sous prestashop) utilise actuellement le système de mise en cache de Fasterize. Cela permet de décharger...

Bonjour, voilà mon souci: j'ai une boutique en ligne sous prestashop 1.6 avec le thème par défault responsive, j'ai un module qui met les pages...

Bonjour, Google crawl toujours mon ancien robots.txt A chaque fois il me sort en erreur mes vielles pages de mon site web. J'ai basculé mon...

Bonjour, Sur mon site j'ai beaucoup de pages de type : https://www.monsite.fr/page.html?code=82&idpartenaire=60876 Ne souhaitant pas que Google...

bonjour à tous, sur mon CMS prestashop j'ai cette ligne qui est considérée comme "erreur grave" dans GWT (outil test robots.txt) : Disallow: /*?...

Bonjour, J'ai cherche sur le forum un ticket sur la pagination SEO mais rien trouvé du coup me voilà et je pense que ça peut interessé pas mal de...

Hello tout le monde, Après avoir commencer une analyse de log sur mon site, je viens de m'apercevoir que googleBot passe environ 50% de son temps...

Bonjour, J'ai supprimé la pagination de mes pages, avant la suppression une page pouvait être découpée comme suit :...

Bonjour, Je souhaite vous présenter un nouveau crawler Seo https://www.prestacrawl.com/ . Prestacrawl est un outil de diagnostic Seo permettant...

Lors de crawl sur mon site, je me suis rendu compte que j'avais presque 30 000 pages, pour seulement 6 000 produits. Pour chacun de mes articles,...

Bonjour, mon site en SPIP à la particularité de mettre en disallow sur le robot.txt le repertoire /local/ où se trouve les images. Bravo...Selon...

Bonjour, J'ai des page paginé sous wordpress, exemple : http://www.dicotravail.com/convention-collective/coiffure-jo-3159-idcc-2596/ Pour cette...

Bonjour, Mon site est en ligne et accessible. Le problème, c'est que quand j'essaye d'effectuer une analyse On-site, J'ai les message d'erreur...

Bonjour à toutes et à tous, Mon GWT/exploration/outils de test du fichier robots.txt me colle un avertissement en face de la mention Crawl-delay:...

Bonjour, Lorsque je tape : https://webcache.googleusercontent.com/search?q=cache:www.monsite.com...

Bonjour, Pour un site de 160 pages je découvre grâce à un crawler qu'il y a plus de 1000 url. La plupart des url "excédentaires" sont des url qui...

Suite à l'excellent article paru dans le blog de Google, j'ai rédigé un dossier que j'estime assez complet sur la notion de budget de crawl....

Bonjour et bonné année à tous, Je souhaite utiliser Xenu Link Sleuth pour crawler un site mobile du type m.monsite.fr, donc différent du site...

Bonjour, Google crawl des url qui n'existent pas avec son google bot smartphone. Voici le genre d'url :...

Bonjour à tous Je viens d'installer Kibana pour faire de l'analyse de Log, je suis à la recherche de quelqu'un qui pourrait m'aider à configurer...

Bonjour, J'écris ce message car j'ai un problème de référencement lié au cache de Google. J'avais un document pdf qui a été indexé par Google...

Hi, I use WordPress for my website [http://essayservices.org/] and I've found a plugin which hides my back-links from back-link crawlers such as...

Bonjour, Depuis plusieurs jours désormais la mise à jour de mon sitemap "posts" reste bloquée en "cours de traitement", le bot google passe très...

Bonjour à tous, j'ai supprimé des milliers de pages en Novembre 2014 et les Urls revoient toutes depuis un "header 410 Gone". Mais voila, Google...

Bonjour, Comme beaucoup je dois éviter les duplicate avec les P1,P2 etc de mon blog. Si je mets: du no index et du follow sur les pages paginées...

Bonsoir à tous, Voilà, je commence le référencement (en mode débutant) de mon site et j'utilise un programme qui crawl l'ensemble des pages dans...

Hello les amis, Savez-vous s'il est possible de forcer le crawl des robots sur http://www.example.com et non example.com ? Dans mon cas, j'ai une...

Bonjour tout le monde, J'ai l'impression que l'indexation des pages de mon sitemap et le temps passé par le ggbot sur mon site n'est pas très...

Bonjour à tous, Mon entreprise est en train de construire son blog et nous sommes face à quelques "dilemmes" au niveau du référencement. Si vous...

Bonjour à tous, J'ai eu hier sur mon GWT une alerte avec le message suivant : "Googlebot pour les smartphones a identifié une augmentation...

Bonjour à tous, Je recherche des retours d'expérience sur l'importance de la facilité de crawl par GoogleBot comme critère de positionnement dès...

Bonjour Chaque jour Google bot me crawl cette url et une erreur 404 est donc renvoyée. -/.well-known/apple-app-site-association Est-ce votre...

Bonjour à toutes et à tous, J'ai une petite question concernant des difficultés de crawl. - Je n'arrive pas à crawler un site avec screaming...

Bonjour, Petite question pour un site, où je souhaiterais qu'un grand nombre de pages ne soient pas crawlées ni indexées. Ces pages sont en...

Bonsoir, Sur un site Drupal j'ai un blog avec deux pages de billets rangés dans un mot-clé (terme). Sur la première page, j'ai ce code...

Salut à tous, Après avoir étudié mes Log, j'ai remarqué que toutes les pages crawler par Google sont redirigés en 301. Oui, car il crawle les...

Bonjour à tous, J'ai un site de mathématiques sur lequel il y a des exercices corrigés. La stratégie est la suivante : - si l'utilisateur n'a pas...

Bonsoir Lorsque je regarde le code source de mes pages (qui contiennent des video youtubes) via webcache de google je constate que mes simples...

Bonjour, y'aurait il un programmeur php expérimenté qui pourrait m'aider svp? car ca fait une semaine que je cherche sans trouver. J'ai un...

Bonjour à tous. Je possède un site en AJAX qui est très (très) mal référencé et qui affiche une caractéristique dont j'aimerais vous faire part...

Bonjour à tous. N'ayant rien trouvé sur ce sujet spécifique j' espère trouver une réponse sur ce lumineux forum. Sachant que Google n'aime pas...

Bonjour, En auditant un site (sous Drupal), j'ai noté une forte proportion des liens internes en 30x (301 et 302) de près de 50%. En gros, 1 lien...

Bonjour à tous, Tout d'abord, merci d'avance pour votre accueil et précieux conseils... Je suis totalement débutant en SEO et je préfère...

Bonjour je veux supprimer toutes les urls d'un sous dossier et reprendre le crawl dans ce meme sous dossier...

Je possède un site d'annonces. Les annonces sont affichées de manière aléatoirs, il y a ± 300 annonces. Pour l'instant nous utilisons la méthode...

Bonjour, Je recherche un outil de crawl gratuit. Quelles sont les meilleures ? Je cherche à savoir notamment : - les problèmes de duplication de...

Bonjour, Les règles SEO sont assez complètes et s’opposent parfois à un design actuel, épuré et léger ! Je réalise actuellement un site photo et...

Bonjour à tous, J'ai un blog qui tourne sous Wordpress depuis 4 ans environ. J'ai environ 3000 articles dessus. J'ai donc un plugin de cache(wp...

Bonjour à tous, Je vous explique un peu la situation. Je viens de prendre les "manettes" d'un site à forte volumétrie (dernier crawl effectué...

Bonjour, j'aimerais vos avis sur le récent commentaire de John Mueller, sur le fait qu'il fallait éviter d'utiliser la commande noindex dans le...

Bonjour, Je trouve que Google devient trop intrusif à ce rythme il permettra aux internautes la consultation du contenu de nos sites à partir de...

Bonjour bonjour, une demande un peu particulière, je cherche un logiciel de crawl capable de se connecter à un compte utilisateur du site (ou...

Salut Alors autant je suis habitué à avoir des crawls chelou de la part de google que là je suis sceptique :? Je viens de recevoir une alerte...

j'ai écrit un script en php qui fait le crawl d'un site web .mais il prend bq de tepms : environ 1h30 pour donner le resultat Alors comment je...

Bonjour à tous, J'ai créé pour ma boite un site internet avec un CMS créé en interne. Le site a été mis en ligne le 10 Juillet. Entre temps,...

Bonjour, Je suis à la recherche d'informations concernant le crawl de google Bot (desktop & mobile). Depuis 4 jours, je remarque que 2 pages du...

bonjour tt le monde !! je suis entrain de rediger un script php qui me permettrait de faire les choses suivants : 1)crawler d'un site internet...

Bonjour, J'ai un site sous WordPress. Depuis quelques temps Google m'envoie le message suivant: Nos systèmes ont récemment détecté un problème...

Bonjour, bonsoir Je recois aujourd'hui ce message par mail : Accès de Googlebot aux fichiers CSS et JS impossible sur le site (=>en fait tous...

Bonjour, Est-ce que quelqu'un a fait le test pour savoir si Google est crawl les liens fait en javascript de type onclick?

Bonjour, Je me permets de laisser un message car j'ai un outil sous Wordpress qui me permet de voir quels robots fait quoi sur mon site. J'ai pu...

Bonjour, Je viens de faire tourner l'outil d'Audit technique de Ranking metrics et je bloque pour résoudre un problème: URL crawlée non indexable:...

Bonjour, Depuis que j'ai activé la compression des feuilles CSS sur mon site, de nombreuses ne s'affichent plus correctement dans le cache...

Bonjour, Je ne sais pas si d'autres ont constaté comme moi une augmentation anormale du nombre de crawl et en particulier le 17 sur un de mes...

Bonjour, J'ai des pages que je ne souhaite ni faire suivre par les MR, ni indexer. Je précise qu'elle n'ont pas encore été mises en ligne. Il me...

Google crawle tellement le Javascript désormais qu'il cherche à crawler des URL inexistantes, à savoir des URI virtuelles utilisées dans un code...

bonjour j'ai parcouru un peut le site, et malgré l'aide de notre amis google, j'avoue que je ne suis pas sûr que ça marche,...

Bonjour, Je suis en train de mettre en place ma structure Wordpress pour un blog de cuisine : http://tucuisines.fr Si vous voulez commenter son...

Bonjour, Je viens de récupérer les analyses de logs Googlebot pour un site, afin d'identifier comment ces petits robots crawlent ce site. Les...

Bonjour, J'ai remarqué une étrangeté concernant le cache généré par Google pour un site. Quelque soit la page de ce site, si on regarde le cache...

Découvrez à quoi sert la rubrique Ressources bloquées dans Google Webmaster Tools et apprenez à l'utiliser pour optimiser l'indexation et donc le...

Bonjour, Cela faisait bien longtemps que je n'avais pas posté sur WRI... depuis 2008 ! Je me tourne à nouveau vers la communauté pour tenter de...

Crawl et indexation Google par langue et pays : Google sait crawler et indexer les pages dont le contenu s'adapte en fonction du pays estimé de...

Bonjour, Après quelques recherches et vérifications, je me tourne vers vous afin de trouver une réponse à ma question. Voici le problème : Un...

Bonjour, j'ai une petite question, comme je fais pas mal de modifs sur mon site en ce moment j'ai pas mal d'erreur 404 du coup je supprime les...

Bonjour, Voilà, je regarde souvent l'IP des crawls de GG du style : crawl-66-249-xx-xx.googlebot.com Et cette IP change souvent. Certains pensent...

Bonjour, Au début j'étais heureux de voire que j'avais déjà eu quelque viste sur mon site et ensuite je me suis rendu compte que cela provenais de...

Bonjour, est-ce que quelqu'un pourrait m'expliquer comment faire pour paginer mes pages ou tout simplement me proposer un tutoriel bien construit...