crawl (exploration)

Suite à l'excellent article paru dans le blog de Google, j'ai rédigé un dossier que j'estime assez complet sur la notion de budget de crawl. Jusqu'à présent on entendait surtout Google dire que ça n'existe pas, mais ce n'est pas ce qui est (bien) expliqué dans leur article. Au contraire, en tout...

Bonjour et bonné année à tous, Je souhaite utiliser Xenu Link Sleuth pour crawler un site mobile du type m.monsite.fr, donc différent du site desktop. Le site mobile est proposé de manière dynamique à l'utilisateur en fonction de la taille d'écran. Si j'entre m.monsite.fr dans Xenu, il affiche...

Bonjour, Google crawl des url qui n'existent pas avec son google bot smartphone. Voici le genre d'url : http://www.memecenter.fr/mobile/meme/scumbag-brain/page/3/ et ça indique "référérencé sur:" http://www.memecenter.fr/meme/scumbag-brain/page/3/ alors que non, ça n'est pas indiqué sur cette...

Bonjour à tous Je viens d'installer Kibana pour faire de l'analyse de Log, je suis à la recherche de quelqu'un qui pourrait m'aider à configurer un Dashboard Seo Quelqu'un pourrait il m'aider ? Cela me derrange pas de payer pour ce service Merci d'avance

Bonjour, J'écris ce message car j'ai un problème de référencement lié au cache de Google. J'avais un document pdf qui a été indexé par Google alors qu'il ne devait pas l'être. J'ai donc supprimé ce document pdf et on tombe maintenant sur une 404 lorsqu'on veut atteindre cette page. Le problème...

Hi, I use WordPress for my website [http://essayservices.org/] and I've found a plugin which hides my back-links from back-link crawlers such as majestic seo and Open site explorer. However, I found a lot of information about this in black hat seo websites. Now my question is that; is it good to...

Bonjour, Depuis plusieurs jours désormais la mise à jour de mon sitemap "posts" reste bloquée en "cours de traitement", le bot google passe très peu sur le site malgré de nombreuses mises en jour. En revanche l'index du sitemap est bien mis à jour chaque jour, mais les "articles, posts" restent...

Bonjour à tous, j'ai supprimé des milliers de pages en Novembre 2014 et les Urls revoient toutes depuis un "header 410 Gone". Mais voila, Google me les mets toujours en pages introuvables (3233 à ce jour) avec "référencée sur" des même pages supprimées. Exemple : Url ...

Bonjour, Comme beaucoup je dois éviter les duplicate avec les P1,P2 etc de mon blog. Si je mets: du no index et du follow sur les pages paginées "P2,P3 etc...", 1ere question : Google ne considèrera pas le contenu des pages paginées comme du duplicate n'est ce pas ? 2ème question...

Bonsoir à tous, Voilà, je commence le référencement (en mode débutant) de mon site et j'utilise un programme qui crawl l'ensemble des pages dans une première étape. C'est un petit woocommerce. Après cette première étape donc de crawl j'ai style quelque chose comme 5000 pages crawlées ! Alors...

Hello les amis, Savez-vous s'il est possible de forcer le crawl des robots sur http://www.example.com et non example.com ? Dans mon cas, j'ai une web APP Javascript qui possède les urls en cache (pour afficher le code HTML), mais uniquement sur www. Du coup, lorsque le robots crawl sur...

Bonjour tout le monde, J'ai l'impression que l'indexation des pages de mon sitemap et le temps passé par le ggbot sur mon site n'est pas très performant et donc je cherche à optimiser un peu tout ça. Ma question : j'ai un site type tripadvisor avec beaucoup de pages (de recherches + de...

Bonjour à tous, J'ai eu hier sur mon GWT une alerte avec le message suivant : "Googlebot pour les smartphones a identifié une augmentation significative du nombre d'URL sur http://medicaldomicile.fr/ qui affichent une erreur404 (Introuvable). Si ces pages existent sur votre site pour...

Bonjour à tous, Je recherche des retours d'expérience sur l'importance de la facilité de crawl par GoogleBot comme critère de positionnement dès lors que l'on a déjà un sitemap XML soumis à Google et donc que ce dernier a bien accès à toutes les URLs du site. Concrètement : - Un site doit-il...

Bonjour Chaque jour Google bot me crawl cette url et une erreur 404 est donc renvoyée. -/.well-known/apple-app-site-association Est-ce votre cas aussi? comment traiter ce problème à votre avis? Merci

Bonjour à toutes et à tous, J'ai une petite question concernant des difficultés de crawl. - Je n'arrive pas à crawler un site avec screaming frog et la quantité de mémoire n'est pas en cause : j'ai alloué 1.5 giga à SF et l'onglet "Debug" indique qu'il reste de la RAM dispo. - Le problème...

Bonjour, Petite question pour un site, où je souhaiterais qu'un grand nombre de pages ne soient pas crawlées ni indexées. Ces pages sont en noindex, ou avec canonical, comment éviter également leur crawl (suite au message de Google "Grand nombre d'URL détectées") ? A priori, je pensais qu'il...

Bonsoir, Sur un site Drupal j'ai un blog avec deux pages de billets rangés dans un mot-clé (terme). Sur la première page, j'ai ce code (/blog/motclef) : <link rel="next" href="http://www.example.com/blog/motclef/page/1" /> <meta name="description" content="Ma description unique" /> <link...

Salut à tous, Après avoir étudié mes Log, j'ai remarqué que toutes les pages crawler par Google sont redirigés en 301. Oui, car il crawle les URLs en HTTP alors que mon site est en HTTPS. Du coup, toutes les URLs HTTP sont redirigées en 301 vers la même page en HTTPS. Savez-vous pourquoi ...

Bonjour à tous, J'ai un site de mathématiques sur lequel il y a des exercices corrigés. La stratégie est la suivante : - si l'utilisateur n'a pas de cookie "correction", il peut consulter la correction (puis ce cookie se créer). - si l'utilisateur a un cookie "correction", il doit s'inscrire...