[Problème] Indexation/Crawl d'un site

mikaelka · 18 Mars 2009

Bonjour,
j'ai un problème d'indexation sur mon site, en effet Google n'indexe pas voir peu de page (seulement 100/33000 en 2 mois).

Voici les quelques informations concernant mon site :
Adresse : misterio.fr
Date d'ouverture à Google le 24/01/2009
site:www.misterio.fr = 108 pages indexées

Je ne trouve pas la raison qui fait que mon site n'est pas correctement indexé, et ce malgré mes BL. En effet cela fait 3 semaines voir plus que je stagne à une centaine de page...
Je suis sur 90 plan j'ai donc pensé que le problème venait de là, étant donné que Ovh a connu des soucis le mois derniers (mais ils sont normalement réglés...).

Je ne pense pas avoir fait d'erreur dans mes balises meta, la structuration de mes pages semble correcte, et des robots de crawl qui permettent de créer des sitemap arrivent a crawler entièrement le site... Les pages sont basées sur le mm rewrite et certaines sont indexés d'autre pas, je ne pense donc pas que le problème vienne de là non plus mais sait-on jamais...

Cela n'a peut être rien avoir mais mon blog (hébergé sur le même mutualisé à connu un gros coup de (dé)référencement (sur certaines requêtes).. j'ai pensé à un blacklistage de l'ip du serveur par Google mais un autre site que j'héberge est encore fonctionnel sur GG.

Si j'ai mal fait quelque chose ou omis un détail, important. Si quelqu'un a une idée d'où pourrait provenir le problème, j'ai essayé de donner le plus d'infos possibles.

Merci d'avance pour votre aide.
Mika.

Madrileño · 18 Mars 2009

Bon retour mikaelka sur le forum de WebRankInfo.

Vous pouvez ajouter un Sitemaps dans les outils de Google Webmaster Tools :
https://www.google.com/webmasters/tools/ .
Vous pouvez aussi vérifier les crawls de Google sur les outils du Webmaster Tools.

Google en ce moment met un peu plus de temps à indexer les nouvelles pages.

Compléments OVH :
forum.webrankinfo.com/ovh-90plan-googlebot-again-t106651.html
travaux.ovh.net/?do=details&id=2881

N’hésitez pas mikaelka à participer sur le forum, pour partager vos connaissances, donnez votre avis sur d'autres topics,
vous aurez alors un rôle constructif dans notre communauté et chacun pourra ainsi évoluer dans le référencement.

mikaelka · 19 Mars 2009

Bonjour,
Je sais naturellement comment ajouter un sitemap sur Webmaster Tool. Et il n'y a également aucune erreurs signalé sur cet outils.

Je me m'inquiète simplement car le site à été réalisé en simultané avec un concours de référencement dans ma licence et que comparativement d'autres sites sont très bien indexés malgré qu'ils n'aient aucun BL et qu'il est ouvert il y a seulement Quelques semaines.

Pour ce qui est des problème Ovh que vous mettez en lien j'ai avant de poster cette demande regardé et la tâche sur Ovh est noté comme Close depuis fin février. (de plus des retours font preuve que le problème est terminé http://blog.websourcing.fr/blog/2009/03/03/breve-probleme-de-crawling-google-regle-chez-ovh/), cela dit je veux bien pensé que le problème existe encore, et si d'autres membres en sont témoins cela validerais cette hypothèse...

Merci quand même pour cette réponse Madrileño

EDIT : Je n'hésiterais pas à répondre à d'autres problèmes, si j'ai la solution, comme je le fait sur les forums où je suis inscrit

Mika

Madrileño · 20 Mars 2009

mikaelka a dit:
Bonjour,
j'ai un problème d'indexation sur mon site, en effet Google n'indexe pas voir peu de page (seulement 100/33000 en 2 mois).

Voici les quelques informations concernant mon site :
[...]
Date d'ouverture à Google le 24/01/2009
[...].

Le site est assez récent, le manque de liens ou l'architecture sont de possibles explications pour un manque d'indexation des pages.

mikaelka · 20 Mars 2009

Bonjour,
Je pense aussi que ça peut venir de la construction des pages, j'ai légèrement modifiée celle-ci il y a 4 jours, mais l'effet ne se ressent pas et c'est sûrement normal...

GG tourne en rond sur les même page il visite environ 40 pages par jour mais ce sont tjs les même (cf : graph, Nombre de kilo-octets téléchargés par jour et Temps de téléchargement d'une page (en millisecondes), qui sont tous les deux à 0 et Nombre de pages explorées par jour étant à 40).

Je vais voir à faire de nouvelles modifications à ce niveau là.
Si vous avez d'autres points de vues je suis preneur.

Merci Madrileño pour vos réponses.

Bonne journée.
Mika.

HawkEye · 20 Mars 2009

"33.000" m'ayant mis la puce à l'oreille (proche du nombre de localités en France), je suis allé voir ton site et, effectivement, il semble bien que tu t'attendes à ce que Google te crawl 33.000 pages pratiquement identiques - et vides.

Lorsque tu conçois un site comme ça, tu dois veiller à ce que le maillage soit restreint aux pages qui présentent du contenu, et éviter à tout prix de laisser indexer des milliers de pages en total duplicate.

En plus de ça, je crains fort que ton footer ne te place ipso facto dans la catégorie "vilain petit spammeur"

Faire des échanges de liens c'est bien... mais il faut tout de même rester un poil raisonnable

mikaelka · 20 Mars 2009

J'apprécie votre réponse HawkEye (vraiment).

(proche du nombre de localités en France)

Oui c'est bien les localités de France

Lorsque tu conçois un site comme ça, tu dois veiller à ce que le maillage soit restreint aux pages qui présentent du contenu, et éviter à tout prix de laisser indexer des milliers de pages en total duplicate.

Je pense que vous avez raison sur le duplicate, ce doit être le facteur (avec d'autres sûrement) prédominant dans mon problème. Je ne vais malheureusement pas pouvoir le réglé (tout du moins pas pour l'instant... enfin bon bref ^^), il est dur d'indexer des pages qui n'ont pas de contenus tant que les utilisateurs n'en n'ont pas laissé et la version "alpha/beta" est loin d'être terminée, j'ai mis le site en ligne pour un TP dont le sujet est en partie d'indexer le plus grand nombre de page, je suis donc très mal partit (voir arrivé puisque c'est bientôt terminé ^^).

En plus de ça, je crains fort que ton footer ne te place ipso facto dans la catégorie "vilain petit spammeur" Faire des échanges de liens c'est bien... mais il faut tout de même rester un poil raisonnable

Pour ce qui est du "vilain petit spammeur", mon footer est assez immonde en effet et ça ne sert strictement à rien, cela dit je les retirerais dans un mois, une fois le TP terminé, se sont simplement tous les sites qui font le même TP ^^, je n'aurais jamais mit autant de lien sur un de mes sites dans un autre cas ^^.

Mais bon tous les étudiants ont fait "le même footer" et n'ont pas "vraiment" de problème d'indexation, je pense donc que c'est plus la "faute" du duplicate,

Merci HawkEye, de m'avoir éclairé sur la source du problème, je pensais que la "pauvre desc" avec la localité ainsi que les titres qui diffèrent et des liens aléatoires auraient suffit à "contrer" l'effet duplicate, mais enfin bon tant pis pour moi je vais difficilement pouvoir faire autrement...

Merci, Bonne soirée.
Mika.

Mpic · 21 Mars 2009

+ 1 Pour le footer, Enlève les sans un mois sans faute alors

J'ai un de mes site où j'ai quelques pages en plus chaque jours (contenu créée par les visiteurs) et google les index en quelques heures, donc à ce niveau là Google reste efficace bien que, un de mes autre site a du mal pour la mise à jour des metas description sur le moteur de recherche :? (description changé depuis 4 jours et toujours aucun changement)

As tu un sitemap bien fait (fonctionnel), les liens entre les pages sont-ils optimisés?

Enfin, a tu du nouveau contenu fréquemment? autrement dit, donnes tu au bot Google l'envie de resté sur le site.

mikaelka · 21 Mars 2009

+ 1 Pour le footer, Enlève les sans un mois sans faute alors

Sans faute

As tu un sitemap bien fait (fonctionnel), les liens entre les pages sont-ils optimisés?

Fonctionnel je sais pas trop, mais je le fais grâce a des scripts perso, c'est basique http://www.misterio.fr/Sitemap/annuaire.xml (si vous voulez me donner votre avis) mais bon c'est organisé comme il faut trié par date de mise à jour du plus récent au plus ancien, normal...
J'avoue que la structuration des pages et l'indexation n'est pas une science que je maîtrise pour le moment, j'ai bien mis les url des régions tout en haut pour qu'il suive l'arborescence mais bon si vous avez des critiques ou des conseil sur ce point je suis preneur.

Enfin, a tu du nouveau contenu fréquemment? autrement dit, donnes tu au bot Google l'envie de resté sur le site.

Cette méthode ne s'avère pas très efficace sur des sites jeune, autant sur des blogs ou des sites étant plus anciens, le ping de google + date dans le sitemap est utile autant sur les site nouveau c'est totalement inutile.

Merci Mpic pour ton message !!!

Mika.

HawkEye · 26 Mars 2009

mikaelka a dit:
Je pense que vous avez raison sur le duplicate, ce doit être le facteur (avec d'autres sûrement) prédominant dans mon problème. Je ne vais malheureusement pas pouvoir le réglé (tout du moins pas pour l'instant... enfin bon bref ^^), il est dur d'indexer des pages qui n'ont pas de contenus tant que les utilisateurs n'en n'ont pas laissé et la version "alpha/beta" est loin d'être terminée, j'ai mis le site en ligne pour un TP dont le sujet est en partie d'indexer le plus grand nombre de page, je suis donc très mal partit (voir arrivé puisque c'est bientôt terminé ^^).

De diverses manières, il est possible d'intégrer à ton script une petite vérification du nombre de résultats pour chaque "catégorie", et de sauver ce résultat dans une colonne supplémentaire de la db.

A partir de là, il devient très simple de conditionner l'affichage du lien vers la catégorie (ajouter un rel="nofollow" sur celles qui n'ont pas de contenu), ainsi que l'affichage d'une meta robots en "noindex"

C'est la solution que j'utilise.

mikaelka · 27 Avril 2009

Merci Hawk Bonne idée

Cela dit cela prouve bien que Google n'aime vraiment pas le duplicate xD (seulement 190 pages indexées à ce jour)

Merci à tous pour vos réponses !

Madrileño · 27 Avril 2009

mikaelka a dit:
Merci à tous pour vos réponses !

Merci pour votre participation sur le forum.