[HELP] désindexation de mon forum, pourtant rewriting ok

[oli004]

Bon, je pense avoir suivi correctement la plupart des mods utiles au referencement d'un forum phpbb, mais sur un de mes forums, je constate un indexage assez currieux.
par exemple, certaines pages de ce forum sont bien indexées, avec description, titre et url correcte alors que d'autres pages ne donne aucune description.
De même, les sutra sont présents alors que les topics ne le sont pas.

Je pense que le plus simple est de vous donner le resultat de google via la requete site:le-site-concerné pour que vous puissiez vous rendre compte.

J'ajoute que le resultat de cette requête faite sur google web et france ne me donne pas les mêmes resultats.

qu'en pensez-vous ?

[EDITE du 18/05 : C'est pire maintenant le forum se desindexe de google]

 

[oli004]

UP

Pas de réponse

personne à une idée ?

 

[Patrice A.]

Mon avis :
les pages qui apparaissent sont des pages de profil, de recherche, etc... bref sans doute que des pages interdites dans ton robots.txt
il y a peut-être une erreur dedans, il est sans doute trop restrictif et google "n'ose" pas suivre les liens sur les pages interdites pour aller plus loin dans l'exploration, surtout que ton site est encore un peu "léger" pour lui.

 

[oli004]

les pages qui apparaissent sont des pages de profil, de recherche, etc... bref sans doute que des pages interdites dans ton robots.txt

Oui tu as raison, ces pages sont bien interdites par mon robots.txt :

User-agent: *

Disallow: /forum/posting
Disallow: /forum/profile
Disallow: /forum/privmsg
Disallow: /forum/viewonline
Disallow: /forum/groupcp
Disallow: /forum/memberlist
Disallow: /forum/search
Disallow: /forum/login
Disallow: /forum/faq
Disallow: /forum/post-
Disallow: /forum/updates-topic
Disallow: /forum/stop-updates-topic
Disallow: /forum/ptopic
Disallow: /forum/ntopic
Disallow: /forum/sutra
Disallow: /forum/mforum
Disallow: /forum/index.php?
Disallow: /forum/viewtopic.php?
Disallow: /forum/viewforum.php?

Quand à mon .htaccess, le voici :

RewriteEngine On
#
RewriteRule ^forums.* /forum/index.php
RewriteRule ^mforum([0-9]*).* /forum/viewforum.php?f=$1&mark=topics
RewriteRule ^viewforum([0-9]*)-([0-9]*)-([0-9]*).* /forum/viewforum.php?f=$1&topicdays=$2&start=$3
RewriteRule ^forum([0-9]*).* /forum/viewforum.php?f=$1
RewriteRule ^ptopic([0-9]*).* /forum/viewtopic.php?t=$1&view=previous
RewriteRule ^ntopic([0-9]*).* /forum/viewtopic.php?t=$1&view=next
RewriteRule ^stopic([0-9]*)-([0-9]*).* /forum/viewtopic.php?t=$1&watch=topic&start=$2
RewriteRule ^utopic([0-9]*)-([0-9]*).* /forum/viewtopic.php?t=$1&unwatch=topic&start=$2
RewriteRule ^ftopic-([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*).* /forum/viewtopic.php?t=$1&postdays=$2&postorder=$3&start=$4
RewriteRule ^ftopic-([0-9]*)-([0-9]*).* /forum/viewtopic.php?t=$1&start=$2
RewriteRule ^ftopic-([0-9]*).* /forum/viewtopic.php?t=$1
RewriteRule ^ftopic-([0-9]*).html /forum/viewtopic.php?t=$1&start=$2&postdays=$3&postorder=$4&highlight=$5
#
RewriteRule ^ftopic([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*).* /forum/viewtopic.php?t=$1&postdays=$2&postorder=$3&start=$4
RewriteRule ^ftopic([0-9]*)-([0-9]*).* /forum/viewtopic.php?t=$1&start=$2
RewriteRule ^ftopic([0-9]*).* /forum/viewtopic.php?t=$1
RewriteRule ^ftopic([0-9]*).html /forum/viewtopic.php?t=$1&start=$2&postdays=$3&postorder=$4&highlight=$5
#
RewriteRule ^setopic-([0-9]*)-([a-zA-Z0-9]*).* /forum/viewtopic.php?t=$1&highlight=$2
RewriteRule ^sutra([0-9]*).* /forum/viewtopic.php?p=$1
RewriteRule ^newtopic([0-9]*).* /forum/viewtopic.php?t=$1&view=newest
#
RewriteRule ^profile([0-9]*).html /forum/profile.php?mode=viewprofile&u=$1
#
RewriteRule ^rtopic-reply([0-9]*).* /forum/posting.php?mode=reply&t=$1
RewriteRule ^rtopic-quote([0-9]*).* /forum/posting.php?mode=quote&p=$1
RewriteRule ^rtopic-new([0-9]*).* /forum/posting.php?mode=newtopic&f=$1
RewriteRule ^vprofil([0-9]*).* /forum/profile.php?mode=viewprofile&u=$1

Même si ce ne sont pas les dernières versions optimisées, je pense que ça devrait être corecte.
J'ai pratiquement la même config sur un autre forum et tout est indexé par contre le site est un peu plus ancien et avec PR alors que celui si est tout jeune (moins de deux mois).

 

[oli004]

Bon, depuis mon precedent post, c'est pire qu'avant, et pourtant, je n'ai rien changé à mon rewriting depuis le debut !

aujourd'hui, seules des pages sont présentes dans google web
et plus rien dans google france

voici le site conserné : -http://www.allier-nation.com/forum

J'espère que ce n'ai pas le commencement de la fin :cry:

 

[moutyk]

Depuis combien de temps ton forum est il en ligne ?
Quel est ton hébergeur ?

 

[oli004]

Depuis combien de temps ton forum est il en ligne ?
Quel est ton hébergeur ?

Mon forum est en ligne depuis environ un mois et demie et mon hebergeur est ovh.

Je precise que certaines pages et topics étaient bien referencés avant de disparaitre.

REMARQUE : J'ai constaté hier que je n'avais pas fait d'UR pour rediriger monsite.com vers w*w.monsite.com, c'est chose faite depuis hier mais je ne pense pas que le probleme vienne de là puisque ils s'agissait bien des pages avec le www qui etaient référencées

 

[oli004]

Plus que quelques pages presentes avant desindexation totale

1) Est ce que quelqu'un peut me dire si mon rewriting est correcte ?

RewriteEngine On
#
RewriteRule ^forums.* /forum/index.php
RewriteRule ^mforum([0-9]*).* /forum/viewforum.php?f=$1&mark=topics
RewriteRule ^viewforum([0-9]*)-([0-9]*)-([0-9]*).* /forum/viewforum.php?f=$1&topicdays=$2&start=$3
RewriteRule ^forum([0-9]*).* /forum/viewforum.php?f=$1
RewriteRule ^ptopic([0-9]*).* /forum/viewtopic.php?t=$1&view=previous
RewriteRule ^ntopic([0-9]*).* /forum/viewtopic.php?t=$1&view=next
RewriteRule ^stopic([0-9]*)-([0-9]*).* /forum/viewtopic.php?t=$1&watch=topic&start=$2
RewriteRule ^utopic([0-9]*)-([0-9]*).* /forum/viewtopic.php?t=$1&unwatch=topic&start=$2
RewriteRule ^ftopic-([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*).* /forum/viewtopic.php?t=$1&postdays=$2&postorder=$3&start=$4
RewriteRule ^ftopic-([0-9]*)-([0-9]*).* /forum/viewtopic.php?t=$1&start=$2
RewriteRule ^ftopic-([0-9]*).* /forum/viewtopic.php?t=$1
RewriteRule ^ftopic-([0-9]*).html /forum/viewtopic.php?t=$1&start=$2&postdays=$3&postorder=$4&highlight=$5
#
RewriteRule ^ftopic([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*).* /forum/viewtopic.php?t=$1&postdays=$2&postorder=$3&start=$4
RewriteRule ^ftopic([0-9]*)-([0-9]*).* /forum/viewtopic.php?t=$1&start=$2
RewriteRule ^ftopic([0-9]*).* /forum/viewtopic.php?t=$1
RewriteRule ^ftopic([0-9]*).html /forum/viewtopic.php?t=$1&start=$2&postdays=$3&postorder=$4&highlight=$5
#
RewriteRule ^setopic-([0-9]*)-([a-zA-Z0-9]*).* /forum/viewtopic.php?t=$1&highlight=$2
RewriteRule ^sutra([0-9]*).* /forum/viewtopic.php?p=$1
RewriteRule ^newtopic([0-9]*).* /forum/viewtopic.php?t=$1&view=newest
#
RewriteRule ^profile([0-9]*).html /forum/profile.php?mode=viewprofile&u=$1
#
RewriteRule ^rtopic-reply([0-9]*).* /forum/posting.php?mode=reply&t=$1
RewriteRule ^rtopic-quote([0-9]*).* /forum/posting.php?mode=quote&p=$1
RewriteRule ^rtopic-new([0-9]*).* /forum/posting.php?mode=newtopic&f=$1
RewriteRule ^vprofil([0-9]*).* /forum/profile.php?mode=viewprofile&u=$1

2 ) pensez vous que la desindexation puisse etre du a une non redirection de monsite.com vers w*w.monsite.com dans le htaccess du forum ?

 

[oli004]

dernier UP avant desindeation totale :cry: :cry: :cry:

Ps : je viens de remarqué qu'une page sans les www est présente dans l'index voir index google

Pensez-vous que le probleme vient de dupplicate ?

 

[Patrice A.]

Non...
Ce que j'en dis ?
Désinterdis les viewtopic, ptopic, ntopic, et sutra : t'es pas en position de cracher sur une ou deux pages indexées de plus.
et supprime la ligne sautée dans le robots.txt, ça fait bugguer les robots.

 

[oli004]

Bon, j'ai mis ces lignes en commentaires, on vera ce que ça donnera.

Mainenant je relink pour diriger google dessus parce que si j'attend le crawl sans lui dire, je suppose que je y passer des mois :wink:

 

[oli004]

UP !!!

3 mois après mon précédent post sur ce sujet.

Je constate toujours une non indexation de mon forum sur google, et ce malgré la soumission d'un sitemap correcte. En revanche, je dispose maintenant de certains éléments interessants qui pourrait expliquer le probleme.

Note : L'adresse du site est : http://www.allier-nation.com
et le forum : http://www.allier-nation.com/forum/index.php

Pour commencer, en consultant le moteur de yahoo :

via la commande : site:allier-nation.com je constate que la quasi totalité de mes pages de topics référencées ne commence pas par le www. Il en va de même pour les pages de forums ou il y a parfois le www, parfois non.
Pourtant dans les deux cas (topic ou forum) lorsque l'on suit le lien proposé par yahoo, on arrive systématiquement vers l'url avec le www.

Ensuite, sur MSN :

via la commande : site:allier-nation.com je remarque que seul mon album photo est indexé (album non rewritté) ! avec également quelques pages directes du forum (liens du menu) mais aucune de topic ni forum.

Enfin sur Google :

via la commande : site:allier-nation.com c'est toujours le calme le plus total avec pratiquement aucune indexation.

Ma conclusion :

Je pense que mon soucis vient de l'url rewritting du forum. Bien qu'il me semble tout à fait correcte, il subsiste peut être quelques erreurs, mais je dois avouer que je me sent maintenant un peu largué.
Si la patience est un maitre mot avant d'être bien indexé sur google, je pense qu'il y a un temps pour patienter et un autre pour s'inquieter et se remettre en question. Je pense que j'en suis à ce point avec ce forum :cry:

Un peu d'aide serait vraiment très appreciée car j'aimerai vraiment eviter de reinstaller le forum completement depuis le debut avec tous les MOD qui vont bien.

 

[dcz]

arf

Je pense que tu utilises un mod type "DLP", je l'utilisait avant, et j'avais interdit dans le robots.txt. tous les sutra, ntopic ptopic et autre mforum générateurs de duplicates. Ca marchait pas mal, google s'y retrouvais assez bien. J'ai pas eu le pb du sous domaine www, chez ovh, le probleme est réglé d'office on dirait.

En changeant pour un autre mod de rewriting, il a fallu à peu près un mois à google pour retrouver toutes les nouvelles url (mon sit n'as pas encore beaucoup de page en même temps).

Donc, ton délais me parait quand même un peut long pour que les effets de ta redirection vers www soient pris en compte.
Et pour msn, je sais pas pourquoi, mais en ce qui me concerne il a touours été plus rapide que google pour indexer les pages de mon site...

Enfin, si tu est vraimant pas indéxé, il est peut être encore temps d'optimiser ton rewriting. Il y a pas mal de mod qui fabrique des url avec des titres sur ce forum...

 

[oli004]

Enfin, mon forum a été réindexé !!!

84 pages d'un coup, et après vérifications, ce sont exactement les pages que j'ai soumis en sitemap !

Faut-il en déduire quelque chose :? ?

Je ne sais pas, mais je n'ai pas constaté de crawl de ggbot sur ces pages.

 

[dcz]

Enfin, mon forum a été réindexé !!!

84 pages d'un coup, et après vérifications, ce sont exactement les pages que j'ai soumis en sitemap !

Faut-il en déduire quelque chose :? ?

Je ne sais pas, mais je n'ai pas constaté de crawl de ggbot sur ces pages.

Bah yep, google utilise sa sitemap
Et c'est bien normal que ça aide parce que dans ta sitemap, toutes les url sont au meme niveau, alors qu'il faut en franchir au moins deux pour trouver les url des topic sans cela, et vu la lenteur de google, le temps qu'il découvre tes forums puis tes topics peut être très long sans sitemap...

Et forcement, google est passé voir les pages qu'il a mis en cache, pas besoin de 15 passage c'est tout. Ac la sitemap, il tape direct sur l'url, donc il crawl souvent une page à la fois...

++