Mystére (pour moi) dans le non-référencement de pages dans des sous dossiers !

balafatch · 5 Mai 2010

Bonjour,
Je me suis rendu compte que des sous dossiers de mon site (au moins un qui m'importe particulièrement) n'étaient pas référencées dans mon sitemap.
J'ai utilisé GsiteCrawler, j'ai fait des essais avec d'autres, j'ai pointé directement sur le dossier en question,... rien n'y fait, il reste invisible ! Pourtant il est du type : http;//monsite/dossier/sous-dossier/
J'indexe bien d'autres dossiers... mais pas celui-ci ! Son chmod est en 755 et de toute façon je ne vois pas ce que cela changerait.
Le robot de Google passe régulièrement et ne voit rien !!!
J'ai viré les sitemaps, vérifié le robot texte,... idem...
Alors là... je sèche vraiment !!! Pourtant il doit y avoir une explication !
Quelqu'un a t'il une idée ??? Ce serait vraiment sympa !!!
Merci d'avance.

UsagiYojimbo · 5 Mai 2010

Une url, ca nous aiderait à te répondre. Sans j'ai du mal à imaginer quoi que ce soit.

balafatch · 5 Mai 2010

OK Exemple d'url : http://10moi.fr/barre-outils/sommaire/sommaire-logiciel-webmaster-outils.php

Haroeris · 6 Mai 2010

Ce site est le plus mal codé que j'ai vue depuis longtemps... en plus de piquer les yeux.

Un conseil : recommence de 0.
Pour être bien référencé il faut un minimum de structure html cohérente.

La ya deux pages mises bout a bout, avec chacune leur <html> et leur<body> et c'est un vrais chaos a l'intérieur.
Ce n'est sans doute pas de ta faute, le code a été généré automatiquement par un outil m$

balafatch · 6 Mai 2010

Merci tout de même pour ta réponse et tes encouragements... à tout recommencer.
Mon code est loin d'être parfait et je dois le retravailler, c'est certain. ceci dit il n'y a pas deux pages bout à bout !!! Il y a un peu de mélange dans l'ordre avec le style css dans le head, c'est certain. Dans le body il y a des <tbody> qui concernent les tableaux. Oui, pour ça et pour d'autres choses je dois retravailler mon code.
Oui une structure mieux travaillée aiderait au référencement.
Mais les autres pages du site sont du même mauvais encodeur et elles sont référencées.
Donc je ne sais toujours pas comment faire pour les faire repérer ?

Haroeris · 6 Mai 2010

Si il existe un chemin dans ton site pour arriver vers ses pages tu n'as rien a faire, Google s'occupe seul de détecter les pages.
Donc la chose a faire est de l'aider à comprendre la structure de tes pages, et on en revient à l'architecture du code.

N'oublie pas que avant de plaire a Google, il faut plaire a tes visiteurs et pour cela il y a un certains nombre de regles a respecter .

Limiter le nombre de couleur, éviter tout ce qui clignote, des liens clairement visibles.
La on dirais que tu a tout fait pour qu'on ne sache pas ou cliquer, en espérant nous faire tomber dans les pièges adsence habilement placés.
D'ailleur plaire a google c'est aussi respecter son règlement adsence

UsagiYojimbo · 6 Mai 2010

Y'a quand même un gros souci :

Au début de ta page tu as ça :

Code:

<html xmlns="http://www.w3.org/1999/xhtml" xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office">
<head>

Puis un peu plus bas tu as ça :

Code:

<body style="background-color: #FFFFCC; background-image: url('../../images/bordu_014.jpg'); margin-left: 105px;">
	<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>

Un conseil, revoit tes pages de fond en comble niveau structuration, là-dessus Haroeris a bien raison :

- Laisse tomber Word pour faire du HTML, le code pondu est juste affreux
- La structure d'un document de base HTML c'est :

Code:

<html>
   <head>
   </head>
   <body>
   </body>
</html>

ce qui n'est pas du tout ton cas (et ce qui à mon avis est le plus problématique pour que le robot indexe correctement ta page)

- Tout le css et le JS en vrac dans le code source, c'est pas le top. Il vaut mieux passer par des feuilles de styles externes et des fichiers JS externe.

balafatch · 6 Mai 2010

Je me suis vraiment gratté la tête en me demandant ce que vous me racontiez tous les deux et trouvant que vous exagériez... même si mon code est loin d'être terrible !
Et je me suis rendu compte en essayant de me mettre à votre place que le code source de la page (avec Mozilla pour ma part) que vous voyez :

<body style="background-color: #FFFFCC; background-image: url('../../images/bordu_014.jpg'); margin-left: 105px;">
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>

n'est pas celui que j'ai écris :

<body style="background-color: #FFFFCC; background-image: url('../../images/bordu_014.jpg'); margin-left: 105px;">
<?php include("http://10moi.fr/haut.php"); ?><table.................

Donc celui de la page est

<body style="background-color: #FFFFCC; background-image: url('../../images/bordu_014.jpg'); margin-left: 105px;">

Celui de l'include est :

Code:

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">

Donc de toute façon OK mon code n'est pas terrible mais pas au point où vous le décrivez.
Je vais néanmoins essayer de vérifier ce que vous me dites en écrivant de petites pages plus soignées pour voir si elles sont indexées. Mon problème est bien que ce n'est pas seulement Google qui ne les trouve pas mais même lorsque je lance un utilitaire d'indexation (même en ne lançant que sur le dossier il ne trouve rien à l'intérieur !).

En tout cas merci, si vous avez d'autres idées je suis preneur.

UsagiYojimbo · 6 Mai 2010

Tu as donc identifié le problème. Tu as un include ou se retrouve les en-tête du document html dans un document qui a déjà des en-têtes html. Ce que tu vois au niveau de ton Firefox quand tu affiches ton code source, c'est exactement ce que vois le moteur de recherche, d'où sans doute son incapacité à indexer tes pages qui ne sont pas du tout construites comme elles le devraient. Il faut, quand tu affiches le code source via ton navigateur, ne voir qu'une seule fois les balises que je t'ai citée plus haut.

Pour faire simple le moteur de recherche ne voit pas ton include php, il voit la fusion de cette include avec la page ou il se trouve. C'est la base même du fonctionnement des langages comme PHP, qui sont exécutés sur le serveur et renvoyés ensuite au navigateur, après que celui-ci ait demandé à les afficher.

Si tu as fais ça comme ça pour pouvoir varier tes titres sur toutes tes pages, ça partait d'une bonne idée mais le résultat final est catastrophique.

balafatch · 6 Mai 2010

Je comprend ton raisonnement, c'est logique. Toutefois je viens d'envoyer dans le dossier une page "essai.php"

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">

<head>
<meta http-equiv="Content-Language" content="fr" />
<meta http-equiv="Content-Type" content="text/html; charset=windows-1252" />
<title>essai</title>
</head>
<body>
<p>essai</p>
</body>
</html>

J'essaie de la référencer avec Yooda (pour faire plus vite) que tu dois connaitre et... toujours rien ! (j'espère là encore que de telles applications fonctionnent avec l'adresse du fichier http://monsite/fichier/ )

Par contre j'ai un script de moteur de recherche interne qui reconnait les pages et leur contenu.

UsagiYojimbo · 6 Mai 2010

Tu utilises quel Yooda pour "référencer" ton site ? SeeUrank permet d'obtenir des rapports sur la position d'un site sur les moteurs de recherche, Submit permet d'optimiser la soumission de ton site aux annuaires, Map permet de créer un sitemap, bref je n'en connais pas qui permettrait de faire connaître en temps réel une page aux moteurs de recherche... parce que cela n'existe pas.

balafatch · 6 Mai 2010

Je crois que je m'explique mal. Les pages ne sont pas indexées dans le sitemap, c'est ça mon problème, que ce soit Yooda, GsiteCrawler, en ligne ou n'importe lequel. Elles ne sont indexées ni dans le sitemap (qui reste vide) ni indexées par le robot de Google lorsqu'il passe.

UsagiYojimbo · 6 Mai 2010

Donc ton souci a priori c'est que YoodaMap (c'est important de dire quel soft tu utilises, ça m'aurait permis de comprendre que tu parles d'un sitemap) n'arrive pas à générer un sitemap les url ton site ? C'est peut-être du au fait que leur outil n'est pas en mesure d'analyser correctement tes pages vu leur construction. http://www.xml-sitemaps.com a l'air de prendre connaissance de tes url par contre.

Par contre ne te repose pas sur le sitemap pour donner tes url à Google. Ce n'est pas parce que tu lui soumet un sitemap avec l'ensemble de tes pages qu'il va de fait les indexer dans la foulée. Ca peut prendre plusieurs mois (voire plus), d'autant que tes pages ne sont pas correctement construites.

balafatch · 7 Mai 2010

OK prenons http://www.xml-sitemaps.com
Dans http://10moi.fr/barre-outils/ j'ai 14 pages plus 3 dossiers dont 1 avec 130 pages.
Une des 14 pages est la suivante :

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">

<head>
<meta http-equiv="Content-Language" content="fr" />
<meta http-equiv="Content-Type" content="text/html; charset=windows-1252" />
<title>essai</title>
</head>
<body>
<p>essai /barre-outils/</p>
</body>
</html>

donc pas de mauvaise écriture... j'espère.

- J'entre "http://10moi.fr/barre-outils/" dans XML-sitemaps : j'obtiens la reconnaissance de 6 pages/14 qui sont directement dans le dossier, mais pas la reconnaissance de la page http://10moi.fr/barre-outils/essai.php qui pourtant est a priori bien écrite, simple, sans includes,...

- si j'entre "http://10moi.fr/barre-outils/sommaire/" dans XML-sitemaps... il ne reconnait aucune des 130 pages, pas plus qu'une autre page d'essai comme je viens de décrire plus haut !

Comme je l'ai mentionné j'ai utilisé plusieurs outils (Yooda n'est qu'anecdotique : Yooda map beta 0.4). Je suis hébergé chez 1&1 Leur outil fait un peu mieux mais à peine.

Je me suis demandé si un trait d'union dans le titre d'un dossier pouvait changer quelque chose mais a priori non puisque certaines pages sont tout de même trouvées.
Je me suis demandé si la présence d'un dossier _vti_cnf pouvait modifier quelque chose mais a priori non.
J'ai cherché une différence entre une page trouvée et une non trouvée mais de toute façon la page essai.php vient balayer cette hypothèse (sinon OK je n'avais plus qu'à réécrire mes pages).

Je commence vraiment à être à cour d'idées !

Haroeris · 7 Mai 2010

Existe il un lien vers http://10moi.fr/barre-outils/essai.php ?

Ce lien est il dans une page avec une structure lisible ?

Les créations de site map ne font que suivrent les liens, donc si ils comprennent rien au code de la page d'accueil, meme si ta page de test est parfaite, il ne l'atteindront pas.

balafatch · 7 Mai 2010

Là tu me donne une vraie piste car cela fonctionne.
Tu as raison : il suffit de choisir une page "1" reconnue et flécher la piste avec des liens "2" car en faisant cela, non seulement la page a été reconnue mais évidemment les pages "3" qui ont un lien avec la "2" l'ont été dans le même temps.
Donc si je me résume le problème de fond est certainement un problème d''écriture mais dans un premier temps il est plus raisonnable d'y remédier par un système de "fléchage" que de refaire les X000 pages du site. Et dire que si j'avais mis plus tôt les pages que je prépare comme http://10moi.fr/barre-outils/sommaire-logiciels.php je n'aurais peut être pas eu ce genre de problèmes !!!
Ceci m'a permis de me rendre compte aussi que j'ai un certain nombre de pages qui sont pourtant pointées par plusieurs liens internes mais que Google ne référence pas. Je sens que je vais encore me poser un certain nombre de questions.
Merci en tout cas.

UsagiYojimbo · 7 Mai 2010

Je pense sincèrement que mis à part ces problèmes de sitemap, si tu ne restructures pas un minimum correctement tes pages, tu n'obtiendra rien de bon au niveau du référencement de ton site.