Problème d'indexation ?

[achtungbaby]

Bonjour,

j'ai un forum qui semble refuser de s'indexer dans google :

https://www.google.fr/search?q=site%3Afr ... FR214FR214

Pas de titre, pas de description, et seulement 10 pages repérées par google. J'ai mis un sitemap :

http://freebox-news.com/forums/sitemap.php

et voulu le soumettre à google sitemap, et j'ai cette erreur :

URL restreinte par un fichier robots.txt
Nous avons rencontré une erreur en essayant d'accéder à votre plan Sitemap. Assurez-vous que votre plan Sitemap est conforme à nos consignes et qu'il est accessible à l'emplacement que vous avez spécifié. Ensuite, essayez de nouveau.

Je précise qu'il n'y a pas de fichier robots.txt, ni à la racine, ni dans le dossier.

Le site a été lancé en mars dernier, donc depuis presque 6 mois.

Yahoo semble avoir indexé 177 pages, et 1 dans live.com.

Je ne comprend pas pourquoi le site ne se référence pas. Si quelqu'un peut m'éclairer sur ce problème.

 

[achtungbaby]

En regardant le code, j'ai trouvé cette balise :

<meta name='robots' content='noindex,nofollow' />

Bon, je pense que le problème vient de la...

 

[achtungbaby]

Bon j'ai modifié ça, mais google sitemap ne veut toujours pas de mon sitemap. Toujours le meme message.

 

[cmpc2002]

Bonjour,

j'ai remarqué que vous aviez un robots.txt
=>http://freebox-news.com/robots.txt

je pense que votre problème viens de la.

 

[acamar]

Faut peut être retirer le "Disallow:"

 

[achtungbaby]

Je suis un peu désabusé la... Je vois bien ce fichier via http, mais via ssh ou ftp il n'existe pas.

 

[salva]

Je suis un peu désabusé la... Je vois bien ce fichier via http, mais via ssh ou ftp il n'existe pas.

Ne serait-il pas créé dynamiquement?

 

[achtungbaby]

wordpress créerait un fichier dynamiquement ?

Après vérification, j'ai plusieurs wordpress qui font la meme chose, donc ton hypothèse semble être la bonne, par contre ces autres sites sont bien référencés, et le sitemap est accepté par google.

 

[salva]

Essaie en remplaçant la balise <urlset...> de ton sitemap.xml par celle-ci

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="https://www.google.com/schemas/sitemap/0.84 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd">

Puis surtout, place ton sitemap à la racine.

 

[achtungbaby]

Non, ça ne change rien, toujours ce message d'erreur robots.txt.

Merci de ton aide.

 

[UsagiYojimbo]

Sinon la solution serait de désactiver la génération de robot.txt par Wordpress, mais faut trouver où ça se passe dans le code...

Une recherche sur la chaine robots.txt sur l'ensemble des pages de ton site devrait te trouver ça.

 

[achtungbaby]

J'ai collé un robots.txt à la main, apparement il en tien compte. Mais je me demande si google sitemap ne refuserait pas par rapport à ce qu'il a en mémoire, et donc il faudrait attendre un nouveau passage de bot avant de pouvoir proposer à nouveau le sitemap.

 

[Marie-Aude]

Non, ça ne change rien, toujours ce message d'erreur robots.txt

Si c'est du WordPress et si c'est créé dynamiquement, ça vient certainement des options du blog. As tu vérifié dans le tableau de bord, options, vie privée que tu as bien coché la case "rendre mon blog public" ?

 

[salva]

Google préconise de placer le sitemap vers le répertoire de plus haut niveau.

1. J'ai créé un plan Sitemap dans l'un des formats pris en charge. [?]
2. J'ai transféré mon plan Sitemap vers le répertoire de plus haut niveau auquel j'avais accès.
3. L'URL de mon plan Sitemap est :
Exemple : -http://www.ndd.com/sitemap.xml

 

[Jeviensderio]

Le robots.txt doit contenir:

User-Agent: *
Disallow:

Rien de plus, rien de moins.

 

[achtungbaby]

Si c'est du WordPress et si c'est créé dynamiquement, ça vient certainement des options du blog. As tu vérifié dans le tableau de bord, options, vie privée que tu as bien coché la case "rendre mon blog public" ?

Si, il y avait au départ et j'ai modifié.

 

[achtungbaby]

Google préconise de placer le sitemap vers le répertoire de plus haut niveau.

1. J'ai créé un plan Sitemap dans l'un des formats pris en charge. [?]
2. J'ai transféré mon plan Sitemap vers le répertoire de plus haut niveau auquel j'avais accès.
3. L'URL de mon plan Sitemap est :
Exemple : -http://www.ndd.com/sitemap.xml

Oui, mais je ne déclare pas la racine, je déclare le forum avec l'url pointant sur le forum. Je l'ai fait pour plusieurs sites et ça fonctionne.

 

[Marie-Aude]

J'ai créé un fichiers robots.txt à la racine de mon blog, et cela écrase le "fichier par défaut" de Wordpress.

 

[achtungbaby]

Ce matin, le google a accepté le fichier sitemap. A mon avis il contrôle le site par rapport à ce qu'il a dans son cache. Ce matin son cache était certainement à jour, et j'ai pu proposer le fichier à nouveau.

Merci pour votre aide.

 

[Jeviensderio]

J'ai créé un fichiers robots.txt à la racine de mon blog, et cela écrase le "fichier par défaut" de Wordpress.

Plus précisément?

 

[achtungbaby]

Wordpress vérifie la présence d'un fichier robots.txt. Si il existe il fait rien, si il existe pas, il en crée un dynamiquement.

 

[Jeviensderio]

Dans ce cas effectivement, il vaut mieux ne pas le mettre! :wink:

 

[Marie-Aude]

Dans ce cas effectivement, il vaut mieux ne pas le mettre! :wink:

ça dépend.
Le fichier de Wordpress étant simpliste, tu peux avoir envie d'interdire certains répertoires.
C'est par exemple aussi une des fonctionnalités proposées par All in one SEO de permettre de refuser le crawl des catégories et/ou des archives par risque de duplicate content

 

[achtungbaby]

Epiloque de l'histoire.

Grâce à votre aide, le site recommence à être indexé proprement sur google :

https://www.google.fr/search?q=site:free ... 4&filter=0

Google aurait déjà tenu compte du sitemap ?

 

[salva]

Epiloque de l'histoire.

Grâce à votre aide, le site recommence à être indexé proprement sur google :

https://www.google.fr/search?q=site:free ... 4&filter=0

Google aurait déjà tenu compte du sitemap ?

je constate que tu as quand même mis le sitemap à la racine.

 

[achtungbaby]

J'ai 2 sitemaps déclarés. Un a la racine, un sur le forum. J'ai ajouté en plus le sitemap pour la racine par après. Le sitemap du forum avait déjà été accepté.

 

[salva]

J'ai 2 sitemaps déclarés. Un a la racine, un sur le forum. J'ai ajouté en plus le sitemap pour la racine par après. Le sitemap du forum avait déjà été accepté.

Si je comprends bien tu n'avais pas de plan pour la racine ?

As-tu un système de cache en place ?

Ps: si je suis curieux, c'est pour ma propre "culture"

 

[achtungbaby]

le site est composé d'un wordpress, pour lequel je n'avais pas mis de sitemap au départ, et d'un forum avec son propre sitemap.

Comme je site était désindexé ou pas indexé, je me suis dit qu'en collant le sitemap ça permettrait de l'indexer plus vite une fois le problème réglé. Donc jai réussi a passer le sitemap du forum, et ensuite je me suis dit que ça serait pas mal d'en coller un pour wp en plus et donc je l'ai installé.

Le système de cache, pour wordpress ou pour le serveur ? (oui, j'ai les deux, le cache wp, et eaccelerator).

 

[salva]

Je ne comprenais pas pourquoi Google ne prenait en compte le sitemap dans la foulée et qu’il t’a fallu attendre le lendemain.