301 sur un robots.txt

[Tireur]

Salut à tous,

Mon robotx.txt ne contient que 3 lignes :
User-agent: *
Disallow:
Sitemap: http://www.yyyyyyyyy.be/sitemap.xml

Dans les logs, je reçois un 301 sur le robotx.txt ET sur le sitemap. Et dans la seconde qui suit, un 200 sur ces deux fichiers.

Google n'indexe rien ! Il ne vas pas au delà du get sur le robotx.txt et le sitemap.

Google Webmaster me signale que le robots.txt et le sitemap sont OK.

Le htaccess n'a rien de spécial et ne prévoit rien sur le sitemap et le robots.txt.

Je signale à tout hasard que le site n'est pas blacklisté !

D'ou pourrais provenir un 301 sur un robots.txt et un sitemap ?

Merci de vos lumières.

PS : le site étant "adulte", je ne met pas l'url.

 

[jlfprofoto]

...
Mon robotx.txt ne contient que 3 lignes :
User-agent: *
Disallow:
Sitemap: http://www.yyyyyyyyy.be/sitemap.xml...

Bonsoir,
je reste perplexe sur ton contenu du robot.txt :

tu mets en disallow ton fichier sitemap donc ce qui veut dire aux robots : "ne pas prendre en compte ce fichier" ???... 8O 8O

pour indiquer le sitemap d'un site dans le fichier il faut en première ligne mettre ceci :

Sitemap: http:// (le ndd )/(le nom de ton fichier sitemap)

mets pas à le mettre en disallow c'est tout l'inverse que tu fais... :evil:

 

[Tireur]

Salut,

Merci de ta réponse.

Pourtant d'aprés http://www.sitemaps.org/protocol.php, cela me semble correct :

Specifying the Sitemap location in your robots.txt file

You can specify the location of the Sitemap using a robots.txt file. To do this, simply add the following line:

Sitemap: <sitemap_location>

The <sitemap_location> should be the complete URL to the Sitemap, such as: http://www.example.com/sitemap.xml

This directive is independent of the user-agent line, so it doesn't matter where you place it in your file. If you have a Sitemap index file, you can include the location of just that file. You don't need to list each individual Sitemap listed in the index file.

Ou bien quelque chose m'échappe. :?:

 

[jlfprofoto]

...Pourtant d'aprés http://www.sitemaps.org/protocol.php, cela me semble correct :

Specifying the Sitemap location in your robots.txt file
You can specify the location of the Sitemap using a robots.txt file. To do this, simply add the following line:
Sitemap: <sitemap_location>
The <sitemap_location> should be the complete URL to the Sitemap, such as: http://www.example.com/sitemap.xml
....
Ou bien quelque chose m'échappe. :?:

Voilà ce que tu as mis en plus de ce qu'il fallait :
User-agent: *
Disallow:

où as tu vu sur "http://www.sitemaps.org/protocol.php" qu'il fallait ces 2 lignes supplémentaires ????...
il te dis exactement ce que je t'ai donné à faire avant (voir plus haut en gras en gras)...
ne rajoutes pas ces lignes qui sont pour ce que tu veux faire inutiles et contredisent complètement le process...

il faut pas inventer mais appliquer à la lettre les process que l'on te fournis sur le net (enfin quand on est novice et que l'on ne comprend pas tout).

essaye et tu verras que cela fonctionnera (avec un petit délai de temps)...

 

[Tireur]

Salut,

Ah, OK. Merci.

 

[jeanluc]

Mon robotx.txt ne contient que 3 lignes :
User-agent: *
Disallow:
Sitemap: http://www.yyyyyyyyy.be/sitemap.xml

Très bien. Les deux premières lignes ne sont pas utiles, mais elles ne gènent pas.

Dans les logs, je reçois un 301 sur le robotx.txt ET sur le sitemap. Et dans la seconde qui suit, un 200 sur ces deux fichiers.

Logique. Si tu fais une redirection 301 du site sans www vers le site avec www et que le robot vient d'abord sur le "robots.txt" sans www, il réessaie une seconde plus tard avec le www (il suit la redirection tout simplement).

Google n'indexe rien ! Il ne vas pas au delà du get sur le robotx.txt et le sitemap.

Patience, patience ! :wink:

Google Webmaster me signale que le robots.txt et le sitemap sont OK.

Très bien.

Jean-Luc

 

[Tireur]

Salut,

Merci de ta réponse. Je répond en bleu dans ton post.

Mon robotx.txt ne contient que 3 lignes :
User-agent: *
Disallow:
Sitemap: http://www.yyyyyyyyy.be/sitemap.xml

Très bien. Les deux premières lignes ne sont pas utiles, mais elles ne gènent pas.

Il me semblait bien.

Dans les logs, je reçois un 301 sur le robotx.txt ET sur le sitemap. Et dans la seconde qui suit, un 200 sur ces deux fichiers.

Logique. Si tu fais une redirection 301 du site sans www vers le site avec www et que le robot vient d'abord sur le "robots.txt" sans www, il réessaie une seconde plus tard avec le www (il suit la redirection tout simplement).

Effectivement, c'est cela. On s'en est aperçu aprés avoir posté.

Google n'indexe rien ! Il ne vas pas au delà du get sur le robotx.txt et le sitemap.

Patience, patience ! :wink:

Yes. Mais en faisant une recherche plus approfondie, on a découvert que le nom de domaine avait déjà été utilisé dans le passé et qu'il avait été blacklisté. On a fait une demande de réinclusion.

Google Webmaster me signale que le robots.txt et le sitemap sont OK.

Très bien.

Jean-Luc