Fichier robots.txt

[erehcab]

Bonjour à tous, j'ai créé un fichier robots.txt mis à la racine de mon site en excluant tous les répertoires du site qui ne doivent pas être scanner par les crawlers. Le problème c'est que lorsque je tape site:monsite.com (sans les www) dans Google, il m'affiche justement la plus part des répertoires que j'avais mis en Disallow dans mon fichier robots.txt. Je ne comprends vraiment pas pourquoi 8O

Quelqu'un aurait'il une idée ?

 

[Raspailloux]

Voilà ce que tu dois afficher dans le fichier:

User-agent: *
Disallow: /album.php
Disallow: /photo.php
Disallow: /photos.php

Dans ton cas c'est peut être du au User-agent qui ne serait pas définit en *.

Si tu veux plus d'explications look ce billet qui parle du robots.txt sur mon blog

http://www.raspailloux.fr/le-robotstxt-cest-quoi/

 

[erehcab]

Salut merci pour ta réponse. Le hic c'est que mon fichier robots.txt reprend exactement ce que tu dis. Par exemple je lui dit :

Disalow: /rss/

et dans Google je trouve mon répertoire rss indéxé ...

 

[erehcab]

Voilà mon fichier :

User-agent: *
Disallow: /admin/
Disallow: /rss/
Disallow: /cgi-bin/
Disallow: /rss/
Disallow: /css/
Disallow: /configuration/
Disallow: /classes/
Disallow: /javascript/
Disallow: /template/
Allow: /Plan,du,site-95-a.html
Allow: /sitemap/
Allow: /

User-agent: Googlebot-Image
Disallow: /media/photos/temp
Disallow: /media/photos/admin
Disallow: /media/photos/miniatures
Disallow: /media/photos/taille_reelle
Allow: /media/photos/normales

Sitemap: http://www.quoide9chezbebe.com/sitemap-index.xml
Sitemap: http://www.quoide9chezbebe.com/sitemap/sitemap-produit.xml
Sitemap: http://www.quoide9chezbebe.com/sitemap/sitemap-rubrique.xml

 

[jacquesM]

Je crois que c'est parce que Google différencie ton site www.quoide9chezbebe.com et quoide9chezbebe.com il indexe les 2.

essaye avec ceci ds ton .htaccess, ça devrait rediriger vers le site en www

RewriteEngine On
RewriteCond %{HTTP_HOST} ^quoide9chezbebe.com$
RewriteRule ^(.*) http://www.quoide9chezbebe.com/$1 [QSA,L,R=301]

 

[Raspailloux]

Si tu as un compte Google et que tu as ajouté "Outils pour les Webmasters" va vérifier que dans l'onglet "Paramètres" tu es bien resté sur "Ne pas définir de domaine favori", sinon si tu as sélectionné une des deux autres propositions ça peut venir de là

Sinon je n'ai pas d'autre idée..

 

[erehcab]

Je viens de mettre en place les deux lignes dans mon htaccess. La redirection se fait bien.
Dans mon compte Google outil pour les webmaster j'ai définit le domaine favoris en lui indiquant qu'il fallait qu'il prenne http://www.quoide9chezbebe.com et non pas quoide9chezbebe.com. Essayer en tapant site:quoide9chezbebe.com sur Google vous allez voir en première page les dossiers admin, rss, classes ..etc qui sont censés ne pas être indéxés.

 

[UsagiYojimbo]

Une fois les modifs effectuées, ca peut prendre quelques jours/semaines pour les faire désindexer. Ou sinon tu peux passer par l'outil de suppression d'url de Google Webmster Tools pour accélérer les choses.