Petit soucis avec un robots.txt

[@Rano]

Bonjour,

J'ai lancé mon site sans le fichier robots.txt
Du coup google c'est amusé à indexer mon dossier "images" (par exemple). Et donc dans google on peut trouver "Index Of www.generateurs.net/images"

Du coup j'ai créé un fichier robots.txt comme ceci :
User-agent: *
Disallow: /images/
Disallow: /stats/
Disallow: /polices/
Disallow: /partagees/
Disallow: /gensoft/
Disallow: /aide/
Disallow: /isadmin/
Disallow: /logos/
Disallow: /mailing/

Et depuis, google visite seulement ma page www.generateur.net/index.php (tous les jours) et plus rien d'autres ! Alors que j'ai fait des mises à jour... et que Google visite aussi tous les jours d'autres sous domaine (kitgrafik.generateur.net par exemple) et là il suit les liens...

Je ne comprends pas ce qui cloche dans mon robots.txt (ce robots.txt n'étant présent que pour www)

 

[mahefarivony]

pourquoi qu'on atterit sur -http://www.generateur.net/home/index.php ?

 

[@Rano]

parceque je redirige, mais ca pose pas de problème. Avant la mise en place du robots.txt ca fonctionnait très bien. Et c'est comme ca sur tous mes sites, qui sont très bien référencés (sauf generateur.net qui fait bugger google :roll: )

 

[kilik]

http://www.generateur.net/images

dans ce rep images, tu met un faux fichier index.htm pour pas qu'on voit le contenu

 

[@Rano]

Oui, mais ca n'empeche pas google de passer dans le dossier...

 

[kilik]

Ah au fait juste pour te prévenir
tes kits grafiques, y a des images non libre de droits que tu utilises, je te conseille de faire du ménage et d'utiliser uniquement des images ou tu as des droits dessus...sinon gare aux problemes juridiques.

en + tes kits grafiques tu les fais payer par allopass...lol

 

[kilik]

bah si s'il ne peut pas rentrer dans ton repertoire en mode apache "index of", il ne referencera pas la liste des images

 

[iconso]

@Rano : Depuis combien de temps as tu fais ce changement de robots.txt ?

Fred

 

[@Rano]

Les KitGrafiques ne sont pas à moi (C'est une marque blanche KitGrafik.com) et toutes les images que j'utilise pour mes styles de bannière sont libres de droit.

Pour revenir au sujet :
La mise en place d'un fichier index.html répond à certains problèmes effectivement, mais pas tous. Car mon problèmes était pour des images mais aussi pour d'autres dossier contenant des fichiers (php ou autre). Et maintenant que Google les connait, il se peut très bien qu'il revienne les visiter (meme si pour l'instant il me fait un peu la gueule )

Ca fait à peu près... deux semaines.
Mais Google est en train de passer aujourd'hui (fresh) sur toutes les pages de tous mes sous domaines (autres que www) et pour www, il va voir index.php ... puis retourne se coucher.

 

[@Rano]

Oui c'est ca, la dernière fois que Google a visité une autre page que index.php, c'était le 5 octobre. alors que la page index.php il me la fait une à plusieurs fois par jour.


Je vais enlever le robots.txt quelques jours voir si ca le remotive...