Robots.txt et le parcours de Google & autre Bots

[Okin]

Bonsoir,

Je tiens à signalé d'abord que j'ai fait quelque recherche sans reel réponse à ce que je cherche, j'espere que vous pourrez m'eclairé

Le robots.txt a la racine du site, doit bien interdir l'acces à des fichier, repertoire, que les bots ne referenceront pas, et j'ai une question:

J'utilise l'url rewriting, et j'ai ces 3 fichier php a la racine du site :

dl.php
dl2.php
dl3.php

j'utilise l'url rewriting sur toute les page pour qu'une forme de ce type dossier-truc-1.html appel l'un des fichier php cité plus haut. Seuelemtn, ces 3 fichier php incremente un compteur, et j'aimerais qu'en aucun cas, google, et les autre bot, se parcours ces fichiers en suivant les liens html que je fais grace a l'url rewriting. Ma véritable question est :

Avec les liens html généré grace a l'url rewriting, est ce que les bots sache qu'au final il s'agit des fichier php qui seront appeler ?

Je voudrais enfait evité que n'importe quel bot aille sur ces 3 fichier pour faussé mes stats, et je voulais savoir si d'apres vous, avec un simple robots.txt, cela suffisait, et comment en etre sur ?

Suis je claire ?


Merci beaucoup

 

[cybervince]

Avec les liens html généré grace a l'url rewriting, est ce que les bots sache qu'au final il s'agit des fichier php qui seront appeler ?

Non, ni les robots, ni les visiteurs peuvent connaitre la vraie url de la page.
Si tu ne veux pas que les robots faussent les stats (car quand ils appellent la page rewritée ca incrémente aussi ton compteur), tu n'a qu'à mettre un système de cloaking qui n'incrémente pas ton compteur si le visiteur est un robot (en te basant sur les ip et/ou le user-agent)

 

[Okin]

Je te remercie cybervince, cela confirme ce que je penssais que l'on m'avais mal dit

J'ai trouvé votre script de "robot" hier en php : robotstats v1.

Je vais reprendre les ips, et pour ces 3 page faire une comparaison )

Edit: Avez vous un site avec la liste de toute les ip à jour ?

(a par votre script), mais qui date de 2003, il y'a sans doute des "nouveau moteur" ?

Merci