Le passage d'un robot affiche-t'il une page ?

WRInaute passionné
Bonjour,

Je vais me faire un petit système de stat maison, un truc ultra-rudimentaire, c'est pour compenser avec d'autres stats. En fait, à chaque affichage de page, je fais simplement faire une requête update pour incrémenter un compteur.

Je voudrais savoir si le passage d'un robot sur une page, googlebot par exemple, va incrémenter le compteur.

Merci d'avance pour vos réponses.
 
Nouveau WRInaute
Oui, bien sûr, comment le robot pourrait-il connaître le contenu d'un fichier sans le télécharger ? ;)
 
WRInaute passionné
Meeuuuhhh non...

Un robot n'afiche pas proprement dit une page, mais il lit le code source de ta page (hors CSS).

Après pour ton compteur, tout dépend ce qu'il compte exactement.
 
WRInaute passionné
Salut,
comment le robot pourrait-il connaître le contenu d'un fichier sans le télécharger

Télécharger ? Afficher tu veux dire ?

Après pour ton compteur, tout dépend ce qu'il compte exactement.
Il compte l'affichage d'une page. Tu affiches une page, ça incrémente le compteur avec l'id de la page. Tu réactualises, ça réincrémente le compteur pour l'id de cette page. Tu changes de page, ça incrémente le compteur de 1 pour cette autre page.

Un truc d'ingénieur surdiplomé quoi.
 
Nouveau WRInaute
medium69 a dit:
il lit le code source de ta page (hors CSS).
Il doit donc bien télécharger la page non ?
Or quelle différence entre un internaute qui affiche une page sur un navigateur et un robot qui télécharge cette même page ?

Le php sera dans les deux cas exécuté, et donc la requête d'incrémentation également.

Après, si le compteur consiste en une image insérée avec <img>, je sais pas trop si le robot la téléchargera...
 
WRInaute passionné
En aucun cas le robot d'un moteur n'affiche la page. Il lit juste le code source.
pour preuve, dans les statistiques Xiti, et compagnie, seules les visites de vraiens internautes sont comptabilisées.
A ma connaissance, Statwebpro propose l'analyse des visites et des robots, et robostats analyse les visites des robots.
 
Nouveau WRInaute
... Rah, mais afficher la page et lire le code source revient exactement au même, c'est-à-dire télécharger le fichier...

La différenciation robots/internautes se fait à ma connaissance par reconnaissance ip (ou similaire, je ne sais pas) PAR l'outil d'analyse.
 
WRInaute impliqué
AdRi1 a dit:
... Rah, mais afficher la page et lire le code source revient exactement au même, c'est-à-dire télécharger le fichier...

La différenciation robots/internautes se fait à ma connaissance par reconnaissance ip (ou similaire, je ne sais pas) PAR l'outil d'analyse.

C'est aussi ce que je pense car j'utilise PHP-stats et Xiti pour mes mesurer mon audience et je remarque tout de même que avec php-stats certain robots vraiment inconnus sont compté comme des visiteurs alors que je sais très bien que ce sont simplement des robots.
 
WRInaute discret
Tout ce qui est exécuté côté serveur (php par exemple) est exécuté que ce soit par un robot ou un internaute.
Ce qui est exécuté côté client (javascript par exemple) n'est pas exécuté par le robot.
Les robots sont identifiés par leur nom d'agent ou par l'ip
 
WRInaute impliqué
DomicilePC a dit:
Tout ce qui est exécuté côté serveur (php par exemple) est exécuté que ce soit par un robot ou un internaute.
Ce qui est exécuté côté client (javascript par exemple) n'est pas exécuté par le robot.
Les robots sont identifiés par leur nom d'agent ou par l'ip

sa confirme ce que je pensait
 
WRInaute impliqué
Meeuuuhhh a dit:
Bonjour,

Je vais me faire un petit système de stat maison, un truc ultra-rudimentaire, c'est pour compenser avec d'autres stats. En fait, à chaque affichage de page, je fais simplement faire une requête update pour incrémenter un compteur.

Je voudrais savoir si le passage d'un robot sur une page, googlebot par exemple, va incrémenter le compteur.

Merci d'avance pour vos réponses.

Pourquoi ne pas utiliser ce qui existe déja ??
 
WRInaute passionné
Bon je viens d'y réfléchir, en fait quand un robot passe sur une page, le compteur n'est pas incrémenté puisque sinon il incrémenterait aussi le compteur de mes pages de forums ou de tous les autres forums.
 
WRInaute occasionnel
euh... tu lis les réponses des gens ?

on va faire simple: il y a un logiciel (Apache par exemple) sur un ordinateur (le serveur de ton hébergeur). Quand ton navigateur (ou un robot, ou un logiciel...) veut lire/afficher une page, il envoie une requete au serveur Apache, qui exécute le fichier et renvoie du html (je sais, je simplifie.) Après, que ca soit un robot, un navigateur, un téléphone portable, ça ne change rien: Apache a exécuté le fichier, et donc la requête qui est dedans.
Donc ton compteur compte les robots.
 
WRInaute passionné
Bah je me demande si t'as bien lu la question, parce que jusqu'à preuve du contraire, le compteur de mon forum ne s'incrémente pas tout seul quand googlebot effectue un crawl.
 
WRInaute occasionnel
Meeuuuhhh a dit:
Bah je me demande si t'as bien lu la question, parce que jusqu'à preuve du contraire, le compteur de mon forum ne s'incrémente pas tout seul quand googlebot effectue un crawl.

Tout simplement parce que le script de ton forum (ou xiti et autre) teste s'il s'agit d'un robot ou non avant d'incrémenter le compteur...
 
WRInaute passionné
Comme le dit très justement biscuit

En général, les compteurs en php comptabilisent généralement des affichages de pages dans un navigateur. Les robots n'utilisant pas de navigateur, ils ne sont pas comptés.

Les statistiques Xiti, Statwebpro, ou autres utilisent plutôt du javascript (qui va permettre de récupérer d'autres données comme la page de provenance, le mot clé saisi, etc) Les passages de robots n'impactent pas ce javascript. Domage, ce serait plus simple de faire des outils qui comptent le passage des robots.
 
WRInaute impliqué
Comme ca a déja été dis :
Tout ce qui est fait coté serveur est vu par le robot, et donc un compteur en php sera incrémenté à la visite d'un bot.

Chez xiti et autre, il s'agit d'un code javascript, il n'est donc pas interprété par les robots, leur visite n'est pas pris en compte.

Ensuite, il existe des compteur au format image, qui appelle par la suite une page php, ceux ci je pense ne sont pas pris en compte par les robots
 
WRInaute passionné
Tout simplement parce que le script de ton forum (ou xiti et autre) teste s'il s'agit d'un robot ou non avant d'incrémenter le compteur...

Non, c'est un compteur PHP basique qui s'incrémente à chaque affichage.

En général, les compteurs en php comptabilisent généralement des affichages de pages dans un navigateur. Les robots n'utilisant pas de navigateur, ils ne sont pas comptés.
Oui

Comme ca a déja été dis :
Tout ce qui est fait coté serveur est vu par le robot, et donc un compteur en php sera incrémenté à la visite d'un bot.

Bah non. Quand googlebot visite mon forum, le compteur PHP n'est pas incrémenté. Il ne s'incrémente que lorsqu'un visiteur affiche la page.
 
Nouveau WRInaute
Meeuuuhhh a dit:
Non, c'est un compteur PHP basique qui s'incrémente à chaque affichage.

Donc à chaque passage de robot !!!

Ose me dire que c'est faux :
affichage de la page <=> téléchargement du fichier.

A ce que je sache, GoogleBot n'a pas encore intégré la fonction voyance, et est obligé de télécharger la page pour voir son contenu.

Didier_S a dit quelque chose de très juste, relis son message...

Et si c'est toujours pas bon, regarde la fonction "cache:" de google. S'il connait le code source html exact de tes pages, c'est bien qu'il a téléchargé la page (et qu'il l'a sauvegardée). Or si le php n'avait pas été exécuté comme tu le dis (ce qui est parfaitement impossible), tu verrais le code tel qu'il est dans ton fichier source, sur ton disque dur. Là, je veux bien, aucune incrémentation n'aurait lieu.

Vois-tu, Apache ne fait aucune distinction entre un internaute et un robot, il renvoie donc la même chose dans tous les cas. Note que je parle bien d'Apache, pas de php.
Qui dit renvoyer la même chose, dit exécuter la même chose.

Le compteur s'incrémente donc bien.

Bah non. Quand googlebot visite mon forum, le compteur PHP n'est pas incrémenté. Il ne s'incrémente que lorsqu'un visiteur affiche la page.
C'est faux. Soit comme l'a dit biscuit, le script teste s'il s'agit d'un robot, soit le robot ne crawle pas.
 
WRInaute passionné
Donc à chaque passage de robot !!!

NON A CHAQUE AFFICHAGE D'UN VISITEUR. Sinon mes compteurs afficheraient des chiffres épouvantables.

Ose me dire que c'est faux :
affichage de la page <=> téléchargement du fichier.
Meeeeeeuuuuuhhhhhhh

A ce que je sache, GoogleBot n'a pas encore intégré la fonction voyance, et est obligé de télécharger la page pour voir son contenu.
Bah, j'en sais rien, mais quand il passe, le compteur ne s'incrémente pas.

Le compteur s'incrémente donc bien.
Bah non. Et qui pourrait dire que le compteur des discussions de webrankinfo, je parle de la colonne "Vue", s'incrémente lorsque les robots visitent les pages ?
 
Nouveau WRInaute
Meeuuuhhh a dit:
Donc à chaque passage de robot !!!

NON A CHAQUE AFFICHAGE D'UN VISITEUR. Sinon mes compteurs afficheraient des chiffres épouvantables.
Pour la plupart des sites GoogleBot est loin de passer tous les jours tu sais... Et il procède encore moins à des full crawls très souvent.

Un peu de lecture : Fresh crawl, deep crawl

Meeuuuhhh a dit:
Ose me dire que c'est faux :
affichage de la page <=> téléchargement du fichier.
J'en sais rien.
Eh ben je te l'apprends. (voir le lien ci-dessus)

Meeuuuhhh a dit:
A ce que je sache, GoogleBot n'a pas encore intégré la fonction voyance, et est obligé de télécharger la page pour voir son contenu.
Bah, j'en sais rien, mais quand il passe, le compteur ne s'incrémente pas.
Dialogue de sourds...

Meeuuuhhh a dit:
Le compteur s'incrémente donc bien.
Bah non. Et qui pourrait dire que le compteur des discussions de webrankinfo, je parle de la colonne "Vue", s'incrémente lorsque les robots visitent les pages ?
Si phpBB ne fais pas de tests php sur l'identité de l'ordinateur ayant appelé la page, et bien moi je le dis.
 
WRInaute impliqué
Meeuuuhhh a dit:
Bah non. Quand googlebot visite mon forum, le compteur PHP n'est pas incrémenté. Il ne s'incrémente que lorsqu'un visiteur affiche la page.


C'est obligé
le code php est executé à chaque chargement de page

Incrementé un compteur ou afficher les message d'un forum, ou le contenu d'une base de donnée, tout ca est effectué à chaque chargement de page, que le visiteur soit un robot ou non

Sinon comment explique tu que google arrive a indexé les pages de ce forum ?
 
WRInaute discret
Vous pouvez penser autrement!
L'affichage s'effectue sur un périphérique de sortie qui s'appelle "écran" ou "moniteur". Sans ce périph, pas d'affichage.
Pensez-vous que les bots ont un petit écran sur le côté et le regardent pour en découvrir les choses cachées, moi je ne pense pas.
Tous les scripts de comptages sont fournis avec une bases d'adresses ip ou de noms d'agents connus (ou les deux), qui leur permet de ne pas compter les robots (ou de les compter comme robots justement).
Les bots lisent, n'interprêtent pas!
Quant aux sujets lus ou pas, videz les cookies de votre navigateurs, et revenez sur wri. Ils sont tous lus! Pas un nouveau post. Le comptage des post lus peut se faire en annalysant ces cookies, et là non plus, un robot n'accepte pas les cookies.
 
WRInaute passionné
DomicilePC a entierement raison.

Essayez donc de faire un compteur qui affiche les passages de robots.

Vous verrez qu'on ne peux le faire qu'en php, et que de plus, pour pouvoir comptabiliser les robots visitant les pages html il faut ajouter un addhandler dans le htaccess et qu'en plus, cela ne marche pas chez tous les hebergeurs.

un compteur classique ne comptabilise JAMAIS les passages des robots

Mais si NxtGen ou AdRi1 ont une solution, comme beaucoup d'autres, je suis très interessé.
 
WRInaute impliqué
Pour moi, un compteur classique est justement un compteur en php....
Exemple de compteur le plus simple qui soit :

Code:
<html>
....
....
<?
mysql_query("UPDATE compteur SET nb=nb+1");
?>
....
....
</html>

Avec ca désolé mais robot ou pas, le compteur est incrémenté
 
WRInaute discret
Absolument NxtGen, et ce indépendemment de l'affichage de la page.
Le php est exécuté sur le serveur, pas besoin d'afficher la page pour que le compteur s'incrémente
 
Nouveau WRInaute
DomicilePC a dit:
Vous pouvez penser autrement!
L'affichage s'effectue sur un périphérique de sortie qui s'appelle "écran" ou "moniteur". Sans ce périph, pas d'affichage.
[...]
Pensez-vous que les bots ont un petit écran sur le côté et le regardent pour en découvrir les choses cachées, moi je ne pense pas.
[...]
Les bots lisent, n'interprêtent pas!
Certes, et alors ?
Ce n'est pas l'interprêtation par le navigateur (qui se charge ensuite de la création de la fenêtre et du rendu de la page) qui fait exécuter quoi que ce soit sur le serveur, mais l'étape juste avant, à savoir le téléchargement du fichier.
Edit : en lisant ton dernier message DomicilePC, je me suis aperçu que j'avais mal interprêté ce que tu voulais démontré. Ca m'apprendra à lire en diagonale ! :p
DomicilePC a dit:
Tous les scripts de comptages sont fournis avec une bases d'adresses ip ou de noms d'agents connus (ou les deux), qui leur permet de ne pas compter les robots (ou de les compter comme robots justement).
C'est ce que Meeuuuhhh ne veut pas entendre, ou alors son compteur est comme celui décrit par NxtGen. Dans ce cas, s'il n'y a pas d'incrémentation, c'est que le robot ne crawle pas (ou plus).
DomicilePC a dit:
Quant aux sujets lus ou pas, videz les cookies de votre navigateurs, et revenez sur wri. Ils sont tous lus! Pas un nouveau post. Le comptage des post lus peut se faire en annalysant ces cookies, et là non plus, un robot n'accepte pas les cookies.
C'est vrai, mais c'est autre chose : Meeuuuhhh parlait du nombre de fois qu'un message a été lu (la cellule juste à côté du nombre de réponses) ;)
 
WRInaute discret
AdRi1 a dit:
Ce n'est pas l'interprêtation par le navigateur (qui se charge ensuite de la création de la fenêtre et du rendu de la page) qui fait exécuter quoi que ce soit sur le serveur, mais l'étape juste avant, à savoir le téléchargement du fichier.)

Là tu me mets dans le doute.
Je pense qu'un fichier php et d'abord traité sur le serveur et ensuite on charge le résultat.
En fait
1)On appelle la procédure, (on charge rien)
2)La procédure s'exécute, (on charge rien)
3)On récupère le résultat. (on charge)

Mais c'est peut être jouer sur les mots chargement, téléchargement etc
 
Nouveau WRInaute
DomicilePC a dit:
Je pense qu'un fichier php et d'abord traité sur le serveur et ensuite on charge le résultat.
Oui, PHP est un langage serveur, pas client.

Je pense que ça fonctionne comme ça :

1) saisie d'une url
2) le serveur DNS trouve l'ip correspondante
3) Apache reçoit l'appel
4) exécution du PHP (ou de l'ASP, du Ruby, ... bref tout ce qui est langage serveur)
5) Apache renvoie le html au client, ainsi que les différents headers (= téléchargement, et meeuuuhh notera que le code PHP a déjà été exécuté)
6) traitement du code html et des headers par le navigateur (assimilable au fonctionnement d'un parseur BBcode je pense, en bien plus compliqué puisqu'il s'occupe du rendu fenêtre)
 
WRInaute discret
Meeuuuhhh a dit:
Alors, vous vous êtes mis d'accord ?
Ben oui, il semble, non?

Un robot n'affiche pas la page, il la lit.

Si il y a un compteur qui ne détecte pas les robots (soit par ip ou non d'agent ou les deux), il sera incrémenté, sauf s'il est appelé par un script comme javascript qui lui ne sera pas exécuté.
 
WRInaute passionné
Si il y a un compteur qui ne détecte pas les robots (soit par ip ou non d'agent ou les deux), il sera incrémenté, sauf s'il est appelé par un script comme javascript qui lui ne sera pas exécuté.

Non c'est l'inverse.
 
Nouveau WRInaute
Meeuuuhhh a dit:
Si il y a un compteur qui ne détecte pas les robots (soit par ip ou non d'agent ou les deux), il sera incrémenté, sauf s'il est appelé par un script comme javascript qui lui ne sera pas exécuté.

Non c'est l'inverse.
Ok, visiblement tu te paies notre tête. Moi j'abandonne.
 
WRInaute passionné
Tiens quand même, puisque nous y sommmes : comment fonctionne à ce niveau PHP my visit ?

Pourquoi donne-t'il des chiffres de visites deux à trois fois supérieur aux stats adsenses, par exemple ?
 
WRInaute occasionnel
Meeuuuhhh a dit:
Si il y a un compteur qui ne détecte pas les robots (soit par ip ou non d'agent ou les deux), il sera incrémenté, sauf s'il est appelé par un script comme javascript qui lui ne sera pas exécuté.

Non c'est l'inverse.

Il me semble (et j'en ai même la certitude) que les bots ne savent pas (ou très, très mal) interprété le javascript (et pour le flash pareil). Je suis désolé, mais pour avoir déjà fait des compteurs PHP, ce que DomicilePC et AdRi1 ont dit est vrai. De plus les robots ne te visite jamais 24h/24. Même quand toi tu veux faire un vote sur un site, tu ne peux pas le faire 2 fois de suite (si le script est bien foutu, à savoir, on récupère l'adresse IP, ou on met un cookie sur ton PC ou les deux), tu es obligé d'attendre un laps de temps.
 
WRInaute discret
Meeuuuhhh a dit:
Tiens quand même, puisque nous y sommmes : comment fonctionne à ce niveau PHP my visit ?

Pourquoi donne-t'il des chiffres de visites deux à trois fois supérieur aux stats adsenses, par exemple ?

C'est une image (une page php) qui est appelé par un javascript.

Je compare souvent les stats de google analytics, de PhpMyVisites et d'un code php que je me suis fait.
Il y a des différences, c'est certain, mais certainement pas du double ou triple. Je dirai du 3 à 4 %, ce qui doit être normal, je n'ai pas toutes les ip de robots, des internautes ferment peut-être les pages avant leur chargement complêt, d'autres chargent (et je ne sais pas pourquoi d'ailleurs) plusieurs fois la page en qlqes secondes, etc etc.
De plus, si tu regardes le nombre de visiteurs uniques sur les trois stats, c'est même pas du 1 à 2 % d'écart.

A mon avis, et là ce n'est que spéculation, google est assez balaise dans les stats, sauf si on oublie de le mettre sur qlqes pages :)
 
WRInaute accro
/me note : quand Meeuuuhhh pose une question, ne pas essayer de lui répondre.

Et au passage, félicitations à AdRi1 & co pour leur patience :lol:.

( :p )
 
Discussions similaires
C
Réponses
4
Affichages
1K
christele2
C
Haut