GOOGLE fuit USER_AGENT

[zonemaster]

Je suis en mesure de démontrer que GOOGLE fuit les pages web qui utilisent une condition user_agent que ce dernier soit utilisé à bon ou mauvais escient...

Il s'agit bien de décision monopolistique qui se résulte en conséquence...

Bientôt il faudra un site bâtit comme un bloc note pour être référencé dans google :evil:

Et on parle de tenir compte du CSS que si il y a qq chose qui plaît pas à Google ca lui donnera une raison de plus de vous ignorer...

C'est quoi la prochaine affaire, il ignorera tout ce qui est en html ou php ???

Pour le user_agent, j'ai mis une page qui prend cette condition pour m'envoyer un email pour me dire qu'un robot est passé... mes statistiques montre que Google est passé:
Date: 2004-08-30 04:25:49
IP: 64.68.82.27
IP Réel:
Hôte: crawler10.googlebot.com
Agent: Googlebot/2.1 (+https://www.google.com/bot.html)

c'est bien lui n'est-ce pas ???

Mais AUCUN mail ne m'a été envoyé !!!

voyez-vous, c'est la preuve que Google ignore tout ce qui se trouve dans la contion user_agent

dans mon cas, c'est une frame (ignoré par les robots) suivi de la condition user_agent pour donnerle contenu...

pour Google il n'a rien du tout alors que les autres robots ont le contenu (email à l'appui)

Voila la raison, dans mon cas, pourquoi on ne trouve pas mes site chez Google :idea:

En fait Google se conduit en spammer en exigent des webmasters à construire des sites qui leurs donneront tout ce qui veulent sans jamais vous visiter et en explosant votre bande passante...

C'est cela un robot, ca ne réfléchie pas 1 seconde...

 

[Tex]

je pense que tu devrais remetre en cause ton systeme avant de remetre en cause google lui meme....

tu utilise du php pour detecter le user_agent ? dans ce cas, google n'est pas en mesure de lire ton code et donc de savoir que tu utilise cette technique ....

 

[Le_Phasme]

Hé ben c'est une superbe nouvelle dis moi.
Si Google arrive à déceler les user agents et bien ca evitera le spamdexing pratiqué à foison grâce à la technique du cloaking !
Je suis tout heureux !!

YOUPI V'LOUP LA BOUM ....

Guillaume

 

[Vortex]

Ton code de test est codé en quel language ?
Si c'est du php, google ne peut détecter le script.
Si c'est du javascript, là, faut voir car GG ne lis pas le JS donc il se peut que c'est ça qui ne marche pas

 

[Tex]

non mais c'est surtout que le code est dans une frame, google peut visiter la page frameset sans passer par la page source du frame ... donc pas de mail

 

[Kmacleod]

Ce test ne fonctionne pas et ne tient pas la route.

 

[zonemaster]

Vous êtes totalement dans l'erreur !!

premièrement le frmaset est crypté en javascript = lkes robots ne gèrent pas le javascript

deuxièmement, le code user_agent est en php et se trouve à l'extérieur du framset = donc vue par ceux qui ne supporte pas javascript ni les frames...

Le code ne tient tellement pas la route qu'il est aussi utilisé pour filtrer les aspirateurs de site et ca fonctionnait jusqu'alors pour tous les robots pour ne pas tomber dedans incluant Google et voila que maintenant il TOMBE dedans tête première...

Google tient compte du user_agent, il n'y a pas d'autres conclusions logiques

à moins qu'on me dise que le user_agent suivant de Google est erroné:

Googlebot/2.1 (+https://www.google.com/bot.html)

si c'est erroné, le code est dans l'erreur, sinon, ce n'est pas le cas et ma conclusion tient la route...

 

[zonemaster]

Et encore plus de poids à ma conclusion...

Si j'enlève ma condition user_agent et remplace par une condition de langue, je reçois le email du passage de Google sur ma page...

ET VLAN !!!

il est solide mon test !!! :wink:

 

[Tex]

si il est en php, il n'est vu que par ceux qui ont un acces FTP a ton site. point.

 

[ybet]

Pas si sûr que GG ne commence pas à s'occuper du javascript. J'ai mis des pages de remplacement dans les adsences pour les pub caritatives et devinez, ces pages sont effectivement indexées (reprises en cache).

 

[zonemaster]

Pas si sûr que GG ne commence pas à s'occuper du javascript

Mais mettons qu'il voit mon javascript, il verra un <framset>
je ne crois pas qu'il en fera qq chose... je me trompe ???

Également, je me posais une question, si j'utilise un cookie php
est-ce que les robots dont Google utiliseront ce Cookie (écriront dedans) ou ne retourneront rien du tout au Cookie ???

 

[zonemaster]

si il est en php, il n'est vu que par ceux qui ont un acces FTP a ton site

C'est quoi cette histoire de FTP ???

:?: :?: :?:

 

[Tex]

le php est un langage interprété coté serveur ce qui veut dire que du coté client il n'est pas visible dans sa forme "source" ... a moins d'une mauvaise configuration qui entrainerais un dysfonctionnement de php lui meme. par consequent il n'est pas possible de lire une condition php en tant que simple visiteur, robot ou pas.

 

[Le_Phasme]

Google met rien dans les cookies.

 

[jeromax]

Donne le source de ta page de test, on va te dire ce qu'y ne va pas.
Le PHP est du code SERVEUR que le CLIENT (ce qu'est GOOGLE et tous les internautes) ne peut voir.
(y'a même pas à discuter de ça, c'est comme ça)
Et heureusement, si il était capable de lire du code serveur, cela voudrait dire qu'il a accès à tes logins et mot de passe de ta BDD ...

Google pourrait éventuellement détecter que tu as 2 pages différentes en fonction de ses passages (en changeant son user-agent) . Mais il n'a pas d'autre moyen pour détecter un changement de condition sur un user-agent coté serveur.

Mais peut être est-ce une fonction javascript, dans ce cas là, c'est différent.
je crois que app.name en javascript donne le user-agent non?

 

[bdamman]

Si Google voyait et fuyait $_SERVER['HTTP_USER_AGENT'], le script robotstats de WRI ne fonctionnerait pas...

 

[zonemaster]

alors comment expliquer que SI google ne voit pas le user-agent il tombe maintenant dans lepiège anti-aspirateur ce qui n'était pas le cas AVANT ???

c'est le même script que j'ai depuis un an environ et il n'était jamais tombé dans le piège...

la page d'accès est certainemt différente, le script détecte le comportement commun d'un aspirateur et lui bloque l'accès... un comportement similaire aux robots d'où la nécessité d'identifié le user-agent...

surtout que quand on enlève la condition user-Agent tout est normal

et je parle exclusivement de google... les autres n'ayant rien changé à ce qui fonctionnait déjà...

 

[zonemaster]

Si Google voyait et fuyait $_SERVER['HTTP_USER_AGENT'], le script robotstats de WRI ne fonctionnerait pas...

aucun rapport

je parle d'unce condition pas de statistiques de journalisation !!

je n'ai aucun problème à identifier Google si tu as lu tout le post en entier...

 

[jeromax]

C'est du code serveur?
=> alors ce n'est pas possible et puis basta.

Tu devrais te poser la question dans l'autre sens:
Pourquoi je ne détecte plus google avec le user-agent alors qu'avant je le detectais....

Je crois savoir que robotstats fonctionne avec la détection des robots par user-agent.
Donc selon tes affirmation, robotstats ne devraient plus détecter Google non plus ....

 

[zonemaster]

Google EST DÉTECTÉ !!!

mais Google ignore ma condition... c'est pas sorcier...

et puis bon, ca tourne en rond ce sujet... je vais chercher et je vais trouver un astuce, c'est tout...

ca beau être côté serveur si on dit:

if(eregi("google.com", $HTTP_USER_AGENT))
{
include('index-1.php');
}

Google restera sur index et IGNORERA index-1.php tel que demandé dans ma condition...

Je vous laisse là dessus ce fut bien palpitant...

 

[caro]

zonemaster tu es en train d'affirmer n'importe quoi, désolé :lol:
j'ai aussi ce système sur un de mes sites (user agent dans php + mail) et ca fonctionne nickel !
de plus c'est impossible pour google de détecter ca, c'est du php et c'est coté serveur que c'est réalisé !
bonne continuation

édité car je pense que tu récupère plus l'user agent
et cela à cause de la mise à jour PHP

voici la variable à utiliser :
$_SERVER['HTTP_USER_AGENT']

voilà tout est réglé :wink:

 

[Tex]

si google passe sur ta page avec ce code il entrainera irrémédiablement l'execution de ton index-1.php... il n'a pas les moyens de faire autrement!

donc si ton code ne fonctionne pas comme prévu c que ton probleme viens précisemment de lui.

 

[jeromax]

écoutez.....
vous n'entendez rien?
ça va venir normalement...
Tic..Tac..Tic..Tac..Tic..Tac .....
Attention....
vous allez sans doute entendre un "oups.. désolé.... je me suis trompé... y'a un bug dans ma page..." d'ici peu de temps... :wink:

 

[caro]

exact jeromax :lol:
enfin j'espère qu'il sera bon joueur
à suivre :arrow:

 

[zonemaster]

BOOOOOOOOUUUUUUMMMMMMMMM !!!



LA BOMBE de jeromax n'a pas encore sauté !!!

désolé :wink:

$_SERVER['HTTP_USER_AGENT']

j'aimerais espérer que ce soit le cas, mais il faudra attendre le passage de Google pour le vérifier...

demain, il y auras peut-être une explosion dans ce post

 

[zonemaster]

enfin j'espère qu'il sera bon joueur

Je suis un excellent joueur tant qu'on est fair play et poli en plus de justifié ce que l'on peut avancer comme propos...

tout est là donc je serai ce bon jour chère Caro !!! :wink:

 

[JC91]

zonemaster tu es en train d'affirmer n'importe quoi, désolé :lol:

Oui, c'est clair, c'est du grand n'importe quoi ! Un champion on dirait.

Ou comment passer pour un abruti en 2 minutes chrono .. LOL

En tout cas, merci a zonemaster, il m'a bien fait rire

 

[JC91]

Mais peut être est-ce une fonction javascript, dans ce cas là, c'est différent.
je crois que app.name en javascript donne le user-agent non?

A ma connaissance, il n'est pas possible d'envoyer un mail avec du code javascript ... donc son truc est forcement coté serveur, comme tu le dis.

 

[zonemaster]

Ah ben on peut pas tout savoir, même si je ne suis pas en mesure de dire si ce changement fera une différence ou non (mais demain je serai en mesure si google passe sur mon site)...

Si il faut être tous des jos connaissants sur tout en arrivant sur ce Forum, j'ai du faire une erreur en m'inscrivant car je croyais que c'étiat un forum d'aide et pas un endroit pour se faire foutre de notre gueule comme le fait JC91...

Si tout le monde était comme toi, j'aurais écris un seul post et j'aurais sacré mon camp en première vitesse...

Si c'est tout ce que tu trouve d'intéressant que de rire du monde grand imbécile !

Émet des solutions, tu seras davantage contructif et crédible su tu sais tout et connaît tout plutôt que de rire du monde !!!

 

[JC91]

Je suis en mesure de démontrer que GOOGLE fuit les pages web qui utilisent une condition user_agent que ce dernier soit utilisé à bon ou mauvais escient...

Il s'agit bien de décision monopolistique qui se résulte en conséquence...

A toute fin utile, je te rappele tes 1er propos .... a ma connaissance, personne ne ta forcé à les écrire

Esperons que cela te serve de lecon la prochaine fois (tu sais ce qu'on dit aux enfants: tourne 7 fois ta langue dans ta bouche ...).

On ne peut pas impunement se premettre de raconter n'importe quoi

 

[zonemaster]

Avec le code donner à priori, j'avais et j'ai encore raison ca marche pas...

il fallait dire plutôt que le code ne marchait pas tel que présenté ou encore de demander le code exacte...

voilà...

je maintiens mes propos...

 

[William_autoaubaine]

allez soyez simpa lol
Ya plein de post qui sont pire que celui la
le mec veux prouver son argument laissez le,
Je ne suis pas personellement d'accord avec sa theorie mais bon il a le droit dy croire et de nous lexpliquer sans quon se foute de sa geule.
Lol

 

[mahefarivony]

oui mais en annoncant:" je suis en mesure de DEMONTRER", on est donc sur a 100% de son code non ?
PS: non non, c'est pas moi qui ai la plus grosse :mrgreen:

 

[zonemaster]

oui en effet...

et je répète que ce code fonctionnait avec tout le monde SAUF Google...

Par conséquent il s'agit ici d'un cas unique bien isolé, ce code est en place depuis plus de 1 an sans aucun problème...

forcéement c'est que Google a changé ses valeurs par autres choses et que moi de mon côté je n'avais pas de raison de croire que le code était devenu obsolète...

On ne peut virer le monde à l'envers avec un seul cas isolé... si tel est le cas on ne ferait que des changements qui en bout de ligne ne feront jaiamais l'unanimité...

Mais quand on sait justifié ces propos et être constructif on ne peut pas nuire à personne... rire des autres ne donne rien à personne, bien au contraire...

Avant d'être grand on a tous été petit et étant petit on a tous eu besoin d'un plus grand que soit...

 

[JC91]

Avant d'être grand on a tous été petit et étant petit on a tous eu besoin d'un plus grand que soit...

Et oui, c'est exactement ca.

Et on peut ajouter: mais quand on est tout petit et qu'on se croit grand, on ne devient jamais grand

Ton probleme ce n'est pas le manque de connaissances.

Ton probleme c'est que face a un phenomene que tu ne comprend pas, tu penses aussitot que le probleme viens de Google et non ne toi

 

[zonemaster]

Le problème est effectif UNIQUEMENT avec Google

essaye toi pas je changerai pas ma version, les choses sont comme elle sont...

Tu n'a rien de constructif à dire c'est évident !!!

 

[anguenot.com]

Si l'on recherche ce qui a changé récemment pour essayer d'expliquer ton problème zonemaster, c'est justement... l'user agent de googlebot :wink:

Avant c'était:

Googlebot/2.1 (+http://www.googlebot.com/bot.html)

Depuis quelques temps c'est devenu:

Googlebot/2.1 (+https://www.google.com/bot.html)

Un début de piste?

 

[Suede]

Bon,
On peut prouver le contraire.
Par exemple, installons Robotstats, configurons le pour que Googlebot soit repéré par le user agent et non l'IP.
Surprise, il y a une ligne en plus dans la base de donnée chaque fois que Google passe.


François

 

[zonemaster]

Si l'on recherche ce qui a changé récemment pour essayer d'expliquer ton problème zonemaster, c'est justement... l'user agent de googlebot :wink:

Avant c'était:

Googlebot/2.1 (+http://www.googlebot.com/bot.html)

Depuis quelques temps c'est devenu:

Googlebot/2.1 (+https://www.google.com/bot.html)

Un début de piste?

Bravo ! Anguenot !!!
Le moindre que je puisse dire c'est que vous avez l'oeil ouvert et... avertis...
Vous ne parlez-pas pour rien dire et cela s'avère très constructif...

C'est exactement le problème que semble-t-il personne n'avait vue incluant moi-même !!!

Félicitations, vous êtes très fort, mon problème est maintenant résolu !!!
Tant pis pour les autres qui était dans le champs

Anguenot... vous n'aviez pas un site Web du même nom très utile ???

 

[mahefarivony]

Tant pis pour les autres qui était dans le champs

les paysans (dans les champs) te remercient pour la manière dont tu les traites mais dans ce cas, je ne pense pas qu'ils seront davantage enclins a t'aider les prochaines fois pour tes petits problemes existentiels :evil:

Il n'y a pas que la technique dans la vie, il y a aussi le savoir vivre.

 

[zonemaster]

Bon,
On peut prouver le contraire.
Par exemple, installons Robotstats

Désolé, je n'ai pas RobotStats...
En fait, je l'ai désinstaller depuis environ 6 mois pour le remplacer par un script perso destiné à tous les passages sur mes sites Web...

Et vue que l'IP était pas un élément facile à suivre et dynamique, j'ai opté pour le user_agent

Mais bon, je vais tenir à l'oeil ses petits changements furtifs qui font la différence...

 

[zonemaster]

il y a aussi le savoir vivre.

je m'excuse si vous avez été froissé par un simple "être dans le champs"

mais moi, il y en a même qui se sont permis de rire de moi !!!

"être dans le champs" n'a rien de méchant, cela signifie juste que l'on visait le mauvais canard... ni vous ni moi ne pouvait le savoir et il faut félicité anguenot de son ouverture d'exprit qui a découvert le pot aux roses...

 

[William_autoaubaine]

je confirme lol etre dans le champ cest une expression quebecoise qui nest pas bien mechante

 

[zonemaster]

je confirme lol etre dans le champ cest une expression quebecoise qui nest pas bien mechante

merci pour ton support... c'est apprécié :wink:

 

[Kmacleod]

Peut-être que ceux qui n'ont pas trouvé le pot aux roses codaient le googlebot de manière générique et sans inclure l'url du site (variable) mais simplement le nom d'agent googlebot (fixe - sauf révolution majeure).

 

[mahefarivony]

je confirme lol etre dans le champ cest une expression quebecoise qui nest pas bien mechante

dans ce cas, au temps pour moi

 

[zonemaster]

Peut-être que ceux qui n'ont pas trouvé le pot aux roses codaient le googlebot de manière générique et sans inclure l'url du site (variable) mais simplement le nom d'agent googlebot (fixe - sauf révolution majeure).

Cela est fort probable...

Moi par exemple je fonctionne avec le user_agent complet retourné par $User_agent sinon mon script ne fonctionne pas... il faudrait faire quelques entrourloupe genre (substract) pour en avoir qu'une partie...

 

[zonemaster]

je confirme lol etre dans le champ cest une expression quebecoise qui nest pas bien mechante

dans ce cas, au temps pour moi

Heureux de te l'entendre dire !

je serai prudent prochainement avec mes expressions québécoises...
c'est juste l'émotion qui me laisse aller un peu trop...

maintenant je suis heureux, d'autant plus que tout se place... autant mes relations avec vous que mon script user_agent :wink:

 

[zonemaster]

Je tien à noter que le script de Caro sera utile et utiliser:

$_SERVER['HTTP_USER_AGENT']

au lieu de:

$USER_AGENT

Il s'agit effectivement de la nouvelle norme de php4

 

[u9160]

if(eregi("google.com", $HTTP_USER_AGENT))
{
include('index-1.php');
}

Si ton code etait le suivant, ton soucis n est pas réparé ?
Puisque le dernier serait google.com justement ?

 

[zonemaster]

Non, ce n'estr pas le code que j'utilise, c'est juste un exemple...

je n'entre pas de nom de user_agent directement... j'utilise plutôt MySQL qui garde + de 300 User_Agent et qui fait le lien

ca donne ceci:

include('BDD.php');
$table="rs_robots";

//recuperation des variables client
$agent = $_SERVER['HTTP_USER_AGENT'];

//connection a la base de données
$ic = mysql_connect($mysql_host,$mysql_user,$mysql_password) or die ("erreur de connexion");
//selection de la base de données
mysql_select_db($mysql_base);

$sql="SELECT * FROM `rs_robots` WHERE agent='$agent'";
$req=mysql_query($sql) or die ("Maintenance en cours...<br>Merci de patienter !");
if (mysql_num_rows($req) != '')
{
include('index-1.php');
}

ainsi le robot à le contu du site sur la page index... pas de fausse représentation, il a le VRAI contenu du site...

 

[WebRankInfo]

Non, ce n'estr pas le code que j'utilise, c'est juste un exemple...

Tu reconnaîtras qu'il est difficile de t'aider et de ne pas s'énerver si tu nous donnes un code différent de celui que tu utilises !!!
Olivier

 

[jeromax]

Il s'agit effectivement de la nouvelle norme de php4

Pour ton info, php5 est sorti depuis un bout de temps.... :wink:
Bon je file voir ces nouvelles mises à jour des BL...

 

[Amon-Ra]

Pour résumer

zonemaster :

Tu es dans l'erreur, Google ne peut voir le script PHP

Quand Google appelle une page PHP, le serveur va fabriquer la source HTML de cette page en fonction des divers parametre (par exemple celle de ta detection de l'user_agent), Google attend gentiement la réponse du serveur qui lui affiche la page de résultat, Google est obligé de voir devant lui le résultat de la page

par conséquant il n'est pas en mesure de savoir réellement ce que ton Serveur a pu décidé de la sortie de la page de résultat !

 

[zonemaster]

J'ai donné un code légèrement différent juste pour montrer le style de code utiliser pour appeler l'user_agent...

Donner le code sql n'aurait pas à mon avis éclairer personne d'autant plus que "rs_robots" n'ai t pas celui de "robot-stats" et ne peut donc servir de référence ici...

l'idée étant juste de fournir le code servant à sortir le user_agent...

À noter que si j'aurais voulu sortir le user_agent de google, je procederais par eregi comme le code que j'avais donner

Aussi le problème ne concernit que Google et non les 299 autres robots de la listes

La bonne Nouvelle et que suite aux changements apportés dans le user_agent de Google, ce dernier a indexé (passer) sur mes sites normalement en me retournant le email pour m'en avertir et confirmer le succès du code...

Tout est donc rentré dans l'ordre

Merci encore à Anguenot pour avoir trouver LA solution à mon problème

P.S
Je sais que php est un programme côté serveur, c'est LA raison spécifique pourquoi je ne code plus en html statique...

Je ne savais pas que php5 était sortie... je ne suis pas programmeur et je ne suis pas au courant de tout ce qui innove en programmation... j'essais juste de faire des sites qui répondent à mes attentes et ceux de mes clients...

Bonne continuation à TOUS et TOUTES

Merci de votre patience, c'est apprécié et constructif...

 

[rituel]

Une simple comparaison entre les résultats de 2 bots : Celui que vous connaissez de Google, et un bot spécialisé pour vérifier si il y a cloaking et Google aura sa réponse.

Sa théorie est plausible mais à mon avis ce système n'est pas encore en place.

Rituel, webmaster de livraison fleurs

 

[la_marmotte]

Sa théorie est plausible mais à mon avis ce système n'est pas encore en place.

c'est très possible en effet!!

 

[squawk]

tu ressort un topic de 3 mois pour te faire un lien ? :lol:

 

[la_marmotte]

tu ressort un topic de 3 mois pour te faire un lien ? :lol:

non, dsl