Naviguer comme un robot de moteur de recherche

[Mountain Magazin]

Salut,

J'avais vu passer un truc à une époque, mais j'arrive pas à le retrouver, pour naviguer en se faisant passer pour un robot.

Cela permet de voir si un site propose un contenu différent aux humains et aux robots.

Vous savez comment je peux faire ça, où est ce que je peux le trouver ?
Merci
+A+

 

[WebPraxis]

Tu peux essayer avec ça :
http://cgi.w3.org/cgi-bin/html2txt

Cela te montre ce que voient les moteurs.

Mais je ne sais pas si c'est ce que tu recherches exactement ^^

 

[Mountain Magazin]

Salut,

Merci, je garde en favoris car utile, mais c'est pas ce que je cherchais exactement.

En fait, je cherche a naviguer en renvoyant un user agent de moteur, pour m'assurer que le site visité ne manipule pas son contenu (ne triche pas en fait).

J'en ai marre de certaines pratiques qui consistent à SPAMMER ou autre pour occuper des places indues dans les SERP.

Je veux en fait pouvoir comparer le contenu envoyé aux internautes avec celui renvoyé aux moteurs de recherche pour vérifier qu'un site est clean. C'est de bonne guerre, tout le monde cherche à se positionner, mais y a des limites à tout.

Je sais que ça existe de mémoire, mais j'arrive pas à remettre la main dessus.

Merci

 

[UsagiYojimbo]

Pour ça tu peux passer par l'extension Firefox User Agent Switcher.

 

[Mountain Magazin]

Voilà qui semblerait correspondre à ce que je cherche.

Je vais regarder, merci beaucoup pour l'info

 

[Marie-Aude]

Sinon il y a un browser lynx

 

[Mountain Magazin]

Ouais, mais tu vois tout au format texte non ?

Je veux voir le site normalement, mais pouvoir comparer ce qui est envoyé à un humain avec ce qui est envoyé à un robot.

Mais après, c'est sur, faut regarder le code source...

Merci

 

[HawkEye]

Dans ce cas, comme te le propose UsagiYojimbo, c'est l'extension UA-Switcher pour FireFox

 

[darkjukka]

En supposant que le site qui fait ce cloaking ne se base pas aussi sur l'IP sinon c'est mort.

 

[ringout]

tu peut aussi regardé le cache

 

[Mountain Magazin]

Merci de vos réponses, ça va m'aider.

Je regarderais quand j'aurais un peu de temps.
+A+

 

[thickparasite]

Ne sera pas utile pour détecter un cloaking, mais pour voir "comme les moteurs"
http://www.spider-simulator.com/fr/

 

[Mountain Magazin]

Merci merci
je regarde
super

 

[Leonick]

Déjà, 1° étape : regarde la version en cache. Si tu as la possibilité de voir la page en cache dans les moteurs (surtout sur gg), c'est fort peu probable qu'il fasse du cloacking, ou alors c'est un mauvais blackhat (UA ou IP), si la page n'est pas accessible en cache cela n'implique pas obligatoirement qu'il y a du cloacking, mais c'est probable

 

[Mountain Magazin]

Impec, merci du tuyau, j'ai pas encore eu le temps de me pencher dessus, mais je vais le faire.

+A+