Définir les plages horaires des passages des robots ?

Nouveau WRInaute
Bonjour,

Je me pose une question, est-il possible de définir des plages horaires durant lesquelles les robots auraient l'interdiction de passer sur les pages ?

Est si cela est possible, pensez-vous que cela nuirait au référencement ou non ?

Dans mon cas, j'ai environ 28 robots différents qui passent chaque mois, Googlebot, Inktomi Slurp et MSNBot passant quasi tous les jours.

Merci
 
WRInaute accro
Oui c'est possible, tu recuperes le REFERER et tu rediriges selon les horaires.

>> pensez-vous que cela nuirait au référencement

A ton avis? je suis un moteur et je viens crawler ton site, a certaine heures tu m'en interdit l'acces. Qui me dit que tu ne fait pas la meme chose avec tes visiteurs ? Meme si je t'aime bien, je finirais pas ne plus jamais revenir.
 
WRInaute occasionnel
KOogar a dit:
Oui c'est possible, tu recuperes le REFERER et tu rediriges selon les horaires.

>> pensez-vous que cela nuirait au référencement

A ton avis? je suis un moteur et je viens crawler ton site, a certaine heures tu m'en interdit l'acces. Qui me dit que tu ne fait pas la meme chose avec tes visiteurs ? Meme si je t'aime bien, je finirais pas ne plus jamais revenir.

ca revient a faire du cloaking temporel. donc pas bon...
 
WRInaute accro
Tout depend. Je n'ai fait que donner le chemin que va suivre le moteur.

par exemple: si 1 moteur US mange de la Bande Passante inutilement. Le bannir est interressant.
 
WRInaute occasionnel
KOogar a dit:
par exemple: si 1 moteur US mange de la Bande Passante inutilement. Le bannir est interressant.

weps moi j'ai bloque googlebot. je crois que la societe mere est aux states :p

je rigole, ta remarque est bonne mais dans ce cas un meta tag robot devrait suffire non ?
 
WRInaute accro
>> si 1 moteur US mange de la Bande Passante inutilement.

tu ne le banni pas 10h par jour, tu le banni à vie dans ce cas. limiter et interdire n'est pas la même chose
 
WRInaute accro
Pierrot25 a dit:
mais dans ce cas un meta tag robot devrait suffire non ?

C'est dans le fichier robots.txt que ca se passe. De toute facon, la majorité des robots n'en tiennent pas compte. Pour les bloquer, il faut utiliser soit le fichier .htacces ou soit les headers php. Et ce n'est pas du 100% car certains serveurs ne renvoient pas le REFERER.
 
WRInaute discret
Ca remarque est pertinente, on est tous d'accord pour dire que Google ne permet pas de faire une tel manipulation.
Mais ce serait fort utile, en effet certains sites ont des monté en charge à certaine heure et la venue des robots et idiot pour le site et le robot lui même... alors qu'aux heures vident ils peuvent se rattraper.
De plus cela n'empêcheraient pas les robots de venir vérifier à petit d'ose que le contenu et le même et qu'il n'y a pas de tricherie...
Non parce que c'est gentil mais sur les gros sites c'est parfois plus de 300 000 requêtes jours... alors oui on ne peut se passer de Google qui apporte le trafic mais bon ca revient chère après...
 
WRInaute accro
aspin a dit:
Ca remarque est pertinente, on est tous d'accord pour dire que Google ne permet pas de faire une tel manipulation.
Mais ce serait fort utile, en effet certains sites ont des monté en charge à certaine heure et la venue des robots et idiot pour le site et le robot lui même... alors qu'aux heures vident ils peuvent se rattraper.
De plus cela n'empêcheraient pas les robots de venir vérifier à petit d'ose que le contenu et le même et qu'il n'y a pas de tricherie...
Non parce que c'est gentil mais sur les gros sites c'est parfois plus de 300 000 requêtes jours... alors oui on ne peut se passer de Google qui apporte le trafic mais bon ca revient chère après...

Franchement pas claire ton explication.

Les moteurs passent aux heures pleines car les sites sont actualisés aux heures pleines. Je vois pas en quoi un partage du temps apporterais un plus.
 
Nouveau WRInaute
Merci pour ces informations, elles sont toutes bonnes à prendre.

Pour expliquer plus en détails mon cas, je souhaite effectivement limiter le nombre de requête aux heures où je compte le plus de visiteurs, car j'ai parfois de gros ralentissement (je sais, je sais, je dois m'occuper de la raison de ces ralentissements en premier, mais bon, je cherche partout où je peux des solutions...).

Voilà, d'autres avis sont les bienvenus, n'hésitez pas.
 
Discussions similaires
Haut