HTACCESS : Interdire les bots dont l'URL contient une chaîne spécifiée

[bluemanca]

Bonjour à tous,

Mon site web est visité constamment par le robot msnbot dont les URL sont de la forme :

msnbot-207-46-12-21.search.msn.com

Je souhaiterais donc, grâce à un fichier ".htaccess", rediriger toutes les url qui contiennent la chaîne "msnbot" vers le site http://msnbot.go.away.forever

OU

Je souhaiterais, toujours grâce à un fichier ".htaccess", interdire toutes les url qui contiennent la chaîne "msnbot"

Merci de me proposer les deux solutions (cela m'aidera à comprendre les syntaxes).

Par avance, Merci !

 

[Leonick]

le mieux est quand même de lui interdire l'accès à partir du robots.txt, vu que microsoft suit ses directives

 

[bluemanca]

le mieux est quand même de lui interdire l'accès à partir du robots.txt, vu que microsoft suit ses directives

Et non, justement.

Le fichier "robots.txt" est CONSULTATIF, et de nombreux bots n'en n'ont que faire.

Merci d'avoir la gentillesse de bien lire mon annoncé, car je recherche quelque chose de bien précis, en rapport, comme indiqué, avec le fichier .htaccess

Merci ! :mrgreen:

 

[e-kiwi]

tu ne confondrais pas URL web et user agents de robots ? car tu veux "rediriger des url's de robots", ce qui ne veut rien dire. tu veux récupérer le user agent des robots pour rediriger le spider MSN ailleurs ?

 

[Leonick]

Merci d'avoir la gentillesse de bien lire mon annoncé

dans ton énoncé, tu faisais référence à msnbot-207-46-12-21.search.msn.com et msn est dans les bots qui suivent correctement les directives de robots.txt.
Donc soit c'est bien msn que tu veux bloquer et donc ma réponse est adaptée, soit c'est un autre bot et dans ce cas, je ne comprends pas pourquoi tu ne donnes pas directement le UA de ce bot.
Et, effectivement, tu donnes une adresse ip et tu parles ensuite d'url, ça confusionne fort :roll:

 

[bluemanca]

Bon je ré-explique :

1) Je cherche une solution par .htaccess. Aussi, ne commencez pas à argumenter sur autre chose, ce n'est pas ce que je recherche (il est toujours hélas aussi difficile de trouver des gens droits qui aident vraiment, c'est hallucinant).

2) Un programme dont l'URL de référence est de la forme indiqué (avec une partie variable) ne cesse d'arpenter mon site. Aussi, comme je l'ai indiqué, je cherche :
2 - a ) La syntaxe pour rediriger ce site vers une adresse bidon.
2 - b) La syntaxe pour lui interdire le site.
sachant que la condition à spécifier est de sélectionner seulement les URL qui contiennent la chaîne "msnbot".

Voilà exactement ce que je recherche.

Merci aux gens qui veulent me répondre autre chose que ce que je recherche, d'avoir la sagesse et la gentillesse de s’abstenir.

Pour résumer, je ne cherche pas à être conseillé sur ce qui'il faudrait faire ou ne pas faire pour interdire tel ou tel bot, mais seulement des SYNTAXES selon la demande précisée que j'ai indiquée. Mille merci par avance.

 

[Leonick]

il est toujours hélas aussi difficile de trouver des gens droits qui aident vraiment, c'est hallucinant).

personne ne peut répondre à ta question, car tu demandes n'importe quoi
donc avant de nous répondre de lire ce que tu demandes, lis déjà ce qu'on t'a répondu.
tu confonds UA, request_url et remote_addr
quand tu auras bien fait la différence entre tous ces termes, et que tu l'auras bien formalisée, ta question pourra peut-être avoir une réponse.

 

[bluemanca]

@Leonick : pardon de te dire ça, mais tu n'aides pas les gens : tu te comporte en donneur de leçon. Et tu pinaille !

Ma demande est très claire, mais tu fais semblant de ne pas la comprendre. Il n'y a pas de pire aveugle que celui qui ne veut pas voir.

J'ai remarqué que nombre de forums d'aide sont infestés de gens qui n'aident pas les gens, mais qui les jugent. Ils répondent toujours à coté de la plaque, ou proposent des solutions autres.

Pourtant ma demande est claire. Et ce n'est pas un problème de langage. Alors je te la refais en petit nègre. Peut-être ce sera plus compréhensible pour toi :

1) .htaccess
2-a) Rediriger vers site bidon sous condition où l'adresse du demandeur contienne la chaîne "msnbot"
2-b) Interdire un demandeur sous condition où l'adresse du demandeur contienne la chaîne "msnbot"
3) On utilisera les fonctions RewriteCond et ReWriteRule

On ne pleut plus clair ! :mrgreen:

 

[bluemanca]

Réponses et conclusions

N'ayant pas reçu ici l'aide que j'attendais, j'ai été posé ma question sur d'autres forum.

Après plusieurs essais, je suis parvenir à avoir et à trouver les solutions suivantes :

1) Solution pour rediriger une requête dont le user agent du demandeur contient la chaîne : msnbot

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^.*(msnbot).* [NC]  # Si le user agent contient la chaine msnbot
RewriteRule .* http://msnbot.go.away.forever [L]  # on redirige tout les pages vers le site.

2) Solution pour interdire l'accès à une requête dont le user agent du demandeur contient la chaîne : msnbot

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^.*(msnbot).* [NC]  # Si le user agent contient la chaine msnbot
RewriteRule ^.* - [F,L]  # On interdit alors l'accès à la page

Conclusion :

- Je suis venu ici, et je me suis fais dénigrer.
- Je n'ai pas reçu d'aide.
- C'est moi le demandeur qui finalement fournit les réponses ! Et que cela soit bien clair : si je le fais, ce n'est pas pour les quelques gugusses qui sont intervenus de manière méchante, idiote, et aveugle mais seulement pour fournir une aide aux visiteurs de ce site.

Conclusion de la conclusion :

Gérer et participer à un site destiné à aider les gens pour finalement mal les traiter, ne pas fournir les réponses, et que ce soit le demandeur qui finalement les fournissent, c'est un COMBLE !

Remettez vous en questions messieurs !

Les faits sont les faits.
Les faits sont la vérité.
Ainsi devant les faits, nous devons nous incliner.

Méditez sur ce triste épisode ! C'est une immense opportunité pour vous de changer pour le mieux, dans l'intérêt des usagers, ou de sombrer définitivement dans la méchanceté et la bêtise.

À bon entendeur salut !

Salut !

BlueMan.

 

[Leonick]

Re: Réponses et conclusions

- Je suis venu ici, et je me suis fais dénigrer.
- Je n'ai pas reçu d'aide.

tu as reçu une aide, que tu n'as pas voulu lire

- C'est moi le demandeur qui finalement fournit les réponses !

sauf que tu n'as absolument pas fourni la réponse à ta primo question
Rappel : la question initiale "HTACCESS : Interdire les bots dont l'URL contient une chaîne spécifiée"
tu nous donnes comme valeur "msnbot-207-46-12-21.search.msn.com" ce qui correspond à la valeur de l'hôte distant sur laquelle tu voulais le filtrage et tu te satisfais d'un filtrage sur le useragent
Visiblement, tu as encore beaucoup à apprendre au niveau du web. et, entres autres, sur la façon de te comporter sur un forum :evil:
Alors oser nous faire la morale après ça :lol:

 

[bluemanca]

Décidément, vous ne changerez pas...

Tiens, c'est curieux, tout à coup tu comprends la question... alors qu’auparavant tu pinaillais, et tu faisais mine de ne pas comprendre. Ça porte un nom : de l'hypocrisie.

Enfin, malgré le fait que tu ais compris les questions que je posais, tu n'a pas donné encore une seule réponse...

De la critique en revanche, tu en donnes à foison, ça tu sais faire, mais de l'aide bienveillante, non.

Tu es peut-être très fort en développement web, mais humainement, désolé, les faits parlent d'eux-même : tu est sans cœur, sans pitié, sans compassion, bref toutes les qualités qu'il ne faut pas pour animer un tel forum.

Bonne journée quand même.

 

[Leonick]

Tiens, c'est curieux, tout à coup tu comprends la question... alors qu’auparavant tu pinaillais, et tu faisais mine de ne pas comprendre. Ça porte un nom : de l'hypocrisie.

tu fais exprès ou tu es réellement mal comprenant ?
tu te satisfait d'une réponse qui ne correspond pas à ta question, lire à toi, mais de nous dire qu'on ne t'a pas répondu correctement juste parce que tu ne sais pas poser correctement les questions et qu'en plus, quand on te demande des précisions tu nous envoie ch... tu ne manques pas de culot :evil:

 

[bluemanca]

...

Indécrottable ! Appelez Guinness, vous le méritez amplement.

Et vous n'avez toujours pas répondu, ça devient presque hilarant ! :lol:

Bonne journée !