htaccess, hotlinking et crawl

Nouveau WRInaute
Bonjour,

Pour éviter le hotlinking et réserver les crawl de mes images à seulement certains bots, j'utilisais le code suivant dans mon fichier htaccess:

RewriteEngine on
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?mondomaine\.fr/.*$ [NC]
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?mondomaine\.fr$ [NC]
RewriteCond %{HTTP_USER_AGENT} !(Googlebot|bingbot|msnbot|yahoo-mmcrawler) [NC]
RewriteCond %{HTTP_USER_AGENT} !googlebot-image [NC]
RewriteCond %{HTTP_USER_AGENT} !googlebot [NC]
RewriteCond %{HTTP_USER_AGENT} !googlebot-news [NC]
RewriteCond %{HTTP_USER_AGENT} !googlebot-video [NC]
RewriteCond %{HTTP_USER_AGENT} !googlebot-mobile [NC]
RewriteCond %{HTTP_USER_AGENT} !mediapartners-google [NC]
RewriteCond %{HTTP_USER_AGENT} !mediapartners [NC]
RewriteCond %{HTTP_USER_AGENT} !facebookexternalhit [NC]
RewriteCond %{HTTP_USER_AGENT} !baiduspider [NC]
RewriteCond %{HTTP_USER_AGENT} !sogou [NC]
RewriteCond %{HTTP_USER_AGENT} !twitterbot [NC]
RewriteCond %{HTTP_USER_AGENT} !pinterest [NC]
RewriteCond %{HTTP_USER_AGENT} !qwant [NC]
RewriteCond %{HTTP_USER_AGENT} !(FlipboardBot|FlipboardBrowserProxy|FlipboardProxy) [NC]
RewriteRule .*\.(wav|swf|jpg|jpeg|gif|png|bmp|js|css|webp)$ - [F,NC,L]

Je me suis toutefois aperçu que dans la search console de nombreuses images étaient détectées mais non indexées et en testant l'url via la console, je tombe sur des erreurs 403.

Cela me paraît plutôt étrange, probablement une coquille dans ce code mais j'avoue ne pas arriver à comprendre.

De plus, si j'ajoute RewriteCond %{HTTP_REFERER} !^$, google ne me met plus d'erreur, mais cela va à l'encontre de l'idée de départ de bloquer les user agent non autorisés.

Si quelqu'un avait une idée de l'erreur dans ce code, je serais évidemment preneur :)
 
Nouveau WRInaute
Bon le problème de base étant le "détectées mais non indexées", il semble que cela soit normal avec des images au format webp.

Je n'explique toujours pas le soucis du 403, mais finalement c'est un sujet mineur.
 
Discussions similaires
Haut