Juste un Disallow

Peter Wagner

Nouveau WRInaute
Bonjour,

Je suis maintenant à près de 6 requêtes par seconde par les bots !

Il faut que je calme un peu tout ça, j'ai déjà fait une GROSSE erreur dans mon robots.txt j'avais mis en PROD un fichier de DEV dans lequel il y avait un seule ligne:
Code:
Disallow: /

Je me suis tout fait déférencé en moins de 2 semaines et mis plusieurs mois à retrouver un référencement d'avant cette grosse bourde.

Là je pense mettre :

Code:
User-agent: *
Allow: /
Disallow: /include/php/ajax/ajax_checkuser_loggedin.php
Crawl-delay: 4

Sitemap: https://monsiteweb.com/sitemaps/sitemaps-mainpages.xml

Est-ce que c'est bon ? Le Disallow du call ajax va bien se faire malgrès le Allow: / qu'il y a juste avant ?

Merci,
Vincent.
 

Discussions similaires

Haut