Juste un Disallow

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Peter Wagner, 14 Juillet 2021.

  1. Peter Wagner
    Peter Wagner Nouveau WRInaute
    Inscrit:
    14 Juillet 2021
    Messages:
    4
    J'aime reçus:
    0
    Bonjour,

    Je suis maintenant à près de 6 requêtes par seconde par les bots !

    Il faut que je calme un peu tout ça, j'ai déjà fait une GROSSE erreur dans mon robots.txt j'avais mis en PROD un fichier de DEV dans lequel il y avait un seule ligne:
    Code:
    Disallow: /

    Je me suis tout fait déférencé en moins de 2 semaines et mis plusieurs mois à retrouver un référencement d'avant cette grosse bourde.

    Là je pense mettre :

    Code:
    User-agent: *
    Allow: /
    Disallow: /include/php/ajax/ajax_checkuser_loggedin.php
    Crawl-delay: 4

    Sitemap: https://monsiteweb.com/sitemaps/sitemaps-mainpages.xml

    Est-ce que c'est bon ? Le Disallow du call ajax va bien se faire malgrès le Allow: / qu'il y a juste avant ?

    Merci,
    Vincent.
     
  2. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 895
    J'aime reçus:
    294
    Allow: / est inutile.

    Quant à Crawl-delay, Google ne le supporte pas.
     
  3. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 456
    J'aime reçus:
    672
    je n'y crois pas, le robots.txt n'agit pas sur l'indexation mais sur le crawl
     
Chargement...
Similar Threads - Disallow Forum Date
dans un site python (Django) ce qu'on doit mettre dans le disallow Débuter en référencement 8 Novembre 2021
Juste un Disallow Crawl et indexation Google, sitemaps 1 Juin 2021
Lien obfusqué avec le fichier JS en Disallow Débuter en référencement 29 Mai 2021
Search Console - Disallow /Feed/ Crawl et indexation Google, sitemaps 7 Juin 2020
J'ai tout Disallow pendant 10 jours! Référencement Google 29 Janvier 2020
Pagination : Disallow, No index, Canoniser - Qu'est-ce qu'on fait ? Référencement Google 15 Octobre 2019
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
est-il préférable de disallow des pages non indexées Crawl et indexation Google, sitemaps 29 Janvier 2019
Disallow à la place de noindex (optimisation du PageRank interne) Crawl et indexation Google, sitemaps 10 Août 2018
robots.txt avec Disallow:/*.php Débuter en référencement 23 Juin 2018
Problème et couverture de l'index et de Disallow Problèmes de référencement spécifiques à vos sites 2 Mai 2018
Cocon sémantique, nofollow et disallow au troisième niveau Référencement Google 9 Novembre 2017
Robots.txt et syntaxe de Disallow Crawl et indexation Google, sitemaps 2 Juin 2017
Comment interdire le crawl des pages de faibles valeurs (Noindex ; Nofollow ; Disallow ?) Débuter en référencement 22 Mars 2017
Sitemaps images et disallow repertoire Crawl et indexation Google, sitemaps 20 Mars 2017
Page "nos partenaires" en disallow Débuter en référencement 14 Décembre 2015
Balise Noindex ou Disallow dans robots.txt Référencement Google 15 Septembre 2015
Disallow et noindex pour des pages filtres Débuter en référencement 11 Juin 2015
Aide pour un disallow de serie d'url Débuter en référencement 30 Avril 2015
Disallow dossier IMAGES ? Débuter en référencement 3 Novembre 2014