1. ⭐⭐⭐ Grosse PROMO en cours sur ma plateforme SEO My Ranking Metrics
    Rejeter la notice

Search Console un fichier robots.txt pour chaque protocole

Discussion dans 'Débuter en référencement' créé par Fred, 15 Août 2019.

  1. Fred
    Fred WRInaute discret
    Inscrit:
    4 Avril 2019
    Messages:
    94
    J'aime reçus:
    9
    Bonjour,

    Je post ici car cela me semble l'endroit le plus logique.

    Google, et probablement les autres moteurs aussi, crawl mon robots.txt en http et https. La requête en http est redirigée (code 301) sur la version https, ce qui a le don de m'agacer d'une part et est peut-être problématique d'autre part (là je ne sais pas).

    il est indiqué "il faut un fichier robots.txt pour chaque protocole"
    Mais je n'ai aucune idée de la façon dont-il faut procéder. La racine de mon site étant la même dans les deux cas et tout le site est maintenant en https.

    Je voudrais pouvoir retourner un code 410 pour le robots.txt en http, mais je ne suis pas sûr de la façon dont il faut procéder (dans le htaccess ?) et si cela est recommandé ou pas. Dans la mesure où tout mon site est en https, je ne vois pas l'intérêt de laisser les bots chercher un fichier robots.txt en protocole http.

    Merci pour vos conseils éclairés
     
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 809
    J'aime reçus:
    242
    PHP $_SERVER['SERVER_PROTOCOL'] + URL rewrite
    Ou juste .htaccess avec (pas testé):

    Code:
    RewriteCond %{HTTPS} !=on
    RewriteRule ^robots.txt$ - [R=410,L]
     
  3. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 035
    J'aime reçus:
    317
    Si tout le site en http a migré, c'est normal que le robots.txt du HTTP soit lui aussi redirigé vers sa version en HTTPS
     
  4. Fred
    Fred WRInaute discret
    Inscrit:
    4 Avril 2019
    Messages:
    94
    J'aime reçus:
    9
    D'accord donc je laisse comme ca, même si ca titille mon coté maniaque !
     
Chargement...
Similar Threads - fichier robots protocole Forum Date
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019
Search Console bloquée par le fichier robots.txt Crawl et indexation Google, sitemaps 25 Juin 2019
Search Console Passage de HTTP à HTTPS (Fichiers ROBOTS.TXT et SITEMAP) 0 Crawl et indexation Google, sitemaps 16 Mai 2019
"Indexée malgré le blocage par le fichier robots.txt" Que faire si ce message ? Crawl et indexation Google, sitemaps 12 Février 2019
noindex fr-fr dans fichier robots.txt avec translatepress Référencement international (langues, pays) 18 Décembre 2018
Indexée malgré le blocage par le fichier robots.txt Débuter en référencement 5 Décembre 2018
Bloquer une section dans mon fichier robots.txt Débuter en référencement 9 Novembre 2018
Mon site est bloqué par le fichier robots.txt Crawl et indexation Google, sitemaps 12 Septembre 2018
fichier robots.txt bloquer paramètre p= Crawl et indexation Google, sitemaps 4 Septembre 2018
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice