Robots.txt et site multilingue

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Coubo, 1 Juin 2016.

  1. Coubo
    Coubo Nouveau WRInaute
    Inscrit:
    24 Mai 2016
    Messages:
    10
    J'aime reçus:
    0
    Bonjour WRI,

    J'ai une petite question concernant le robots.txt et la commande :

    Disallow: /*?

    Dans le cas d'un site multilingue qui gère les pages françaises avec ?lang=fr (la version anglaise ne demande pas de variable), est-ce pertinent de garder Disallow: /*? ?

    Merci d'avance,
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 503
    J'aime reçus:
    629
    J'ai du mal à comprendre ce que tu veux faire... Si tu laisses cette ligne, les URL des pages en français ne seront pas crawlées !
     
  3. Coubo
    Coubo Nouveau WRInaute
    Inscrit:
    24 Mai 2016
    Messages:
    10
    J'aime reçus:
    0
    Je suis bien d'accord sur ce point.

    Ma crainte est plutôt que certaines url avec des variables php un peu crade type ndd.fr/?pateencroute ou autre puissent l'être...
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 503
    J'aime reçus:
    629
    et alors ? si ces URL doivent être indexées, il faut bien qu'elles soient crawlées
    bref, je ne vois pas pourquoi mettre cette ligne
     
Chargement...
Similar Threads - Robots multilingue Forum Date
suppression des pages bloquées par robots.txt Débuter en référencement 18 Octobre 2021
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 14 Juillet 2021
Les mots-clés de mon site ne sont pas détectés par les robots de référencement Problèmes de référencement spécifiques à vos sites 7 Juillet 2021
Wordpress et le robots.txt Débuter en référencement 21 Juin 2021
Search Console noindex détecté dans la balise Meta robots Débuter en référencement 21 Mai 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021
erreurs robots.txt Crawl et indexation Google, sitemaps 23 Décembre 2020
Google me dit que ma page est bien indexée mais bloquée par robots.txt Crawl et indexation Google, sitemaps 25 Novembre 2020
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 17 Octobre 2020