Robots.txt et site multilingue

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Coubo, 1 Juin 2016.

  1. Coubo
    Coubo Nouveau WRInaute
    Inscrit:
    24 Mai 2016
    Messages:
    10
    J'aime reçus:
    0
    Bonjour WRI,

    J'ai une petite question concernant le robots.txt et la commande :

    Disallow: /*?

    Dans le cas d'un site multilingue qui gère les pages françaises avec ?lang=fr (la version anglaise ne demande pas de variable), est-ce pertinent de garder Disallow: /*? ?

    Merci d'avance,
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 229
    J'aime reçus:
    371
    J'ai du mal à comprendre ce que tu veux faire... Si tu laisses cette ligne, les URL des pages en français ne seront pas crawlées !
     
  3. Coubo
    Coubo Nouveau WRInaute
    Inscrit:
    24 Mai 2016
    Messages:
    10
    J'aime reçus:
    0
    Je suis bien d'accord sur ce point.

    Ma crainte est plutôt que certaines url avec des variables php un peu crade type ndd.fr/?pateencroute ou autre puissent l'être...
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 229
    J'aime reçus:
    371
    et alors ? si ces URL doivent être indexées, il faut bien qu'elles soient crawlées
    bref, je ne vois pas pourquoi mettre cette ligne
     
Chargement...
Similar Threads - Robots multilingue Forum Date
Robots.txt et site multilingue Référencement international (langues, pays) 11 Août 2009
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Réécriture et robots.txt Débuter en référencement 10 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019
Robots.txt et test url Crawl et indexation Google, sitemaps 9 Octobre 2019
Page d'accueil non indexée ? Conflit avec robots.txt Crawl et indexation Google, sitemaps 2 Octobre 2019
robots.txt pour site multilangue Crawl et indexation Google, sitemaps 1 Octobre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice