Disallow d'un site avec un port spécifique dans le fichier robot.txt

Discussion dans 'Tests et études de cas' créé par johnnyAlternWeb, 31 Mai 2011.

  1. johnnyAlternWeb
    johnnyAlternWeb Nouveau WRInaute
    Inscrit:
    24 Mai 2011
    Messages:
    13
    J'aime reçus:
    0
    Bonjour,


    Je n'arrive pas à trouver la réponse à mon problème plutôt technique;

    J'ai un site qui est référencé sous son port de test avant synchronisation :
    http://www.site.fr:8080

    Il apparaît ensuite pour les clients sous http://site.fr/

    Comment désindexer ce http://www.site.fr:8080 dans le robot.txt du dossier ?

    Est ce que cette syntaxe fonctionne et sans risque pour les pages en www.site.fr (on fait 15000 visites par jours donc je n'ai pas le droit à l’erreur) :

    • User-agent: *
      Disallow: site.fr:8080



    Merci
     
  2. forty
    forty WRInaute passionné
    Inscrit:
    30 Octobre 2008
    Messages:
    1 931
    J'aime reçus:
    0
    je mettrais dans le fichier visible à l'adresse : http://www.site.fr:8080/robots.txt :
    Code:
    User-agent: *
    Disallow: /
    L'idéal c'est quand même de mettre une protection par mot de passe pour éviter les indexations par erreur de versions de test.
     
  3. johnnyAlternWeb
    johnnyAlternWeb Nouveau WRInaute
    Inscrit:
    24 Mai 2011
    Messages:
    13
    J'aime reçus:
    0
    Merci, le problème c'est que ce fichier robots.txt sera ensuite envoyer lors de la prochaine synchronisation vers nos serveurs "client". Donc désindexera tout notre site. Je pense qu'il faut que je cherche au niveau du serveur. www.site.fr:8080 et www.site.fr sont identiques et donc sur un seul répertoire.

    D'après ce que l'équipe technique m'a expliqué, les développeurs mettent leurs travaux finis sur www.site.fr:8080 font une synchronisation pour injecter les fichiers sur les trois serveur et les clients sont dirigés vers le www.site.fr:8181, www.site.fr:8282 et www.site.fr:8383 de façon transparente et en fonction de la charge.
     
  4. forty
    forty WRInaute passionné
    Inscrit:
    30 Octobre 2008
    Messages:
    1 931
    J'aime reçus:
    0
    tu peux essayer avec une règle de réécriture qui affiche un autre robots.txt si le port est 8080 :
    Code:
    RewriteEngine On
    RewriteCond %{SERVER_PORT} ^8080$
    RewriteRule ^robots\.txt$ /robots_8080.txt [L]
     
  5. johnnyAlternWeb
    johnnyAlternWeb Nouveau WRInaute
    Inscrit:
    24 Mai 2011
    Messages:
    13
    J'aime reçus:
    0
    Merci, on va essayer !
     
Chargement...
Similar Threads - Disallow port spécifique Forum Date
Robots.txt : Disallow des pages sport-xxxx.html sans Disallow de sport-equestre.html Administration d'un site Web 8 Décembre 2010
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
est-il préférable de disallow des pages non indexées Crawl et indexation Google, sitemaps 29 Janvier 2019
Disallow à la place de noindex (optimisation du PageRank interne) Crawl et indexation Google, sitemaps 10 Août 2018
robots.txt avec Disallow:/*.php Débuter en référencement 23 Juin 2018
Problème et couverture de l'index et de Disallow Problèmes de référencement spécifiques à vos sites 2 Mai 2018
Cocon sémantique, nofollow et disallow au troisième niveau Référencement Google 9 Novembre 2017
Robots.txt et syntaxe de Disallow Crawl et indexation Google, sitemaps 2 Juin 2017
Comment interdire le crawl des pages de faibles valeurs (Noindex ; Nofollow ; Disallow ?) Débuter en référencement 22 Mars 2017
Sitemaps images et disallow repertoire Crawl et indexation Google, sitemaps 20 Mars 2017
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice