Disallow d'un site avec un port spécifique dans le fichier robot.txt

Discussion dans 'Tests et études de cas' créé par johnnyAlternWeb, 31 Mai 2011.

  1. johnnyAlternWeb
    johnnyAlternWeb Nouveau WRInaute
    Inscrit:
    24 Mai 2011
    Messages:
    13
    J'aime reçus:
    0
    Bonjour,


    Je n'arrive pas à trouver la réponse à mon problème plutôt technique;

    J'ai un site qui est référencé sous son port de test avant synchronisation :
    http://www.site.fr:8080

    Il apparaît ensuite pour les clients sous http://site.fr/

    Comment désindexer ce http://www.site.fr:8080 dans le robot.txt du dossier ?

    Est ce que cette syntaxe fonctionne et sans risque pour les pages en www.site.fr (on fait 15000 visites par jours donc je n'ai pas le droit à l’erreur) :

    • User-agent: *
      Disallow: site.fr:8080



    Merci
     
  2. forty
    forty WRInaute passionné
    Inscrit:
    30 Octobre 2008
    Messages:
    1 929
    J'aime reçus:
    0
    je mettrais dans le fichier visible à l'adresse : http://www.site.fr:8080/robots.txt :
    Code:
    User-agent: *
    Disallow: /
    L'idéal c'est quand même de mettre une protection par mot de passe pour éviter les indexations par erreur de versions de test.
     
  3. johnnyAlternWeb
    johnnyAlternWeb Nouveau WRInaute
    Inscrit:
    24 Mai 2011
    Messages:
    13
    J'aime reçus:
    0
    Merci, le problème c'est que ce fichier robots.txt sera ensuite envoyer lors de la prochaine synchronisation vers nos serveurs "client". Donc désindexera tout notre site. Je pense qu'il faut que je cherche au niveau du serveur. www.site.fr:8080 et www.site.fr sont identiques et donc sur un seul répertoire.

    D'après ce que l'équipe technique m'a expliqué, les développeurs mettent leurs travaux finis sur www.site.fr:8080 font une synchronisation pour injecter les fichiers sur les trois serveur et les clients sont dirigés vers le www.site.fr:8181, www.site.fr:8282 et www.site.fr:8383 de façon transparente et en fonction de la charge.
     
  4. forty
    forty WRInaute passionné
    Inscrit:
    30 Octobre 2008
    Messages:
    1 929
    J'aime reçus:
    0
    tu peux essayer avec une règle de réécriture qui affiche un autre robots.txt si le port est 8080 :
    Code:
    RewriteEngine On
    RewriteCond %{SERVER_PORT} ^8080$
    RewriteRule ^robots\.txt$ /robots_8080.txt [L]
     
  5. johnnyAlternWeb
    johnnyAlternWeb Nouveau WRInaute
    Inscrit:
    24 Mai 2011
    Messages:
    13
    J'aime reçus:
    0
    Merci, on va essayer !
     
Chargement...
Similar Threads - Disallow port spécifique Forum Date
Robots.txt : Disallow des pages sport-xxxx.html sans Disallow de sport-equestre.html Administration d'un site Web 8 Décembre 2010
Juste un Disallow Crawl et indexation Google, sitemaps 14 Juillet 2021
Juste un Disallow Crawl et indexation Google, sitemaps 1 Juin 2021
Lien obfusqué avec le fichier JS en Disallow Débuter en référencement 29 Mai 2021
Search Console - Disallow /Feed/ Crawl et indexation Google, sitemaps 7 Juin 2020
J'ai tout Disallow pendant 10 jours! Référencement Google 29 Janvier 2020
Pagination : Disallow, No index, Canoniser - Qu'est-ce qu'on fait ? Référencement Google 15 Octobre 2019
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
est-il préférable de disallow des pages non indexées Crawl et indexation Google, sitemaps 29 Janvier 2019
Disallow à la place de noindex (optimisation du PageRank interne) Crawl et indexation Google, sitemaps 10 Août 2018