Fichier robot.txt

Discussion dans 'Référencement Google' créé par frankwp, 25 Juin 2016.

  1. frankwp
    frankwp WRInaute discret
    Inscrit:
    5 Mars 2009
    Messages:
    82
    J'aime reçus:
    0
    Bonsoir
    J'ai remarqué que certains robots chinois m'assaillent de connexion.
    J'ai décidé de ne mettre dans mon fichier robots.txt QUE les lignes suivantes :
    User-agent: Baiduspider
    Disallow: /

    cela ne va bien "bloquer" que ce robot et permettre au autres de référencer mon site ?
     
  2. ljulien
    ljulien WRInaute discret
    Inscrit:
    20 Avril 2016
    Messages:
    59
    J'aime reçus:
    0
    Bonjour Frankwp,

    Oui, cela devrait bloquer seulement Baidu.

    Sinon pour les autres robots, tu peux les bloquer directement dans le .htaccess.

    L.
     
Chargement...
Similar Threads - Fichier robot Forum Date
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019
Search Console un fichier robots.txt pour chaque protocole Débuter en référencement 15 Août 2019
Search Console bloquée par le fichier robots.txt Crawl et indexation Google, sitemaps 25 Juin 2019
Search Console Passage de HTTP à HTTPS (Fichiers ROBOTS.TXT et SITEMAP) 0 Crawl et indexation Google, sitemaps 16 Mai 2019
"Indexée malgré le blocage par le fichier robots.txt" Que faire si ce message ? Crawl et indexation Google, sitemaps 12 Février 2019
noindex fr-fr dans fichier robots.txt avec translatepress Référencement international (langues, pays) 18 Décembre 2018
Indexée malgré le blocage par le fichier robots.txt Débuter en référencement 5 Décembre 2018
Bloquer une section dans mon fichier robots.txt Débuter en référencement 9 Novembre 2018
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice