Robots.txt et pagerank

Discussion dans 'Crawl et indexation Google, sitemaps' créé par PBG, 8 Juin 2017.

  1. PBG
    PBG Nouveau WRInaute
    Inscrit:
    25 Juillet 2014
    Messages:
    47
    J'aime reçus:
    0
    Hello,

    Je viens de tomber sur cet extrait concernant le robots.txt :
    Vous confirmez ? Du coup je me demande quel est l'intérêt réel de mettre des url dans ce fichier… hors celles qu'on ne veut pas être crawlées bien sûr…
     
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 003
    J'aime reçus:
    284
    C'est bien aussi de citer ses sources ?
     
  3. PBG
    PBG Nouveau WRInaute
    Inscrit:
    25 Juillet 2014
    Messages:
    47
    J'aime reçus:
    0
  4. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 882
    J'aime reçus:
    0
    Il n'y pas de quoi se prendre la tête en cherchant d'autres utilisations de ce fichier.

    robots.txt, c'est pour indiquer les URL qui ne doivent pas être crawlées et pour rien d'autre.
     
  5. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 109
    J'aime reçus:
    279
    Bonjour,
    Pourquoi ne pas citer un philosophe du robots.txt qui disait :
    . :mrgreen:

    Cordialement.
     
Chargement...
Similar Threads - Robots pagerank Forum Date
lien variable à bloquer sur robots Développement d'un site Web ou d'une appli mobile 3 Mai 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Robots.txt du site Kayak Débuter en référencement 11 Mars 2020
Search Console Indexée malgré le blocage dans robots.txt Crawl et indexation Google, sitemaps 26 Février 2020
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Réécriture et robots.txt Débuter en référencement 10 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice