1. ⭐⭐⭐ Grosse PROMO en cours sur ma plateforme SEO My Ranking Metrics
    Rejeter la notice

Robots.txt et pagerank

Discussion dans 'Crawl et indexation Google, sitemaps' créé par PBG, 8 Juin 2017.

  1. PBG
    PBG Nouveau WRInaute
    Inscrit:
    25 Juillet 2014
    Messages:
    42
    J'aime reçus:
    0
    Hello,

    Je viens de tomber sur cet extrait concernant le robots.txt :
    Vous confirmez ? Du coup je me demande quel est l'intérêt réel de mettre des url dans ce fichier… hors celles qu'on ne veut pas être crawlées bien sûr…
     
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 759
    J'aime reçus:
    234
    C'est bien aussi de citer ses sources ?
     
  3. PBG
    PBG Nouveau WRInaute
    Inscrit:
    25 Juillet 2014
    Messages:
    42
    J'aime reçus:
    0
  4. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 883
    J'aime reçus:
    0
    Il n'y pas de quoi se prendre la tête en cherchant d'autres utilisations de ce fichier.

    robots.txt, c'est pour indiquer les URL qui ne doivent pas être crawlées et pour rien d'autre.
     
  5. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 139
    J'aime reçus:
    271
    Bonjour,
    Pourquoi ne pas citer un philosophe du robots.txt qui disait :
    . :mrgreen:

    Cordialement.
     
Chargement...
Similar Threads - Robots pagerank Forum Date
Search Console un fichier robots.txt pour chaque protocole Débuter en référencement 15 Août 2019
Augmenter ses revenus au CPM avec des robots de trafic Monétisation d'un site web 6 Juillet 2019
Search Console bloquée par le fichier robots.txt Crawl et indexation Google, sitemaps 25 Juin 2019
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
Délai de prise en compte changement robots.txt plus long Crawl et indexation Google, sitemaps 18 Mai 2019
Search Console Passage de HTTP à HTTPS (Fichiers ROBOTS.TXT et SITEMAP) 0 Crawl et indexation Google, sitemaps 16 Mai 2019
WordPress robots.txt pour supprimer une page (duplicate content) Débuter en référencement 2 Mai 2019
Site non responsive, ressources bloquées robots.txt Crawl et indexation Google, sitemaps 15 Avril 2019
Question sur sitemap et robots.txt Crawl et indexation Google, sitemaps 8 Avril 2019
GSC ne tient pas compte comande Allow dans robots.txt Crawl et indexation Google, sitemaps 21 Février 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice