Robots.txt et pagerank

Discussion dans 'Crawl et indexation Google, sitemaps' créé par PBG, 8 Juin 2017.

  1. PBG
    PBG WRInaute discret
    Inscrit:
    25 Juillet 2014
    Messages:
    64
    J'aime reçus:
    3
    Hello,

    Je viens de tomber sur cet extrait concernant le robots.txt :
    Vous confirmez ? Du coup je me demande quel est l'intérêt réel de mettre des url dans ce fichier… hors celles qu'on ne veut pas être crawlées bien sûr…
     
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 207
    J'aime reçus:
    365
    C'est bien aussi de citer ses sources ?
     
  3. PBG
    PBG WRInaute discret
    Inscrit:
    25 Juillet 2014
    Messages:
    64
    J'aime reçus:
    3
  4. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Il n'y pas de quoi se prendre la tête en cherchant d'autres utilisations de ce fichier.

    robots.txt, c'est pour indiquer les URL qui ne doivent pas être crawlées et pour rien d'autre.
     
  5. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    31 738
    J'aime reçus:
    337
    Bonjour,
    Pourquoi ne pas citer un philosophe du robots.txt qui disait :
    . :mrgreen:

    Cordialement.
     
Chargement...
Similar Threads - Robots pagerank Forum Date
Audit SEO : questions techniques sur robots.txt Demandes d'avis et de conseils sur vos sites 19 Septembre 2022
Page de Login et fichier Robots.Txt Débuter en référencement 11 Septembre 2022
Duplicate content "?p=..." et robots.txt Crawl et indexation Google, sitemaps 7 Septembre 2022
Meta robots noindex WordPress Problèmes de référencement spécifiques à vos sites 9 Août 2022
robots.txt bloque l'accès à mon site par Google Débuter en référencement 7 Juillet 2022
Pourquoi ne pas utiliser le robots.txt pour interdire l'indexation ? Débuter en référencement 14 Avril 2022
canonical et robots=index sur une même page Débuter en référencement 7 Décembre 2021
le noindex dans le robots.txt Débuter en référencement 19 Novembre 2021
suppression des pages bloquées par robots.txt Débuter en référencement 18 Octobre 2021
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 14 Juillet 2021
Les mots-clés de mon site ne sont pas détectés par les robots de référencement Problèmes de référencement spécifiques à vos sites 7 Juillet 2021
Wordpress et le robots.txt Débuter en référencement 21 Juin 2021
Search Console noindex détecté dans la balise Meta robots Débuter en référencement 21 Mai 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021
erreurs robots.txt Crawl et indexation Google, sitemaps 23 Décembre 2020
Google me dit que ma page est bien indexée mais bloquée par robots.txt Crawl et indexation Google, sitemaps 25 Novembre 2020
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 17 Octobre 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Robots.txt du site Kayak Débuter en référencement 11 Mars 2020