Robots.txt

Discussion dans 'Débuter en référencement' créé par pirw3t, 3 Décembre 2003.

  1. pirw3t
    pirw3t Nouveau WRInaute
    Inscrit:
    30 Novembre 2003
    Messages:
    22
    J'aime reçus:
    0
    Salut a tous le monde,

    Je voit partout qu'on peut indiquer les fichiers à ne pas indexer dans le robots.txt
    mais une commande peut t'elle remplacer la ligne META :

    Code:
    <META NAME="Robots"         CONTENT="index,follow">   :?: 
    Ce seré le top pour mon portail phpbb url rewrité et le sid en - :lol: :lol:

    Merci à tous
     
  2. Remi L.
    Remi L. WRInaute impliqué
    Inscrit:
    6 Septembre 2003
    Messages:
    905
    J'aime reçus:
    0
    Je ne suis pas sûr d'avoir bien compris ta question (en fait je n'ai rien compris du tout :) ) mais dans robots.txt, tu agis au niveau des répertoires alors que la balise Meta Robots agit au niveau d'une page.
    D'autre part, la balise meta robots index,follow est inutile puisque c'est le comportement par défaut. Tout comme pour robots.txt il faut indiquer ce que tu veux interdire, et les robots bien élevés obéiront.
     
  3. pirw3t
    pirw3t Nouveau WRInaute
    Inscrit:
    30 Novembre 2003
    Messages:
    22
    J'aime reçus:
    0
    En fait j'ai un portal phpbb semi url rewriter ( seulement viewtopic et viewmessage )

    Hier soir sur mes stats, je m'apercoi que googlebot et venu faire un tour, mais il n'a visiter que l'index sans suivre les autre liens aparement. (1hit)

    donc au lieu de mettre la balise
    Code:
    <META NAME="Robots"         CONTENT="index,follow"> 
    Pour que le robot suive les liens, je demandé si il y a une commande dans le robots.txt pour lui indiquer qu'il doit suivre les liens.
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 465
    J'aime reçus:
    675
    si tu ne mets rien (ni meta robots ni robots.txt), les robots ont pour consigne de tout indexer.
    il faut juste un peu de patience !
     
  5. pirw3t
    pirw3t Nouveau WRInaute
    Inscrit:
    30 Novembre 2003
    Messages:
    22
    J'aime reçus:
    0
Chargement...
Similar Threads - Robots Forum Date
canonical et robots=index sur une même page Débuter en référencement 7 Décembre 2021
le noindex dans le robots.txt Débuter en référencement 19 Novembre 2021
suppression des pages bloquées par robots.txt Débuter en référencement 18 Octobre 2021
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 14 Juillet 2021
Les mots-clés de mon site ne sont pas détectés par les robots de référencement Problèmes de référencement spécifiques à vos sites 7 Juillet 2021
Wordpress et le robots.txt Débuter en référencement 21 Juin 2021
Search Console noindex détecté dans la balise Meta robots Débuter en référencement 21 Mai 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021
erreurs robots.txt Crawl et indexation Google, sitemaps 23 Décembre 2020
Google me dit que ma page est bien indexée mais bloquée par robots.txt Crawl et indexation Google, sitemaps 25 Novembre 2020
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 17 Octobre 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Robots.txt du site Kayak Débuter en référencement 11 Mars 2020
Search Console Indexée malgré le blocage dans robots.txt Crawl et indexation Google, sitemaps 26 Février 2020
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Réécriture et robots.txt Débuter en référencement 10 Octobre 2019