1. ✅ Apprenez une METHODE qui marche pour votre SEO ! Formation à distance avec Olivier Duffez et Fabien Facériès + aide pour prise en charge du financement
    Rejeter la notice

Yahoo Robots.txt c'est quoi ?

Discussion dans 'Autres moteurs de recherche connus' créé par baobab, 19 Août 2005.

  1. baobab
    baobab Nouveau WRInaute
    Inscrit:
    19 Août 2005
    Messages:
    2
    J'aime reçus:
    0
    dsl si je me trompe ... je suis newbee :?

    bonjour à tous :D

    que veut dire ce "robots.txt"

    cette page n'existe pas et pourtant des ip s'entettent à la visiter

    forcement ils tombent sur la page 404 (erreur) et font grimper mes stats pour cette page :roll:

    je ne comprends pas :idea:

    c'est rien ou je m'inquiete à juste titre et je peux modifier ça dans le <head> de mes pages ???
     
  2. otherprod
    otherprod WRInaute discret
    Inscrit:
    8 Novembre 2004
    Messages:
    69
    J'aime reçus:
    0
    Yo,
    Le fichier robots.txt est un fichier qui te sert a communiquer avec les bots des moteurs .
    Tu peux leur dire dans ce fichier quel dossier ou fichier ne pas indexe , tu peux aussi le configurer de maniere a accepter ou refuser qu un bot specifique ne crawl ton site du genre interdire a msnbot de passer et autoriser google.
    Le fait que ce fichier robots.txt n existe pas ne pose aucun probleme d apres moi.
     
Chargement...
Similar Threads - Robots Forum Date
lien variable à bloquer sur robots Développement d'un site Web ou d'une appli mobile 3 Mai 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Robots.txt du site Kayak Débuter en référencement 11 Mars 2020
Search Console Indexée malgré le blocage dans robots.txt Crawl et indexation Google, sitemaps 26 Février 2020
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Réécriture et robots.txt Débuter en référencement 10 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019