1. ✅ Apprenez une METHODE qui marche pour votre SEO ! Formation à distance avec Olivier Duffez et Fabien Facériès + aide pour prise en charge du financement
    Rejeter la notice

Les robots ne respectent plus le fichier robots.txt, google, bing, voilà

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par longo600, 11 Janvier 2013.

  1. longo600
    longo600 WRInaute passionné
    Inscrit:
    24 Février 2005
    Messages:
    2 209
    J'aime reçus:
    7
    Bonjour,

    j'ai un petit soucis de scan tout zazimut des moteurs sur une partie de mes bases pourtant bloquées par un fichier robots.txt
    http://inscrip.annuaire-francais.eu/robots.txt
    A moins qu'il y ait un soucis d'accès que je ne vois pas de l'exterieur, tous les robots s'y mettent ; google, bing, voilà etc ...

    avez-vous le même soucis? ou une piste?

    merci d'avance.
     
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 057
    J'aime reçus:
    294
    Si les bots se prennent le même message, ça m'étonne pas :)
     
  3. longo600
    longo600 WRInaute passionné
    Inscrit:
    24 Février 2005
    Messages:
    2 209
    J'aime reçus:
    7
    OK, merci de l'info.

    je viens d'acheter le nouveau Mac Pro et la nouvelle version de 4D V13, mais il semble que j'ai mal paramètré le fichier HOST secondaire de mon mac ... C'est tout neuf et super véloce, mais des réglages a faire ... merci.
     
  4. longo600
    longo600 WRInaute passionné
    Inscrit:
    24 Février 2005
    Messages:
    2 209
    J'aime reçus:
    7
    Probleme résolu qui ne venait pas des robots mais bien de mon application de développement, dont la nouvelle version nécessitait une extension dont je n'avais pas licence, c'est acquis en bonne et due forme, tout fonctionne a merveille ! Désolé, du dérangement.
     
Chargement...
Similar Threads - robots respectent fichier Forum Date
lien variable à bloquer sur robots Développement d'un site Web ou d'une appli mobile 3 Mai 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Robots.txt du site Kayak Débuter en référencement 11 Mars 2020
Search Console Indexée malgré le blocage dans robots.txt Crawl et indexation Google, sitemaps 26 Février 2020
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Réécriture et robots.txt Débuter en référencement 10 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019