Les robots ne respectent plus le fichier robots.txt, google, bing, voilà

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par longo600, 11 Janvier 2013.

  1. longo600
    longo600 WRInaute passionné
    Inscrit:
    24 Février 2005
    Messages:
    2 209
    J'aime reçus:
    7
    Bonjour,

    j'ai un petit soucis de scan tout zazimut des moteurs sur une partie de mes bases pourtant bloquées par un fichier robots.txt
    http://inscrip.annuaire-francais.eu/robots.txt
    A moins qu'il y ait un soucis d'accès que je ne vois pas de l'exterieur, tous les robots s'y mettent ; google, bing, voilà etc ...

    avez-vous le même soucis? ou une piste?

    merci d'avance.
     
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 163
    J'aime reçus:
    326
    Si les bots se prennent le même message, ça m'étonne pas :)
     
  3. longo600
    longo600 WRInaute passionné
    Inscrit:
    24 Février 2005
    Messages:
    2 209
    J'aime reçus:
    7
    OK, merci de l'info.

    je viens d'acheter le nouveau Mac Pro et la nouvelle version de 4D V13, mais il semble que j'ai mal paramètré le fichier HOST secondaire de mon mac ... C'est tout neuf et super véloce, mais des réglages a faire ... merci.
     
  4. longo600
    longo600 WRInaute passionné
    Inscrit:
    24 Février 2005
    Messages:
    2 209
    J'aime reçus:
    7
    Probleme résolu qui ne venait pas des robots mais bien de mon application de développement, dont la nouvelle version nécessitait une extension dont je n'avais pas licence, c'est acquis en bonne et due forme, tout fonctionne a merveille ! Désolé, du dérangement.
     
Chargement...
Similar Threads - robots respectent fichier Forum Date
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 14 Juillet 2021
Les mots-clés de mon site ne sont pas détectés par les robots de référencement Problèmes de référencement spécifiques à vos sites 7 Juillet 2021
Wordpress et le robots.txt Débuter en référencement 21 Juin 2021
Search Console noindex détecté dans la balise Meta robots Débuter en référencement 21 Mai 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021
erreurs robots.txt Crawl et indexation Google, sitemaps 23 Décembre 2020
Google me dit que ma page est bien indexée mais bloquée par robots.txt Crawl et indexation Google, sitemaps 25 Novembre 2020
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 17 Octobre 2020
lien variable à bloquer sur robots Développement d'un site Web ou d'une appli mobile 3 Mai 2020