Probléme robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par auboutdumonde33, 13 Juillet 2012.

  1. auboutdumonde33
    auboutdumonde33 Nouveau WRInaute
    Inscrit:
    2 Février 2011
    Messages:
    2
    J'aime reçus:
    0
    Bonsoir à tous,
    J’ai un énorme problème avec mon site www.extensys-informatique.com , j’ai refait entièrement le site et GWT me dit que l’accès est bloqué par le fichier robots.txt, j’ai vérifié le fichier robots et il me semble bien.
    Sur GWT, une chose m’étonne, il indique toujours l’ancien fichier et ne prends pas en compte le nouveau !
    Résultat mon fichier sitemap.xml est indiqué en erreur
    Je ne comprends pas !!!,
    Si une âme sympathique veut bien m’expliquer, je suis preneur
    Mon site est sous Joomla 1.5
    Merci a tous
    Patrick :wink:
     
  2. michel.leonard
    michel.leonard WRInaute occasionnel
    Inscrit:
    1 Juin 2010
    Messages:
    361
    J'aime reçus:
    0
    A mon avis , et ce n'est pas forcément la bonne réponse, il faudrai revoir les headers du fichier robots.txt pour éviter que le crawler ne puisse le mettre en cache, il faudrai aussi l'encoder en UTF-8...
     
  3. auboutdumonde33
    auboutdumonde33 Nouveau WRInaute
    Inscrit:
    2 Février 2011
    Messages:
    2
    J'aime reçus:
    0
    Bonjour,
    C’est sympa de votre part d’avoir répondu,
    Ma question est quel est la syntaxe exacte pour éviter que Mr Google refasse la bêtise
    Mon fichier robots.txt

    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Sitemap: http://www.extensys-informatique.com/sitemap.xml

    Cordialement à tous :D
     
  4. duplex13
    duplex13 WRInaute discret
    Inscrit:
    30 Juin 2005
    Messages:
    182
    J'aime reçus:
    1
    Bonjour,

    Je pense que la première ligne de votre http://www.extensys-informatique.com/robots.txt est inutile voir pose problème (celle-ci : Allow: /) : la syntaxe lorsqu'on veut autoriser tout le site est
    Code:
    Disallow:
    Pour les répertoires interdits d'accès : est-ce qu'il y a un lien qui mène vers ceux-ci ? Si non, ce n'est peut-être pas névessaire de les mentionner dans le robots.txt
     
Chargement...
Similar Threads - Probléme robots Forum Date
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Problèmes d'indexation à cause de ressources bloquées (robots.xt) Crawl et indexation Google, sitemaps 22 Novembre 2018
Passage en https et problème robots.txt dans Google Search Console Débuter en référencement 26 Mars 2018
Problème robots Débuter en référencement 7 Décembre 2017
Balisage des informations relatives à l'auteur non validé et problème avec robots.txt Débuter en référencement 11 Décembre 2014
Problème fichier robots.txt Problèmes de référencement spécifiques à vos sites 3 Novembre 2014
Problème Robots.txt et sitemap Débuter en référencement 13 Juillet 2014
Petit problème avec robots.txt et outil des webmasters Débuter en référencement 30 Juin 2014
Problème avec robots.txt Crawl et indexation Google, sitemaps 8 Janvier 2014
Problème avec mon robots.txt Débuter en référencement 25 Mars 2013
Problème de robots.txt Problèmes de référencement spécifiques à vos sites 19 Décembre 2012
Problèmes indexation => fichiers robots.txt pourtant ok Crawl et indexation Google, sitemaps 17 Décembre 2012
Probleme fichier robots et google. Problèmes de référencement spécifiques à vos sites 10 Décembre 2012
Probleme robots.txt Crawl et indexation Google, sitemaps 9 Décembre 2012
Problème d'indexation : robots.txt Crawl et indexation Google, sitemaps 27 Avril 2012
Problème GWT et robots.txt Crawl et indexation Google, sitemaps 8 Mai 2011
Probleme sitemap / robots.txt inaccessible Problèmes de référencement spécifiques à vos sites 26 Août 2010
Problème robots.txt Débuter en référencement 17 Mai 2010
REFERER désactivé : problème pour les robots d'indexations ? Développement d'un site Web ou d'une appli mobile 30 Mars 2010
Problème avec le fichier robots.txt Référencement Google 11 Mars 2010