Résolu Toutes les URL bloquées par le fichier robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par kimaya49, 28 Mars 2018.

Tags:
  1. kimaya49
    kimaya49 Nouveau WRInaute
    Inscrit:
    26 Octobre 2011
    Messages:
    37
    J'aime reçus:
    0
    Bonjour

    Je viens de mettre en ligne un site réalisé avec Wordpress avec seulement 3 pages d'accueil pour le moment (FR/EN/ES).

    Je l'ai ensuite soumis à l'indexation Google via Goolge search console et j'ai ce message d'erreur :
    Le sitemap contient des URL qui sont bloquées par le fichier robots.txt. En fait les 6 URL (avec et sans www) sont bloquées si j'en crois ce que je vois.

    Le contenu du fichier robot.txt :

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    Pourtant quand je vais dans la partie "outils de test du fichier robots.txt" aucune erreur ou avertissement n'est affiché et quand je teste les deux seules pages que je peux tester (ES et EN vu que le nom de domaine est déjà renseigné) ça me met "autorisée" comme résultat...

    Alors ai-je un problème ou pas ? Je suis un peu perdue...

    Merci d'avance pour votre aide
    Karine
     
    #1 kimaya49, 28 Mars 2018
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 975
    J'aime reçus:
    121
    Avec l'url ce serait plus simple...
     
    #2 UsagiYojimbo, 28 Mars 2018
  3. kimaya49
    kimaya49 Nouveau WRInaute
    Inscrit:
    26 Octobre 2011
    Messages:
    37
    J'aime reçus:
    0
    Bonjour UsagiYojimbo


    J'oubliais de préciser que quand je fais une recherche sur google avec l'url de mon site j'ai ce message : Aucune information n'est disponible pour cette page
     
    #3 kimaya49, 28 Mars 2018
    Dernière édition: 28 Mars 2018
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 975
    J'aime reçus:
    121
    Ca sent le site dont la version de dev pré-prod a été faite de manière ouverte : Google garde en mémoire une ancienne version du robots.txt.

    Il te dit quelles url posent souci ?

    Il faut a minima une redirection pour empêcher l'indexation en double de www / sans www.

    Et un nouveau site en http ? Pas de https ?
     
    #4 UsagiYojimbo, 28 Mars 2018
  5. kimaya49
    kimaya49 Nouveau WRInaute
    Inscrit:
    26 Octobre 2011
    Messages:
    37
    J'aime reçus:
    0
    J'ai développé en ligne avec un accès par mot de passe et la case Ne pas indexer cochée.

    Le site sera en https par la suite mais en attendant d'être prêts on économise un peu...

    Concernant les URL les 6 posent problème à priori.
     
    #5 kimaya49, 28 Mars 2018
  6. kimaya49
    kimaya49 Nouveau WRInaute
    Inscrit:
    26 Octobre 2011
    Messages:
    37
    J'aime reçus:
    0
    C'est une erreur d'attendre pour le https en terme de référencement ?
     
    #6 kimaya49, 28 Mars 2018
  7. cthierry
    cthierry WRInaute passionné
    Inscrit:
    15 Janvier 2005
    Messages:
    2 354
    J'aime reçus:
    86
    Ben, c'est surtout que cela va être pénalisant par google dans quelques mois, à partir de juillet 2018, Google Chrome marquera les sites HTTP comme « non sécurisés ».

    De plus c'est ballot de devoir tout changer en cours de route alors que tu as le choix de le faire dès le départ. Et il faut aussi penser aux liens externe.

    Et coté budget pour le SSL, Let's Encrypt est gratuit dans ce cas.

    HS Tu n'aimes pas la balise H1 pour ton site Internet :) on dirait que c'est la mode en ce moment (et je ne te parle pas des autres lol) /HS

    Et pour le robots.txt :
    https://support.google.com/webmasters/answer/6062598?hl=fr
     
    #7 cthierry, 28 Mars 2018
    Dernière édition: 28 Mars 2018
  8. kimaya49
    kimaya49 Nouveau WRInaute
    Inscrit:
    26 Octobre 2011
    Messages:
    37
    J'aime reçus:
    0
    Oui c'est vrai qu'après réflexion c'est un peu ridicule.

    Ne perdez pas de temps avec mon problème, je vais refaire en faisant les choses correctement avec un site https et si mon problème persiste je reviendrai vers vous :)

    Merci
     
    #8 kimaya49, 28 Mars 2018
  9. kimaya49
    kimaya49 Nouveau WRInaute
    Inscrit:
    26 Octobre 2011
    Messages:
    37
    J'aime reçus:
    0
    Tu parles de la balises H1 pour améliorer le référencement ?
     
    #9 kimaya49, 28 Mars 2018
  10. cthierry
    cthierry WRInaute passionné
    Inscrit:
    15 Janvier 2005
    Messages:
    2 354
    J'aime reçus:
    86
    Oui en effet, elle peut être utile à la bonne prise en compte de la page. :) Et il y a aussi une hiérarchie à respecter avec les balises.

    Bref, une petite couche de Let'sencrypt, un peu de balises Hn, un peu de contenu... et le tour est joué pour bien commencer. Regarde sur le forum il y a différents tutos à ce sujets, certains pour ceux qui débutent en référencement.

    La petite boite de recherche en haut à droite est ton amie. :)
     
    #10 cthierry, 28 Mars 2018
  11. kimaya49
    kimaya49 Nouveau WRInaute
    Inscrit:
    26 Octobre 2011
    Messages:
    37
    J'aime reçus:
    0
    Merci pour les conseils, je vais tenir compte de tout cela...
     
    #11 kimaya49, 28 Mars 2018
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - bloquées fichier robots Forum Date
Photos bloquées par le fichier robots.txt selon GWT Crawl et indexation Google, sitemaps 18 Décembre 2013
suppression des pages bloquées par robots.txt Débuter en référencement 18 Octobre 2021
Du nouveau chez Adsense? Mes ads ne sont plus bloquées par les AdBlockers! AdSense 21 Août 2020
url bloquées du jour au lendemain Problèmes de référencement spécifiques à vos sites 16 Décembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Site non responsive, ressources bloquées robots.txt Crawl et indexation Google, sitemaps 15 Avril 2019
Problèmes d'indexation à cause de ressources bloquées (robots.xt) Crawl et indexation Google, sitemaps 22 Novembre 2018
SearchConsole : Problème avec des ressources bloquées Référencement Google 12 Novembre 2018
Search Console crawle et indexe des page bloquées par robot.txt Crawl et indexation Google, sitemaps 16 Mars 2018
Hausse énorme des pages bloquées sur Mobile Crawl et indexation Google, sitemaps 12 Avril 2017
Ressources bloquées dans robots.txt Crawl et indexation Google, sitemaps 3 Octobre 2016
Désindexation et ressources bloquées ? Référencement Google 19 Septembre 2016
Urls bloquées sur webmaster tools àcause de robots.txt ? Crawl et indexation Google, sitemaps 11 Avril 2016
Trop de Ressources Bloquées dans webmaster tools Crawl et indexation Google, sitemaps 7 Avril 2016
Iframe pub et ressources bloquées Référencement Google 25 Septembre 2015
Ressources bloquées provenant de Google Crawl et indexation Google, sitemaps 24 Août 2015
Google affiche dans ses résultats des URLS bloquées par robots.txt ! Crawl et indexation Google, sitemaps 26 Juin 2015
GWT: Ressources bloquées par un script t'chat Débuter en référencement 19 Mai 2015
Les ressources bloquées au crawl de Google [rubrique Webmaster Tools] Référencement Google 11 Mars 2015
AdSense : comment exporter la liste des URL bloquées ? AdSense 5 Février 2015