Résolu Toutes les URL bloquées par le fichier robots.txt

kimaya49

Nouveau WRInaute
Bonjour

Je viens de mettre en ligne un site réalisé avec Wordpress avec seulement 3 pages d'accueil pour le moment (FR/EN/ES).

Je l'ai ensuite soumis à l'indexation Google via Goolge search console et j'ai ce message d'erreur :
Le sitemap contient des URL qui sont bloquées par le fichier robots.txt. En fait les 6 URL (avec et sans www) sont bloquées si j'en crois ce que je vois.

Le contenu du fichier robot.txt :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Pourtant quand je vais dans la partie "outils de test du fichier robots.txt" aucune erreur ou avertissement n'est affiché et quand je teste les deux seules pages que je peux tester (ES et EN vu que le nom de domaine est déjà renseigné) ça me met "autorisée" comme résultat...

Alors ai-je un problème ou pas ? Je suis un peu perdue...

Merci d'avance pour votre aide
Karine
 

kimaya49

Nouveau WRInaute
Bonjour UsagiYojimbo


J'oubliais de préciser que quand je fais une recherche sur google avec l'url de mon site j'ai ce message : Aucune information n'est disponible pour cette page
 
Dernière édition:

UsagiYojimbo

WRInaute accro
Ca sent le site dont la version de dev pré-prod a été faite de manière ouverte : Google garde en mémoire une ancienne version du robots.txt.

Il te dit quelles url posent souci ?

Il faut a minima une redirection pour empêcher l'indexation en double de www / sans www.

Et un nouveau site en http ? Pas de https ?
 

kimaya49

Nouveau WRInaute
J'ai développé en ligne avec un accès par mot de passe et la case Ne pas indexer cochée.

Le site sera en https par la suite mais en attendant d'être prêts on économise un peu...

Concernant les URL les 6 posent problème à priori.
 

cthierry

WRInaute passionné
Ben, c'est surtout que cela va être pénalisant par google dans quelques mois, à partir de juillet 2018, Google Chrome marquera les sites HTTP comme « non sécurisés ».

De plus c'est ballot de devoir tout changer en cours de route alors que tu as le choix de le faire dès le départ. Et il faut aussi penser aux liens externe.

Et coté budget pour le SSL, Let's Encrypt est gratuit dans ce cas.

HS Tu n'aimes pas la balise H1 pour ton site Internet :) on dirait que c'est la mode en ce moment (et je ne te parle pas des autres lol) /HS

Et pour le robots.txt :
https://support.google.com/webmasters/answer/6062598?hl=fr
 
Dernière édition:

kimaya49

Nouveau WRInaute
Oui c'est vrai qu'après réflexion c'est un peu ridicule.

Ne perdez pas de temps avec mon problème, je vais refaire en faisant les choses correctement avec un site https et si mon problème persiste je reviendrai vers vous :)

Merci
 

cthierry

WRInaute passionné
Oui en effet, elle peut être utile à la bonne prise en compte de la page. :) Et il y a aussi une hiérarchie à respecter avec les balises.

Bref, une petite couche de Let'sencrypt, un peu de balises Hn, un peu de contenu... et le tour est joué pour bien commencer. Regarde sur le forum il y a différents tutos à ce sujets, certains pour ceux qui débutent en référencement.

La petite boite de recherche en haut à droite est ton amie. :)
 

Discussions similaires

Haut