robots.txt bloque l'accès à mon site par Google

[laurentsc]

Bonjour,
je viens de découvrir qu'on peut tester le site vu par Google (mobile) : https://search.google.com/test/mobile-friendly/etc
Mais ça se passe mal : Google n'a pas accès à cette URL
Exploration autorisée ? error
Non : bloquée par le fichier robots.txt
Récupération de page error
Échec : Bloquée par le fichier robots.txt

Comme je craignais que Google ne trouve pas le fichier robots.txt (y en avait pas), j'en ai mis tout simple :

User-agent: *

Qu'est-ce qui lui plaît pas SVP ?

 

[UsagiYojimbo]

Il nous faut l'url du site pour te répondre

 

[laurentsc]

https://pasdpanique.fr/
Le site n'en est qu'à son début et certains textes ne sont là que pour faire du remplissage (donc c'est du provisoire)

 

[cthierry]

Comme je craignais que Google ne trouve pas le fichier robots.txt (y en avait pas), j'en ai mis tout simple :

User-agent: *

Qu'est-ce qui lui plaît pas SVP ?

Il n'aime peut-être pas la seconde ligne, mais comme le site est en dev, pas trop grave du coup

User-agent: *
Disallow: /

 

[UsagiYojimbo]

Même avec que cthierry. Avec cette configuration de robots.txt, tu interdit le site à Google.

 

[laurentsc]

Au début, mon robots.txt contenait exactement les 2 lignes proposées par cthierry et j'avais le même message d'erreur (et encore avant, pas de fichier robots.txt du tout et déjà même erreur).

Si je fais ce test, c'est après avoir lu Pour commencer, testez votre site dans l'outil de test d'optimisation mobile afin de déterminer comment Googlebot voit votre site dans https://developers.google.com/search/docs/advanced/guidelines/get-started-developers (guide sur le SEO pour les développeurs, chapitre Premiers pas avec la recherche Google : guide du développeur)

Je débute en SEO, donc ne sais pas trop comment commencer et après quelques lectures, j'ai cru bon faire ça...

 

[UsagiYojimbo]

Ton robots.txt, a date, contient toujours ces deux même ligne :

User-agent: *
Disallow: /

Disallow:/ signifie que tu interdit l'accès de tout le site

 

[laurentsc]

tu interdit l'accès de tout le site

Donc normal que Google ne puisse accéder. Mais si je supprime le fichier robots.txt, même erreur. Pourquoi ?

 

[Madrileño]

Bonjour,

Il faut laisser l'accès aux pages indexables aussi.

Votre page d'accueil indique un blocage :

<meta name='robots' content='noindex, nofollow' />

Le fichier robots.txt est toujours en ligne aussi avec le blocage :
pasdpanique fr/robots.txt

Temps de réponse : 5 minutes.
Cordialement.

 

[Madrileño]

Votre site a aussi de nombreux problèmes, exemples :
- Problèmes avec l'affichage responsive des pages
- Textes qui sont cachés par les couleurs des images
- Images qui sont mal intégrées dans le template
- Page "Combien pour supprimer guêpes ou frelons" avec comme seul texte "Une fortune"

Vous devriez demander des conseils via le forum :
Demandes d'avis et de conseils sur vos sites.

Actuellement, le site semble clairement en construction et fera fuir vos utilisateurs.
Courage pour tout le travail encore à faire et motivation.

Temps de réponse : 10 minutes.

 

[laurentsc]

Votre page d'accueil indique un blocage :

<meta name='robots' content='noindex, nofollow' />

Corrigé ; c'est un site Wordpress et dans Réglages->Lecture, j'ai décoché Demander aux moteurs de recherche de ne pas indexer ce site

Le fichier robots.txt est toujours en ligne aussi avec le blocage :
pasdpanique fr/robots.txt

Corrigé ; j'avais effacé le fichier avec Filezilla mais il était encore là ; dans le plugin Yoast SEO, dans l'onglet outils, on peut éditer et modifier le fichier robots.txt ; j'ai enlevé le code.
Cependant Google Search Console dit encore qu'il ne peut pas accéder

L'URL https://pasdpanique.fr/robots.txt existe encore mais ça affiche une page blanche.

Votre site a aussi de nombreux problèmes

Actuellement, le site semble clairement en construction.

Les nombreux problèmes que vous cités, j'en suis conscient (pour certains), mais comme vous dites, le site est en construction (je le démarre). Ce qui me gêne, c'est que même si très mal positionné, Google le détecte quand même (faire guêpes grenoble)(dans Services Anti Nuisibles).
L'ami pour lequel je le fais tient au référencement ; c'est pour ça que je m'en préoccupe.

 

[Madrileño]

Corrigé ... Cependant Google Search Console dit encore qu'il ne peut pas accéder

Il faut le temps que les changements soient pris en compte.

ça affiche une page blanche.

Normal (c'est un fichier robots.txt vide).

comme vous dites, le site est en construction

Quand un site est en construction, le travail de création se fait en preprod, pas en prod.

même si très mal positionné

C'est plutôt pénalisant de lancer un site de cette manière, donc non recommandé.

L'ami pour lequel je le fais tient au référencement ; c'est pour ça que je m'en préoccupe.

Donc il aurait été mieux de lancer un site qui ne soit pas en construction, pour ne pas générer des problèmes.

Le site est disponible en HTTP et HTTPS, vous ne devriez laisser que le HTTPS.

Compléments :
- Migrer un site vers HTTPS : le guide complet
- Google cherche à afficher vos pages en HTTPS dans les SERP au lieu des HTTP
- Tout pour la redirection HTTP vers HTTPS (.htaccess, Apache, IIS, Nginx, Lighttpd)

Temps de réponse : 20 minutes.

 

[laurentsc]

Quand un site est en construction, le travail de création se fait en preprod, pas en prod.
.

Si je rajoute un fichier robots.txt interdisant l'indexation (et peut-être une authentification (login et mot de passe)), est-ce que c'est bon ?

Donc il aurait été mieux de lancer un site qui ne soit pas en construction, pour ne pas générer des problèmes.

Oui, c'est clair, mais en preprod, peut-on quand même travailler sur le SEO pour que le site soit bien ficelé dès qu'on le passe en prod ?

Le site est disponible en HTTP et HTTPS, vous ne devriez laisser que le HTTPS.

Je regarde.

 

[UsagiYojimbo]

En théorie, le site de pré-production, tu travailles dessus en vase clos : tu utilises un domaine / sous-domaine différent de celui de production et tu en interdit l'accès au moteur de manière réellement efficace (restriction d'accès par IP, mise en place d'un htaccess + htpasswd).

Ça ne t'empêchera pas de contribuer tes balises title / meta, d'ajouter du contenu etc.

 

[laurentsc]

En théorie, le site de pré-production, tu travailles dessus en vase clos : tu utilises un domaine / sous-domaine différent de celui de production

Si je déplace le site dans domaine_identique/preprod, est-ce que c'est bon ?

et tu en interdit l'accès au moteur de manière réellement efficace (restriction d'accès par IP, mise en place d'un htaccess + htpasswd).

Le htaccess + htpasswd, je connais. restriction d'accès par IP : c'est un site wordpress et j'ai l'option Restreindre l’accès de ce site aux visiteurs connectés ou dont l’adresse IP est autorisée . Si j'ai bien compris, une connexion, ça suffit et pas besoin de rentrer les adresses IP. OK ?

Ça ne t'empêchera pas de contribuer tes balises title / meta, d'ajouter du contenu etc.

bien sûr, mais étant parfaitement débutant en la matière, je voulais tester le SEO soit avec le plugin Wordpress Yoast SEO soit avec un outil de mon hébergeur. J'ai peur que si je restreins l'accès, ça ne sera plus possible. Vrai ou faux ?

 

[laurentsc]

Merci de répondre au post précédent, posté hier en début d'après-midi (sans votre aide, je suis incapable de me débrouiller)

 

[Madrileño]

Bonjour,

Le htaccess + htpasswd, je connais.

Autant utiliser cette méthode.

je voulais tester le SEO soit avec le plugin Wordpress Yoast SEO soit avec un outil de mon hébergeur.

En preprod, vous ne pourrez tester que l'interface des deux outils.

J'ai peur que si je restreins l'accès, ça ne sera plus possible. Vrai ou faux ?

Si vous souhaitez tester l'efficacité des outils avec les moteurs, le mieux serait d'avoir un site de test.

Merci de répondre au post précédent, posté hier en début d'après-midi (sans votre aide, je suis incapable de me débrouiller)

Les WRInautes répondent pendant le temps libre qu'ils ont, désolé si ce n'est pas toujours rapide.

Temps de réponse : 20 minutes.
Cordialement.

 

[laurentsc]

Merci pour la réponse.

En preprod, vous ne pourrez tester que l'interface des deux outils.

Autrement dit aucun moyen de contrôle sur ce qu'on a fait pour le SEO avant de publier le site...

Si vous souhaitez tester l'efficacité des outils avec les moteurs, le mieux serait d'avoir un site de test.

Donc un site différent qui servirait uniquement à tester ?

Si je déplace le site dans domaine_identique/preprod, est-ce que c'est bon ?

Pouvez-vous répondre à ça aussi ?

 

[UsagiYojimbo]

Ce n'est pas forcément une bonne idée de te baser sur les recommandations de ces plugins, qui ont une vision très simpliste du SEO.

 

[Madrileño]

Bonjour,

Donc un site différent qui servirait uniquement à tester ?

C'est ce qui est fait par certains (Tests et études de cas).

Pouvez-vous répondre à ça aussi ?

La preprod est souvent en sous-domaine (avec la protection "htaccess + htpasswd")
La prod qui est donc le site fonctionnel se situe à la racine du domaine pour les utilisateurs.

plugins, qui ont une vision très simpliste du SEO.

En effet.

Temps de réponse : 10 minutes.
Cordialement.

 

[laurentsc]

Ce n'est pas forcément une bonne idée de te baser sur les recommandations de ces plugins, qui ont une vision très simpliste du SEO.

J'en déduis que pour effectuer un bon travail pour le SEO, il ne faut pas se contenter de suivre ces recommandations des plugins mais par exemple suivre les conseils donnés ici : https://www.webrankinfo.com/forum/t/recapitulatif-seo-kit-madrileno.191334/
OK ?

 

[UsagiYojimbo]

Oui, entre autres.

 

[laurentsc]

Le site est disponible en HTTP et HTTPS, vous ne devriez laisser que le HTTPS.

Je viens de tester et selon moi, il y a une redirection de HTTP vers HTTPS et donc le site en HTTP n'est pas disponible. Je me trompe ?

 

[Madrileño]

Bonjour,

Version en HTTP sans redirection vers HTTPS.
Canonical de la version HTTP vers HTTP (shortlink aussi).
Donc ce n'est pas encore bon.

Temps de réponse : 5 minutes.
Cordialement.

 

[laurentsc]

Quand un site est en construction, le travail de création se fait en preprod, pas en prod..

Je n'arrive pas à trouver la procédure. Seule chose que j'ai cru comprendre : éviter un sous-répertoire (comme https://paspanique.fr/preprod) et privilégier un sous-domaine (par exemple : https://dev-pasdpanique.fr). Cela dépend-il de l'hébergeur, et sinon, merci de m'indiquer la procédure.

 

[laurentsc]

Version en HTTP sans redirection vers HTTPS.

Etonnant car avec Firefox, sur mon PC, la redirection de HTTP vers HTTPS se fait, mais pas avec Google Chrome...

Canonical de la version HTTP vers HTTP (shortlink aussi).

Je ne connais pas. Merci de préciser ce qu'est cette forme canonique.

 

[Madrileño]

la redirection de HTTP vers HTTPS se fait, mais pas avec Google Chrome...

Les outils de Google indiquent la même erreur.

Je ne connais pas. Merci de préciser ce qu'est cette forme canonique.

Pour comprendre : URL canonique : le guide complet.

Si l'une des pages de votre site est accessible via plusieurs URL, ou si différentes pages de votre site présentent un contenu similaire (par exemple, une page avec une version mobile et une version classique), Google les considère comme des versions en double de la même page. Google choisira une URL comme version canonique et c'est celle-ci qui sera explorée. Toutes les autres URL seront considérées comme des URL en double et explorées moins souvent.

Source : Aider Google à choisir l'URL canonique appropriée pour vos pages en double.

Temps de réponse : 10 minutes.

 

[laurentsc]

Les outils de Google indiquent la même erreur.

Comment on voit ça ? Je me dis que si je sais ça, ça peut m'aider à mieux comprendre ce qu'on peut tirer de ces outils...

 

[Madrileño]

Exemple, avec l'outil indiqué au début du sujet.
L'outil indique un rel canonical en HTTP uniquement :

<link rel="canonical" href="http... />

.
Temps de réponse : 5 minutes.
Cordialement.

 

[laurentsc]

Bonjour,
j'ai mis à jour les balises "canonical" (à l'aide du plugin YOAST Seo). Par exemple :

<link rel="canonical" href="https://pasdpanique.fr/" />

Par contre, dans le code source du site, y a encore des HTTP :

<meta property="og:image" content="http://pasdpanique.fr/wp-content/uploads/2022/07/site-web-en-construction-300x166.jpg" />

Cela est-il gênant ? (Je ne sais pas comment ça se fait)

 

[laurentsc]

Les outils de Google indiquent la même erreur.

Y a-t-il encore l'erreur ? Selon moi, non. On est OK ?

 

[Madrileño]

Bonjour,

URL canonique : La page d'accueil indique bien HTTPS (code source).
Site disponible en HTTP : Toujours pareil (tests avec différents outils).

Vous pouvez vérifier si vous avez bien configuré le site en HTTPS.
Complément : https://fr.wordpress.org/support/article/https-for-wordpress/ .

Temps de réponse : 15 minutes.
Cordialement.

 

[laurentsc]

J'espère avoir corrigé ; si non, merci de m'indiquer avec quel outil on peut le voir. Je verrai la réponse que demain...Bonne nuit

 

[Madrileño]

La redirection fonctionne.

Exemple d'outil : https://www.webrankinfo.com/outils/header.php .

Temps de réponse : 5 minutes.
Cordialement.

 

[laurentsc]

La preprod est souvent en sous-domaine (avec la protection "htaccess + htpasswd")

C'est fait (non sans mal) : https://test.pasdpanique.fr/
Mais la protection htaccess+htpasswd, ici, ne veut rien savoir ; pas de fenêtre d'authentification, on ouvre directement le site ; c'est très probablement mon fichier .htaccess qui pose problème, mais je trouve pas, donc si vous avez une idée :

AuthUserFile /var/www/vhosts/pasdpanique.fr/test.pasdpanique.fr/.htpasswd
AuthName "Admin Access"
AuthType Basic
require valid-user

Quand ce souci sera réglé, il me restera le problème avec le http et le https...

 

[Madrileño]

Bonjour,

Vous avez le générateur de @spout .
Il est disponible ici : https://toolki.com/fr/htpasswd .

Temps de réponse : 5 minutes.
Cordialement.

 

[laurentsc]

Merci pour le générateur ; le résultat obtenu ressemble comme 2 gouttes d'eau à mon dernier essai ; mais échec

le .htaccess généré est :

AuthUserFile /var/www/vhosts/pasdpanique.fr/test.pasdpanique.fr/.htpasswd
AuthName "pasdpanique"
AuthType Basic
require valid-user

 

[laurentsc]

Quand je dis échec, ça veut dire qu'aucune fenêtre d'authentification n'apparaît ; on ouvre directement le site (testé avec Firefox et Google Chrome).

 

[Madrileño]

Bonjour,

Vérifier si le chemin est correct (souvent le problème).
Et si les deux fichiers sont bien au bon endroit sur le serveur.

Temps de réponse : 5 minutes.
Cordialement.

 

[laurentsc]

Vérifier si le chemin est correct (souvent le problème).

Pour connaître le chemin du fichier .htpasswd, j'ai mis dans le répertoire qui le contient le fichier test.php :

<?php
echo realpath(__FILE__);

et https://test.pasdpanique.fr/test.php affiche /var/www/vhosts/pasdpanique.fr/test.pasdpanique.fr/test.php

Et si les deux fichiers sont bien au bon endroit sur le serveur.

L'arborescence du serveur est :
httpdocs (répertoire qui contient le site publique)
test.pasdpanique.fr (répertoire du sous-domaine)
autres répertoires

.htaccess et .htpasswd sont dans le répertoire test.pasdpanique.fr

Voyez-vous un problème ?

 

[laurentsc]

Comme le problème était encore là, j'ai décidé de repartir de zéro (donc tout refaire). C'est finalement OK mais pas simple : pour le .htaccess, j'ai utilisé le générateur de spout et cette fois, ça m'affichait bien la fenêtre d'authentification mais pour le .htpasswd, si je prenais celui généré par son générateur (j'ai essayé les cryptages sha1 et md5), ça me refusait les identifiants alors je l'ai généré avec https://www.infowebmaster.fr/outils/crypter-htpasswd.php et cette fois OK (pour être sûr, j'ai redémarré l'ordi et refait un essai)

 

[teralgo]

500
Internal Server Error

 

[laurentsc]

Ça doit dépendre du paramétrage de ton navigateur, car je viens d'essayer sur un autre ordi (mon ordi professionnel (en Windows 11 tous les 2)) et ça m'a dit que je prenais un risque et m'a demandé si je voulais continuer ; ayant accepté, ça a fonctionné (page d'authentification puis, ayant saisi les bons identifiants, affichage du site).

 

[laurentsc]

erreur 500, sur quelle URL ?

 

[teralgo]

L'accueil mais maintenant ca marche

 

[laurentsc]

Le site est disponible en HTTP et HTTPS, vous ne devriez laisser que le HTTPS.

Compléments :
- Migrer un site vers HTTPS : le guide complet
- Google cherche à afficher vos pages en HTTPS dans les SERP au lieu des HTTP
- Tout pour la redirection HTTP vers HTTPS (.htaccess, Apache, IIS, Nginx, Lighttpd)
.

Le 7 juillet, vous m'aviez conseillé ça. Or dans votre 3e lien, je lis Si vous voulez rediriger toute URL en HTTP vers l'URL équivalente en HTTPS, ajoutez ceci dans le virtualhost qui correspond au HTTP
Je voudrais donc faire ça mais il se trouve où ce virtualhost ?

L'accueil mais maintenant ca marche

OK, j'avais vu le souci et ai compris qu'il fallait supprimer le fichier .htaccess qui n'avait rien à faire là...

 

[teralgo]

le virtual host c'est dans la configuration apache sur le serveur pour faire simple sous wordpress quand on sait pas faire de redirections c'est de forcer le https avec une extension

 

[laurentsc]

Si je mets dans un fichier .htaccess placé à la racine du répertoire contenant

Redirect permanent / https://test.pasdpanique.fr/

cela fera-t-il le job ?

 

[laurentsc]

Ayant demandé à l'hébergeur un accès SSH au virtualhost concernant le HTTP, c'était pas possible sur mon serveur, par contre, il m'a conseillé une autre méthode pour passer en HTTPS. De ce fait, à la racine de mon site, j'ai mis le .htaccess suivant :

RewriteEngine On
RewriteCond %{HTTPS} off
RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI}

Merci de me dire si la conversion en HTTPS est correcte :
URL en HTTPS : https://pasdpanique.fr/
URL en HTTP : http://pasdpanique.fr/

 

[teralgo]

super ca marche