robots.txt bloque l'accès à mon site par Google

WRInaute occasionnel
Bonjour,
je viens de découvrir qu'on peut tester le site vu par Google (mobile) : https://search.google.com/test/mobile-friendly/etc
Mais ça se passe mal : Google n'a pas accès à cette URL
Exploration autorisée ? error
Non : bloquée par le fichier robots.txt
Récupération de page error
Échec : Bloquée par le fichier robots.txt

Comme je craignais que Google ne trouve pas le fichier robots.txt (y en avait pas), j'en ai mis tout simple :

User-agent: *

Qu'est-ce qui lui plaît pas SVP ?
 
WRInaute occasionnel
Au début, mon robots.txt contenait exactement les 2 lignes proposées par cthierry et j'avais le même message d'erreur (et encore avant, pas de fichier robots.txt du tout et déjà même erreur).

Si je fais ce test, c'est après avoir lu Pour commencer, testez votre site dans l'outil de test d'optimisation mobile afin de déterminer comment Googlebot voit votre site dans https://developers.google.com/search/docs/advanced/guidelines/get-started-developers (guide sur le SEO pour les développeurs, chapitre Premiers pas avec la recherche Google : guide du développeur)

Je débute en SEO, donc ne sais pas trop comment commencer et après quelques lectures, j'ai cru bon faire ça...
 
WRInaute accro
Ton robots.txt, a date, contient toujours ces deux même ligne :

User-agent: *
Disallow: /

Disallow:/ signifie que tu interdit l'accès de tout le site
 
Membre Honoré
Bonjour,

Il faut laisser l'accès aux pages indexables aussi.

Votre page d'accueil indique un blocage :
Code:
<meta name='robots' content='noindex, nofollow' />

Le fichier robots.txt est toujours en ligne aussi avec le blocage :
pasdpanique fr/robots.txt

Temps de réponse : 5 minutes.
Cordialement.
 
Membre Honoré
Votre site a aussi de nombreux problèmes, exemples :
- Problèmes avec l'affichage responsive des pages
- Textes qui sont cachés par les couleurs des images
- Images qui sont mal intégrées dans le template
- Page "Combien pour supprimer guêpes ou frelons" avec comme seul texte "Une fortune"

Vous devriez demander des conseils via le forum :
Demandes d'avis et de conseils sur vos sites.

Actuellement, le site semble clairement en construction et fera fuir vos utilisateurs.
Courage pour tout le travail encore à faire et motivation.

Temps de réponse : 10 minutes.
 
WRInaute occasionnel
Votre page d'accueil indique un blocage :
Code:
<meta name='robots' content='noindex, nofollow' />
Corrigé ; c'est un site Wordpress et dans Réglages->Lecture, j'ai décoché Demander aux moteurs de recherche de ne pas indexer ce site
Le fichier robots.txt est toujours en ligne aussi avec le blocage :
pasdpanique fr/robots.txt
Corrigé ; j'avais effacé le fichier avec Filezilla mais il était encore là ; dans le plugin Yoast SEO, dans l'onglet outils, on peut éditer et modifier le fichier robots.txt ; j'ai enlevé le code.
Cependant Google Search Console dit encore qu'il ne peut pas accéder :(

L'URL https://pasdpanique.fr/robots.txt existe encore mais ça affiche une page blanche.

Votre site a aussi de nombreux problèmes

Actuellement, le site semble clairement en construction.
Les nombreux problèmes que vous cités, j'en suis conscient (pour certains), mais comme vous dites, le site est en construction (je le démarre). Ce qui me gêne, c'est que même si très mal positionné, Google le détecte quand même (faire guêpes grenoble)(dans Services Anti Nuisibles).
L'ami pour lequel je le fais tient au référencement ; c'est pour ça que je m'en préoccupe.
 
Membre Honoré
Corrigé ... Cependant Google Search Console dit encore qu'il ne peut pas accéder :(
Il faut le temps que les changements soient pris en compte.
ça affiche une page blanche.
Normal (c'est un fichier robots.txt vide).
comme vous dites, le site est en construction
Quand un site est en construction, le travail de création se fait en preprod, pas en prod.
même si très mal positionné
C'est plutôt pénalisant de lancer un site de cette manière, donc non recommandé.
L'ami pour lequel je le fais tient au référencement ; c'est pour ça que je m'en préoccupe.
Donc il aurait été mieux de lancer un site qui ne soit pas en construction, pour ne pas générer des problèmes.

Le site est disponible en HTTP et HTTPS, vous ne devriez laisser que le HTTPS.

Compléments :
- Migrer un site vers HTTPS : le guide complet
- Google cherche à afficher vos pages en HTTPS dans les SERP au lieu des HTTP
- Tout pour la redirection HTTP vers HTTPS (.htaccess, Apache, IIS, Nginx, Lighttpd)

Temps de réponse : 20 minutes.
 
WRInaute occasionnel
Quand un site est en construction, le travail de création se fait en preprod, pas en prod.
.
Si je rajoute un fichier robots.txt interdisant l'indexation (et peut-être une authentification (login et mot de passe)), est-ce que c'est bon ?

Donc il aurait été mieux de lancer un site qui ne soit pas en construction, pour ne pas générer des problèmes.
Oui, c'est clair, mais en preprod, peut-on quand même travailler sur le SEO pour que le site soit bien ficelé dès qu'on le passe en prod ?

Le site est disponible en HTTP et HTTPS, vous ne devriez laisser que le HTTPS.
Je regarde.
 
WRInaute accro
En théorie, le site de pré-production, tu travailles dessus en vase clos : tu utilises un domaine / sous-domaine différent de celui de production et tu en interdit l'accès au moteur de manière réellement efficace (restriction d'accès par IP, mise en place d'un htaccess + htpasswd).

Ça ne t'empêchera pas de contribuer tes balises title / meta, d'ajouter du contenu etc.
 
WRInaute occasionnel
En théorie, le site de pré-production, tu travailles dessus en vase clos : tu utilises un domaine / sous-domaine différent de celui de production
Si je déplace le site dans domaine_identique/preprod, est-ce que c'est bon ?
et tu en interdit l'accès au moteur de manière réellement efficace (restriction d'accès par IP, mise en place d'un htaccess + htpasswd).
Le htaccess + htpasswd, je connais. restriction d'accès par IP : c'est un site wordpress et j'ai l'option Restreindre l’accès de ce site aux visiteurs connectés ou dont l’adresse IP est autorisée . Si j'ai bien compris, une connexion, ça suffit et pas besoin de rentrer les adresses IP. OK ?

Ça ne t'empêchera pas de contribuer tes balises title / meta, d'ajouter du contenu etc.
bien sûr, mais étant parfaitement débutant en la matière, je voulais tester le SEO soit avec le plugin Wordpress Yoast SEO soit avec un outil de mon hébergeur. J'ai peur que si je restreins l'accès, ça ne sera plus possible. Vrai ou faux ?
 
WRInaute occasionnel
Merci de répondre au post précédent, posté hier en début d'après-midi (sans votre aide, je suis incapable de me débrouiller)
 
Membre Honoré
Bonjour,
Le htaccess + htpasswd, je connais.
Autant utiliser cette méthode.
je voulais tester le SEO soit avec le plugin Wordpress Yoast SEO soit avec un outil de mon hébergeur.
En preprod, vous ne pourrez tester que l'interface des deux outils.
J'ai peur que si je restreins l'accès, ça ne sera plus possible. Vrai ou faux ?
Si vous souhaitez tester l'efficacité des outils avec les moteurs, le mieux serait d'avoir un site de test.
Merci de répondre au post précédent, posté hier en début d'après-midi (sans votre aide, je suis incapable de me débrouiller)
Les WRInautes répondent pendant le temps libre qu'ils ont, désolé si ce n'est pas toujours rapide. :D

Temps de réponse : 20 minutes.
Cordialement.
 
WRInaute occasionnel
Merci pour la réponse.

En preprod, vous ne pourrez tester que l'interface des deux outils.
Autrement dit aucun moyen de contrôle sur ce qu'on a fait pour le SEO avant de publier le site...
Si vous souhaitez tester l'efficacité des outils avec les moteurs, le mieux serait d'avoir un site de test.
Donc un site différent qui servirait uniquement à tester ?

Si je déplace le site dans domaine_identique/preprod, est-ce que c'est bon ?
Pouvez-vous répondre à ça aussi ?
 
Membre Honoré
Bonjour,
Donc un site différent qui servirait uniquement à tester ?
C'est ce qui est fait par certains (Tests et études de cas).
Pouvez-vous répondre à ça aussi ?
La preprod est souvent en sous-domaine (avec la protection "htaccess + htpasswd")
La prod qui est donc le site fonctionnel se situe à la racine du domaine pour les utilisateurs.
plugins, qui ont une vision très simpliste du SEO.
En effet.

Temps de réponse : 10 minutes.
Cordialement.
 
Dernière édition:
Membre Honoré
Bonjour,

Version en HTTP sans redirection vers HTTPS.
Canonical de la version HTTP vers HTTP (shortlink aussi).
Donc ce n'est pas encore bon.

Temps de réponse : 5 minutes.
Cordialement.
 
Membre Honoré
la redirection de HTTP vers HTTPS se fait, mais pas avec Google Chrome...
Les outils de Google indiquent la même erreur.
Je ne connais pas. Merci de préciser ce qu'est cette forme canonique.
Pour comprendre : URL canonique : le guide complet.
Si l'une des pages de votre site est accessible via plusieurs URL, ou si différentes pages de votre site présentent un contenu similaire (par exemple, une page avec une version mobile et une version classique), Google les considère comme des versions en double de la même page. Google choisira une URL comme version canonique et c'est celle-ci qui sera explorée. Toutes les autres URL seront considérées comme des URL en double et explorées moins souvent.
Source : Aider Google à choisir l'URL canonique appropriée pour vos pages en double.

Temps de réponse : 10 minutes.
 
WRInaute occasionnel
Bonjour,
j'ai mis à jour les balises "canonical" (à l'aide du plugin YOAST Seo). Par exemple :
Code:
<link rel="canonical" href="https://pasdpanique.fr/" />

Par contre, dans le code source du site, y a encore des HTTP :
Code:
<meta property="og:image" content="http://pasdpanique.fr/wp-content/uploads/2022/07/site-web-en-construction-300x166.jpg" />
Cela est-il gênant ? (Je ne sais pas comment ça se fait)
 
WRInaute occasionnel
J'espère avoir corrigé ; si non, merci de m'indiquer avec quel outil on peut le voir. Je verrai la réponse que demain...Bonne nuit ;)
 
WRInaute occasionnel
La preprod est souvent en sous-domaine (avec la protection "htaccess + htpasswd")
C'est fait (non sans mal) : https://test.pasdpanique.fr/
Mais la protection htaccess+htpasswd, ici, ne veut rien savoir ; pas de fenêtre d'authentification, on ouvre directement le site ; c'est très probablement mon fichier .htaccess qui pose problème, mais je trouve pas, donc si vous avez une idée :
Code:
AuthUserFile /var/www/vhosts/pasdpanique.fr/test.pasdpanique.fr/.htpasswd
AuthName "Admin Access"
AuthType Basic
require valid-user
Quand ce souci sera réglé, il me restera le problème avec le http et le https...
 
WRInaute occasionnel
Merci pour le générateur ; le résultat obtenu ressemble comme 2 gouttes d'eau à mon dernier essai ; mais échec :(

le .htaccess généré est :
Code:
AuthUserFile /var/www/vhosts/pasdpanique.fr/test.pasdpanique.fr/.htpasswd
AuthName "pasdpanique"
AuthType Basic
require valid-user
 
WRInaute occasionnel
Quand je dis échec, ça veut dire qu'aucune fenêtre d'authentification n'apparaît ; on ouvre directement le site (testé avec Firefox et Google Chrome).
 
Membre Honoré
Bonjour,

Vérifier si le chemin est correct (souvent le problème).
Et si les deux fichiers sont bien au bon endroit sur le serveur.

Temps de réponse : 5 minutes.
Cordialement.
 
WRInaute occasionnel
Vérifier si le chemin est correct (souvent le problème).
Pour connaître le chemin du fichier .htpasswd, j'ai mis dans le répertoire qui le contient le fichier test.php :
Code:
<?php
echo realpath(__FILE__);
et https://test.pasdpanique.fr/test.php affiche /var/www/vhosts/pasdpanique.fr/test.pasdpanique.fr/test.php
Et si les deux fichiers sont bien au bon endroit sur le serveur.
L'arborescence du serveur est :
httpdocs (répertoire qui contient le site publique)
test.pasdpanique.fr (répertoire du sous-domaine)
autres répertoires

.htaccess et .htpasswd sont dans le répertoire test.pasdpanique.fr

Voyez-vous un problème ?
 
WRInaute occasionnel
Comme le problème était encore là, j'ai décidé de repartir de zéro (donc tout refaire). C'est finalement OK mais pas simple : pour le .htaccess, j'ai utilisé le générateur de spout et cette fois, ça m'affichait bien la fenêtre d'authentification mais pour le .htpasswd, si je prenais celui généré par son générateur (j'ai essayé les cryptages sha1 et md5), ça me refusait les identifiants alors je l'ai généré avec https://www.infowebmaster.fr/outils/crypter-htpasswd.php et cette fois OK (pour être sûr, j'ai redémarré l'ordi et refait un essai)
 
WRInaute occasionnel
Ça doit dépendre du paramétrage de ton navigateur, car je viens d'essayer sur un autre ordi (mon ordi professionnel (en Windows 11 tous les 2)) et ça m'a dit que je prenais un risque et m'a demandé si je voulais continuer ; ayant accepté, ça a fonctionné (page d'authentification puis, ayant saisi les bons identifiants, affichage du site).
 
Dernière édition:
WRInaute occasionnel
Le 7 juillet, vous m'aviez conseillé ça. Or dans votre 3e lien, je lis Si vous voulez rediriger toute URL en HTTP vers l'URL équivalente en HTTPS, ajoutez ceci dans le virtualhost qui correspond au HTTP
Je voudrais donc faire ça mais il se trouve où ce virtualhost ?

L'accueil mais maintenant ca marche
OK, j'avais vu le souci et ai compris qu'il fallait supprimer le fichier .htaccess qui n'avait rien à faire là...
 
WRInaute occasionnel
le virtual host c'est dans la configuration apache sur le serveur pour faire simple sous wordpress quand on sait pas faire de redirections c'est de forcer le https avec une extension
 
WRInaute occasionnel
Si je mets dans un fichier .htaccess placé à la racine du répertoire contenant
Code:
Redirect permanent / https://test.pasdpanique.fr/
cela fera-t-il le job ?
 
WRInaute occasionnel
Ayant demandé à l'hébergeur un accès SSH au virtualhost concernant le HTTP, c'était pas possible sur mon serveur, par contre, il m'a conseillé une autre méthode pour passer en HTTPS. De ce fait, à la racine de mon site, j'ai mis le .htaccess suivant :
Code:
RewriteEngine On
RewriteCond %{HTTPS} off
RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI}
Merci de me dire si la conversion en HTTPS est correcte :
URL en HTTPS : https://pasdpanique.fr/
URL en HTTP : http://pasdpanique.fr/
 
Discussions similaires
Haut