Problème robots

romySueno · 7 Décembre 2017

Bonjour à tous,

Novice et débutante, je faisais auparavant mon site web via dreamweaver avec une feuille de style en css et tout se passait bien, mon référencement était top et j'apparaissais en première page en recherche "Dogue argentin" (car je suis éleveuse).
Depuis quelques mois, ne souhiatant pas passer sur du CSS 4 et ne suivant pas toutes les évolutions, je me suis dit qu'il me serait plus simple de faire mon site avec 1and1 mywebsite pour gagner du temps, avoir une possibilité d'affichage pour mobiles et tablette, etc.. (même si j'imagine que j'aurais pu rentrer des codes css sur mon dream).
Je sais que le référencement peut mettre bcp de temps à se faire mais là c'est la cata, j'ai donc souscrit semaine dernière à Ranking coach de 1 and 1 mais je suis surprise car quand je tape mon adresse pour vérifier les robots je tombe sur ça :

Code:

User-agent: *
Disallow: https://www.delsuenolatino.fr/c/
Disallow: https://www.delsuenolatino.fr/protected/
Disallow: /accueil/nos-mâles/pepino-del-sueño-latino/
Disallow: /accueil/nos-mâles/lambrusco-del-sueño-latino/
Disallow: /accueil/nos-femelles/donata-del-sueño-latino/
Disallow: /accueil/nos-femelles/milonga-del-sueño-latino/
Disallow: /accueil/nos-femelles/ija-del-sol-del-sueño-latino/
Disallow: /accueil/nos-femelles/izleña-del-sueño-latino/
Disallow: /accueil/nos-femelles/joya-del-sueño-latino/
Disallow: /accueil/nos-femelles/lili-del-sueño-latino/
Disallow: /accueil/nos-femelles/little-sugar-del-sueño-latino/
Disallow: /accueil/nos-femelles/calabria-espiritu-greco-antu-makto/
Disallow: /accueil/nos-femelles/la-primipiatti-del-sueño-latino/
Disallow: /accueil/nos-femelles/la-mafalda-del-sueño-latino/
Disallow: /accueil/nos-espoirs/nemesia-del-sueño-latino/
Disallow: /accueil/nos-espoirs/lucien-del-sueño-latino/
Disallow: /accueil/nos-chiots/portées-en-cours/
Disallow: /accueil/nos-chiots/pepino-sugar/
Disallow: /accueil/nos-chiots/futures-portées/
Disallow: /anglais/
Disallow: /anglais/our-males/f-pépino/
Disallow: /anglais/our-males/lambrusco/
Disallow: /anglais/our-females/donata/
Disallow: /anglais/our-females/g-milonga/
Disallow: /anglais/our-females/ija-del-sol/
Disallow: /anglais/our-females/lili/
Disallow: /anglais/our-females/joya/
Disallow: /anglais/our-females/izleña/
Disallow: /anglais/our-females/little-sugar/
Disallow: /anglais/our-females/la-mafalda/
Disallow: /anglais/our-females/la-primipiatti/
Disallow: /anglais/our-hopes/lucien/
Disallow: /anglais/our-hopes/nemesia/
Disallow: /anglais/our-puppies/current-litters/
Disallow: /anglais/our-puppies/next-litters/
Sitemap: https://www.delsuenolatino.fr/sitemap.xml

peut-être que je me suis trompée... Si je comprends bien, les robots ne pourront pas lire mes pages et du coup je peux toujours attendre de remonter dans les pages.....

Merci de votre aide

Romy

doyz17 · 7 Décembre 2017

Effectivement, le fichier robots.txt bloque l'indexation de toutes vos pages. supprimez toutes ces règles a part peut être https://www.delsuenolatino.fr/protected/

romySueno · 7 Décembre 2017

Merci pour votre réponse

oui mais c'est un site pré conçu de 1 and 1 (car cela me suffisait amplement pour mon activité) et jamais je n'ai entrer cette règle, j'ai cependant modifié la balise head sur l'interface et j'avais mis le code suivant :
<meta name="robots" content="index, follow" />

j'ai du mal à comprendre.

WebRankInfo · 7 Décembre 2017

Je te conseille de lire mon article qui répondra à la question "Faut-il utiliser le robots.txt ou la meta robots ?"

romySueno · 7 Décembre 2017

D'accord, j'y vais de suite. Merci !

romySueno · 7 Décembre 2017

Je viens de regarder et malheureusement, je ne vois pas comment modifier ces codes. Me mettre en Allow au lieu de disal(l)ow mais où y accéder ou quel code rentrer.... je suis perdue

WebRankInfo · 7 Décembre 2017

Les 2 premières lignes du robots.txt utilisent une mauvaise syntaxe : la valeur derrière disallow doit commencer par / et non par https
à chaque fois qu'il y a des caractères spéciaux dans l'URL, je doute que ça fonctionne de les écrire comme ça dans le robots.txt : il faut indiquer l'URL réelle, avec l'accent encodé. Au passage, c'est une mauvaise idée de mettre ces caractères dans l'URL mais c'est peut-être l'outil de 1&1 qui le fait.

au final, quelle est ta question ? de notre côté, nous ne pouvons pas savoir si tu veux ou pas bloquer le crawl de ces pages.
je te conseille aussi de lancer un crawl du site pour te rendre compte. Fais-le avec mon outil RM Tech (au moins dans sa version gratuite) ou bien avec un autre crawler de ton choix. Tu verras quelles pages sont autorisées au crawl et si ça correspond à ce que tu veux.

romySueno · 7 Décembre 2017

Merci pour ta réponse, en effet c'est 1and 1 qui a fait tout ce code, je n'ai touché à rien.

En fait, je ne veux bloquer aucun de mes pages. Je vais lancer le crawl pour voir

romy

UsagiYojimbo · 7 Décembre 2017

Si toutes tes pages sont bloquées à l'indexation, il faut déjà comprendre pourquoi. A ce stade, je pense qu'il faut que tu te tournes vers le support de 1and1.

Personnellement, j'oublierais totalement ce type de solution. Tu auras une meilleure maîtrise de ce qui se passe et de ce que tu peux faire en disposant de ton propre hébergement et en y installant un CMS type Wordpress.

romySueno · 7 Décembre 2017

Oui je vais les appeler. En effet, je pense que j'ai fais une erreur en prenant cette option alors que mon référencement était bien meilleur avant. Je regrette mais c'est vrai que ça me faisait gagner du temps et je ne voulais pas me mettre dans du javascript ou autre.

ABCWEB · 7 Décembre 2017

si tu peux te connecter en ftp via filezilla tu peux peut-être récupérer ce fichier pour le modifier