Mon site est bloqué par le fichier robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par mafate05, 12 Septembre 2018.

  1. mafate05
    mafate05 Nouveau WRInaute
    Inscrit:
    2 Décembre 2009
    Messages:
    9
    J'aime reçus:
    0
    Bonjour,

    Site: https://www.aetnature.com

    Le site est bloqué par le fichier robots TXT dont voici le rapport

    Quelles opérations dois-je faire pour soumettre à google le fichier que j’aurai modifié via le FTP

    merci pour votre aide

    michel rostagni

    Code:
    User-agent: *
    Disallow: /wp-admin
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /wp-content/upgrade
    Disallow: /wp-content/themes_backup
    Disallow: /mentions-legales
    Disallow: /xmlrpc.php
    Disallow: /template.html
    Disallow: /wp-comments
    Disallow: /cgi-bin
    Disallow: /trackback
    Disallow: /feed
    Disallow: /comments
    Disallow: /comment-page
    Disallow: /replytocom=
    Disallow: /author
    Disallow: /?author=
    Disallow: /tag
    Disallow: /?feed=
    Disallow: /?s=
    Disallow: /?se=
    
    Disallow: /
    Noindex: /
     
  2. sebux69
    sebux69 WRInaute occasionnel
    Inscrit:
    2 Juillet 2009
    Messages:
    334
    J'aime reçus:
    12
    admin wordpress reglages ==> lecture + décocher demander aux moteur de ne pas indexer ce site
     
  3. mafate05
    mafate05 Nouveau WRInaute
    Inscrit:
    2 Décembre 2009
    Messages:
    9
    J'aime reçus:
    0
    Merci j'ai bien décocher "de ne pas indexer le site"
     
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 875
    J'aime reçus:
    72
    Bein là, c'est bon. Tu peux a minima forcer la mise à jour du robots.txt côté Google Search Console.
     
  5. Kiwit
    Kiwit Nouveau WRInaute
    Inscrit:
    9 Juillet 2018
    Messages:
    35
    J'aime reçus:
    1
    Il faut supprimer les deux dernières lignes de ton robots.txt :

    Disallow: /
    Noindex: /

    C'est ce qui bloque l'accès à ton site !
     
  6. sebux69
    sebux69 WRInaute occasionnel
    Inscrit:
    2 Juillet 2009
    Messages:
    334
    J'aime reçus:
    12
    oui mais c'est du wordpress alors pourquoi éditer a la mano
     
  7. CAMEO172
    CAMEO172 WRInaute discret
    Inscrit:
    5 Mars 2012
    Messages:
    156
    J'aime reçus:
    15
    Je retourne la question : être sous WordPress n’exclue pas quelques compétences techniques ! Et éditer un misérable fichier txt ce n’est pas la fin du monde.

    Sous WordPress, j’ai même tendance à croire qu’il faut un maximum garder la main pour éviter certains pièges
     
  8. Johanwri
    Johanwri WRInaute occasionnel
    Inscrit:
    13 Mars 2018
    Messages:
    284
    J'aime reçus:
    59
    Le fichier robots WP par defaut est rudimentaire ; il est possible de l'editer pour optimiser.
    Tu semble avoir editer a la main le fichier.
    Exemple la page /mentions-legales en disallow, generalement on utiliserait plutot un plugin SEO pour la mettre en noindex plutot que l'inclure dans le fichier robots
    Pour cela tu peux utiliser le plugin All in One SEO pack ou Yoast qui permette de mettre des pages en noindex

    Quel plugin SEO tu utilise ?
     
  9. sebux69
    sebux69 WRInaute occasionnel
    Inscrit:
    2 Juillet 2009
    Messages:
    334
    J'aime reçus:
    12
    sérieusement wordpress je ne touche rien je met a jour et je publie pourtant je code..... avec son code en spaghetti wordpress demande de grosses compétences je pense..... regardez le nombre de fichiers de ce cms et le merdier interne...... les plugins..... les mises a jour.... la compatibilité entre versions

    décoche la case :):):):):):):):)
     
  10. CAMEO172
    CAMEO172 WRInaute discret
    Inscrit:
    5 Mars 2012
    Messages:
    156
    J'aime reçus:
    15
    je ne suis pas un dieu, la programmation n'est pas mon métier et pourtant je maîtrise 100% du code de mon thème. je fais même mon sitemap sans plugin, par quelques lignes dans fonction.php.
    mes pages noindex sont définies par mes propres règles sans le moindre plugin. je gère aussi (surement mal certains diront) mon SEO sans plugin.
    Pire, je n'utilise que 3 plugins sur mon site : un système de cache, un système de gallerie et un système de formulaire. Tout le reste c'est à la mano. depuis 3 mois j'expérimente le fait de ne pas avoir d'anti spam et pour le moment ça passe : juste 3 commentaires à ne pas valider dans ce laps de temps.

    et pour rester sur la question de ce sujet, j'ai fais le choix de ne pas avoir la moindre ligne de commande dans mon fichier robot.txt. j'y précise juste la localisation de mon propre fichier sitemap. J'estime que google et compagnies savent tout seul ce qu'ils ont a faire sur mon site, et l'indexation tente à prouver que je n'ai pas tord.
     
  11. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 839
    J'aime reçus:
    248
    +1 @CAMEO172 , mes robots.txt se composent ainsi:
    Code:
     
     
  12. Johanwri
    Johanwri WRInaute occasionnel
    Inscrit:
    13 Mars 2018
    Messages:
    284
    J'aime reçus:
    59
    Si tu developpe ta propre template et que c'est fait proprement ca peut eviter l'indexation de page que tu ne souhaite pas.
    La realite est que beaucopu de WP sont fait avec des templates achetees.

    Un exemple concret avec la template ENFOLD, qui est une des template les plus vendues sur Themeforest ; Google indexe des URL contenant ?name, le fichier robots dans ce cas est necessaire pour sortir ces URL.

    Autre exemple avec Woocommerce, des URL avec ?order ou ?filter sont indexees, le robots permet de corriger ce probleme

    Dans ton cas particulier avec ta template, ta configuration etc ... probablement mais chaque WP est different, pas la meme template, simple site vitrine, blog ou e-commerce etc...
    Je pense qu'avec Woocommerce le robots est important a cause des pages ?order et ?filter

    Dans le cas de @mafate05 le probleme est un "abus" d'utilisation du fichier robots.
    xmlrpc.php n'a pas sa place dans le fichier robots ; il a du y etre inclu pour bloquer l'acces au fichier par securite (juste une supposition) mais ce n'est pas la fonction du fichier robots.
    mafate05 pourra preciser la demarche pourquoi inclure ce fichier dans le robots.

    L'ideal dans son cas est de revenir a un fichier robots vierge, le temps que Google indexe de nouveau le site.
    Et seulement une fois l'indexation faite, voire si des pages sont necessaires a etre sorties (?se= si pas indexe pas besoin d'etre dans le fichier robots)
     
Chargement...
Similar Threads - bloqué fichier robots Forum Date
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console bloquée par le fichier robots.txt Crawl et indexation Google, sitemaps 25 Juin 2019
Bloquer une section dans mon fichier robots.txt Débuter en référencement 9 Novembre 2018
fichier robots.txt bloquer paramètre p= Crawl et indexation Google, sitemaps 4 Septembre 2018
Résolu Toutes les URL bloquées par le fichier robots.txt Crawl et indexation Google, sitemaps 28 Mars 2018
Photos bloquées par le fichier robots.txt selon GWT Crawl et indexation Google, sitemaps 18 Décembre 2013
Prb avec le fichier robots.txt bloqué alors que tout semble ok Crawl et indexation Google, sitemaps 19 Octobre 2012
Les pages bloqués par le fichier robots.txt Débuter en référencement 7 Juillet 2009
Ras le bol ! Bloquer le crawling des fichiers Css et Javascript à Google Crawl et indexation Google, sitemaps 12 Septembre 2015
pourquoi un fichier robot txt bloque mes images? Problèmes de référencement spécifiques à vos sites 12 Février 2013
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice