fichier robots.txt

  1. F

    Robots.txt message à déchiffrer ???

    Bonjour à tous J'ai recréé un robots.txt avec Yoast sur mon site Wordpress. En l'analysant avec https://www.websiteplanet.com/fr/webtools/robots-txt Le résultat est : je n'ai pas de message d'erreur mais un avertissement (rouge) User-agent: * Disallow: /wp-admin/ Sitemap...
  2. G

    Modifier robots.txt du CMS Ghost via O2switch

    Bonjour à tous, J'essaye de modifier le robots.txt de Ghost d'un site en y accédant via le cpanel de O2switch. Je n'arrive pas à trouver l'emplacement du répertoire Ghost... Peut etre que j'ai loupé quelques étapes... HELP ! Merci d'avance
  3. M

    pages zombies à désindexer

    Bonjour, Je me pose la question de désindexer des pages zombies sur un de mes sites. Parmi les pages zombies identifiées, il y a notamment les pages catégories. Mes questions sont les suivantes : 1- Si je désindexe ces pages catégories, les pages produits qui y sont rattachées par liens...
  4. Tonfairepart

    Site non responsive, ressources bloquées robots.txt

    Bonjour, à tous, j'ai des ressources bloquer et du coup Google m'indique que mon site n'est pas responsive. Voici la page des erreurs : https://search.google.com/test/mobile-friendly?hl=fr&id=D-qkIEjcLdqGw5TWw0StmQ&view=fetch-info J'ai ajouter en rouge le Js et le Css, pouvez-vous me dire si...
  5. S

    fichier robots.txt bloquer paramètre p=

    bonjour quelqu’un peut aider pour ajouter un variable au fichier robots.txt pour bloquer affichage des (?p=3 ?p=4 ?p=5 ?p=6 ....) exemple d'un lien (/18-jeux-ps3?p=2 dans les moteurs de recherche es ce que il y a un risque d'avoir un régression au niveau des postions (Référencement )...
  6. M

    WOOCOMMERCE wordpress ROBOTS.TXT, que bloquez vous ?

    hello, Pouvez vous me dire ce qui se trouve dans le robots.txt de wordpress/woocommerce et ce que vous bloquez ? Google indexe toutes les pages de categories / catalogue qui ont un ? dans le lien, donc peut etre que c'est une bonne idée de bloquer toutes les pages qui ont un ? dans...
  7. F

    Problème et couverture de l'index et de Disallow

    Bonjour à tous, j'ai reçu un message de google me disant que j'avais un "problème de couverture de l'indexe" je ne sais pas quoi faire pour résoudre ce problème... je vous joins mes liens, quelqu'un peu m'aider ca serait cool ;) Bonne journée a tous https://www.vitreriemiroiterie-neuvillette.fr/
  8. A

    Où puis-je configurer le fichier robots.txt et le htaccess ?

    Bonjour à tous , je tiens à vous demander de m'indiquer où puise-je configuré le fichier robots.txt et le htacess ?? cordialement ...
  9. K

    Résolu Toutes les URL bloquées par le fichier robots.txt

    Bonjour Je viens de mettre en ligne un site réalisé avec Wordpress avec seulement 3 pages d'accueil pour le moment (FR/EN/ES). Je l'ai ensuite soumis à l'indexation Google via Goolge search console et j'ai ce message d'erreur : Le sitemap contient des URL qui sont bloquées par le fichier...
  10. detectimmobilier

    Passage en https et problème robots.txt dans Google Search Console

    Bonjour, J'ai un souci dans le Google Search Console, suite au passage en https. Dans la nouvelle propriété en https il est indiqué un petit triangle orange indiquant un problème avec mon fichier robots.txt. Ce fichier est le même pour les 2 propriétés, étant donné qu'il se situe à la racine de...
  11. nantesweb

    Cocon sémantique, nofollow et disallow au troisième niveau

    Bonjour, Je travaille sur des cocons. Pour pouvoir respecter ceux-ci, il faut éviter que ça s'éparpille partout pour avoir vraiment une structure en silo. J'ai déjà à moitié la réponse pour le nofollow et le robots.txt sur les pages annexes (mentions, vie privée, cgv) mais pas sur le menu...
  12. J

    Robots.txt et SEO

    Bonjour à tous, Dans mon robots.txt, j'ai mis en disallow ces éléments : Disallow: /wp-login.php Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Lorsque je vais dans Search Console -> Explorer comme Google...
  13. N

    Crawl Robots.TXT

    Bonjour, Google crawl toujours mon ancien robots.txt A chaque fois il me sort en erreur mes vielles pages de mon site web. J'ai basculé mon site en https au mois de mars 2017. Pensez vous que c cela qui pose le problème Le problème est identique avec bing qui vient de me desindexer depuis...
  14. P

    Robots.txt et pagerank

    Hello, Je viens de tomber sur cet extrait concernant le robots.txt : Vous confirmez ? Du coup je me demande quel est l'intérêt réel de mettre des url dans ce fichier… hors celles qu'on ne veut pas être crawlées bien sûr…
  15. E

    Robots.txt et syntaxe de Disallow

    Bonjour, Sur mon site j'ai beaucoup de pages de type : https://www.monsite.fr/page.html?code=82&idpartenaire=60876 Ne souhaitant pas que Google les indexe, j'ai placé dans mon robots.txt la ligne : Disallow:/page.html Mais Google les indexe quand même ... ! Ma syntaxe est-elle mauvaise ...
  16. P

    Robots.txt ligne génante selon Googlebot votre avis ?

    bonjour à tous, sur mon CMS prestashop j'ai cette ligne qui est considérée comme "erreur grave" dans GWT (outil test robots.txt) : Disallow: /*? faut-il la supprimer car elle bloque google pour accéder au dossier images mais en même temps est-ce qu'en la supprimant, Google va se mettre à indexer...
  17. P

    Prise en compte du fichier robots.txt

    Bonjour, J'ai il y a plus de 2 mois modifié mes urls (url rewrtitting) sur un de mes sites et ai fait en sorte que les anciennes renvoient une erreur 410 pensant que google allait vite les indéxer, seulement les pages était toujours dans l'index alors j'ai fait un fichier robots.txt avec des...
  18. thomask

    Comment interdire le crawl des pages de faibles valeurs (Noindex ; Nofollow ; Disallow ?)

    Lors de crawl sur mon site, je me suis rendu compte que j'avais presque 30 000 pages, pour seulement 6 000 produits. Pour chacun de mes articles, plusieurs url sont créés : recommandé produit X à un ami, détail de livraison pour produit X, vous avez à une question sur produit X, etc... Ces...
  19. rédac cabanes

    Sitemaps images et disallow repertoire

    Bonjour, mon site en SPIP à la particularité de mettre en disallow sur le robot.txt le repertoire /local/ où se trouve les images. Bravo...Selon des topics, ce fichier crée des erreurs d'indéxation car il y a des fichiers vignettes notamment et les préconisations sont de créer un sitemap avec...
  20. B

    Robots.txt Disabled ou noindex

    Bonjour, j'ai quelques pages de mon e-commerce que je n'ai aucune raison d'indexer: le panier, la page de login, d'inscription, etc. Je les ai en disabled dans le robots.txt afin d'empêcher google de les parcourir et donc indexer. Est-ce que je ne devrais par plutôt les mettre en noindex dans...
Haut