disallow (blocage robots.txt)

  1. B

    Réécriture et robots.txt

    Bonjour, Je souhaite exclure de l'index de Google des URL qui comportent un répertoire /node/ depuis le robots.txt avec la commande Disallow: /node*. Seulement, ces URL sont amenées à être réécrites, et donc le répertoire /node/ s'appellera autrement. Est-ce qu'elles continueront d'être exclues...
  2. nile

    désindexer et/ou empêcher crawl ?

    Salut, Lorsque l'on désindexe et passe en noindex une page (page zombie selon rmtech), mais que je veux garder cette page sur le site, est-ce nécessaire aussi d'empêcher GG de la crawler, ou est-ce que le noindex suffit pour qu'elle ne gène plus le référencement naturel ?
  3. M

    WOOCOMMERCE wordpress ROBOTS.TXT, que bloquez vous ?

    hello, Pouvez vous me dire ce qui se trouve dans le robots.txt de wordpress/woocommerce et ce que vous bloquez ? Google indexe toutes les pages de categories / catalogue qui ont un ? dans le lien, donc peut etre que c'est une bonne idée de bloquer toutes les pages qui ont un ? dans...
  4. F

    Problème et couverture de l'index et de Disallow

    Bonjour à tous, j'ai reçu un message de google me disant que j'avais un "problème de couverture de l'indexe" je ne sais pas quoi faire pour résoudre ce problème... je vous joins mes liens, quelqu'un peu m'aider ca serait cool ;) Bonne journée a tous https://www.vitreriemiroiterie-neuvillette.fr/
  5. nantesweb

    Cocon sémantique, nofollow et disallow au troisième niveau

    Bonjour, Je travaille sur des cocons. Pour pouvoir respecter ceux-ci, il faut éviter que ça s'éparpille partout pour avoir vraiment une structure en silo. J'ai déjà à moitié la réponse pour le nofollow et le robots.txt sur les pages annexes (mentions, vie privée, cgv) mais pas sur le menu...
  6. E

    Robots.txt et syntaxe de Disallow

    Bonjour, Sur mon site j'ai beaucoup de pages de type : https://www.monsite.fr/page.html?code=82&idpartenaire=60876 Ne souhaitant pas que Google les indexe, j'ai placé dans mon robots.txt la ligne : Disallow:/page.html Mais Google les indexe quand même ... ! Ma syntaxe est-elle mauvaise ...
  7. thomask

    Comment interdire le crawl des pages de faibles valeurs (Noindex ; Nofollow ; Disallow ?)

    Lors de crawl sur mon site, je me suis rendu compte que j'avais presque 30 000 pages, pour seulement 6 000 produits. Pour chacun de mes articles, plusieurs url sont créés : recommandé produit X à un ami, détail de livraison pour produit X, vous avez à une question sur produit X, etc... Ces...
  8. rédac cabanes

    Sitemaps images et disallow repertoire

    Bonjour, mon site en SPIP à la particularité de mettre en disallow sur le robot.txt le repertoire /local/ où se trouve les images. Bravo...Selon des topics, ce fichier crée des erreurs d'indéxation car il y a des fichiers vignettes notamment et les préconisations sont de créer un sitemap avec...
  9. W

    Page "nos partenaires" en disallow

    Bonjour à tous. N'ayant rien trouvé sur ce sujet spécifique j' espère trouver une réponse sur ce lumineux forum. Sachant que Google n'aime pas trop les pages "échanges de liens" je me demandais si en mettant cette pages en disallow dans le fichier robots.txt et en mettant ces liens en...
  10. D

    Balise Noindex ou Disallow dans robots.txt

    Bonjour, j'aimerais vos avis sur le récent commentaire de John Mueller, sur le fait qu'il fallait éviter d'utiliser la commande noindex dans le fichier robots.txt. Sur un site il y avait plus de 2 millions de pages sans valeurs ajoutées car c'étaient des pages de recherche de produits avec...
  11. B

    Disallow et noindex pour des pages filtres

    Bonjour, J'ai des pages que je ne souhaite ni faire suivre par les MR, ni indexer. Je précise qu'elle n'ont pas encore été mises en ligne. Il me semble que la meilleure façon de faire est de mettre un disallow dans le fichier robots.txt pour empêcher les moteurs d'aller les crawler ? Et de...
  12. F

    Aide pour un disallow de serie d'url

    bonjour j'ai parcouru un peut le site, et malgré l'aide de notre amis google, j'avoue que je ne suis pas sûr que ça marche, https://support.google.com/webmasters/answer/6062596?hl=fr&ref_topic=6061961 je tourne sur un cms qui "garde" trace de toutes les urls qui on existé, même si elle...
  13. Kins

    Disallow dossier IMAGES ?

    Bonjour, Mes sources obscures sur le SEO m'ont toujours conseillé de disallow mon dossier images car on me disait que puisqu'il y avait pas de contexte textuel autre que le nom des images, le seo ne serait pas efficace (et ce même si on travaille le nom des images). Mais là je me pose des...
  14. M

    Disallow * sauf pour GoogleBot

    Bonjour, J'aimerai protéger des fichier avec un document.htaccess pour que les internautes n'arrivent pas a tous les télécharger. J'utilise pour le moment un Disallow * ... Mais par contre j'aimerai que Google aie accès a ces document pour référencer son contenu... Mais comment faire...
  15. M

    Robots.txt + sous domaine disallow

    Bonjour Par avance je m'excuse si ma question peut paraître stupide ou si elle a déjà été résolue, j'ai cherché mais je n'ai rien trouvé ! Voilà j'ai un site : www.site.com (./) Et un sous domaine truc.site.com (./Truc) Le sous domaine est à la racine du site dans /Truc Si dans le...
  16. P

    Page de liens spécifiées disallow dans le robots.txt

    Bonjour Mon client a conservé à la racine de son serveur, des anciennes pages de liens, comme on en faisait à l’époque avec des dizaines de liens vers des annuaires avec leur gif animé… Il y a une douzaine de pages comme ceci mais ces pages sont spécifiées disallow dans le robots.txt...
  17. O

    Redirections 301 et disallow

    Bonjour, Pensez-vous que mettre en place des redirections 301 sur des URL en disallow soit préjudiciable, voir pénalisé par Google ? Bonne journée !
  18. L

    Robots.txt ok à 100% mais lu comme disallow dans GWT et Bing ?

    Bonjour à tous. J'ai eu le bonheur de me faire hacker il y a quelques jours, mon fichier robots avait un beau disallow all. Depuis mon fichier robots.txt est mal interprété par GWT ! Mon fichier robots que j'ai pris directement sur wp-referencement : http://www.tohom.fr/robots.txt Les...
  19. F

    Indexation d'un site après suppression d'un disallow?

    Bonjour à tous, je me trouve confronté à un petit problème (pour l'instant), car je viens peut-être de prendre une mauvaise habitude et je m'explique. j'avais lu il y a assez longtemps qu'il ne fallait pas mettre de page "en construction" pendant le développement d'un site. avant d'avoir lu...
  20. D

    Disallow robots.txt et pages sattellites

    Bonjour, est il possible que des urls bloquées par robots.txt mais qui sont quand même indexées puissent être à terme considérées comme des pages satellites? Merci d'avance
Haut