disallow (blocage robots.txt)

  1. A

    Mettre une page en Disallow ou pas dans robot.txt ?

    Bonjour à tous (et peut être toutes :)), Je viens vous voir car j'ai un dilem qui malgré de nombreuses recherches ces dernières semaines reste toujours sans réponse. Je possède un site de vente de produit démarialisé par téléchargement et par conséquent la structure est la suivante : -...
  2. J

    Disallow d'un site avec un port spécifique dans le fichier robot.txt

    Bonjour, Je n'arrive pas à trouver la réponse à mon problème plutôt technique; J'ai un site qui est référencé sous son port de test avant synchronisation : http://www.site.fr:8080 Il apparaît ensuite pour les clients sous http://site.fr/ Comment désindexer ce http://www.site.fr:8080 dans...
  3. C

    Disallow: /*.php$ peut-on, doit-on ?

    Bonjour suite à la refonte complète du site, j'ai rewritté toutes les url .php en .html, fait pas mal de redirection 301 et commencer à supprimer manuellement des url sur la page webmaster de google... Quel boulot! J'aimerais rajouter dans mon robot.txt la ligne suivante Disallow: /*.php$ est ce...
  4. D

    Robots.txt : Disallow des pages sport-xxxx.html sans Disallow de sport-equestre.html

    Bonjour, je souhaite empêcher le robot google de parcourir et d'indexer les pages de type http://www.mondomaine.com/sport-xxxx.html. En revanche, je souhaite qu'il continue de parcourir la page http://www.mondomaine.com/sport-equestre.htm. Dans le fichier robots.txt, si j'ajoute ...
  5. P

    Robots.txt Disallow:repertoire mais pas une URL

    Bonjour, Je m'explique : je souhaite interdire l'accès à un répertoire entier de mon site /repertoire Je l'ai mis dans le fichier robots.txt : Disallow: /repertoire/ Mais dans ce répertoire je souhaite tout de même indexer certaines URL, exemple : /repertoire/monurl1.html...
  6. D

    Disallow tag dans robots.txt

    Bonjour à tous, Je travaille sur un projet avec worpress, et je me demandais si pour éviter le duplicate content du au tag, je ne pourrais pas mettre dans mon robots.txt la mention disallow /tag . En effet, quand je clique sur un tag et que je regarde l'url, j'ai il y a un dossier Tag. Alors...
  7. V

    Disallow: * ?

    Bonjour, je viens de rencontrer un robots.txt qui utilise cette syntaxe, quel est l'effet de l'astérixe avec le Disallow ? User-agent: * Disallow: *
  8. M

    Noindex+disallow, Google m'indexe coûte que coûte !

    Bonjour, Il suffit que je parte en vacances pour revenir et constater que Google fait de la résistance à mes tentatives de non indexation. Cas clinique : <meta name="robots" content="noindex,nofollow" /> sur chaque pages + la ligne disallow qui va bien dans le robots.txt confirmé par Google WT...
  9. B

    Problèmes Robot.txt pour disallow des pages

    Bonjour, j'ai un site full flash basé sur un spip pour la gestion du contenu. Le problème c'est que Google référence les pages du type: spip.php?article=* spip.php?* etc je souhaiterais empêcher d'indéxer toutes les pages spip.php avec les variables. Voila ce que j'ai indiqué au robot.txt...
  10. E

    Disallow robots.txt

    huum Vous pensez quoi de ce fichier robots.txt ? User-Agent: * Disallow: /norobot/ Je ne trouve rien sur cette cette instruction /norobot/ mais elle me parait hautement suspecte
  11. S

    Robots.txt tout disallow sauf page accueil ?

    Bonjour, J'ai pas trouvé la solution ici et ailleurs alors je la pose : J'aimerais réussir à bloquer googlebot de partout sur mon site SAUF 1 dossier (que j'appellerai "google") et ma page d'accueil Donc j'ai ça : User-Agent: * Allow: /google/ Disallow: / Comment rajouter d'autoriser ma...
  12. L

    Cacher un dossier par Disallow et robots.txt

    Bonjour, je voudrais savoir si je met cette ligne dans mon fichier robots : Disallow: /test/ cela va empêcher le moteur de lire ce qu'il y a dans un dossier /test qu'il soit à la racine ou pas par ex : http://www.exemple.com/test/ mais aussi : http://www.exemple.com/nimportequoi/test/...
  13. C

    User-Agent: Madrileño Disallow:

    bonjour, tout le monde ici connaît Madrileño, le robot de WRI, capable de différencier le nouveau venu du cador, et capable de répondre aux questions les plus pointues, notamment en postant les liens qui vont bien, liens qui s'avèrent dans 99% des cas pertinents, et qui répondent à 99% des...
  14. B

    Robots.txt - Disallow pour des pages avec paramètre

    A déplacer dans la bonne rubrique, me suis tromper Comment désactivé le passage de robots qui parcourait des pages avec toujour le même paramètre du genre /index/sous_dossier_truc/?parametre= /index/sous_dossier_bidule/sous_dossier_machin/?parametre= tout cela par millier La...
  15. L

    Robots : Allow et Disallow ?

    Bonjour, je suis entrain de créer mon premier robots.txt mais j'ai des doutes sur certains points. Voilà, je me suis appercue que sur Google, il y avait des pages de mon site qui ne devraient pas y être, comme mes dossiers de pages ADMIN et autres dossier de modules (news, annuaire, annonces...
  16. M

    500 redirections et 300 disallow

    Bonjour, 500 redirections (directes) dans htaccess et 300 disallow dans robots mais cela juste pour qlqs mois... Ca passe ou ca casse?
  17. S

    Robost.txt : Usage d'un * dans la commande Disallow

    Bonjour, Dans la cadre de la rédaction d'un fichier robots.txt, je tente d'exclure tout type de fichier portant l'extension "php". Langage anciennement utilisé sur mon site et dont les anciennes pages restent - contre toute attente - indexées par Google depuis un an ; ces pages n'existent...
  18. S

    Robots.txt pour phpbb : Disallow de certaines urls

    Salut à tous, Comment puis-je éviter ce genre d'indexation : https://www.google.fr/search?hl=fr&ie=UT ... cher&meta= (posting.php?mode=reply&t=xx) Que dois je ajouter au niveau de mon fichier robots.txt ? Merci. Sébastien.
Haut