fichier robots.txt

  1. I

    A propos du robots.txt et sitemap

    Bonjour à tous, je possède un site internet, sur certain mot clé j’étaie dans les premier, maintenant que je teste je le suis pas j'essaye de comprendre encore pourquoi ... ma question es celle-çi j'ai une tonne de page que j'aimerai supprimer de l'indexation de google mon fichier...
  2. O

    URL persistante dans Google malgré fichier robots.txt

    Salut à tous, Je cherche à supprimer des pages de l'index de Google à partir du fichier robot.txt. Exemple /page-de-mon-site existe aussi en /page-de-mon-site?p=2 /page-de-mon-site?p=3 /page-de-mon-site?p=4 J'ai donc indiqué dans le fichier robots.txt : Disallow: /page-de-mon-site? pour...
  3. S

    Empêcher l'indexation avec robots.txt d'un sous domaine (version mobile)

    Bonjour à tous, Pour empêcher l'indexation d'un sous domaine type "m.domaine.fr" avec le robots.txt, est-ce que le code ci-dessous est ok ? User-agent: * Disallow: / Je parle bien de la non indexation par tous les moteurs de recherche. Merci beaucoup ! Speedwell
  4. N

    Robots.txt et sous-domaine

    Bonjour, Je me permets de vous contacter car j'ai un robots.txt à faire et j'aimerais empêcher l'accès à toute une partie du site qui est référencée dans un sous domaine. J'ai entendu : "Fais un nouveau robots.txt dédié au sous-domaine". OK mais tout est dans un seul et même dossier. Est-il...
  5. N

    Exploration VS Indexation / robots.txt VS noindex

    Bonjour, Il me semble que notre ami GoogleBot procède dans un premier temps à l'exploration des URLs d'un site, puis à l'indexation des pages dans son index afin de les présenter éventuellement dans ses résultats de recherche. Dans le cadre d'un contrôle de l'indexation des pages d'un site, il...
  6. B

    Robots.txt multiples

    Bonjour J'ai un hébergement professionnel pour mon domaine principal (disons 'mondomaine.net'...) qui me laisse assez d'espace disque pour y caser une demi-douzaine d'autres domaines indépendants - p. ex. 'sondomaine.org', 'leurdomaine.com' etc. La facilité de redirection transparente de mon...
  7. P

    Robots.txt, exclure un mot en fin d'url

    Bonjour, Je n'arrive pas à trouvé une info clairement expliqué sur ce problème : Voila j'ai des url du type : mon-site/informations/add.html mon-site/decouvrir/add.html Est ce que je peux exclure toutes les url contenant le mot "add" avec le robots.txt ? Avec cette commande : Disallow:/add/...
  8. Z

    Nouveau site : pb dns / serveur / robots.txt

    Bonjour, J'ai créé mon compte google webmasters avant-hier. Ce matin, 3 erreurs d'exploration : - DNS - connectivité du serveur - exploration par le fichier robots.txt J'ai cru comprendre que les erreurs DNS / serveur n'étaient pas forcément de ma part mais plutôt côté hébergeur (OVH). Est-ce...
Haut