Empêcher que les moteurs référencent certaines pages

Discussion dans 'URL Rewriting et .htaccess' créé par ensemblevide, 26 Octobre 2005.

  1. ensemblevide
    ensemblevide WRInaute discret
    Inscrit:
    29 Octobre 2004
    Messages:
    153
    J'aime reçus:
    0
    Bonjour

    Si je post ici c'est que je pratique la réécriture d'urls
    Je constate que Google (et autres) a référencé des pages "virtuelles". A savoir elles existent mais ne sont pas accessibles.
    Ex :
    monsite/rubrique-6__Mentions_legales-39.html est la bonne url

    mais pas article-Mentions_legales-101.html

    Toutes mes pages sont dynamiques, je ne peux pas mettre un code dans le méta.
    Pour info j'utilise le htaccess.

    Comment faire donc pour dire aux MR :cette page tu l'oublie.

    Philippe
     
  2. squawk
    squawk WRInaute accro
    Inscrit:
    22 Mars 2004
    Messages:
    4 771
    J'aime reçus:
    0
    dans robots.txt tu interdis l'indexation. :wink:
     
  3. ensemblevide
    ensemblevide WRInaute discret
    Inscrit:
    29 Octobre 2004
    Messages:
    153
    J'aime reçus:
    0
    Merci pour ta réponse.
    htaccess et robot.txt font bon ménage ? Parce que dans le htaccess je fais des redirections avec code 301.

    As tu un exemple de robot.txt car je n'en ai pa sur mon serveur ?
     
  4. correiaj
    correiaj WRInaute impliqué
    Inscrit:
    25 Avril 2005
    Messages:
    987
    J'aime reçus:
    0
    User-agent: *
    Disallow: /rep
    Disallow: /rep

    et etc....
     
  5. ensemblevide
    ensemblevide WRInaute discret
    Inscrit:
    29 Octobre 2004
    Messages:
    153
    J'aime reçus:
    0
    Merci

    Voilà donc je ce j'ai fait

    Code:
    User-agent: *
    Disallow: /mapage.html
    etc
     
  6. ensemblevide
    ensemblevide WRInaute discret
    Inscrit:
    29 Octobre 2004
    Messages:
    153
    J'aime reçus:
    0
    Bonjour
    mon fichier robots.txt est maintenant en place et uploadé sur le serveur de mon site
    Il faut combien de temps pour que les pages indiquées sur ce fichier ne soient plus référencées dans les MR ?

    Philippe
     
Chargement...
Similar Threads - Empêcher moteurs référencent Forum Date
[résolu]Comment empêcher les moteurs d'indexer un site en construction? Demandes d'avis et de conseils sur vos sites 8 Octobre 2009
trés urgent: empêcher les moteurs de recherche de scanner mo Développement d'un site Web ou d'une appli mobile 17 Février 2009
Empécher les moteurs de réferencer tout mon site Débuter en référencement 28 Octobre 2008
Empêcher les moteurs d’indexer l’intégralité des pages conte Débuter en référencement 26 Mars 2007
Difficulté à empêcher les moteurs de référencer une section Problèmes de référencement spécifiques à vos sites 14 Juin 2006
Empêcher le download mais autoriser la lecture mp3 URL Rewriting et .htaccess 17 Août 2021
WordPress Empêcher le scraping de mon site Administration d'un site Web 19 Novembre 2020
PHP empêcher form onsubmit si formulaire invalide Développement d'un site Web ou d'une appli mobile 29 Juin 2020
Comment empecher google d'indexer "une suite d'URL". Débuter en référencement 8 Mars 2020
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
désindexer et/ou empêcher crawl ? Crawl et indexation Google, sitemaps 4 Janvier 2019
Patron de Qwant : "Google essaye d'empêcher ..." Autres moteurs de recherche connus 1 Novembre 2018
Empêcher les majuscules dans les URL Débuter en référencement 27 Avril 2018
Empécher indexation Crawl et indexation Google, sitemaps 10 Avril 2018
Comment empêcher les gens de faire du copier coller ? Débuter en référencement 21 Janvier 2018
Empêcher des script javascript d'etre indexer Crawl et indexation Google, sitemaps 13 Mars 2017
Comment empêcher le crawl sur les pages "filter" et "order" Débuter en référencement 20 Janvier 2017
empêcher des caractères comme /?longurlwascutoff_0&& derrière l'url d'un site URL Rewriting et .htaccess 30 Avril 2016
Empêcher l'indexation de mon fichier sitemap Débuter en référencement 29 Avril 2016
empêcher une partie du site de visualisation Développement d'un site Web ou d'une appli mobile 30 Mars 2016