Les pages bloqués par le fichier robots.txt

Discussion dans 'Débuter en référencement' créé par seo-maroc, 7 Juillet 2009.

  1. seo-maroc
    seo-maroc WRInaute discret
    Inscrit:
    12 Décembre 2008
    Messages:
    180
    J'aime reçus:
    0
    comment faire pour Ne pas inclure dans le fichier sitemap, les pages bloqués par le fichier robots.txt ?
     
  2. Babylon
    Babylon WRInaute discret
    Inscrit:
    18 Octobre 2006
    Messages:
    170
    J'aime reçus:
    0
    Salut,

    Le plus simple tu édite ton fichier à la main.
    Ou sinon, si tu utilise un soft, peut être en bloquant dans le robots.txt le user agent ( ou autres signes distinctif)correspondant.

    Bye,
     
  3. seo-maroc
    seo-maroc WRInaute discret
    Inscrit:
    12 Décembre 2008
    Messages:
    180
    J'aime reçus:
    0
    merci babylon

    mais j'ai pas vraiment compris :mrgreen:
     
  4. Babylon
    Babylon WRInaute discret
    Inscrit:
    18 Octobre 2006
    Messages:
    170
    J'aime reçus:
    0
    Ok on va donc s'en tenir à la 1ere méthode.
    Admettons que ton fichier sitmap soit en xml et se présente sous cette forme
    Code:
    <url>
    <loc>http://www.exemple.fr</loc>
    </url>
    <url>
    <loc>http://www.exemple.fr/tapage1.php</loc>
    </url>
    <url>
    <loc>http://www.exemple.fr/tapage2.php</loc>
    </url>
    Tu peux supprimer avec n'importe quel éditeur ce qui est entre <url> et </url> ( supprime les balises également)

    Pour plus d'infos lis ceci https://www.google.fr/support/webmasters/bin/answer.py?hl=fr&answer=34654
     
  5. dmathieu
    dmathieu WRInaute accro
    Inscrit:
    9 Janvier 2004
    Messages:
    5 596
    J'aime reçus:
    0
    Réponse idiote :
    enlève les, elles ne seront alors plus incluses.

    Légèrement moins idiote :
    Comment faire pour ne pas oublier de mettre ses chaussures le matin ?
    Comment faire pour ajouter le beurre sur la liste des courses ?

    C'est aussi précis que ta question. Sans détails (= comment est généré ton fichier sitemap ?), c'est impossible de t'aider.
     
  6. nickargall
    nickargall WRInaute accro
    Inscrit:
    13 Juin 2005
    Messages:
    6 601
    J'aime reçus:
    4
Chargement...
Similar Threads - bloqués fichier robots Forum Date
Bloqués sur notre Stratégie de SEO Demandes d'avis et de conseils sur vos sites 30 Octobre 2022
Annonces bloqués systématiquement sur les articles populaires AdSense 5 Juillet 2020
Chrome 70 : Certains sites très populaires seront bloqués Google : l'entreprise, les sites web, les services 11 Octobre 2018
Revenus bloqués sur adsense mais pas sur youtube AdSense 6 Mars 2018
Correction du code des scripts bloqués Débuter en référencement 24 Novembre 2014
Formulaires bloqués Problèmes de référencement spécifiques à vos sites 4 Juillet 2013
Mes sites sont bloqués en 2 éme page Problèmes de référencement spécifiques à vos sites 25 Avril 2013
[Blog wordpress] moteurs de recherche bloqués mais toujours visible sur Google Référencement Google 4 Mai 2009
Affichage des Adwords "bloqués" tant que l'on ne clique pas dessus? AdWords 14 Janvier 2009
Mails Hotmail bloqués Administration d'un site Web 23 Février 2007
Toutes les IP des USA bloques par les societes Débuter en référencement 8 Octobre 2006
Visiteurs bloqués à la page accueil Problèmes de référencement spécifiques à vos sites 4 Février 2005
Pop up bloqués !.. A jamais ? Google : l'entreprise, les sites web, les services 2 Mars 2004
Pagerank et backlinks bloqués a 0 Netlinking, backlinks, liens et redirections 15 Octobre 2003
WordPress SEO et lien vers fichiers médias Problèmes de référencement spécifiques à vos sites 8 Novembre 2022
Page de Login et fichier Robots.Txt Débuter en référencement 11 Septembre 2022
Commande site : monsite.com. Comment récupérer les URL dans un fichier ? Crawl et indexation Google, sitemaps 2 Juillet 2022
Fichier .htaccess, Https et www Débuter en référencement 2 Juillet 2022
Hébergeur pour streaming de petits fichiers audios Administration d'un site Web 29 Juin 2022
Les fichiers sur archive.org sont-ils du domaine public ? Droit du web (juridique, fiscalité...) 14 Juin 2022