Syntaxe robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Foxito, 29 Mai 2006.

  1. Foxito
    Foxito WRInaute discret
    Inscrit:
    5 Février 2005
    Messages:
    78
    J'aime reçus:
    0
    J'ai differentes pages indexées a supprimer et mon probleme vient des www
    certaines pages sont du type
    http://ndd.com/xyz.html
    et d'autres du type
    http://WWW.ndd.com/xyz2.html

    Comment ecrire mon robots.txt ?

    Disallow: /xyz.html
    Disallow: /xyz2.html

    ca c'est bon?
     
  2. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Bonjour,

    Tu essaies de faire quoi avec ton robots.txt ?

    A priori, il n'y a aucun rapport entre un problème de double indexation avec et sans www et l'emploi de robots.txt.

    Jean-Luc
     
  3. fharos
    fharos Nouveau WRInaute
    Inscrit:
    23 Juin 2009
    Messages:
    37
    J'aime reçus:
    0
    As tu essayé les outils webmaster de google ?
    Tu va dans configuration du site / Paramètres et tu y indiques le domaine favori.

    Ça résoudra certainement ton problème
     
Chargement...
Similar Threads - Syntaxe robots Forum Date
Robots.txt et syntaxe de Disallow Crawl et indexation Google, sitemaps 2 Juin 2017
Cette syntaxe de robots.txt est-elle correcte ? Administration d'un site Web 8 Avril 2013
Syntaxe robots.txt Crawl et indexation Google, sitemaps 29 Août 2008
Syntaxe de la meta name robots Référencement Google 12 Juillet 2007
Syntaxe robots.txt -- fichier finissant par Référencement Google 28 Avril 2007
Robots txt : syntaxe non comprise par Google Référencement Google 20 Avril 2007
Fichier robots.txt ma syntaxe est-elle correcte ? Référencement Google 19 Septembre 2003
Quelle syntaxe pour les mots-clés ? Débuter en référencement 6 Juillet 2020
Search Console Site FR en attente de Multilangue + syntaxe Robot.txt Référencement international (langues, pays) 5 Novembre 2019
syntaxe, pattern redirect Crawl et indexation Google, sitemaps 1 Octobre 2019
syntaxe commande dans htaccess Crawl et indexation Google, sitemaps 8 Juillet 2019
Syntaxe des mots clefs pour le référencement Rédaction web et référencement 20 Juin 2019
Syntaxe .htaccess pour migrer des URL URL Rewriting et .htaccess 7 Janvier 2018
La syntaxe SQL permet-elle plusieurs mots-clefs dans une (sous-)requête identique ? Développement d'un site Web ou d'une appli mobile 17 Août 2017
Je ne comprends pas cette syntaxe Développement d'un site Web ou d'une appli mobile 10 Avril 2017
Erreur au niveau des URL dans GWT - Question sur les redirections et sur la syntaxe Problèmes de référencement spécifiques à vos sites 15 Mai 2014
Redirection 301 syntaxe Débuter en référencement 11 Décembre 2012
Syntaxe du bouton pour "liker" le produit d'une boutique Prestashop Développement d'un site Web ou d'une appli mobile 3 Novembre 2012
Problème de syntaxe en réécriture URL Rewriting et .htaccess 23 Octobre 2012
Syntaxe RewriteRule .htaccess URL Rewriting et .htaccess 25 Septembre 2012