Tout bloquer sauf les url du sitemap

nabouill

Nouveau WRInaute
Bonjour,

Un petite question me turlipine,
J'aimerais donner acces à mon site seulement au url indiqué dans mon sitemap.
Si dans mon fichier robot.txt je met ça :
Code:
User-Agent: *
Disallow: /

Sitemap: http://monsite.fr/sitemap.xml

Est-ce qu'il peut acceder aux url indiquées dans mon sitemap, ou alors le site sera completement bloqué et donc n'indexera rien ?

Le but est en faite de faire indexer seulement les url que je souhaite. (plutot que de tout faire indexer sauf les url que je ne souhaite pas)
Donc si quelqu'un a une autre méthode pour faire ça, je suis preneur aussi.

Merci d'avance pour votre aide.
 

nickargall

WRInaute accro
Bonjour
Non, avec ça, ton site ne sera pas crawlé du tout, même les URL du sitemap seront ignorées.

l'autre méthode, c'est de mettre à la main les URL à ne pas indexer, ou d'y mettre une balise <name="robots" content="noindex"/>
 

nabouill

Nouveau WRInaute
Merci pour votre réponse qui confirme mes pensées.

l'autre méthode, c'est de mettre à la main les URL à ne pas indexer, ou d'y mettre une balise <name="robots" content="noindex"/>

Est-ce la seul façon qui existe ?

Mon problème est que mon site est un site de e-commerce, avec pas mal de référence produit et en plus de ça, des références qui sont remplacé régulièrement, du coup, j'ai bien peur que faire des mises à jour à la main à chaque fois me prenne un temps fou.
 

Discussions similaires

Haut