|
Voir le sujet précédent :: Voir le sujet suivant
|
| Auteur |
Message |
| |
|
benjouke
Nouveau WRInaute
Inscrit le: 12 Oct 2006
Messages: 16
|
 Posté le : Lun Déc 11, 2006 10:45 Sujet du message: Fichiers robots.txt |
|
|
Pour vous ce fichier robots.txt veux dire quoi :
| Code: |
User-agent: *
User-agent: Alexibot
User-agent: asterias
User-agent: BackDoorBot/1.0
User-agent: Black Hole
User-agent: BlowFish/1.0
User-agent: BotALot
User-agent: BuiltBotTough
User-agent: Bullseye/1.0
User-agent: BunnySlippers
User-agent: Cegbfeieh
User-agent: CheeseBot
User-agent: CherryPicker
User-agent: CherryPickerElite/1.0
User-agent: CherryPickerSE/1.0
User-agent: CopyRightCheck
User-agent: cosmos
User-agent: Crescent
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
User-agent: DISCo Pump 3.1
User-agent: DittoSpyder
User-agent: EmailCollector
User-agent: EmailSiphon
User-agent: EmailWolf
User-agent: EroCrawler
User-agent: ExtractorPro
User-agent: Foobot
User-agent: Harvest/1.5
User-agent: hloader
User-agent: httplib
User-agent: humanlinks
User-agent: InfoNaviRobot
User-agent: JennyBot
User-agent: Kenjin Spider
User-agent: LexiBot
User-agent: libWeb/clsHTTP
User-agent: LinkextractorPro
User-agent: LinkScan/8.1a Unix
User-agent: LinkWalker
User-agent: lwp-trivial
User-agent: lwp-trivial/1.34
User-agent: Mata Hari
User-agent: Microsoft URL Control - 5.01.4511
User-agent: Microsoft URL Control - 6.00.8169
User-agent: MIIxpc
User-agent: MIIxpc/4.2
User-agent: Mister PiX
User-agent: moget
User-agent: moget/2.1
User-agent: NetAnts
User-agent: NetAttache
User-agent: NetAttache Light 1.1
User-agent: NetMechanic
User-agent: NICErsPRO
User-agent: Offline Explorer
User-agent: Openfind
User-agent: Openfind data gathere
User-agent: ProPowerBot/2.14
User-agent: ProWebWalker
User-agent: psbot
User-agent: QueryN Metasearch
User-agent: RepoMonkey
User-agent: RepoMonkey Bait & Tackle/v1.01
User-agent: RMA
User-agent: SiteSnagger
User-agent: SpankBot
User-agent: spanner
User-agent: SuperBot
User-agent: SuperBot/2.6
User-agent: suzuran
User-agent: Szukacz/1.4
User-agent: Teleport
User-agent: Telesoft
User-agent: The Intraformant
User-agent: TheNomad
User-agent: TightTwatBot
User-agent: Titan
User-agent: toCrawl/UrlDispatcher
User-agent: True_Robot
User-agent: True_Robot/1.0
User-agent: turingos
User-agent: URLy Warning
User-agent: VCI
User-agent: VCI WebViewer VCI WebViewer Win32
User-agent: Web Image Collector
User-agent: WebAuto
User-agent: WebBandit
User-agent: WebBandit/3.50
User-agent: WebCopier
User-agent: webcopy
User-agent: WebEnhancer
User-agent: WebmasterWorldForumBot
User-agent: webmirror
User-agent: WebReaper
User-agent: WebSauger
User-agent: website extractor
User-agent: Website Quester
User-agent: Webster Pro
User-agent: WebStripper
User-agent: WebStripper/2.02
User-agent: WebZip
User-agent: WebZip/4.0
User-agent: Wget
User-agent: Wget/1.5.3
User-agent: Wget/1.6
User-agent: WinHTTrack
User-agent: WWW-Collector-E
User-agent: Xenu's
User-agent: Xenu's Link Sleuth 1.1c
User-agent: Zeus
User-agent: Zeus 32297 Webster Pro V2.9 Win32
User-Agent: MJ12bot
User-agent: HTTrack
User-agent: HTTrack 3.0
User-agent: TurnitinBot
User-agent: QuepasaCreep
Disallow: /
|
Merci d'avance. |
|
| |
|
 |
serval2a
WRInaute accro
Inscrit le: 21 Mar 2005
Messages: 3209
Localisation: A la poursuite de Googlebot.
|
| Posté le : Lun Déc 11, 2006 10:50 Sujet du message: Fichiers robots.txt |
|
|
Salut,
Que tous les robots sont interdits et certains plus que d'autres.  |
|
| |
|
|
benjouke
Nouveau WRInaute
Inscrit le: 12 Oct 2006
Messages: 16
|
|
| |
|
|
serval2a
WRInaute accro
Inscrit le: 21 Mar 2005
Messages: 3209
Localisation: A la poursuite de Googlebot.
|
| Posté le : Lun Déc 11, 2006 11:03 Sujet du message: Fichiers robots.txt |
|
|
Ce n'est pas tout à fait le robots.txt de WRI car sur ton code il manque la partie suivant immédiatement :
la partie manquante interdit la visite de certaines pages du forum pour éviter le duplicate content suite à l'adoption d'une technique d'URL rewriting.
@+ |
|
| |
|
|
benjouke
Nouveau WRInaute
Inscrit le: 12 Oct 2006
Messages: 16
|
| Posté le : Lun Déc 11, 2006 11:07 Sujet du message: Fichiers robots.txt |
|
|
Ci j'enlève : User-agent: *
Mon fichier sera bon ?
Merci d'avance. |
|
| |
|
|
serval2a
WRInaute accro
Inscrit le: 21 Mar 2005
Messages: 3209
Localisation: A la poursuite de Googlebot.
|
| Posté le : Lun Déc 11, 2006 11:10 Sujet du message: Fichiers robots.txt |
|
|
| Si tu enlèves les 3 première lignes tu interdira aux robots mentionnés de visiter toutes les pages de ton site. |
|
| |
|
|
benjouke
Nouveau WRInaute
Inscrit le: 12 Oct 2006
Messages: 16
|
| Posté le : Lun Déc 11, 2006 11:11 Sujet du message: Fichiers robots.txt |
|
|
| serval2a a écrit: |
| Si tu enlèves les 3 première lignes tu interdira aux robots mentionnés de visiter toutes les pages de ton site. |
Si j'enlève celle-ci c'est bon ?
| Code: |
User-agent: *
User-agent: Alexibot
User-agent: asterias
|
Merci d'avance.
Dernière édition par benjouke le Lun Déc 11, 2006 11:14; édité 1 fois |
|
| |
|
|
serval2a
WRInaute accro
Inscrit le: 21 Mar 2005
Messages: 3209
Localisation: A la poursuite de Googlebot.
|
| Posté le : Lun Déc 11, 2006 11:14 Sujet du message: Fichiers robots.txt |
|
|
| Pardon, je me suis mal exprimé en fait tout ce qui est au dessus de la ligne : User-agent: Alexibot |
|
| |
|
|
benjouke
Nouveau WRInaute
Inscrit le: 12 Oct 2006
Messages: 16
|
| Posté le : Lun Déc 11, 2006 11:15 Sujet du message: Fichiers robots.txt |
|
|
Donc un bon fichier robots.txt c'est ceci :
| Code: |
User-agent: Alexibot
User-agent: asterias
User-agent: BackDoorBot/1.0
User-agent: Black Hole
User-agent: BlowFish/1.0
User-agent: BotALot
User-agent: BuiltBotTough
User-agent: Bullseye/1.0
User-agent: BunnySlippers
User-agent: Cegbfeieh
User-agent: CheeseBot
User-agent: CherryPicker
User-agent: CherryPickerElite/1.0
User-agent: CherryPickerSE/1.0
User-agent: CopyRightCheck
User-agent: cosmos
User-agent: Crescent
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
User-agent: DISCo Pump 3.1
User-agent: DittoSpyder
User-agent: EmailCollector
User-agent: EmailSiphon
User-agent: EmailWolf
User-agent: EroCrawler
User-agent: ExtractorPro
User-agent: Foobot
User-agent: Harvest/1.5
User-agent: hloader
User-agent: httplib
User-agent: humanlinks
User-agent: InfoNaviRobot
User-agent: JennyBot
User-agent: Kenjin Spider
User-agent: LexiBot
User-agent: libWeb/clsHTTP
User-agent: LinkextractorPro
User-agent: LinkScan/8.1a Unix
User-agent: LinkWalker
User-agent: lwp-trivial
User-agent: lwp-trivial/1.34
User-agent: Mata Hari
User-agent: Microsoft URL Control - 5.01.4511
User-agent: Microsoft URL Control - 6.00.8169
User-agent: MIIxpc
User-agent: MIIxpc/4.2
User-agent: Mister PiX
User-agent: moget
User-agent: moget/2.1
User-agent: NetAnts
User-agent: NetAttache
User-agent: NetAttache Light 1.1
User-agent: NetMechanic
User-agent: NICErsPRO
User-agent: Offline Explorer
User-agent: Openfind
User-agent: Openfind data gathere
User-agent: ProPowerBot/2.14
User-agent: ProWebWalker
User-agent: psbot
User-agent: QueryN Metasearch
User-agent: RepoMonkey
User-agent: RepoMonkey Bait & Tackle/v1.01
User-agent: RMA
User-agent: SiteSnagger
User-agent: SpankBot
User-agent: spanner
User-agent: SuperBot
User-agent: SuperBot/2.6
User-agent: suzuran
User-agent: Szukacz/1.4
User-agent: Teleport
User-agent: Telesoft
User-agent: The Intraformant
User-agent: TheNomad
User-agent: TightTwatBot
User-agent: Titan
User-agent: toCrawl/UrlDispatcher
User-agent: True_Robot
User-agent: True_Robot/1.0
User-agent: turingos
User-agent: URLy Warning
User-agent: VCI
User-agent: VCI WebViewer VCI WebViewer Win32
User-agent: Web Image Collector
User-agent: WebAuto
User-agent: WebBandit
User-agent: WebBandit/3.50
User-agent: WebCopier
User-agent: webcopy
User-agent: WebEnhancer
User-agent: WebmasterWorldForumBot
User-agent: webmirror
User-agent: WebReaper
User-agent: WebSauger
User-agent: website extractor
User-agent: Website Quester
User-agent: Webster Pro
User-agent: WebStripper
User-agent: WebStripper/2.02
User-agent: WebZip
User-agent: WebZip/4.0
User-agent: Wget
User-agent: Wget/1.5.3
User-agent: Wget/1.6
User-agent: WinHTTrack
User-agent: WWW-Collector-E
User-agent: Xenu's
User-agent: Xenu's Link Sleuth 1.1c
User-agent: Zeus
User-agent: Zeus 32297 Webster Pro V2.9 Win32
User-Agent: MJ12bot
User-agent: HTTrack
User-agent: HTTrack 3.0
User-agent: TurnitinBot
User-agent: QuepasaCreep
Disallow: /
|
Merci d'avance. |
|
| |
|
|
benjouke
Nouveau WRInaute
Inscrit le: 12 Oct 2006
Messages: 16
|
| Posté le : Lun Déc 11, 2006 11:36 Sujet du message: Fichiers robots.txt |
|
|
| Au faite, à quoi sert le Disallow: / à la fin du fichier ? |
|
| |
|
|
serval2a
WRInaute accro
Inscrit le: 21 Mar 2005
Messages: 3209
Localisation: A la poursuite de Googlebot.
|
| Posté le : Lun Déc 11, 2006 11:42 Sujet du message: Fichiers robots.txt |
|
|
Re, pour être parfait il faut enlever la ligne vide du début.
La mention Disallow: / sert à informer les robots mentionnés dans le fichier qu'il ne peuvent visiter aucune page du site. |
|
| |
|
|
Serious
WRInaute accro
Inscrit le: 21 Nov 2005
Messages: 2437
|
| Posté le : Lun Déc 11, 2006 12:00 Sujet du message: Fichiers robots.txt |
|
|
| Certains de ces bots sont tout a fait legitimes. |
|
| |
|
|
serval2a
WRInaute accro
Inscrit le: 21 Mar 2005
Messages: 3209
Localisation: A la poursuite de Googlebot.
|
| Posté le : Lun Déc 11, 2006 12:34 Sujet du message: Fichiers robots.txt |
|
|
| Oui d'autant que ceux qui ne le sont pas ne respectent pas les instructions du fichier. |
|
| |
|
|
| |
|
|
