Pas d'indexation GG!!

passion
passion
WRInaute accro
Bonjour,
A l'heure actuelle, je suis en période d'indexation de mon site "www" en 3 langues différentes.
Yahoo indexe rapidement et en constante progression mes 5000 pages par version mais GG en a indexé aucune malgré, sitemap, plan du site, annuaires etc....enfin bref, tout ce qu'il faut pour et sans erreurs!!!
J'ai pensé à une éventuelle boulette que j'aurai pu faire, d'où le sujet de mon poste.......pourriez-vous attester que le fichier "robots.txt" que j'ai fait incluant l'interdiction des aspirateurs, mailbot etc.....n'a pas inclus un moteur de GG???
Voici l'extrait:
User-agent: Alexibot
User-agent: asterias
User-agent: BackDoorBot/1.0
User-agent: Black Hole
User-agent: BlowFish/1.0
User-agent: BotALot
User-agent: BuiltBotTough
User-agent: Bullseye/1.0
User-agent: BunnySlippers
User-agent: Cegbfeieh
User-agent: CheeseBot
User-agent: CherryPicker
User-agent: CherryPickerElite/1.0
User-agent: CherryPickerSE/1.0
User-agent: CopyRightCheck
User-agent: cosmos
User-agent: Crescent
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
User-agent: DISCo Pump 3.1
User-agent: DittoSpyder
User-agent: EmailCollector
User-agent: EmailSiphon
User-agent: EmailWolf
User-agent: EroCrawler
User-agent: ExtractorPro
User-agent: Foobot
User-agent: Harvest/1.5
User-agent: hloader
User-agent: httplib
User-agent: humanlinks
User-agent: InfoNaviRobot
User-agent: JennyBot
User-agent: Kenjin Spider
User-agent: LexiBot
User-agent: libWeb/clsHTTP
User-agent: LinkextractorPro
User-agent: LinkScan/8.1a Unix
User-agent: LinkWalker
User-agent: lwp-trivial
User-agent: lwp-trivial/1.34
User-agent: Mata Hari
User-agent: Microsoft URL Control - 5.01.4511
User-agent: Microsoft URL Control - 6.00.8169
User-agent: MIIxpc
User-agent: MIIxpc/4.2
User-agent: Mister PiX
User-agent: moget
User-agent: moget/2.1
User-agent: NetAnts
User-agent: NetAttache
User-agent: NetAttache Light 1.1
User-agent: NetMechanic
User-agent: NICErsPRO
User-agent: Offline Explorer
User-agent: Openfind
User-agent: Openfind data gathere
User-agent: ProPowerBot/2.14
User-agent: ProWebWalker
User-agent: psbot
User-agent: QueryN Metasearch
User-agent: RepoMonkey
User-agent: RepoMonkey Bait & Tackle/v1.01
User-agent: RMA
User-agent: SiteSnagger
User-agent: SpankBot
User-agent: spanner
User-agent: SuperBot
User-agent: SuperBot/2.6
User-agent: suzuran
User-agent: Szukacz/1.4
User-agent: Teleport
User-agent: Telesoft
User-agent: The Intraformant
User-agent: TheNomad
User-agent: TightTwatBot
User-agent: Titan
User-agent: toCrawl/UrlDispatcher
User-agent: True_Robot
User-agent: True_Robot/1.0
User-agent: turingos
User-agent: URLy Warning
User-agent: VCI
User-agent: VCI WebViewer VCI WebViewer Win32
User-agent: Web Image Collector
User-agent: WebAuto
User-agent: WebBandit
User-agent: WebBandit/3.50
User-agent: WebCopier
User-agent: webcopy
User-agent: WebEnhancer
User-agent: WebmasterWorldForumBot
User-agent: webmirror
User-agent: WebReaper
User-agent: WebSauger
User-agent: website extractor
User-agent: Website Quester
User-agent: Webster Pro
User-agent: WebStripper
User-agent: WebStripper/2.02
User-agent: WebZip
User-agent: WebZip/4.0
User-agent: Wget
User-agent: Wget/1.5.3
User-agent: Wget/1.6
User-agent: WinHTTrack
User-agent: WWW-Collector-E
User-agent: Xenu's
User-agent: Xenu's Link Sleuth 1.1c
User-agent: Zeus
User-agent: Zeus 32297 Webster Pro V2.9 Win32
User-Agent: MJ12bot
User-agent: HTTrack
User-agent: HTTrack 3.0
User-agent: TurnitinBot
User-agent: QuepasaCreep
Disallow: /
Cliquez pour agrandir...
Merci de votre aide!! :wink:
 
L
Leonick
WRInaute accro
passion a dit:
pourriez-vous attester que le fichier "robots.txt" que j'ai fait incluant l'interdiction des aspirateurs, mailbot etc..
Cliquez pour agrandir...
les mailbot lisent et suivent les robots.txt ? j'ai des doutes. Il faudrait plutôt les mettre dans le htaccess
 
passion
passion
WRInaute accro
Ok...ok...Leonick, tu l'as joue succeptible aujourd'hui pour jouer sur les mots?
Voici aussi mon htaccess!
désolé de ne pas l'avoir transmis!
RewriteCond %{HTTP_USER_AGENT} ^ADSARobot$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^ah-ha$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^aktuelles$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^almaden$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^amzn_assoc$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Anarchie$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^ASPSeek$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^ASSORT$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^ATHENS$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Atomz$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^attach$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^attache$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^autoemailspider$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^BackWeb$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bandit$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^BatchFTP$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^bdfetch$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^big.brother$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^bmclient$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Boston\ Project$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^BravoBrian\ SpiderEngine\ MarcoPolo$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Buddy$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bullseye$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^bumblebee$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^capture$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^CherryPicker$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^CherryPickerElite$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^CherryPickerSE$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^CICC$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^clipping$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^collage$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Collector$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Copier$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Crescent$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Crescent\ Internet\ ToolPak$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^cyberalert$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Deweb$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^diagem$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Digger$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Digimarc$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^DIIbot$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^disco$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCoFinder$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Wonder$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Downloader$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Drip$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^DSurf15a$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^DTS.Agent$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^EasyDL$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^ecollector$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^efp@gmx\.net$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Email\ Extractor$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^email$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailCollector$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^express$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^extractor$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^fastlwspider$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^FavOrg$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Favorites\ Sweeper$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Fetch$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^FEZhead$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^FileHound$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet\ WebWasher$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlickBot$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^fluffy$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^FrontPage$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^GalaxyBot$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Generic$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Getleft$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetSmart$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetWeb!$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetWebPage$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^gigabaz$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Girafabot$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^go-ahead-got-it$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^GornKer$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grabber$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Green\ Research$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Harvest$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^hhjhj@yahoo$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^hloader$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^HomePageSearch$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^httpdown$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^http\ generic$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^IBM_Planetwide$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^imagefetch$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^IncyWincy$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^informant$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Ingelin$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^InternetLinkAgent$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^InternetSeer\.com$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Iria$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Irvine$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^JBH*Agent$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^JustView$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^KWebGet$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Lachesis$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^LexiBot$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^lftp$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^libwww$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^likse$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Link*Sleuth$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^LINKS\ ARoMATIZED$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^LinkWalker$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^LWP$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^lwp-trivial$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Magnet$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mac\ Finder$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mag-Net$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^MCspider$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mirror$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Missigua\ Locator$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^MMMtoCrawl\/UrlDispatcherLLL$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^MSProxy$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^multithreaddb$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^nationaldirectory$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\Vampire$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetCarta$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^NetMechanic$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^netprospector$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^NetResearchServer$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZip\ Downloader$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZippy$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^NEWT$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^nicerspro$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^NPBot$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^OpaL$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Openfind$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^OpenTextSiteCrawler$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^OrangeBot$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^PackRat$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^pavuk$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^PersonaPilot$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^PingALink$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Pockey$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Proxy$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^psbot$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^PSurf$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^puf$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Pump$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^PushSite$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^QRVA$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^RealDownload$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Reaper$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Recorder$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^replacer$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^RepoMonkey$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Robozilla$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Rover$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^RPT-HTTPClient$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Rsync$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^SearchExpress$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^searchhippo$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^searchterms\.it$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Second\ Street\ Research$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Seeker$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Shai$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^sitecheck$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^SlySearch$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^snagger$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^SpaceBison$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Spegla$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^SpiderBot$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^SqWorm$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Stripper$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Sucker$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^SurfWalker$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Szukacz$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^tarspider$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Templeton$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^TrueRobot$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^TV33_Mercator$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^UIowaCrawler$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^URL_Spider_Pro$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^UtilMind$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Vacuum$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^vagabondo$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^vayala$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^visibilitygap$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^vspider$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^w3mir$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^web\.by\.mail$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Data\ Extractor$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Downloader$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Webclipping$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^webcollector$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^webcraft@bea$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^webdevil$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^webdownloader$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Webdup$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebHook$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Webinator$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^WEBMASTERS$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WebMiner$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WebMirror$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^webmole$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSnake$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Webster$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^websucker$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^webvac$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^webwalk$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^webweasel$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^whizbang$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WhosTalking$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^WISEbot$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WUMPUS$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Wweb$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^XGET$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^x-Tractor$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Yandex$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^ZyBorg$
Cliquez pour agrandir...
Merci :wink:
 
L
Leonick
WRInaute accro
Je n'ai pas mis toutes ces longues listes, je préfère rajouter au fur et à mesure. Car je pense que cela doit quand même pas mal ralentir apache et vu qu'un grand nombre de mauvais robots ne viendront jamais autant ne pas alourdir pour rien.
mais pour en revenir au robots.txt je pense que les mauvais robots n'en tiennent pas compte et ne viennent même pas lire le robots.txt ou alors pour chercher les pages qu'il "devra indexer", c'est celles que l'on veut sortir de l'indexation :twisted:
 
passion
passion
WRInaute accro
Trop fort!!!
MDR mais on tombe dans l'expérimentation :lol:
Mais je vais tenté de creuser un peu à la source chez GG etc....car META magique, je le crois comme un pass-pass et je ne serai pas étonné des ricains qui sont des grands enfants!!!
je vais tenté par créer sur un de mes petits hébergeurs, une simple page (dans ton style) et voir!
 
L
Leonick
WRInaute accro
en fait, c'était pour envoyer un lien quand des questions sont posées sur les différentes balises, obsolètes et autres. J'en ai même inventé.
Mais maintenant, cette page me sert de test. J'ai rajouté balises_magiques pour faire des recherches sur les moteurs.
 
V
Vedel
Nouveau WRInaute
Je peux pas trop t'aider sur ce sujet tu connais mes problèmes mais en tout cas même si c'est hors topic je te souhaite bonne chance avec google et ton indexation :wink:
 
F
fredwat
WRInaute accro
@ passion

Salut :wink:
je ne pige pas pourquoi ta meta langage ne fait état que du "french"
perso j'ai toujours utilisé fr ou en ou les deux...
Tu n'as pas peur que ton titre à rallonge te "plombe" chez Gg ?
Voili, voiloù :)
 
F
fredwat
WRInaute accro
Up
ben ça t'a fait ni chaud ni froid...
je ne vois que du mépris dans cette non réponse :lol:
chacun fait comme il l'entend :wink:
 
passion
passion
WRInaute accro
fredwat a dit:
je ne vois que du mépris dans cette non réponse :lol:
Cliquez pour agrandir...
Pas du tout!!!!
Je ne me permettrais pas d'agir de la sorte quel genre de prétentieux serais-je...berk!!!!!!! loooool
Je vous remercie de vos conseils...et le fait que ce topic ressort.....je l'avais oublié!!!!
Mais je vais en prendre note fredwat ...avec tous mes remerciements à votre attention :wink:
J'utilise la dénomination "french" et "fr" pour que les bots fassent la différence avec mes autres versions qui sont exclusivement "english" "en" et "spanish" "es" :wink:
Voilà, pourquoi c'est pas bon?
 
F
fredwat
WRInaute accro
:wink:
ouf je m'étais fait une mauvaise idée...
je ne crois pas que ce soit conforme ce "english"
une recherche sur ce même forum à propos de l'écriture de la meta langage t'en dira + 8)
@+
Fred
 
passion
passion
WRInaute accro
Merci de ton soutien....malheureusement, je ne pourrais voir cela maintenant car j'ai d'autres obligations mais pour sûr, ce soir...je vais l'étudier de plus prés!!!
J'a suivi ton conseil....j'ai réduis le <title> de mes sites!
encore merci :wink: de m'aider car ça fait maintenant + 1mois que GG ne m'a pas indéxé!!!! c'est le seul
 
Vous devez vous connecter ou vous inscrire pour répondre ici.

➡️ Offre MyRankingMetrics ⬅️

pré-audit SEO gratuit avec RM Tech (+ avis d'expert)
coaching offert aux clients (avec Olivier Duffez ou Fabien Faceries)

Voir les détails ici

coaching SEO
Discussions similaires
U
Indexation des pages institutionnelles
Réponses
4
Affichages
830
ungars
U
S
Grosse perte d'indexation
Réponses
18
Affichages
3K
pomination
pomination
WebRankInfo
Que faire en cas de chute d'indexation Google
Réponses
7
Affichages
2K
ossakbji
O
DaFacade
Indexation de www. et sans www. GSC / AHREFS
Réponses
2
Affichages
2K
DaFacade
DaFacade
C
Indexation de deux URLs pour ma page d'accueil
Réponses
11
Affichages
3K
ClaireV
C
J
Search Console Indexation des pages
Réponses
6
Affichages
1K
joelkalala
J
alexandre
Masse noire sur Indexation - Bloquée par le fichier robots.txt
Réponses
5
Affichages
3K
emualliug
E
M
Impossibilité soudaine d'indexation de pages dans GSC
Réponses
2
Affichages
3K
pomination
pomination
L
Problème indexation Blog (Erreur liée à des redirections)
Réponses
22
Affichages
2K
EUSKAL CONSEIL
EUSKAL CONSEIL
WebRankInfo
L'indexation dans Bing de type "push" avec IndexNow ou Submission API
Réponses
3
Affichages
2K
Ervael
Ervael
W
Problème d'indexation (Page en double sans URL canonique sélectionnée par l'utilisateur)
Réponses
2
Affichages
1K
wemosd1
W
E
Indexation des vidéos : La page n'est pas sur une page de lecture
Réponses
2
Affichages
2K
SouiniHosting
SouiniHosting
P
Comment accélérer l’indexation d’un backlink vers son site ?
Réponses
11
Affichages
1K
gabin8207
gabin8207
A
Indexation impossible malgré que tout soit ok
Réponses
61
Affichages
3K
WebzineMusik
WebzineMusik
kv69
Bug d'indexation : Google indexe des pages fantomes
Réponses
4
Affichages
2K
Madrileño
Madrileño
É
Indexation Google
Réponses
3
Affichages
1K
ericghs
ericghs
E
OpenAI lance un robot pour l'indexation de contenu non AI OPTIN - OAI-SearchBot
Réponses
2
Affichages
2K
eldk
E
SEOGoodVibe
Search Console Variables et indexation Google Search Console
Réponses
6
Affichages
895
Madrileño
Madrileño
S
Empecher la "lecture" des images lors de l'indexation
Réponses
9
Affichages
1K
eldk
E
R
Problème d'indexation des pages produits malgré des demandes manuelles via la Search Console
Réponses
2
Affichages
1K
cthierry
cthierry
Haut