scanner toutes les urls d'un site

WRInaute discret
Bonujour.

Je possède aujourd'hui un site en dynamique et je désirerais trouver un script php qui me scanne l'ensemble des urls de mon site. Je cherche sur google mais je ne trouve pas.

Merci pour votre aide :wink:
 
WRInaute accro
evets a dit:
Bonujour.

Je possède aujourd'hui un site en dynamique et je désirerais trouver un script php qui me scanne l'ensemble des urls de mon site. Je cherche sur google mais je ne trouve pas.

Merci pour votre aide :wink:

SOFTPlus GSiteCrawler: °http://johannesmueller.com/gs/

...le seul truc qu'il ne fait pas, c'est le café.

Edit: "script php"... :oops: sorry
 
WRInaute discret
Merci pour votre réactivité rapide ! :wink:

En je voudrais créer un moteur de recherche interne pour mon site. Pour cela je voudrais indexer les pages de mon sites en extrayant le title, les keywords ...... Le problème c'est que j'ai plein de pages donc je voudrais créer un script qui scanne toutes les pages de mon site. Ce script me permettrait de récupérer l'url de la pages et le contenu.

Ma question dans ce post est uniquement de pouvoir scanner les url de mon sites. Par exemple, me retourner l'ensemble des urls présentent dans -http://www.example.fr/rubrique-Ville/*

Merci encore ! 8)
 
WRInaute accro
scanner toutes les pages y compris les pages dynamiques, y'a-t-il de l'UR sur ton site ?
 
WRInaute accro
donc il ne faut pas un script qui scanne tout ton répertoire mais toutes les pages potentiellement créées et rewritées, non ?
 
WRInaute passionné
je vais dire peut etre un truc bete, mais si tu utilisais Google comme moteur interne de ton site?
 
WRInaute discret
tout a fait, je ne veux pas scanner un répertoire mais bien les pages web rewritées sur le net : -http://www.examlpole.fr/rubrique-Ville/*

Merci .

PS : A moins de reconstruire mes pages rewritées a partir de la base :roll:
 
WRInaute accro
@AW : c'est un peu là que je voulais en venir oui...

@evets : tu veux dire, scanner toutes les pages dynamiques d'un répertoire et pour chaque page dynamique compter le nombre de pages rewritées (exemple pour une page de news on a news.php et dans la bdd il y a 144 id de news...), un peu lourd non ?
 
WRInaute discret
je sens que je suis de + en + perdu là :D .

Je pensais trouver très vite un bout de code php pour crawler les pages de mon site comme le font les aspirateur de site mais je vois que c'est plus compliqué qu'il n'y parait.

Je pense que je vais bidouyer un truc a partir de ma base Mysql, c'est à dire, à partir de mes données et de ma politique d'UR, reconstituer les url http://.........

Merci pour votre aide en tous les cas ! :wink:
 
WRInaute discret
Au pire tu fais comme pour construire le site map de google (y a un script sur le forum) et tu te sert du XML ensuite.

Moi c'est ce que je ferai toujours.
 
Discussions similaires
Haut