YoodaMap tourne fou ...

[bg62]

bonjour,
voulant faire un nouveau sitemap pour mon site : http://www.unesourisetmoi.info, je viens de me rendre compte que Yooda Map peut tourner pendant x temps et ... devient tout fou ....
même en évitant de crawler les url suivantes:
-http://www.unesourisetmoi.info/liensdur/
-http://www.blog.unesourisetmoi.info/
-http://www.referencer.unesourisetmoi.info
-http://www.unesourisetmoi.info/blog/
-http://www.unesourisetmoi.info/referencer/
il commence à 4... pages et se retrouve ensuite à ... plus de 8000 pages sans vouloir s'arrêter :evil:
si quelqu'un pouvait me donner son avis, ou un résultat de test sur une autre config que la mienne, ce serait sympa ...
sinon comment procéder ? avec quel autre script ? ... je craque !
grand merci à l'avance, b g

 

[UsagiYojimbo]

Le mieux est encore de faire le script toi-même en php :

1/ Tu peux prévoir tous les cas pouvant poser problème, ce que ne peux Yooda Map
2/ Tu peux générer le sitemap à chaque appel du script (donc sitemap toujours à jour).

 

[bg62]

Le mieux est encore de faire le script toi-même en php :
1/ Tu peux prévoir tous les cas pouvant poser problème, ce que ne peux yooda Map
2/ Tu peux générer le sitemap à chaque appel du script (donc sitemap toujours à jour).

facile à dire ... quand on s'y connait ... mais comment faire ? car cela dépasse, et de loin mes connaissances !
comment faire ou trouver un script pareil ?
(je ne peux pas mettre de code dans chaque page du site comme pour certains "générateurs" de sitemap ... il y en a trop et je n'aurai pas le temps de réaliser tout cela )
si tu as une proposition , elle est la bienvenue
@+ b g

 

[u8086]

Yahoo m'annonce 35 431 URLs pour ton sous-domaine -www.unesourisetmoi.info
et 35 122 pour tous tes sous-domaines (non, je n'ai pas pris de drogue, c'est bien les chiffres qu'il donne).

Il est logique que YoodaMap ou tout autre script/logiciel ne puisses en faire le tour.
Si la RAM de ton PC ne te permet pas de traiter plus de 8000 URLs, alors découpe ton Sitemap en plusieurs Sitemaps.

 

[bg62]

Yahoo m'annonce 35 431 URLs pour ton sous-domaine -www.unesourisetmoi.info
et 35 122 pour tous tes sous-domaines (non, je n'ai pas pris de drogue, c'est bien les chiffres qu'il donne).
Il est logique que YoodaMap ou tout autre script/logiciel ne puisses en faire le tour.
Si la RAM de ton PC ne te permet pas de traiter plus de 8000 URLs, alors découpe ton Sitemap en plusieurs Sitemaps.

:wink: merci, sympa d'avoir répondu mais il y a quelques bugs :
- http://www.unesourisetmoi.info est un domaine, pas un sous-domaine
- la différence des urls n'est pas facile à comprendre ....
- j'ai assez de ram pour le faire, mais je n'ai pas ce nombre de pages, là c'est sur !
- comment faire un sitemap en plusieurs fichiers ?
pourrais-tu regarder de plus près et voir ce que yooda prend réellement ? car il me semble que sur certains liens il tourne en boucle et c'est pour cela que j'ai mis des commutateurs pour ne pas prendre certains dossiers ou sous-domaines ...
grand merci à l'avance @+ b g

 

[u8086]

Vu les chiffres de l'index de Yahoo, ce n'est pas Yooda Map qui a un problème, mais ton site.

Pour le reste : http://www.sitemaps.org/fr/

 

[HawkEye]

pourrais-tu regarder de plus près et voir ce que yooda prend réellement ? car il me semble que sur certains liens il tourne en boucle et c'est pour cela que j'ai mis des commutateurs pour ne pas prendre certains dossiers ou sous-domaines ...
grand merci à l'avance @+ b g

Pour info, je viens de checker avec Xenu, et ça atteint bien les 40K pages.
Fais le test: tu verras par toi-même

 

[bg62]

Pour info, je viens de checker avec Xenu, et ça atteint bien les 40K pages.
Fais le test: tu verras par toi-même

:roll: merci de ce renseignement , tu me parles de 'Xenu' ... connais pas ! peux-tu m'en dire un peu plus ?
@mitiés b g

 

[bg62]

:lol: je viens de faire une petite recherche (google ....) pour trouver ce 'xenu' que je ne connaissais pas et j'ai donc lancé ...
c'est vrai que si on laisse tourner tel quel cela fait beaucoup, avec toutes les options, mais en mettant les mêmes exceptions que dans le post initial, il m'en trouve pas mal (mais il prend les fichiers images !) et en générant ensuite un sitemap au format *.xml je me retrouve avec quelques 4200 urls ... là je dis merci et bravo :idea: mais pourquoi donc yooda n'y parvient-il pas ?
@+ b g

 

[UsagiYojimbo]

Avec Xenu tu peux filtrer et interdire certaines extension (et ainsi n'accepter que celles qui t'intéressent).

 

[bg62]

Avec Xenu tu peux filtrer et interdire certaines extension (et ainsi n'accepter que celles qui t'intéressent).

merci, mais avec yooda aussi et je n'y suis pas arrivé pourtant ... @+ b g

 

[bg62]

Avec Xenu tu peux filtrer et interdire certaines extension (et ainsi n'accepter que celles qui t'intéressent).

bien vu et lorsqu'il est bien paramétré on y arrive !
super
:wink: merci encore