Seetemap, le nouveau service de génération de sitemap passe en beta ouverte

[Jean-Rémi]

Nous avons remarqué que les solutions existantes de génération manuelle de sitemap n'étaient pas satisfaisantes, one-shot, limitées et peu performantes. Et lorsque ces services sont automatiques, ils génèrent des sitemaps incomplets et difficiles à gérer.

On a donc conçu Seetemap, un outil pour créer des sitemaps complets de site et automatiquement.

https://seetemap.com/fr

 

[zeb]

Vitesse de crawl : Le crawl peut se faire de 4 manières différentes : ...

Crawler un site pour faire un sitemap (outil relativement inutile) est un peut exagéré en regard de l'énergie consommée pour le service rendu. Espérons que tous le web ne procède pas ainsi car bonjour le bilan carbone ...

 

[Leonick]

le mieux est quand même de créer soi-même son sitemap : quand on connait son site, on sait comment générer une liste d'url dans un fichier

 

[Jean-Rémi]

Salut,

Merci pour vos réponses,

@Zeb : Le sitemap, c'est le résultat d'une première étape. Crawler va permettre une analyse plus profonde du site. On va pouvoir diagnostiquer les perf depuis plusieurs endroits, détecter les erreurs types 404/500, non optimisation d'image, erreurs SEO...

@Leonik : Alors oui, tu as raison si tu as un site vitrine de 10 pages et qui ne bouge jamais, pas de soucis. Si tu as un site e-commerce avec ajout de nombreux produits au quotidien, ou même si tu tiens un blog et que tu postes souvent, cela peut vite devenir fastidieux de revenir sur ton sitemap et le modifier à la main. Là avec Seetemap, une fois ton site ajouté, tu n'as plus à t'en soucier.

 

[KOogar]

L'offre Premium est a 3 euros pour 1 site avec 10 maj (mise a jour), la prochaine offre est +de 300% moins cher à 0.80 euros pour 1 site avec 50 maj.

J'ai du mal à suivre...

 

[zeb]

Si tu as un site e-commerce avec ajout de nombreux produits au quotidien, ou même si tu tiens un blog et que tu postes souvent, ...

Je fais une requêtes sur la base de données et je me pose même plus la questions de savoir si c'est a jour.

Maintenant ta remarque sur l'analyse d'autres points est déjà plus fondée (genre "erreurs SEO"), même si on pourrait se poser la questions de savoir quel est votre ligne de pensée sur les critères de qualité d'un site hors de la détection pur et simple d'erreur qu'un log serveur donne déjà.

Les datas crawlées elles sont stockées où ? perso j'ai pas la place sur le serveur pour avoir une version statique du site en plus de mon propre cache qui prend déjà de la place.

On va pouvoir diagnostiquer les perf depuis plusieurs endroits

ça sent pas bon ça :wink: (tjs pour le bilan carbone)

cordialement.

 

[Leonick]

Alors oui, tu as raison si tu as un site vitrine de 10 pages et qui ne bouge jamais, pas de soucis. Si tu as un site e-commerce avec ajout de nombreux produits au quotidien, ou même si tu tiens un blog et que tu postes souvent, cela peut vite devenir fastidieux de revenir sur ton sitemap et le modifier à la main

que tu ais 10 ou 100 000 pages, cela ne fait pas de différence : tu sais comment sont générées les urls de ton site, ça n'est quand même pas dur d'automatiser la génération automatique de ton sitemap, les erreurs 404 sont gérées automatiquement et j'ai une console me permettant de rediriger ultérieurement ces pages et sinon il y a les logs apache.
si je comprends bien, tu vas crawler des dizaines de milliers de pages à nouveau, histoire de découvrir les 3 articles ajoutés et les 5 enlevés 8O
j'ai vraiment du mal à comprendre quel est l'intérêt d'un tel mode opératoire.
Sans compter que des 404 peuvent être générées par des bl externes voire un moteur de recherches interne, choses qui ne seraient pas prises en compte avec un simple crawling

 

[Marie-Aude]

Alors oui, tu as raison si tu as un site vitrine de 10 pages et qui ne bouge jamais, pas de soucis. Si tu as un site e-commerce avec ajout de nombreux produits au quotidien, ou même si tu tiens un blog et que tu postes souvent, cela peut vite devenir fastidieux de revenir sur ton sitemap et le modifier à la main.

Parce que tu créés les pages des posts ou des articles manuellement ? :roll:

Soyons sérieux, il n'y a pas UN CMS qui n'intègre pas une solution pour générer automatiquement un sitemap, et souvent avec beaucoup de finesse

 

[zeb]

Soyons sérieux, ...

C'est le concept que j'essayais de faire passer en douceur pour le commercial de la boite qui dois s'arracher les cheveux sur son plan marketing qui part mal sur l'un des plus gros forums de clients potentiels :lol:

 

[Marie-Aude]

j'aurais dû te laisser continuer dans la douceur !

Cela dit ça aurait sans doute été mieux de valider le concept avant le développement ^^

 

[zeb]

Sont jeunes d'après leurs photos sur le CV de la boite ça viendra ...

 

[Jean-Rémi]

Haha, merci d'y aller doucement avec les jeunes.

Si on a développé Seetemap, c'est que cela partait d'un besoin interne, pour notre site. De plus, on s'est rendu compte que lorsque l'on développait des web app ou des sites ecommerce sur mesure, certains de nos clients en avaient besoin.

Maintenant, nous sommes en beta, juste tout frais de la crèmerie. Il y a forcement des ajustements à faire et c'est pour cela que nous sommes venus sur WebRankInfo. Vers qui pouvions nous aller ? hein

Vos critiques sont très riches d'enseignements, et nous avons comme philosophie de toujours s'améliorer. Au final, c'est que nous n'avons pas assez expliqué. Très bien, on va donc essayer d'expliquer et d'être plus clair sur le service.

Pour répondre aux remarques en général, il faut être clair : c'est un outil qui n'a pas vocation à être universel. Evidemment, si vous avez déjà une batterie d'outils qui fonctionnent bien, ou que vous soyez à l'aise avec vos habitudes, ce n'est peut-être pas (encore) adapté.

D'autre part, si vous utilisez des CMS type Joomla, Wordpress ou même un Prestashop, on est d'accord : vous avez une solution qui s'occupe de tout.

Mais maintenant, si vous avez, ou si vos clients ont un site sur-mesure, alors Seetemap commence à avoir de l’intérêt.

J'espère avoir été un peu plus clair, et ne vous inquiétez pas pour mes cheveux, je les adore trop pour les perdre.

Faire Seetemap avec un bon robot était techniquement ce qui était le plus difficile. Nous en sommes maintenant à la deuxième étape, et c'est là où on peut échanger ensemble. C'est sur les outils qui peuvent éventuellement servir à des pros, comme vous.

On a véritablement beaucoup d'idées, mais l’intérêt c'est de les valider avec vous.

Maintenant ta remarque sur l'analyse d'autres points est déjà plus fondée (genre "erreurs SEO"), même si on pourrait se poser la questions de savoir quel est votre ligne de pensée sur les critères de qualité d'un site hors de la détection pur et simple d'erreur qu'un log serveur donne déjà.

Bonne remarque, quelle est notre ligne de pensée sur les critères de qualité ?
Plusieurs au final, par exemple le temps de chargement des pages, le nombre d'erreur retournées, l'analyse de code, la sémantique les textes alternative sur les images...

Alors, on a pas envie de réinventer la roue, mais de développer des outils pertinents pour des pro.

Soyons positif, nous sommes à l'écoute, ne laissons pas les américains créer tous les saas de demain.

Alors, quel serait d'après vous les outils qui franchement vous aideraient et vous paraissent essentiels ?

 

[Marie-Aude]

D'autre part, si vous utilisez des CMS type Joomla, Wordpress ou même un Prestashop, on est d'accord : vous avez une solution qui s'occupe de tout.

Ou même Magento, OS Commerce, Peel Shopping, Typo3, Dotclear, etc....

Mais maintenant, si vous avez, ou si vos clients ont un site sur-mesure, alors Seetemap commence à avoir de l’intérêt.

Pourquoi ?
De deux choses l'une .... ou bien le site, même sur mesure, a une gestion de contenu, et dans ce cas là, une solution développée à partir de la base de données sera toujours meilleure. Ou bien le site est réellement de petite taille, disons une dizaine de pages, et à partir de ce moment là un sitemap peut être généré manuellement ? (ou en tout cas, pas payant).

Pourquoi une solution "base de données" est toujours meilleure ?
Un sitemap sert à deux choses :
- aider Google à découvrir des contenus qu'il ne pourrait pas facilement crawler
- charger un sitemap dans GWT pour pouvoir avoir un suivi des problemes.

Un outil qui génère un sitemap de l'extérieur, en crawlant un site, fait exactement la même chose que Google. Je ne vois donc pas ce qu'il apporte sur le point 1. Par ailleurs un crawl est toujours plus consommateur de ressources qu'une requête base de données, non ?
Enfin gérer un outil INTERNE pour les gros sites permet d'avoir des regles d'indexation, de priorisation, etc nettement plus fines que si elles sont basées sur l'url.

pper des outils pertinents pour des pro.
Soyons positif, nous sommes à l'écoute, ne laissons pas les américains créer tous les saas de demain.
Alors, quel serait d'après vous les outils qui franchement vous aideraient et vous paraissent essentiels ?

Le problème c'est qu'on part dans une toute autre direction que celle du sitemap, avec des besoins autres.... L'audit d'un site se fait ponctuellement. Les robots explorateurs existent déjà, dont un certain nombre de softs à petit prix, qui donnent d'excellent résultats, et donc la facture, pour une agence qui fait plusieurs audit par semaine, sera inférieure à vos prix "a priori"

Des outils comme Screaming Frog, Xenu, si ils ne sont pas "sexy" et "web 2.0" sont très efficaces, et leur rapports sont assez faciles à manipuler pour quelqu'un qui a un zeste de connaissances informatiques.

Sur la plupart des CMS, des outils de surveillance existent aussi, déjà.

Donc si vous pensez partir dans cette direction, une très bonne étude de marché s'impose un pro est par définition près de ses sous, et va fortement hésiter à payer pour ce qu'il peut avoir gratuitement autrement.

 

[zeb]

D'autre part, si vous utilisez des CMS type Joomla, Wordpress ou même un Prestashop, on est d'accord : vous avez une solution qui s'occupe de tout.

etc ... Cf message de Marie-Aude. Pour ce genre d'outils ou dans l'optique de vendre des services SEO, je serais personnellement parti vers des wrapper destinés a tous ces CMS (genre plugin) afin de créer l'usage facile. Je n'aurais d'ailleurs pas vendu cette partie du système dans la mesure ou les sitemaps sont largement utilisés et que c'est un point d'entré commercial facile.
J'aurais commercialisé les services "+" axés SEO en revanche ...
Sachant qu'en procédant ainsi vous écartiez la faiblesse écologique de votre système puisque vous aviez les blanc pour taper dans la base de donnée.
Le revers c'est que c'est du vrai gros travail ... (contrairement a ce qui suit)

Faire Seetemap avec un bon robot était techniquement ce qui était le plus difficile.

J'ai comme un doute ... wget et un traitement post sur la sortie c'est pas non plus la mer à boire ... :wink: et la j'ai pensé au truc qu'une minute ...
Bref je trouve pas crédible le "ce qui était le plus difficile" mais vous avez peut être des secrets technologiques que j'ai même pas imaginé donc :? mais bon j'en suis pas a mon premier bot-net et ça me laisse un peut perplexe.

Mais maintenant, si vous avez, ou si vos clients ont un site sur-mesure, alors Seetemap commence à avoir de l’intérêt.

Le problème du dev sur mesure c'est que justement je ne pense pas que vous soyez sur le créneau. Dans dev sur mesure il y a "dev" et justement ce genre de service est une composante de base de ce genre de personne (ou alors il faut qu'il change de métier) C'est en ce sens que proposer des plugin pour les CMS de base rentre surement plus dans vos cibles commerciales car c'est utilisé en grande parti par des gens qui ne maitrisent rien du tout une fois le capot moteur ouvert. Je pense de plus qu'il est plus facile de leur faire mettre la main au porte feuille pour une option qui peut leur paraitre utile (la c'est ton job de leur faire croire)

Nous en sommes maintenant à la deuxième étape, et c'est là où on peut échanger ensemble. C'est sur les outils qui peuvent éventuellement servir à des pros, comme vous.

Pro ou pas pro peut importe mais là tu va toucher au coeur de la fibre de chacun car tes outils vont révéler des stratégies (au moins pour les sites commerciaux) et là je suis pas certains que ce soit un domaine ou les pro vont te laisser entrer.

Perso il est évident qu'aucune boite extérieur que je ne connais pas très bien (entend par là avec laquelle je n'ai pas une relation humaine de confiance) ne mettra jamais les pieds dans mon jardin SEO. Ici même, il y a pas 15 personnes qui peuvent dire exactement sur quel secteurs précis j'évolue comment et pourquoi.

 

[Jean-Rémi]

De deux choses l'une .... ou bien le site, même sur mesure, a une gestion de contenu, et dans ce cas là, une solution développée à partir de la base de données sera toujours meilleure. Ou bien le site est réellement de petite taille, disons une dizaine de pages, et à partir de ce moment là un sitemap peut être généré manuellement ? (ou en tout cas, pas payant).

Notre volonté est justement d'éviter des développements supplémentaires sur chaque site fait sur mesure. Nous pensons que les personnes en charge du SEO ne sont pas forcément des dev et vice versa.

Un outil qui génère un sitemap de l'extérieur, en crawlant un site, fait exactement la même chose que Google.

Cette problématique nous l'avons soulevé avec un partenaire en béta privée.
Lui dispose d'un site dont aucun lien ne pointe vers une section qui elle donne accès à tout un tas de page, donc invisible pour un robot. C'est pourquoi notre outil permet d'ajouter des pages non détectables qui par la suite seront parcourues également par notre robot.

Enfin gérer un outil INTERNE pour les gros sites permet d'avoir des regles d'indexation, de priorisation, etc nettement plus fines que si elles sont basées sur l'url.

Il y a certainement des choses qui ne sont réalisables qu'en interne, mais nous avons un moteur de règle également et je serai ravi quand nous aurons atteint ses limites. Si vous avez des exemples de choses que l'on ne pourrait faire qu'en interne nous sommes preneur de ces retours.

Le problème c'est qu'on part dans une toute autre direction que celle du sitemap, avec des besoins autres....

Bien sûr mais la génération du sitemap n'est qu'une étape. Comme dit précédemment le crawl doit permettre de faire d'autres diagnostics en une seule passe pour limiter la consommation de ressources.

Des outils comme Screaming Frog, Xenu, si ils ne sont pas "sexy" et "web 2.0" sont très efficaces, et leur rapports sont assez faciles à manipuler pour quelqu'un qui a un zeste de connaissances informatiques.

Je ne connais pas Xenu mais Screaming Frog est limité à 500 pages en gratuit. La licence est à £99 annuel ce qui est plus que le prix de notre formule la plus chère.

Qui plus est nous avons estimé qu'une solution locale n'était pas pertinente en vue de la partie performance. L'objectif est que le robot puisse tourner dans des conditions non optimales, car tout le monde n'a pas une connexion 20MB, et permette de faire des audits depuis des pays différents pour mesurer la performance réelle perçue.

Donc si vous pensez partir dans cette direction, une très bonne étude de marché s'impose un pro est par définition près de ses sous, et va fortement hésiter à payer pour ce qu'il peut avoir gratuitement autrement

Vous avez tout à fait raison, et nous sommes conscient que certains professionnels ne paieront pas pour simplement gérer des sitemap. Mais c'est un première fonctionnalité et il ne faut pas oublier que nous mettons en place une solution gratuite de base.

 

[finstreet]

"Je ne connais pas Xenu"

Euh...

 

[Leonick]

Si on a développé Seetemap, c'est que cela partait d'un besoin interne, pour notre site. De plus, on s'est rendu compte que lorsque l'on développait des web app ou des sites ecommerce sur mesure, certains de nos clients en avaient besoin.

ben non, justement ça devrait être le contraire : tous les sites sur mesure que j'ai fait pour des clients (mais aussi ceux pour moi), je sais parfaitement comment sont créées les url des pages et donc développer un sitemap auto mis à jour en temps réel ça ne prend pas plus d'1/2 heure, et encore, parce qu'il faut choisir la pondération que l'on donnera à chaque type de lien.
Et, pour la génération, ça ne charge quasiment pas le serveur, contrairement à un crawl complet (pour 30 000 pages, je génère mon sitemap en 3 sec !!)

Cette problématique nous l'avons soulevé avec un partenaire en béta privée.
Lui dispose d'un site dont aucun lien ne pointe vers une section qui elle donne accès à tout un tas de page, donc invisible pour un robot. C'est pourquoi notre outil permet d'ajouter des pages non détectables qui par la suite seront parcourues également par notre robot.

désolé de le dire, mais dans ce cas son site est mal développé. En plus, la présence de liens dans le sitemap ne garanti aucunement que gg ira la crawler et encore moins qu'elle sera indexée : si une page n'a aucun lien externe (direct ou indirect), cela veut dire qu'elle n'a aucun intérêt pour l'internaute. Dans le temps, on faisait ça pour les pages satellites

Il y a certainement des choses qui ne sont réalisables qu'en interne, mais nous avons un moteur de règle également et je serai ravi quand nous aurons atteint ses limites. Si vous avez des exemples de choses que l'on ne pourrait faire qu'en interne nous sommes preneur de ces retours

Je ne connais pas Xenu

ah ouai 8O

Qui plus est nous avons estimé qu'une solution locale n'était pas pertinente en vue de la partie performance.

ben si, car on le fait tourner sur un serveur local, sur lequel on rapatrie régulièrement la bdd

L'objectif est que le robot puisse tourner dans des conditions non optimales, car tout le monde n'a pas une connexion 20MB, et permette de faire des audits depuis des pays différents pour mesurer la performance réelle perçue.

ça on peut l'avoir dans gg analytics

 

[Marie-Aude]

Il y a certainement des choses qui ne sont réalisables qu'en interne, mais nous avons un moteur de règle également et je serai ravi quand nous aurons atteint ses limites. Si vous avez des exemples de choses que l'on ne pourrait faire qu'en interne nous sommes preneur de ces retours.

Selon votre (succinte) explication, vous vous basez sur les url, ce qui est "sommaire".

Bien sûr mais la génération du sitemap n'est qu'une étape. Comme dit précédemment le crawl doit permettre de faire d'autres diagnostics en une seule passe pour limiter la consommation de ressources.

Sauf qu'un sitemap se génère à chaque mise à jour, il doit donc être traité nettement plus souvent que "les autres diagnostics". C'est prendre une enclume pour asseoir une mouche.

Je ne connais pas Xenu mais Screaming Frog est limité à 500 pages en gratuit. La licence est à £99 annuel ce qui est plus que le prix de notre formule la plus chère.

Vous devriez vous intéresser à Xenu.
Quant à Screaming Frog, entre une licence annuelle illimitée et une licence basée sur le nombre de sites, mon expérience prouve que la première est quasiment toujours la plus économique.
Je fais tourner Screaming Frog 50 à 100 sites par semaine. (sites différents, bien sûr, en one shot le plus souvent).
ça fait nettement plus que votre package le plus élevé.

Qui plus est nous avons estimé qu'une solution locale n'était pas pertinente en vue de la partie performance. L'objectif est que le robot puisse tourner dans des conditions non optimales, car tout le monde n'a pas une connexion 20MB

Moi non plus mes déboires avec mon FAI sont d'ailleurs "exemplaires" malheureusement (pour info, je n'ai que 4 MB)

 

[zeb]

Sauf qu'un sitemap se génère à chaque mise à jour, il doit donc être traité nettement plus souvent que "les autres diagnostics". C'est prendre une enclume pour asseoir une mouche.

Maiiiiiiiiiissssssssssssss non voyons !!!! tu aura surement ajouté un <strong> sur la 421 312 page ! c'est un facteur a ne surtout pas rater

50 à 100 sites par semaine .../... pour info, je n'ai que 4 MB

A Québec on dit "grosse corvette petite quéquette" toi c'est plutôt "gros réseau petits tuyaux" si je comprend bien

 

[Marie-Aude]

A Québec on dit "grosse corvette petite quéquette" toi c'est plutôt "gros réseau petits tuyaux" si je comprend bien

Ici on dit juste "Maroc Télécom" :lol:

 

[KOogar]

D'autre part, si vous utilisez des CMS type Joomla, Wordpress ou même un Prestashop, on est d'accord : vous avez une solution qui s'occupe de tout.

Ou même Magento, OS Commerce, Peel Shopping, Typo3, Dotclear, etc....

Si je prend l'exemple de Prestashop il faut revêtir son habit de croisé pour planifier la maj d'1 sitemap. Télécharger un module spécial car Presta (sauf depuis la dernière version 1.5 qui date de 3 mois) n'a pas de script natif pour planifier la maj de son sitemap. Sans oublier que le module n'est pas compatible avec toute les versions de Presta et doit être souvent adapté. Seetmap peut-être une bonne alternative à ce problème.

 

[Marie-Aude]

Perso je n'ai pas eu autant de difficultés que cela à générer mes sitemaps sous Prestashop... Effectivement, beaucoup de choses dans PS sont faites avec des modules externes, mais c'est le cas de nombreux CMS.