Génération du sitemap

Discussion dans 'Crawl et indexation Google, sitemaps' créé par varioflux, 19 Juillet 2011.

  1. varioflux
    varioflux WRInaute discret
    Inscrit:
    6 Août 2004
    Messages:
    90
    J'aime reçus:
    0
    Hello

    Pendant longtemps j'ai utilisé quelques lignes de scripts php intégrées dans mes pages qui écrivent dans une bdd les requettes de mon site, ça me permettait de faire du tracking et même d'obtenir que mes visiteurs me fabriquent eux-même le sitemap utile pour Google.

    Depuis quelques mois j'ai abandonné cette technique car le tracking de mes pages m'a permis de constater le nombre de requêtes farfelues générées, voire de tentatives d'injection sql ou de javascript. Je bloque les mauvais paramètres à l'exécution, mais la requête est enregistrée car le php ne génère pas d'erreur 404 quand ce sont des valeurs qui sont incohérentes (et en + je tiens à savoir ce qui se passe et qui tente...) mais du coup les règles pour nettoyer tout ça et faire un sitemap propre étaient devenues trop lourdes.

    J'ai cru trouver en yoodamap une bonne solution, simple et rapide, mais en creusant un peu et en croisant les requêtes de mon tracking avec les accès effectués par yoodamap (facile, j'ai une ip fixe) je constate qu'il ne tient pas compte des répertoires :

    C'est à dire que -http://www.exemple.fr/ex2/test.php sera visité comme -http://www.exemple.fr/test.php donc page inexistante, donc rien dans le sitemap. Il trouve bien les liens (tous sont vus) mais mal explorés.

    Quelqu'un a déjà rencontré et résolu ce soucis ?

    J'ai testé pas mal d'autres logiciels mais entre les usines à gaz la simplicité de yooda me convenait bien.

    Merci
     
  2. Marie-Aude
    Marie-Aude WRInaute accro
    Inscrit:
    5 Juin 2006
    Messages:
    16 685
    J'aime reçus:
    153
    Si tu as une base de données, je ne comprends pas pourquoi tu ne génères pas le sitemap directement ?
     
  3. varioflux
    varioflux WRInaute discret
    Inscrit:
    6 Août 2004
    Messages:
    90
    J'aime reçus:
    0
    Parce que la BDD ne contenait pas QUE les pages du sites, mais TOUTES les demandes de pages, y compris les robots, les tentatives de hack etc...

    Au bout de quelques années, non seulement la base devenait très grosse, mais je devais passer un temps de plus en plus long pour adapter mon script de génération et filtrer tout l'indésirable.

    Bref, comme il n'y a pas souvent de nouvelles pages, tout au + 10 par mois, un coup de yoodamap et seule la réalité en sort, sauf que le bug décrit me bloque maintenant...
     
  4. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 274
    J'aime reçus:
    0
    oui mais ton contenu est bien dans une bdd ? tu sais donc comment sont créé les url des pages de ton site, non ?
     
  5. varioflux
    varioflux WRInaute discret
    Inscrit:
    6 Août 2004
    Messages:
    90
    J'aime reçus:
    0
    Pas vraiment : il y a une partie statique mais avec des morceaux de php dedans, le tout url rewrité, il y a une galerie photo (phpwebgallery) elle même url rewrité...

    Je me contentais grâce à quelques lignes de php d'enregistrer les urls demandées mais comme je l'ai dit, entre les urls fantaisistes, les tentatives de hack (passages de paramètres bidons) et la taille de la base qui devenait gigantesque, je ne conserve plus que les 3 ou 4 derniers mois, rien d'exploitable dans ce contexte.

    C'est pourquoi à choisir je préfère un script extérieur (même lent, je le lance la nuit) avec possibilité de filtrage et d'exclusion et qui ne cherche que les <a href= en repartant de propre à chaque fois.
     
Chargement...
Similar Threads - Génération sitemap Forum Date
Seetemap, le nouveau service de génération de sitemap passe en beta ouverte Débuter en référencement 14 Novembre 2012
Redirection URL racine vers URL réécrite : pb génération du sitemap Crawl et indexation Google, sitemaps 29 Juin 2010
GSiteCrawler SiteMap : generation URLs "exotiques" Débuter en référencement 11 Novembre 2009
Erreur à la génération du sitemap Crawl et indexation Google, sitemaps 10 Septembre 2009
Outils PHP de génération de sitemap Crawl et indexation Google, sitemaps 27 Juillet 2009
Script generation automatique index sitemap Crawl et indexation Google, sitemaps 15 Avril 2009
Génération de sitemap sur du gros volume Crawl et indexation Google, sitemaps 15 Février 2009
Generation d'un sitemap sans les no-follow Crawl et indexation Google, sitemaps 13 Janvier 2009
Problème de génération sitemap Crawl et indexation Google, sitemaps 12 Février 2008
Un problème avec un outil online de génération de sitemap Crawl et indexation Google, sitemaps 24 Août 2006
Génération de sitemap dynamique Crawl et indexation Google, sitemaps 21 Août 2005
[script] Génération Google sitemap dynamique sans BDD Crawl et indexation Google, sitemaps 29 Juin 2005
Google Sheets et caractère "+" dans génération de QR Code YouTube, Google Images et Google Maps 15 Septembre 2020
Génération d'id unique - Plantage serveur Développement d'un site Web ou d'une appli mobile 6 Décembre 2019
Génération Pages Bidons (Erreur 404) sur Google Netlinking, backlinks, liens et redirections 8 Mars 2019
Service worker bloque génération PDF Développement d'un site Web ou d'une appli mobile 25 Janvier 2019
Génération d'url automatique - duplicate content Référencement Google 3 Avril 2018
Solution de génération adresse ip dynamique Netlinking, backlinks, liens et redirections 7 Juin 2016
Certificat SSL: generation CSR Administration d'un site Web 25 Mai 2016
A propos de la génération de thumbs Administration d'un site Web 12 Janvier 2015