Nettoyer un annuaire de ses 404

Discussion dans 'Développement d'un site Web ou d'une appli mobile' créé par VeeTouine, 10 Décembre 2009.

  1. VeeTouine
    VeeTouine WRInaute impliqué
    Inscrit:
    23 Mai 2009
    Messages:
    542
    J'aime reçus:
    0
    Bonjour tout le monde,

    J'ai mon annuaire qui est tout jeune et je commence à penser à la validation des url histoire de purger les 404 qu'on pourrait trouver.

    A votre avis, quelle est la meilleure facon pour faire ca correctement?
    Je pensais tester l'url d'une fiche dès qu'un visiteur l'ouvre, et m'envoyer un mail, voire dépublier automatiquement la fiche si ca retourne une 404.
    Par contre, j'ai peur que ca ralentisse trop l'affichage, ou que ca surcharge le serveur, j'en sais rien en fait car je manque cruellement d'expérience dans le developpement php, vu que c'est mon premier script (le site en question est sous joomla)

    Auriez vous une methode à conseiller sur ce genre de truc?

    Merci à vous

    VeeTouine
     
  2. OTP
    OTP WRInaute accro
    Inscrit:
    16 Décembre 2005
    Messages:
    14 579
    J'aime reçus:
    3
    1/ Créer une page qui contient toutes les URL
    2/ Analyser cette page avec un plug-in ou online pour détecter les 404
    3/ Nettoyer
    4/ Recommencer tous les x mois/x semaines
     
  3. 5_legs
    5_legs WRInaute passionné
    Inscrit:
    30 Avril 2006
    Messages:
    1 521
    J'aime reçus:
    0
    Bonsoir,

    Noble, perspicace et qualitative interrogation :)

    Néanmoins Il y a d'autres critères à prendre en compte : un site en parking ne retournera pas de "404" pour autant doit-il resté proposé aux visiteurs ? ;-)
     
  4. OTP
    OTP WRInaute accro
    Inscrit:
    16 Décembre 2005
    Messages:
    14 579
    J'aime reçus:
    3
    Proposer alors le signalement par les visiteurs.
    Pas infaillible mais ça aidera quand même.
     
  5. 5_legs
    5_legs WRInaute passionné
    Inscrit:
    30 Avril 2006
    Messages:
    1 521
    J'aime reçus:
    0

    Yes sir ! ;-)
    Je reprends votre idée Maître :

    1/ Créer une page qui contient toutes les URL

    Afficher une vignette actualisée du site dans un format suffisamment grand pour permettre en un coup d'œil de repérer les 404, les parkings et autre joyeusetés ;-)

    nettoyer ... perdre entre 3 et 5% de ses résultats ... geindre pour la perte ... être satisfait d'apporter un service de qualité :)
     
  6. VeeTouine
    VeeTouine WRInaute impliqué
    Inscrit:
    23 Mai 2009
    Messages:
    542
    J'aime reçus:
    0
    hmmmm merci pour vos réponses... reponses rapides en plus !

    Idées judicieuses effectivement!

    Toujours grace à WRI, j'ai trouvé ce soft http://home.snafu.de/tilman/xenulink.html qui permet de checker une liste d'urls a partir d'un fichier texte.

    Je viens de faire un tit script qui me genere le fichier, le soucis c'est que l'outil verifier les url que je lui fournit... ainsi que toutes celles qui en dépendent 8O
    Il y a bien une option à decoche mais elle n'est pas prise en compte :?

    Connaissez vous un freeware du meme style? J'en ai bien trouvé un autre, mais un peu trop vieux pour vista malheureusement
    Je prefererais lancer le truc en local, mais si je n'ai pas le choix, j'essaierai des solutions online.

    Merci à vous :)
     
  7. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 270
    J'aime reçus:
    0
    bizarre, je n'ai jamais eu ce problème avec xenu
     
  8. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 018
    J'aime reçus:
    133
    Moi non plus, en demandant au site de n'analyser que les liens de premier niveau, il s'arrête là et hop.

    La plupart des plugins FF qui analysent les liens (par exemple LinkChecker) donne plus d'info que la seule 404 : tu peux ainsi savoir s'il y a redirection, etc. Ce qui permet déjà une analyse plus poussée que la bête analyse des pages inexistantes.
     
  9. VeeTouine
    VeeTouine WRInaute impliqué
    Inscrit:
    23 Mai 2009
    Messages:
    542
    J'aime reçus:
    0
    Bon sang je n'avais pas pensé au plugin FF!

    Je viens de teste LinkChecker (en beta pour la v3.5 de FF) et Pinger qui fait la meme chose.

    C'est nickel, les liens ok sont surlignés en vert, les autres d'une autre couleur selon la reponse retournée.

    Et j'ai donc reussi a faire mon premier script php qui permet d'extraire tous les liens de la table mysql qui va bien, et de les mettre sur une meme page html :D

    Mon annuaire vous remercie ! :wink:

    VeeTouine
     
  10. OTP
    OTP WRInaute accro
    Inscrit:
    16 Décembre 2005
    Messages:
    14 579
    J'aime reçus:
    3
    Qu'est ce que je disais, hein ! :mrgreen:
     
  11. VeeTouine
    VeeTouine WRInaute impliqué
    Inscrit:
    23 Mai 2009
    Messages:
    542
    J'aime reçus:
    0
    OTP, oui mon maîîîîîîître :mrgreen: :wink:
     
  12. 5_legs
    5_legs WRInaute passionné
    Inscrit:
    30 Avril 2006
    Messages:
    1 521
    J'aime reçus:
    0
    On peut en déterminer les sites en parking ?
    Si oui ça va me faire gagner un temps fou
     
  13. OTP
    OTP WRInaute accro
    Inscrit:
    16 Décembre 2005
    Messages:
    14 579
    J'aime reçus:
    3
    Merci, merci, tu peux disposer ! ;)
     
  14. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 018
    J'aime reçus:
    133
    Nan pour ça malheureusement je n'ai pas trouvé d'autres solutions que de vérifier au cas par cas.
     
  15. 5_legs
    5_legs WRInaute passionné
    Inscrit:
    30 Avril 2006
    Messages:
    1 521
    J'aime reçus:
    0
    Merci (encore une fois) pour ta réponse.
    Faute de trouver un système complet, je vais garder ma bonne vignette 320x240 : à ce jeu l'œil s'habitue vite.
     
  16. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 270
    J'aime reçus:
    0
    et en analysant le contenu ça ne pourrait pas marcher ? car il n'y a que peu de régies parking, donc si on trouve ces liens c'est que le site est en parking, non ?
     
  17. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 018
    J'aime reçus:
    133
    J'avais bien pensé à ça aussi, et du coup à développer un bout de script PHP qui ferait une analyse du contenu de la home du site en question pour chercher des mots-clés de type sedo, mais il y a encore une possible marge d'erreur.
     
  18. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 270
    J'aime reçus:
    0
    oui mais le script ne ferait que t'informer de l'éventualité de parking, après à toi de valider manuellement
     
  19. KOogar
    KOogar WRInaute accro
    Inscrit:
    16 Novembre 2004
    Messages:
    4 643
    J'aime reçus:
    82
    pas pour faire de la pub, j'ai mis un code sur phpsources il y a longtemps mais qui fonctionne pas trop mal et il est simple a coupler avec une BDD
    il ressort toute les erreurs importantes pour la gestion d'un annuaire:
    -http://www.phpsources.org/scripts92-PHP.htm
     
  20. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Je propose un outil gratuit de test des liens ( http://www.verification-des-liens.com/test-liens/ ) qui détecte une partie des pages mises en parking (pas toutes) et différentes autres erreurs malgré que la page renvoie un code "200 ok".

    Suite à une autre discussion sur WRI, j'envisage de proposer une version de l'outil comme plugin pour Firefox.

    Jean-Luc
     
  21. VeeTouine
    VeeTouine WRInaute impliqué
    Inscrit:
    23 Mai 2009
    Messages:
    542
    J'aime reçus:
    0
    ah ben la page que tu cites est dans mes favoris depuis quelques jours, j'avais pensé réutiliser ce code, et je pense que je m'en servirai à un moment ou à un autre :D
     
Chargement...
Similar Threads - Nettoyer annuaire 404 Forum Date
Nettoyer un annuaire de sites (liens morts) Administration d'un site Web 11 Avril 2005
Nettoyer son cache navigateur Administration d'un site Web 15 Février 2020
Nettoyer les liens "pirates" de Google Débuter en référencement 21 Juin 2019
Nettoyer les 404s de bots près migration URL Rewriting et .htaccess 19 Mai 2018
Actions pour "nettoyer" un site...votre avis ? Problèmes de référencement spécifiques à vos sites 2 Janvier 2018
Nettoyer un fichier .htacces qui est trop gros URL Rewriting et .htaccess 18 Avril 2017
Nettoyer une base données MySQL Développement d'un site Web ou d'une appli mobile 13 Novembre 2014
Nettoyer un très grand nombre d'URL sortantes Développement d'un site Web ou d'une appli mobile 22 Mai 2014
nettoyer les différents avis Problèmes de référencement spécifiques à vos sites 2 Avril 2014
Nettoyer les liens sortant de mon site Débuter en référencement 16 Avril 2013
Nettoyer un numéro de téléphone avant INSERT Développement d'un site Web ou d'une appli mobile 17 Février 2012
Cherche à nettoyer ma BDD mysql Administration d'un site Web 2 Décembre 2011
Nettoyer les pages des résultats de Google Référencement Google 9 Juin 2011
nettoyer sa reputation comment faire? au secour!!!!! Le café de WebRankInfo 10 Janvier 2011
Nettoyer une chaine par REGEX Développement d'un site Web ou d'une appli mobile 12 Octobre 2010
Nettoyer fichier avec regex Développement d'un site Web ou d'une appli mobile 24 Janvier 2010
Nettoyer le BBcode d'une chaine de caractère Développement d'un site Web ou d'une appli mobile 7 Janvier 2010
Nettoyer url .html%00%00%00 en .html ? URL Rewriting et .htaccess 8 Octobre 2009
nettoyer des URL de la base Google apres url rewriting Débuter en référencement 19 Janvier 2008
Nettoyer une chaine de caractère Développement d'un site Web ou d'une appli mobile 8 Septembre 2007