Arrivez-vous à crawler ?

[elji]

J'ai bien sûr un script anti-aspirateur sur mon site. Mais régulièrement, je l'enlève et je crawle mon site pour vérifier qu'il n'y a de liens cassés, ou d'autres problèmes.
Mais je n'y arrive plus. De lui-même, le crawl s'arrête et les requêtes finissent en timeout.
Mon site contient environ 50000 fichiers.
C'est mon serveur qui ne vaut pas grand chose ?

 

[cthierry]

Commencer par regarder ce que disent les logs de ton serveurs, avant de penser qu'il est coupable.

 

[elji]

Hmm, cela prend du temps de chercher dans les logs. Je regarde, je vois les erreurs habituelles des hackeurs qui cherchent à appeler des fichiers .pl sur mon site alors qu'il n'y en a jamais eu, je trouve aussi une erreur que je peux corriger, et que je viens de corriger...

 

[spout]

Tu dois faire un "tail -f" sur les logs (Web server, PHP, load balancer, ...) pour constater au moment où le timeout se produit.

 

[elji]

Tu dois faire un "tail -f" sur les logs (Web server, PHP, load balancer, ...) pour constater au moment où le timeout se produit.

J'ai téléchargé le fichier de logs, et je l'ai ouvert avec Notepad++. J'ai l'heure exacte du timeout, et il n'y a rien dans les logs. Par ailleurs, je viens aussi de recevoir un mail de google qui a trouvé une erreur 500...
J'ai changé de serveur il y a 10 jours, mais je vais rechanger cette semaine, j'ai pas pris la bonne bécane...
J'ai bien fait d'être prudent et de ne louer que pour un mois sans engagement.

 

[elji]

C'est bien le serveur qui déconne, un VPS OVH, et leur support ne vaut pas mieux...

 

[cthierry]

Avant toute chose, voir ce qui amène ce problème récurrent sur tes 2 hébergements. Car souvent on incrimine le matériel et au final c'est du code mal barré qui est responsable.

 

[elji]

J'ai été victime des protections contre le DDOS ! Mon script anti-aspirateur ne sert à rien, il y a déjà des protections sur le serveur qui ont le même effet, et à priori avec plus d'efficacité. Le souci est que j'y ai pas accès...