Peut-on choisir l'heure de scan de google ?

[neo.51]

Bonjours,

Voilà suite à l'installation d'un mod pour que google référence mon forum, je voudrais savoir si on peu spécifier une plage horaire pour le scan de celui-ci.

Le forum étant assez conséquent, le scan de chaque page fait beaucoup de requettes mysql, et en pleinne journnée mon forum sature parfois. DOnc je voudrais que google scan le soir

merci pour votre aide

 

[hetzeld]

Bonjour et bienvenue sur les forums WebRankInfo,

C'est tout à fait impossible, malheureusement pour toi.
Il existe une astuce qui, grâce à un URL rewriting conditionnel selon l'heure de la journée, pourrait interdire l'accès au site.

Je ne pense pas qu'il s'agisse d'une bonne idée, car si tu interdis à GoogleBot l'entrée du site à 14Heures, je serais très surpris qu'il revienne à 22Heures pour voir si tu daignes les laisser entrer. :lol:

Plus sérieusement, si ton forum sature en journée, tu devrais surtout envisager un hébergement plus performant. pour quelques pesos de plus , tes visiteurs "humains" y gagneront aussi. :wink:

Dan

 

[neo.51]

bon ben tant pis, on verra.

Je ne pense pas qu'il s'agisse d'une bonne idée, car si tu interdis à GoogleBot l'entrée du site à 14Heures, je serais très surpris qu'il revienne à 22Heures pour voir si tu daignes les laisser entrer.

+1

Plus sérieusement, si ton forum sature en journée, tu devrais surtout envisager un hébergement plus performant. pour quelques pesos de plus , tes visiteurs "humains" y gagneront aussi

Pour l'hébergement on a quand même un serveur dédié rien que pour le forum :mrgreen:

d'ailleur si vous voulez faire un tour : http://www.developpez.net/forums/index.php

(bon c'est un chtit coup de pub mais c'est pas un site concurent hein :wink: )

enfin merci bien, reste à voir si google augmente significativement la charge du forum quand il scanne :?


a+

 

[hetzeld]

Salut,

Je ne pouvais pas deviner que tu avais un dédié :wink:
Il semble justement que ton dédié (OVH) sature au niveau de sa connectivité réseau. Sur plusieurs traceroute, les temps donnés pour le dernier hop varient entre 200 et 1000 ms, ce qui est beaucoup.
Ce n'est pas un problème en amont, car un traceroute sur WebRankInfo (en mutualisé, aussi chez OVH) donne de 70 à 80 ms.

Tu as quoi comme connectivité ? le 512k de base ?
Tu as les MRTG de ton site ?


Dan

 

[t2ls]

Impossible de définir l'heure de passage de google, mais bon généralement il n'envoie pas 10000 requetes à la seconde

 

[Richard]

Bonjour,

si c'est ta bande passante qui est saturée, je ne pense pas que le passage de google influera beaucoup là dessus... En effet google ne demande que les pages, ce qui est relativement peu en comparaison de la taille des images..

Si cependant tu as ce problème de saturation de la bande passante, il existe diverses méthodes à mettre en oeuvre pour l'économiser.

En voici deux qui en plus ont l'énorme avantage de rendre ton site beaucoup plus rapide pour les utilisateurs, et elles sont cumulables :

- utiliser un nettoyeur de page HTML... Il va te supprimer les commentaires, les espaces en trop, les guillemets en trop...Enfin tout ce qui est nécessaire pour toi qui crée les pages, mais dont les navigateurs se moquent totalement... pour les pages ASP, je recommande celui que l'on trouve sur le ressource kit de Microsoft qui s'appelle HTMLFLTR. Pour le PHP, je pense qu'il doit y avoir l'équivalent.. Attention cependant à ne jamais utiliser ça sur tes sources, mais uniquement sur la version qui est sur le serveur... Tes pages continueront à fonctionner, mais tu ne t'y retrouverais plus... Gain : jusqu'à 30% de la taille et donc de temps de chargement et de bande passante.


- utiliser la compression gzip à la volée... C'est à dire que le serveur va compresser les pages en gzip avant de les envoyer au navigateur.. Il faut savoir que l'html, c'est du texte pur, donc ça se compresse très bien ( jusqu'à 90% ), et c'est autant d'économie sur la bande passante. En plus pour les modems, c'est autant de gagner en temps de chargement (évidemment, c'est moins perceptible avec l'adsl).. Le serveur compresse très vite, et charge peu. Sur IIS les pages statiques sont en plus mise en cache. je ne sais pas comment se comporte un serveur Apache... A creuser. Tous les navigateurs savent gérer ça depuis des années...

Evidemment, il faut aussi optimiser les images... C'est même le premier point à faire pour économiser la bande passante...

Je reste à votre disposition si vous avez besoin d'info sur l'une ou l'autre des solutions.


a++
Richard
www.cinemaquiz.com

 

[neo.51]

Il semble justement que ton dédié (OVH) sature au niveau de sa connectivité réseau. Sur plusieurs traceroute, les temps donnés pour le dernier hop varient entre 200 et 1000 ms, ce qui est beaucoup.
Ce n'est pas un problème en amont, car un traceroute sur WebRankInfo (en mutualisé, aussi chez OVH) donne de 70 à 80 ms.

Tu as quoi comme connectivité ? le 512k de base ?
Tu as les MRTG de ton site ?

oki, je vais transmettre l'info : le site n'est pas à moi, on est une équipe. :lol:

Ce qui est sur c'est que le limitant de notre forum n'est pas la bande passande mais les requettes à la base de données.

Niveau optimisation je pense qu'on a déjà fait à peu prés tout ce qu'il y a à faire.

Enfin bref on part hors sujet là...

Merci encore pour vos réponse et pour ce site ma fois fort sympathique

 

[WebRankInfo]

- utiliser un nettoyeur de page HTML... Il va te supprimer les commentaires, les espaces en trop, les guillemets en trop...Enfin tout ce qui est nécessaire pour toi qui crée les pages, mais dont les navigateurs se moquent totalement...

Attention tu risques de te retrouver avec un code HTML qui ne respecte plus les standards du W3C. Par exemple les guillemets autour des valeurs (exemple : width=12 au lieu de width="12"

 

[BDGest]

Et c'est trés embettant que le code ne resqpecte pas exactement le W3C ?

 

[Richard]

- utiliser un nettoyeur de page HTML... Il va te supprimer les commentaires, les espaces en trop, les guillemets en trop...Enfin tout ce qui est nécessaire pour toi qui crée les pages, mais dont les navigateurs se moquent totalement...

Attention tu risques de te retrouver avec un code HTML qui ne respecte plus les standards du W3C. Par exemple les guillemets autour des valeurs (exemple : width=12 au lieu de width="12"

Désolé, c'est moi qui ai exagéré sur ce que faisait htmlfltr...
Voici ce qui est extrait de la doc :

HTML Text Filter is a command-line tool that removes comments and extra white space from HTML files, decreasing browser load time and improving performance

Richard
www.cinemaquiz.com

 

[WebRankInfo]

les robots d'indexation s'attendent à lire du code HTML : leur norme est celle du W3C. Donc si tu veux te donner toutes les chances d'avoir le contenu de ta page bien indexé, il vaut mieux respecter ces normes.