Afficher un message
Vieux 26/10/2007, 02h54   #10
NazzTazz
Membre
 
Date d'inscription: avril 2007
Messages: 95
Envoyer un message via MSN à NazzTazz
Re : Bots, Crawl, Google, Live, Yahoo

Bon... tout le monde essaye de se calmer, il faut réagir dans l'urgence, mais c'est pas une raison pour se manquer de respect.

On dirait que google est en train de faire un fullcrawl sur pas mal de sites ( sur wri on souleve l idee qu ils sont en train de changer leurs algos, ca parait normal de tout recrawler pour refaire les SERP avec le nouvel algo ).

Pour calmer un peu l'effet "foudre" de ce fullcrawl, il serait intelligent que tous les webmasters reglent la vitesse d'indexation sur "plus lente" dans le centre webmaster tools. ( Ca allegera les serveurs, et il vaut mieux etre indexé lentement que pas indexe du tout ! ).

Ensuite, beaucoup de "nouveaux" bots sont en train de faire les bourrins ( exalead est une vraie brute par exemple ).

Coté OVH, il serait cool de ne pas brider les crawl venant de 66.249.0.0/16.

Si tout le monde joue le jeu de baisser sa vitesse d indexation, la charge serveur va diminuer considerablement et OVH pourra reagir dans des conditions plus sympas.

Dans l'interet de tous, il faut absolument laisser passer toutes les requetes venant de chez google ( 66.249.0.0/16 ). Au dela de googlebot, si Mediapartners ( bot de ciblage adsense ) n'arrive pas a crawler les pages, beaucoup de comptes adsense vont morfler, ca veut dire des societes qui deposent le bilan, et des societes qui deposent le bilan, c'est des clients en moins pour OVH.
NazzTazz est déconnecté   Réponse avec citation