[cuicui]

mynab écrivait :
Et surtout comment épurer le fichier de stats qui sera pris en compte par urchin....

Je m'étais dis que le responsable de l'erreur aurait pu avoir la gentillesse de la réparer mais bon... Après tout les logs c'est un vrai gruyère depuis 4 mois, pourquoi pas des requêtes qui se répètent des milliers de fois, ça rattrape...

Allez, comme j'avais pas eu d'erreurs depuis plusieurs jours je remonte l'info, hier 7027 requêtes :

64.68.82.27 www.lecamembertmagique.net - [26/Jul/2004:15:33:08 +0200] "GET /gallery-68,794,1,1,en.html HTTP/1.0" 200 4916 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"

Ce qui chane par rapport aux autres c'est l'heure, avant le plantage avait lieu tous les matins vers 8h, là c'est l'après-midi.

[mynab]

Et surtout comment épurer le fichier de stats qui sera pris en compte par urchin....

[cuicui]

A une époque il était question d'une nouvelle fonctionnalité dans le manager pour recalculer un jour particulier dans Urchin...

Si les fichiers de logs sont "épurés" (sans doublons), pourquoi pas, mais je suis pas sûr que recalculer uniquement le jour est suffisant, il faudrait aussi recalculer derrière toutes les stats (annuelle, mensuelle, etc.) pour que la modif soit prise en compte.

[mynab]

Effectivement! Ce qui me gene le plus c'est que je suis sur d'avoir ete affecte par le meme bug et que ca ne sera pas rattrapable : les stats d'urchin seront definitevement fausses...

[snakes]

c clair qu'il y a un blème

[cuicui]

Là n'est pas le problème

Le problème c'est que tous les matin vers 8h, certaines requêtes sont dupliquées des milliers de fois dans mes logs... Quand je dis "dupliquer", c'est que la ligne est exactement la même, l'ordre chronologique n'est plus respecté. C'est un bug dans les logs, pas un problème de moteur de recherche.

A propos joli score ce matin, 115.085 requêtes, 26Mo de log, yipee!!! Allez, je vous donne les 20.000 premières lignes du fichier, vous allez p'tête mieux comprendre.

http://lecamembertmagique.net/logs/

(je vous conseille de regarder aux alentour de 8h, c'est rigolo.)

Je voulais aussi préciser que ces répétitions sont prises en compte dans Urchin...

[mynab]

D'apres tes logs tout ce que tu vois sont des robots de moteur de recherche qui viennent scanner ton site: yahoo, walhello et msnbot...

Tu peux regarder ce site http://www.robotstxt.org/ et notamment http://www.robotstxt.org/wc/norobots.html.

Une autre alternative si tu utilises le php est de detecter si ta page est accedee par un robot ou pas (doit etre assez facile via le referrer ou le user-agent ou je sais pas quoi) et de produire des versions text-only de tes pages pour pas que les robots demandent toutes les images.

La prochaine version de phpBB (2.2) inclut un tel systeme par exemple.

mynab

[snakes]

OK, j'avais pas lu ca.
Ouais la fo sans doute appeler OCTAAAAAAVEEEEE
;-)

[cuicui]

snakes écrivait :
C pas tout à fait identique:
[...]
Déjà les requete se font pas à la meme heure à la seconde pres. Ce sont des requetes distante d'une dizaine de secondes. Puis regarde le fichier de la requete
un coup c'est /gallery-45,816,2,1,fr.html, un coup c'est
/gallery-67,777,2,1,fr.html etc....
Donc c'est bien MSNBOT qui vient référencer tes differentes pages de gallerie.

Oui, sauf que le bloc que j'ai cité se répète 7028 fois !!!!!!

[snakes]

C pas tout à fait identique:
65.54.164.75 www.lecamembertmagique.net - [10/Jul/2004:07:59:50 +0200] "GET /gallery-11,821,2,1,fr.html HTTP/1.0" 200 4963 "-" "msnbot/0.11 (+http://search.msn.com/msnbot.htm)"
65.54.164.75 www.lecamembertmagique.net - [10/Jul/2004:07:59:54 +0200] "GET /gallery-11,822,2,1,fr.html HTTP/1.0" 200 4963 "-" "msnbot/0.11 (+http://search.msn.com/msnbot.htm)"
65.54.164.75 www.lecamembertmagique.net - [10/Jul/2004:07:58:50 +0200] "GET /gallery-71,841,2,1,fr.html HTTP/1.0" 200 4830 "-" "msnbot/0.11 (+http://search.msn.com/msnbot.htm)"
65.54.164.75 www.lecamembertmagique.net - [10/Jul/2004:07:58:59 +0200] "GET /gallery-71,838,2,1,fr.html HTTP/1.0" 200 4724 "-" "msnbot/0.11 (+http://search.msn.com/msnbot.htm)"
65.54.164.75 www.lecamembertmagique.net - [10/Jul/2004:07:59:08 +0200] "GET /gallery-67,799,2,1,fr.html HTTP/1.0" 200 4991 "-" "msnbot/0.11 (+http://search.msn.com/msnbot.htm)"
65.54.164.75 www.lecamembertmagique.net - [10/Jul/2004:07:59:40 +0200] "GET /gallery-67,777,2,1,fr.html HTTP/1.0" 200 4991 "-" "msnbot/0.11 (+http://search.msn.com/msnbot.htm)"
65.54.164.75 www.lecamembertmagique.net - [10/Jul/2004:07:59:45 +0200] "GET /gallery-45,816,2,1,fr.html HTTP/1.0" 200 4989 "-" "msnbot/0.11 (+http://search.msn.com/msnbot.htm)"

Déjà les requete se font pas à la meme heure à la seconde pres. Ce sont des requetes distante d'une dizaine de secondes. Puis regarde le fichier de la requete
un coup c'est /gallery-45,816,2,1,fr.html, un coup c'est
/gallery-67,777,2,1,fr.html etc....
Donc c'est bien MSNBOT qui vient référencer tes differentes pages de gallerie.

[cuicui]

Effectivement c'est toujours vers la même heure, mais à chaque fois une ligne (ou plus) est répétée 7028 fois à l'identique...

C'est sympa, voir flatteur, mais quand les fichiers de logs font 10Mo et que urchin indique que j'ai +5000% de requêtes ça fait un peu desordre...

[snakes]

La je remarque que les secondes changent.

[cuicui]

Allez, on garde le rythme...

7028 requêtes :

213.73.177.37 www.lecamembertmagique.net - [12/Jul/2004:07:58:27 +0200] "GET /gallery-52,598,1,2,fr.html HTTP/1.0" 200 5311 "-" "appie 1.1 (www.walhello.com)"

Octave, si tu me lis...

[cuicui]

XavierB écrivait :
c'est donc bien un bug d ovh deja signale, de duplication de lignes dans les logs

Il me semble qu ils l ont corrige et que ca ne devrait plus se reproduire...

Et pourtant aujourd'hui j'ai ces 4 lignes qui se répétent 7026 fois (28104 requêtes en tout)... AHEUM...

65.54.164.75 www.lecamembertmagique.net - [10/Jul/2004:07:59:50 +0200] "GET /gallery-11,821,2,1,fr.html HTTP/1.0" 200 4963 "-" "msnbot/0.11 (+http://search.msn.com/msnbot.htm)"
65.54.164.75 www.lecamembertmagique.net - [10/Jul/2004:07:59:54 +0200] "GET /gallery-11,822,2,1,fr.html HTTP/1.0" 200 4963 "-" "msnbot/0.11 (+http://search.msn.com/msnbot.htm)"
65.54.164.75 www.lecamembertmagique.net - [10/Jul/2004:07:58:50 +0200] "GET /gallery-71,841,2,1,fr.html HTTP/1.0" 200 4830 "-" "msnbot/0.11 (+http://search.msn.com/msnbot.htm)"
65.54.164.75 www.lecamembertmagique.net - [10/Jul/2004:07:58:59 +0200] "GET /gallery-71,838,2,1,fr.html HTTP/1.0" 200 4724 "-" "msnbot/0.11 (+http://search.msn.com/msnbot.htm)"
65.54.164.75 www.lecamembertmagique.net - [10/Jul/2004:07:59:08 +0200] "GET /gallery-67,799,2,1,fr.html HTTP/1.0" 200 4991 "-" "msnbot/0.11 (+http://search.msn.com/msnbot.htm)"
65.54.164.75 www.lecamembertmagique.net - [10/Jul/2004:07:59:40 +0200] "GET /gallery-67,777,2,1,fr.html HTTP/1.0" 200 4991 "-" "msnbot/0.11 (+http://search.msn.com/msnbot.htm)"
65.54.164.75 www.lecamembertmagique.net - [10/Jul/2004:07:59:45 +0200] "GET /gallery-45,816,2,1,fr.html HTTP/1.0" 200 4989 "-" "msnbot/0.11 (+http://search.msn.com/msnbot.htm)"

[XavierB]

c'est donc bien un bug d ovh deja signale, de duplication de lignes dans les logs

Il me semble qu ils l ont corrige et que ca ne devrait plus se reproduire...

[cuicui]

snakes écrivait :
y'a mm pas les secondes qui changent ?

Nope, c'est d'ailleurs pour ça que j'ai précisé dans la même seconde dans mon message d'origine.

[snakes]

y'a mm pas les secondes qui changent ?

[cuicui]

XavierB écrivait :
Si c la exactement la meme ligne ds tes logs apache, c n est pas du flood c un bug OVH

Sinon je laisse les experts repondre

C'est (7028 fois) exactement la même ligne.

[XavierB]

Si c la exactement la meme ligne ds tes logs apache, c n est pas du flood c un bug OVH

Sinon je laisse les experts repondre

[cuicui]

Bonjour,

Aujourd'hui, dans la même seconde, j'ai eu 7028 requêtes:

66.196.90.71 www.lecamembertmagique.net - [09/Jul/2004:07:59:31 +0200] "GET /gallery-63%2C724%2C1%2C1%2Cfr.html HTTP/1.0" 200 1769 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Ça me l'a déjà fait une fois (même nombre de requêtes), j'aimerais savoir si c'est un flood ou une gourrance dans les logs.