OVH Community, votre nouvel espace communautaire.

problème avec les logs apache, trop gros


lxwfr
20/07/2016, 10h37
ahah, qui dit jpeux pas {--à deviné--}, me fait marré cette lois...
avant 2014 on pouvait voir l'emplacement précise dans google analysics..
bref, entre 'member' et ´guest' :
´member' : je gard,
'guest' : je gard pas, c'est l'interaute visitant seulement,
Tout dépend le projet du prioritaire sur sa on est d'accord.

sich
19/07/2016, 17h03
Oui c'est malheureusement la loi... Même si au niveau Européen il a été reconnu que cette loi allait trop loin dans la violation de la vie privée... Certains pays ont fait marche arrière, mais pas la France... Toujours à la pointe pour surveiller tous ses citoyens....

janus57
19/07/2016, 14h14
Citation Envoyé par lxwfr
il ya les outils analystics pour sa (google analytics, xtic, piwik, et etc... jvé pas gardé en plus les ip fix et non fix des acces_logs des gens.. la cnil recommande de pas garder l'adresse complète genre 1.1.*.*. .
Comme en même temps Webaliser et wstat enlever de même.
ce qui utilise piwik: https://www.cnil.fr/sites/default/fi...tion_piwik.pdf
ce de google: https://support.google.com/analytics/answer/2795983
tous les information ce trouve https://www.cnil.fr/fr/solutions-pou...sure-daudience.



la protection de la vie privé soit on la suit soit on la suit pas complètement.
Bonjour,

heu confondre logs technique et analytics c'est pas mal.
J'espère pour vous que jamais on va vous demander des logs car ça va être coton de justifier le fait que vous les gardez 24H…

Logs != analytics, certes on peu générer un rapport analytics avec des logs, mais les logs c'est avant tout des données techniques non soumis à la loi pour la vie privée (voir le site de la CNIL, les données techniques sont exclues).
Si demain la police de demande d'identifier un internaute et que tu leur donne une plage IP avec un masque en 255.255.0.0 (/16) je crois pas qu'il vont être très content et surtout je doute que google analytics & cie te permettent de donner un logs précis avec la/les requêtes qui ont té fait au niveau du serveur web (donc déjà pour débug un problème c'est déjà plus tendu).

Si un ASR (Administrateur Système et Réseau) n'est pas capable de donner des informations précise à la police ou tout organisme judiciaire celui-ci engage sa responsabilité (idem si il a connaissance de certaines activités).

Note : ceci est au programme de certains diplômes donc c'est pas une "invention" ou une "spéculation".

Cordialement, janus57

Abazada
19/07/2016, 13h34
Citation Envoyé par lxwfr
il ya les outils analystics pour sa (google analytics, xtic, piwik, et etc...
Rien à voir avec le problème actuel.

Citation Envoyé par lxwfr
la cnil recommande de pas garder l'adresse complète genre 1.1.*.*. .
N'importe quoi! Des logs sans IP ça va être super pratique pour la Police

lxwfr
19/07/2016, 09h04
il ya les outils analystics pour sa (google analytics, xtic, piwik, et etc... jvé pas gardé en plus les ip fix et non fix des acces_logs des gens.. la cnil recommande de pas garder l'adresse complète genre 1.1.*.*. .
Comme en même temps Webaliser et wstat enlever de même.
ce qui utilise piwik: https://www.cnil.fr/sites/default/fi...tion_piwik.pdf
ce de google: https://support.google.com/analytics/answer/2795983
tous les information ce trouve https://www.cnil.fr/fr/solutions-pou...sure-daudience.



la protection de la vie privé soit on la suit soit on la suit pas complètement.

Abazada
19/07/2016, 02h46
- la gestion des anciens logs est un autre problème. S'ils sont vraiment gros (en eux-mêmes ou cumul 1 an) la solution habituelle est de les envoyer sur un service/serveur d'archivage, comme le object-storage indiqué ci-dessus.
- pour la gestion du log courant, si toujours trop gros une fois désactivés les images et autres fichiers statiques dons les traces ne sont pas utiles, une solution est de confier sa gestion à un autre serveur. Cela est possible par exemple avec Syslog qui permet d'indiquer un serveur distant, et pas seulement un nom de fichier local.
cf. http://archive.oreilly.com/pub/a/sys...pd-syslog.html & Google

janus57
18/07/2016, 21h06
Citation Envoyé par lxwfr
bj, si ton vps install est à nue, si tu c'est faire créer un script en bash/sh supprime tes logs tous les mois par exemple. en autonome avec cron.
Bonjour,

comme ça il est hors la loi et à la première demande de logs par les autorité il doit sortir les € pour l'amende ?

Ceci est un très très mauvais conseil.

Sinon pour l'archivage des logs il y aurais ceci : https://www.ovh.com/fr/cloud/storage/object-storage.xml (ou tout autre alternatives chez des concurrents).
Du stockage "froid" pour les logs y a rien de mieux et au bout d'un an suffit de les supprimer.

Cordialement, janus57

lxwfr
18/07/2016, 16h45
bj, si ton vps install est à nue, si tu c'est faire créer un script en bash/sh supprime tes logs tous les mois par exemple. en autonome avec cron.

sich
18/07/2016, 08h22
Ne pas enregistrer les accès sur les images ?
Pour ma part sur mes serveurs à forte activité je ne log que les accès aux pages html/php par exemple... Je n'enregistre pas les accès .css, .jpg.png etc...
Le serveur dispose t'il d'assez d'espace disque au passage ? Car si on conserve les logs 1 an, vu la taille... ça va être difficile...
Ne pas oublier que lors de la compression il faut l'espace disque pour le fichier non compressé + la version compressée...

Virtuel
18/07/2016, 04h04
Citation Envoyé par Abazada
Bonjour Virtuel
Si tu ne réponds pas aux questions, il sera difficile de t'aider...
Donc:
- quel(s) fichier(s) log précisément devient si gros ? error? access? domain?
- visuellement, quel type de requêtes est le plus fréquent ?
- comme demandé plus haut, es-tu bien ne mode "prod" et non pas un mode "debug" pour les log ?

Pour remplir des Mo en quelques minutes, il faut quand même un sacré nombre de requêtes !
A la louche, 1 Mo/minutes c'est 80 req/s ...

N'aurais-tu pas un très grand nombre d'images, dans le contenu ou le design ?
Peut-être pas utile de garder toutes leurs requêtes ?

A toi de répondre ou donner plus de détail
Bonjour et merci pour votre aide.
c'est effectivement le log access qui pose problème, tout le reste fonctionne normalement.
Les logs sont en mode production.
Il y a en effet beaucoup d'images, une seule page peut contenir des requêtes pour des dizaines d'images en plus des nombreux scripts.
Il s'agit d'un site à forte affluence et je ne vois rien d'anormal dans les logs. La taille des logs est cohérente avec le trafic et le nombre de requêtes par page vue. Je ne crois pas du tout possible de faire baisser la taille des logs.

Ce qu'il me faut c'est un moyen de les archiver correctement. Il doit bien exister qqch qui permette aux gros sites de faire des logs. Le mieux ça serait une compression au fil de l'eau plutôt que toutes les 24h.. Est ce que c'est possible?

Merci.

Abazada
18/07/2016, 03h07
Bonjour Virtuel
Si tu ne réponds pas aux questions, il sera difficile de t'aider...
Donc:
- quel(s) fichier(s) log précisément devient si gros ? error? access? domain?
- visuellement, quel type de requêtes est le plus fréquent ?
- comme demandé plus haut, es-tu bien ne mode "prod" et non pas un mode "debug" pour les log ?

Pour remplir des Mo en quelques minutes, il faut quand même un sacré nombre de requêtes !
A la louche, 1 Mo/minutes c'est 80 req/s ...

N'aurais-tu pas un très grand nombre d'images, dans le contenu ou le design ?
Peut-être pas utile de garder toutes leurs requêtes ?

A toi de répondre ou donner plus de détail

Virtuel
17/07/2016, 21h46
Rien d'anormal sauf si vous considérez qu'un site très fréquenté est une chose anormale
Mon rang alexa est inférieur à cinquante mille pour vous donner une idée

Retour au sujet si vous voulez bien

sans être sûr à 100% je pense que la taille quotidienne du log apache dépasse probablement ce que le serveur peut allouer de mémoire à un seul processus

y a t il un moyen de voir cette limite et de la modifier sans compromettre la stabilité du serveur?
est ce qu'il faut que j'augmente ma mémoire?
faut il paramétrer la rotation en fonction de la taille du fichier? comment choisir la taille la plus appropriée?

le26
17/07/2016, 16h37
Bonjour,

"des logs de plusieurs Go par jour sur un VPS ???"
je pense qu'il faut s’interroger là dessus, cela ne parait pas normal.

janus57
17/07/2016, 16h35
Bonjour,

déjà la première chose à vérifier c'est le niveau de verbosité des logs, car si on bascule les logs en mode debug là oui ça va faire exploser la taille.

Généralement les logs apache sont en warn de mémoire mais il peuvent être passé à "error" normalement pour un peu réduire la taille (le mieux étant de corriger les erreurs).

Après si ce sont les logs d'accès qui se remplissent c'est une autre histoire.

Combien de site sur le VPS ? Combien de visiteurs par site ? Logs séparés pour chaques sites ?

Cordialement, janus57

Virtuel
17/07/2016, 03h36
Citation Envoyé par buddy
Bonsoir,

déjà, les logs apaches sont sensé "tourner" tout les combien de temps ? tous les jours ?

des logs de plusieurs Go par jour sur un VPS ???
rotation quotidienne
et oui je confirme plusieurs Go de logs par jour sur un vps, je parle d'un log avant compression
c'est une estimation, en quelques minutes ça peut atteindre une centaine de Mo

j'ai environ 15Go d'espace disque disponible sur la partition des logs
et entre 2 et 3 go de RAM disponible sur un total de 4go

sans être sûr à 100% je pense que la taille quotidienne du log apache dépasse probablement ce que le serveur peut allouer de mémoire à un seul processus

y a t il un moyen de voir cette limite et de la modifier sans compromettre la stabilité du serveur?
est ce qu'il faut que j'augmente ma mémoire?
faut il paramétrer la rotation en fonction de la taille du fichier? comment choisir la taille la plus appropriée?

Merci

buddy
17/07/2016, 00h38
Bonsoir,

déjà, les logs apaches sont sensé "tourner" tout les combien de temps ? tous les jours ?

des logs de plusieurs Go par jour sur un VPS ???

Virtuel
17/07/2016, 00h04
Bonjour,

J'ai des problèmes avec les logs apache
Les enregistrements fonctionnent mais il y a un problème avec la rotation
Plus précisément la rotation fonctionne avec tous les logs sauf les logs apache, je pense que la seule explication est qu'ils sont trop gros en raison d'un fort trafic, sans doute plusieur giga de logs apache par jour

Comment faire pour archiver ça proprement ?

Merci.