OVH Community, votre nouvel espace communautaire.

Out of memory ?


madri2
17/12/2015, 21h57
ne regarde pas forcément les logs d'ererurs, regarde si y'a eu beaucoup d'utilisateurs à ce moment là, beaucoup de connexions sur apache ou mysql qui ont augmenté l'utilisation ram

XIII2009
17/12/2015, 18h32
Merci je vais regarder...

Je suis en cours d'analyse des logs apaches... à part les tentatives habituelles sur avec des adresse w00t.... des phpmyadmin et autres....
A part une chose qui a peut être un lien...
à partir du 4 décembre j'ai quelques lignes en 408.... et cela augmente tout doucement et à partir du 12 décembre je commence à en avoir bcp

Code:
109.208.63.216 - - [12/Dec/2015:08:21:51 +0100] "-" 408 0 "-" "-"
86.210.100.32 - - [12/Dec/2015:08:40:23 +0100] "-" 408 0 "-" "-"
86.210.100.32 - - [12/Dec/2015:08:40:24 +0100] "-" 408 0 "-" "-"
92.146.123.235 - - [12/Dec/2015:08:43:01 +0100] "-" 408 0 "-" "-"
83.113.93.223 - - [12/Dec/2015:08:46:56 +0100] "-" 408 0 "-" "-"
83.113.93.223 - - [12/Dec/2015:08:47:26 +0100] "-" 408 0 "-" "-"
77.193.205.250 - - [12/Dec/2015:08:48:01 +0100] "-" 408 0 "-" "-"
2.13.50.100 - - [12/Dec/2015:08:49:21 +0100] "-" 408 0 "-" "-"
2.13.50.100 - - [12/Dec/2015:08:49:21 +0100] "-" 408 0 "-" "-"
Et plus aucun log ni d'accès, ni d'erreur à partir du 15 décembre à 23h57 jusqu'à ce que je redémarre le serveur (un fichier log vide, c'est pour cela que j'ai cru ne plus avoir de log apache).

Je vois également dans le log du kernel que les problèmes ont commencé le 15 décembre à 7h35

Code:
Dec 15 07:35:04 xxx kernel: apache2 invoked oom-killer: gfp_mask=0x201da, order=0, oom_adj=0
Dec 15 07:35:04 xxx kernel: apache2 cpuset=/ mems_allowed=0
Dec 15 07:35:04 xxx kernel: Pid: 32069, comm: apache2 Not tainted 2.6.34.6-xxxx-grs-ipv6-64 #3
....
Dec 15 07:50:54 xxx kernel: fail2ban-server invoked oom-killer: gfp_mask=0x201da, order=0, oom_adj=0
Dec 15 07:50:54 xxx kernel: fail2ban-server cpuset=/ mems_allowed=0
Dec 15 07:50:54 xxx kernel: Pid: 3874, comm: fail2ban-server Not tainted 2.6.34.6-xxxx-grs-ipv6-64 #3
...
Dec 15 07:50:54 xxx kernel: Out of memory: kill process 30859 (apache2) score 129577 or a child
Dec 15 07:50:54xxx kernel: Killed process 30859 (apache2) vsz:518308kB, anon-rss:40716kB, file-rss:0kB
Dec 15 08:16:07 xxx kernel: ntpd invoked oom-killer: gfp_mask=0x201da, order=0, oom_adj=0
Dec 15 08:16:07 xxx kernel: ntpd cpuset=/ mems_allowed=0
Dec 15 08:16:07 xxx kernel: Pid: 12001, comm: ntpd Not tainted 2.6.34.6-xxxx-grs-ipv6-64 #3
Ce que je ne comprend pas non plus c'est que j'ai sur le serveur Monit qui tourne et qui me préviens par email normalement des problèmes... et là aucun mail ni pour les redémarrage de apaches, ni pour la mémoire....

Je continu à regarder.... si vous avez des pistes ou des idées je suis preneurs...

a+

janus57
17/12/2015, 18h09
Bonjour,

en outil "simple" y a munin, il va afficher des informations qui pourrons être très utile (le nombre de hit apache/requêtes SQL/RAM/CPU etc…)

Cordialement, janus57

XIII2009
17/12/2015, 17h48
Bonjour,

Merci de vos pistes...

@ janus57 : pour les logs apaches normalement je dois effectivement avoir ceux avant le reboot... mais hier soir j'étais un peu à l'ouest...
Je vais regarder ça de plus près ce soir...

@TBC_Lyon : je vais regarder pour trouver un outils qui me montre cette évolution... tu en connais un de mémoire sinon je vais une petite recherche google...

Je reviendrais certainement vers vous une fois que j'aurais toutes les infos

a+

TBC_Ly0n
17/12/2015, 12h08
A voir dans un un outil de monitoring comment a évolué l'utilisation de la RAM.
Si c'est une explosion brutale, il faudra retrouver la source (probablement Apache, mais pas nécessairement)
Passer les outils de réglages de MySQL et Apache pour éviter que ça se reproduise.

janus57
16/12/2015, 20h14
Bonjour,

comme vous l'avez dit il faut regarder les logs apache qui normalement doivent être conservés même après un reboot (si c'est pas le cas c'est que vous avez programmé leur destruction et au passage cela ne respecte la la législation FR).

Cordialement, janus57

XIII2009
16/12/2015, 20h05
Bonsoir,

je viens vous demander un peu d'aide pour essayer de diagnostiquer les causes d'un gros plantage de notre serveur dédié.
C'est un ancien serveur Kimsufi 250G (Intel(R) Pentium(R) Dual CPU E2180 / 2 Go de ram / 250 Go de disque)
Installation sous debian squeeze... serveur apache, mail, git, avec les securités qui vont bien (regles iptables, fail2ban...)

Il fonctionnait très bien jusqu'à un incident ce matin...
Tous nos sites étaient inaccessible... le problème est que je n'étais pas en mesure de pouvoir faire des test d'accès au serveur et je n'ai pu que rebooter le serveur via le manager.

Tout est revenu dans l'ordre mais du coup je veux à postériori essayer de comprendre ce qu'il s'est passé.

Dans le fichier syslog je vois les ligne suivantes qui m'interpelle

Code:
Dec 15 07:35:04 XXXX kernel: apache2 invoked oom-killer: gfp_mask=0x201da, order=0, oom_adj=0
Dec 15 07:35:04 XXXX kernel: apache2 cpuset=/ mems_allowed=0
Dec 15 07:35:04 XXXX kernel: Pid: 32069, comm: apache2 Not tainted 2.6.34.6-xxxx-grs-ipv6-64 #3
Dec 15 07:35:04 XXXX kernel: Call Trace:
Dec 15 07:35:04 XXXX kernel: [] ? cpuset_print_task_mems_allowed+0x8d/0xa0
Dec 15 07:35:04 XXXX kernel: [] dump_header+0x76/0x1d0
Dec 15 07:35:04 XXXX kernel: [] ? ktime_get_ts+0xb3/0xe0
Dec 15 07:35:04 XXXX kernel: [] ? ___ratelimit+0xa5/0x120
Dec 15 07:35:04 XXXX kernel: [] oom_kill_process+0x81/0x190
Dec 15 07:35:04 XXXX kernel: [] __out_of_memory+0x50/0xc0
Dec 15 07:35:04 XXXX kernel: [] oom_kill_process+0x81/0x190
Dec 15 07:35:04 XXXX kernel: [] __out_of_memory+0x50/0xc0
Dec 15 07:35:04 XXXX kernel: [] out_of_memory+0x86/0x1e0
Dec 15 07:35:04 XXXX kernel: [] __alloc_pages_nodemask+0x722/0x750
Dec 15 07:35:04 XXXX kernel: [] alloc_pages_current+0x87/0xd0
Dec 15 07:35:04 XXXX kernel: [] __page_cache_alloc+0x67/0x70
Dec 15 07:35:04 XXXX kernel: [] __do_page_cache_readahead+0xcb/0x200
Dec 15 07:35:04 XXXX kernel: [] ra_submit+0x1c/0x20
Dec 15 07:35:04 XXXX kernel: [] filemap_fault+0x416/0x420
Dec 15 07:35:04 XXXX kernel: [] ? __wake_up_bit+0x2c/0x30
Dec 15 07:35:04 XXXX kernel: [] __do_fault+0x53/0x520
Dec 15 07:35:04 XXXX kernel: [] handle_mm_fault+0x216/0xab0
Dec 15 07:35:04 XXXX kernel: [] do_page_fault+0x17f/0x3b0
Dec 15 07:35:04 XXXX kernel: [] ? unmap_region+0x150/0x170
Dec 15 07:35:04 XXXX kernel: [] ? remove_vma+0x66/0x80
Dec 15 07:35:04 XXXX kernel: [] ? do_munmap+0x36f/0x3f0
Dec 15 07:35:04 XXXX kernel: [] page_fault+0x24/0x30
Dec 15 07:35:04 XXXX kernel: Mem-Info:
Dec 15 07:35:04 XXXX kernel: Node 0 DMA per-cpu:
Dec 15 07:35:04 XXXX kernel: CPU    0: hi:    0, btch:   1 usd:   0
Dec 15 07:35:04 XXXX kernel: CPU    1: hi:    0, btch:   1 usd:   0
Dec 15 07:35:04 XXXX kernel: Node 0 DMA32 per-cpu:
Dec 15 07:35:04 XXXX kernel: CPU    0: hi:  186, btch:  31 usd:  25
Dec 15 07:35:04 XXXX kernel: CPU    1: hi:  186, btch:  31 usd:  30
Dec 15 07:35:04 XXXX kernel: active_anon:359697 inactive_anon:120507 isolated_anon:0
Dec 15 07:35:04 XXXX kernel: active_file:272 inactive_file:895 isolated_file:0
Dec 15 07:35:04 XXXX kernel: unevictable:0 dirty:1 writeback:0 unstable:0
Dec 15 07:35:04 XXXX kernel: free:3412 slab_reclaimable:1995 slab_unreclaimable:12875
Dec 15 07:35:04 XXXX kernel: mapped:337 shmem:133 pagetables:6074 bounce:0
Dec 15 07:35:04 XXXX kernel: Node 0 DMA free:8016kB min:40kB low:48kB high:60kB active_anon:3788kB inactive_anon:3676kB active_file:36kB inactive_file:192kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15704kB mlocked:0kB dirty:0kB writeback:0kB mapped:36kB shmem:0kB slab_reclaimable:20kB slab_unreclaimable:48kB kernel_stack:0kB pagetables:88kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:384 all_unreclaimable? yes
Dec 15 07:35:04 XXXX kernel: lowmem_reserve[]: 0 1994 1994 1994
Dec 15 07:50:54 XXXX kernel: fail2ban-server invoked oom-killer: gfp_mask=0x201da, order=0, oom_adj=0
Dec 15 07:50:54 XXXX kernel: fail2ban-server cpuset=/ mems_allowed=0
Dec 15 07:50:54 XXXX kernel: Pid: 3874, comm: fail2ban-server Not tainted 2.6.34.6-xxxx-grs-ipv6-64 #3
Dec 15 07:50:54 XXXX kernel: Call Trace:
Dec 15 07:50:54 XXXX kernel: [] ? cpuset_print_task_mems_allowed+0x8d/0xa0
Dec 15 07:50:54 XXXX kernel: [] dump_header+0x76/0x1d0
Dec 15 07:50:54 XXXX kernel: [] ? cpuset_print_task_mems_allowed+0x8d/0xa0
Dec 15 07:50:54 XXXX kernel: [] dump_header+0x76/0x1d0
Dec 15 07:50:54 XXXX kernel: [] ? ktime_get_ts+0xb3/0xe0
Dec 15 07:50:54 XXXX kernel: [] ? ___ratelimit+0xa5/0x120
Dec 15 07:50:54 XXXX kernel: [] oom_kill_process+0x81/0x190
Dec 15 07:50:54 XXXX kernel: [] __out_of_memory+0x50/0xc0
Dec 15 07:50:54 XXXX kernel: [] out_of_memory+0x86/0x1e0
Dec 15 07:50:54 XXXX kernel: [] __alloc_pages_nodemask+0x722/0x750
Dec 15 07:50:54 XXXX kernel: [] alloc_pages_current+0x87/0xd0
Dec 15 07:50:54 XXXX kernel: [] __page_cache_alloc+0x67/0x70
Dec 15 07:50:54 XXXX kernel: [] __do_page_cache_readahead+0xcb/0x200
Dec 15 07:50:54 XXXX kernel: [] ra_submit+0x1c/0x20
Dec 15 07:50:54 XXXX kernel: [] filemap_fault+0x416/0x420
Dec 15 07:50:54 XXXX kernel: [] ? mem_cgroup_update_file_mapped+0x10/0x90
Dec 15 07:50:54 XXXX kernel: [] __do_fault+0x53/0x520
Dec 15 07:50:54 XXXX kernel: [] handle_mm_fault+0x216/0xab0
Dec 15 07:50:54 XXXX kernel: [] ? restore_args+0x0/0x30
Dec 15 07:50:54 XXXX kernel: [] handle_mm_fault+0x216/0xab0
Dec 15 07:50:54 XXXX kernel: [] ? restore_args+0x0/0x30
Dec 15 07:50:54 XXXX kernel: [] do_page_fault+0x17f/0x3b0
Dec 15 07:50:54 XXXX kernel: [] ? poll_select_copy_remaining+0xa1/0x280
Dec 15 07:50:54 XXXX kernel: [] ? sys_select+0x5c/0x1a0
Dec 15 07:50:54 XXXX kernel: [] page_fault+0x24/0x30
Dec 15 07:50:54 XXXX kernel: Mem-Info:
Dec 15 07:50:54 XXXX kernel: Node 0 DMA per-cpu:
Dec 15 07:50:54 XXXX kernel: CPU    0: hi:    0, btch:   1 usd:   0
Dec 15 07:50:54 XXXX kernel: CPU    1: hi:    0, btch:   1 usd:   0
Dec 15 07:50:54 XXXX kernel: Node 0 DMA32 per-cpu:
Dec 15 07:50:54 XXXX kernel: CPU    0: hi:  186, btch:  31 usd: 185
Dec 15 07:50:54 XXXX kernel: CPU    1: hi:  186, btch:  31 usd: 168
Dec 15 07:50:54 XXXX kernel: active_anon:362069 inactive_anon:121273 isolated_anon:0
Dec 15 07:50:54 XXXX kernel: active_file:0 inactive_file:36 isolated_file:0
Dec 15 07:50:54 XXXX kernel: unevictable:0 dirty:0 writeback:8 unstable:0
Dec 15 07:50:54 XXXX kernel: free:3412 slab_reclaimable:1946 slab_unreclaimable:12690
Dec 15 07:50:54 XXXX kernel: mapped:107 shmem:133 pagetables:4119 bounce:0
Dec 15 07:50:54 XXXX kernel: free:3412 slab_reclaimable:1946 slab_unreclaimable:12690
Dec 15 07:50:54 XXXX kernel: mapped:107 shmem:133 pagetables:4119 bounce:0
Dec 15 07:50:54 XXXX kernel: Node 0 DMA free:8008kB min:40kB low:48kB high:60kB active_anon:3916kB inactive_anon:3700kB active_file:0kB inactive_file:0kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15704kB mlocked:0kB dirty:0kB writeback:8kB mapped:16kB shmem:0kB slab_reclaimable:44kB slab_unreclaimable:28kB kernel_stack:0kB pagetables:76kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:6 all_unreclaimable? yes
Dec 15 07:50:54 XXXX kernel: lowmem_reserve[]: 0 1994 1994 1994
Dec 15 07:50:54 XXXX kernel: Node 0 DMA32 free:5640kB min:5692kB low:7112kB high:8536kB active_anon:1444360kB inactive_anon:481392kB active_file:0kB inactive_file:144kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:2042056kB mlocked:0kB dirty:0kB writeback:24kB mapped:412kB shmem:532kB slab_reclaimable:7740kB slab_unreclaimable:50732kB kernel_stack:2272kB pagetables:16400kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:580 all_unreclaimable? yes
Dec 15 07:50:54 XXXX kernel: lowmem_reserve[]: 0 0 0 0
Dec 15 07:50:54 XXXX kernel: Node 0 DMA: 17*4kB 29*8kB 16*16kB 35*32kB 7*64kB 4*128kB 3*256kB 1*512kB 0*1024kB 0*2048kB 1*4096kB = 8012kB
Dec 15 07:50:54 XXXX kernel: Node 0 DMA32: 50*4kB 8*8kB 8*16kB 2*32kB 1*64kB 4*128kB 2*256kB 0*512kB 0*1024kB 0*2048kB 1*4096kB = 5640kB
Dec 15 07:50:54 XXXX kernel: 32161 total pagecache pages
Dec 15 07:50:54 XXXX kernel: 32001 pages in swap cache
Dec 15 07:50:54 XXXX kernel: 32161 total pagecache pages
Dec 15 07:50:54 XXXX kernel: 32001 pages in swap cache
Dec 15 07:50:54 XXXX kernel: Swap cache stats: add 248781, delete 216780, find 40939241/40950691
Dec 15 07:50:54 XXXX kernel: Free swap  = 0kB
Dec 15 07:50:54 XXXX kernel: Total swap = 523260kB
Dec 15 07:50:54 XXXX kernel: 521983 pages RAM
Dec 15 07:50:54 XXXX kernel: 11664 pages reserved
Dec 15 07:50:54 XXXX kernel: 26380 pages shared
Dec 15 07:50:54 XXXX kernel: 491459 pages non-shared
Dec 15 07:50:54 XXXX kernel: Out of memory: kill process 30859 (apache2) score 129577 or a child
Dec 15 07:50:54 XXXX kernel: Killed process 30859 (apache2) vsz:518308kB, anon-rss:40716kB, file-rss:0kB
et cela continu jusqu'à ce que la mémoire et le swap soit complètement vide...
Je comprends le problème mais aimerais comprendre l'origine.

J'ai regardé les logs apache mais vu que j'ai redémarré le serveur par un reboot je n'ai que ceux après le reboot à priori...

Pouvez-vous m'aider et me dire quoi regarder pour comprendre réellement ce qu'il s'est passé ?

Merci de votre aide

a+