VNX: kernel.cpu.utilization.cpuutil > 90 15 minuutin ajan

Heikentynyt CIFS, NFS-suorituskyky ja liian korkea suorittimen käyttö päivämäärän muuttajilla pitkään

Tiedostoon /nas/log/sys_log tulvii seuraavia hälytyksiä:

Oct 20 10:19:21 2016:CS_PLATFORM:PERFSTATS:NOTICE:3:::::nas_alerterd: Clearing event for policy: default:server_2:kernel.cpu.utilization.cpuutil is > 90 for 15 minutes due to value = 88
Oct 20 10:20:26 2016:CS_PLATFORM:PERFSTATS:NOTICE:3:::::nas_alerterd: Clearing event for policy: default:server_3:kernel.cpu.utilization.cpuutil is > 90 for 15 minutes due to value = 89
Oct 20 10:35:21 2016:CS_PLATFORM:PERFSTATS:WARNING:2:::::nas_alerterd: Raising event for policy: default:server_2:kernel.cpu.utilization.cpuutil is > 90 for 15 minutes. The last sample value was 94
Oct 20 10:48:26 2016:CS_PLATFORM:PERFSTATS:WARNING:2:::::nas_alerterd: Raising event for policy: default:server_3:kernel.cpu.utilization.cpuutil is > 90 for 15 minutes. The last sample value was 95
Oct 20 11:01:26 2016:CS_PLATFORM:PERFSTATS:NOTICE:3:::::nas_alerterd: Clearing event for policy: default:server_3:kernel.cpu.utilization.cpuutil is > 90 for 15 minutes due to value = 87
Oct 20 11:17:21 2016:CS_PLATFORM:PERFSTATS:NOTICE:3:::::nas_alerterd: Clearing event for policy: default:server_2:kernel.cpu.utilization.cpuutil is > 90 for 15 minutes due to value = 89
Oct 20 11:21:26 2016:CS_PLATFORM:PERFSTATS:WARNING:2:::::nas_alerterd: Raising event for policy: default:server_3:kernel.cpu.utilization.cpuutil is > 90 for 15 minutes. The last sample value was 96

[nasadmin@storage ~]$ server_sysstat server_2
server_2 :
threads runnable = 216
threads blocked = 6859
threads I/J/Z = 1
memory free(kB) = 6925375
cpu idle_% = 2 < ------- 98% utilized

[nasadmin@storage ~]$ server_sysstat server_3
server_3 :
threads runnable = 61
threads blocked = 6940
threads I/J/Z = 1
memory free(kB) = 6683987
cpu idle_% = 1 < ------- 99% utilized

Järjestelmän yleinen kokoonpano ja kapasiteettianalyysi saatiin päätökseen sen määrittämiseksi, minkä tyyppisiä vaatimuksia (replikointien määrä, deduplikointi, tarkistuspisteaikataulut jne.) kullekin tietojen siirtäjälle asetetaan. Todettiin, että VMware-sovellusta nimeltä Mirage käytettiin kuvanhallintaan. Tämä ohjelmisto varmuuskopioi tuhansia työasemia asiakasympäristössä CIFS: ään, NFS-jakoihin luomalla useita pieniä CVD-tiedostoja.

Tässä esimerkissä määritettiin 200 VMware Mirage -istuntoa, jotka perustuivat tunnin välein tilannevedoksiin 4 000 koneesta. Yksi tietokone vaatii yhden CVD-tiedoston, joka puolestaan tarvitsee 1,5 IOPS:n tilannevedoksen valmistumiseen. Kun varmuuskopiot olivat käynnissä, suorituskyky oli hidas ja Miragen puolella koettiin valtava viive noin 626,78 kt/ms.

server_2 tiedonsiirtoprofiili tallennettiin, kun suorittimen käyttöaste oli liian suuri ja VMware Mirage -sovellus oli käynnissä. Profiili on määritetty toimimaan 60 sekuntia:
Esimerkki:

[nasadmin@storage ~]$ /nas/tools/profile_slot -slot 2 -method function -seconds 60 -output /root_vdm_3/FS_Backup_01/profile_slot2.out
Starting profile on slot 2 with the following params...
Slot = 2
Method = function
Seconds = 60
Ignorebounds = no
Frequency = 256
Outfile = /root_vdm_3/FS_Backup_01/profile_slot2.out
Profile started. Waiting for 60 seconds...
Profile stopped.
Profile output has been written to /root_vdm_3/FS_Backup_01/profile_slot2.out on server in slot 2.

Data Mover -profiilin analyysi saatiin päätökseen ja todettiin, että ensisijainen pullonkaula, joka kuluttaa suurimman osan suorittimista, oli SMB-salausprosessi nimeltä "AES_encrypt". Tätä SMB-prosessia käytetään SMB-tietojen päästä päähän -salaukseen, ja se suojaa tietoja salakuuntelulta epäluotettavissa verkoissa.

[nasadmin@storage ~]$ more profile_slot2.out | grep -i aes
0.0% (          1 ) EVP_aes_128_cbc
0.0% (          2 ) aes_init_key
1.0% (        631 ) aes_cbc_cipher
0.0% (         16 ) private_AES_set_encrypt_key
44.8% (      27454 ) AES_encrypt < ---------------------
0.9% (        581 ) AES_cbc_encrypt
0.0% (          1 ) EVP_aes_128_cbc
0.8% (        123 ) aes_cbc_cipher
0.0% (          1 ) private_AES_set_encrypt_key
37.0% (       5676 ) AES_encrypt < ---------------------
0.8% (        128 ) AES_cbc_encrypt
0.0% (          1 ) aes_init_key
0.9% (        140 ) aes_cbc_cipher
0.0% (          3 ) private_AES_set_encrypt_key
47.1% (       7219 ) AES_encrypt < ---------------------
0.9% (        146 ) AES_cbc_encrypt
0.0% (          1 ) aes_init_key
1.3% (        204 ) aes_cbc_cipher
0.0% (          7 ) private_AES_set_encrypt_key
48.2% (       7388 ) AES_encrypt < ---------------------
0.9% (        151 ) AES_cbc_encrypt
1.0% (        164 ) aes_cbc_cipher
0.0% (          5 ) private_AES_set_encrypt_key
46.8% (       7171 ) AES_encrypt < ---------------------
1.0% (        156 ) AES_cbc_encrypt

Käytettävissä on kaksi vaihtoehtoa:

Vaihtoehto 1:
Älä tee muutoksia, anna SMB-tietoliikenteen enimmäisprotokollan pysyä SMB3:ssa, kestää korkea suoritinmäärä ja heikko suorituskyky.

Vaihtoehto 2:
Toteutetaan kiertotapa, jolla SMB-tiedonsiirron enimmäisprotokolla poistetaan SMB3:sta SMB2:een. Suurin ero SMB3: n ja SMB2: n välillä on "AES_Encrypt". Jos enimmäisprotokolla pudotetaan SMB2:een, salausprosessi hidastuu, suorittimen käyttö laskee ja suorituskyvyn pitäisi parantua.

SMB2-protokollan ottaminen käyttöön tietojen siirtäjässä:

1. Kirjaudu ensisijaiseen ohjausasemaan putti-/SSH-root-käyttäjänä

2. Pyydä asiakkaalta lupa pysäyttää CIFS-palvelu tilapäisesti tiedonsiirtotyökalussa. Tämä aiheuttaa pienen katkoksen CIFS-pääsyyn CIFS-palvelun ollessa pysäytettynä, joten se on ajoitettava asiakkaan kanssa.

   server_setup server_x -P cifs -o stop

3. Vaihda SMB-tiedonsiirron enimmäisprotokolla SMB3:sta SMB2:een:

   server_cifs server_x -add security=NT,dialect=SMB2

4. Käynnistä CIFS-palvelu uudelleen:

   server_setup server_x -P cifs -o start

5. Varmista, että CIFS-palvelu on käynnistynyt uudelleen ja että enimmäisprotokollan arvo on SMB2:

   server_cifs server_x

   Esimerkki:

   [root@Bstorage]# server_cifs server_2
   server_2 :
   384 Cifs threads started
   Security mode = NT
   Max protocol = SMB2.1 < -----