PowerScale OneFS: Suorituskykyongelmien vianmääritys

Asiakastietokoneet toimivat hitaasti. Tietyt työt, erityisesti klusterissa suoritettavat työt, joko epäonnistuvat tai kestävät odotettua kauemmin.

Suorituskykyongelmat johtuvat yleensä verkkoliikenteestä, verkon kokoonpano-ongelmista, asiakkaan tai klusterin käsittelykuormituksesta tai näiden yhteisvaikutuksesta. Tässä artikkelissa kuvataan useita tehokkaita tapoja suorituskykyongelmien vianmääritykseen.

Vianetsintä InsightIQ:lla

Sisällysluettelo:

• Isilon InsightIQ:n käyttäminen
• Vianmääritys ilman InsightIQ:ta
• Verkon siirtonopeus
• Asiakasyhteyksien jakelu
• Klusterin siirtonopeus
• Klusterin käsittely
• Jonossa olevat toiminnot
• Suoritin

Isilon InsightIQ:n käyttäminen

Isilon InsightIQ on paras tapa seurata suorituskykyä ja tehdä suorituskykyongelmien vianmääritys.

Isilon InsightIQ -virtuaalilaitteen avulla voit seurata ja analysoida Isilon-klusterin toimintaa joustavien ja muokattavien kaavionäkymien avulla InsightIQ-verkkopohjaisessa sovelluksessa. Nämä kaaviot sisältävät yksityiskohtaisia tietoja klusterilaitteiston, ohjelmistojen sekä tiedostojärjestelmien ja protokollan toiminnoista. InsightIQ muuntaa tiedot visuaalisiksi tiedoiksi, jotka korostavat suorituskyvyn poikkeavuuksia, mikä mahdollistaa pullonkaulojen nopean diagnosoinnin tai työnkulkujen optimoinnin.

Lisätietoja InsightIQ:n käytöstä on PowerScale InsightIQ - tietokeskuksessa. 

Vianmääritys ilman InsightIQ:ta

Jos et käytä InsightIQ:ta, voit tutkia suorituskykyongelmia useilla komennoilla. Tee suorituskykyongelmien vianmääritys ensin tutkimalla verkon ja klusterin siirtonopeutta, sitten klusterin käsittelyä ja lopuksi tutkimalla yksittäisten solmujen suoritinnopeuksia.

Verkon siirtonopeus

Käytä verkkotestaustyökalua, kuten Iperf tai Iperf3 Määritä verkon klusterin ja asiakastietokoneiden siirtonopeusominaisuudet.

Käyttää Iperf, suorita seuraavat komennot klusterissa ja asiakkaassa. Nämä komennot määrittävät ikkunan koon, joka on riittävän suuri paljastamaan, aiheuttaako verkkolinkki mahdollisesti latenssiongelmia.

• Klusterin: iperf -s -w 262144
• Työasema: iperf -c <cluster IP> -w 262144

Käyttää Iperf3, suorita seuraavat komennot klusterissa ja asiakkaassa. Nämä komennot määrittävät ikkunan koon, joka on riittävän suuri paljastamaan, aiheuttaako verkkolinkki mahdollisesti latenssiongelmia.

• Klusterin: iperf3 -s -w 262144
• Työasema: iperf3 -c <cluster IP> -w 262144

Asiakasyhteyksien jakelu

Tarkista, kuinka monta NFS (Network File System)- ja SMB (Server Message Block) -asiakasta on yhdistetty klusteriin, jotta voit varmistaa, että ne eivät suosi yhtä solmua.

1. Avaa SSH-yhteys missä tahansa klusterin solmussa ja kirjaudu sisään root Tili.
2. Suorita isi statistics query current list --nodes=all --keys=node.clientstats.connected.nfs,node.clientstats.active.nfs -d komento NFS-työasemien tarkistamiseen. 
   Tulos näyttää yhteen kytkettyjen asiakkaiden määrän solmua kohden ja sen, kuinka monta näistä asiakkaista on aktiivisia kussakin solmussa.
3. Suorita isi statistics query current list --keys=node.clientstats.connected.smb,node.clientstats.active.smb1,node.clientstats.active.smb2 -n all -d SMB-työaseman tarkistuskomento.
   Tulos näyttää yhteen kytkettyjen asiakkaiden määrän solmua kohden ja sen, kuinka monta näistä asiakkaista on aktiivisia kussakin solmussa.

Klusterin siirtonopeus

Arvioi klusterin siirtonopeutta kirjoitus- ja lukutesteillä, jotka mittaavat tiedostosta lukemiseen ja siihen kirjoittamiseen kuluvaa aikaa. Suorita vähintään yksi kirjoituskoe ja yksi lukukoe seuraavasti.

Kirjoita testi.

1. Avaa SSH-yhteysmissä tahansa klusterin solmussa ja kirjaudu sisään root Tili.
2. Vaihda arvoon /ifs Hakemisto: cd /ifs
3. Käytä klusterin komentoriviliittymässä (CLI) tai UNIX- tai Linux-asiakastietokoneessa dd komento, jolla voit kirjoittaa klusteriin uuden tiedoston.
   Suorita seuraava komento: dd if=/dev/zero of=1GBfile bs=1024k count=1024
   Tämä komento luo 1 Gt:n mallitiedoston ja ilmoittaa levylle kirjoittamiseen kuluneen ajan.
4. Ekstrapoloi tämän komennon tuloksesta, kuinka monta megatavua sekunnissa levylle voidaan kirjoittaa yksivirtaisissa työnkuluissa.
5. Jos sinulla on MAC-asiakas ja haluat suorittaa lisäanalyysin,
   1. Käynnistä Activity Monitor.
   2. Suorita cat /dev/zero > /pathToFile komento, jossa pathToFile on kohdetiedoston tiedostopolku.
      Tämä komento auttaa mittaamaan kirjoitustoimintojen siirtonopeutta Isilon-klusterissa. (Vaikka on mahdollista suorittaa dd MAC-asiakkaan komento, tulokset voivat olla epäjohdonmukaisia.)
   3. Tarkkaile komennon tuloksia Järjestelmän valvonnan Verkko-välilehdellä.

Lue testi.
Kun mittaat lukutoimintojen siirtonopeutta, älä suorita lukutestejä tiedostolle, jonka loit kirjoitustestin aikana. Koska tiedosto on välimuistissa, lukutestiesi tulokset olisivat epätarkkoja. Testaa sen sijaan sellaisen tiedoston lukutoimintoa, jota ei ole tallennettu välimuistiin. Etsi klusterista tiedosto, jonka koko on yli 1 Gt, ja viittaa kyseiseen tiedostoon lukutestissä.

1. Avaa SSH-yhteys missä tahansa klusterin solmussa ja kirjaudu sisään root Tili.
2. Käytä klusterin komentoriviliittymässä tai UNIX- tai Linux-asiakastietokoneessa dd komento, jolla luetaan klusterissa oleva tiedosto.
   Suorita dd if=/pathToLargeFile of=/dev/null bs=1024k komento, jossa pathToFile on kohdetiedoston tiedostopolku.
   Tämä komento lukee kohdetiedoston ja ilmoittaa sen lukemiseen kuluneen ajan.
3. Jos sinulla on MAC-asiakas ja haluat suorittaa lisäanalyysin,
   1. Käynnistä Activity Monitor.
   2. Suorita time cp /pathToLargeFile > /dev/null komento, jossa pathToFile on kohdetiedoston tiedostopolku.
      Tämä komento auttaa mittaamaan lukutoimintojen siirtonopeutta Isilon-klusterissa. (Vaikka on mahdollista suorittaa dd MAC-asiakkaan komento, tulokset voivat olla epäjohdonmukaisia.)
   3. Tarkkaile komennon tuloksia Järjestelmän valvonnan Verkko-välilehdellä.

Klusterin käsittely

Rentoja töitä.
Ennen klusterin syöte-/tuotostoimintojen (I/O) (IOPS) tutkimista:

• Määritä, mitkä työt ovat käynnissä klusterissa. Jos käynnissä on vaikeita töitä, kuten Auto-Balance, Collect tai MultiScan, mieti, miksi kyseiset työt ovat käynnissä ja pitäisikö niiden olla edelleen käynnissä.
• Harkitse kulutettavien tietojen tyyppiä. Jos asiakastietokoneet käsittelevät suuria videotiedostoja tai virtuaalikoneita (VM), uusittu työ vaatii normaalia suuremman määrän levyn IOPS-asemia.
• Harkitse rauhallisen työn tilapäistä keskeyttämistä. Tämä voi parantaa suorituskykyä ja olla toteuttamiskelpoinen lyhyen aikavälin ratkaisu suorituskykyongelmaan.

Levyn I/O
Levyn I/O:n tutkiminen voi auttaa määrittämään, ovatko tietyt levyt ylikäytössä.

Klusterin mukaan

1. Avaa SSH-yhteys johonkin klusterin solmuun ja kirjaudu sisään root-tilillä.
2. Suorita isi statistics pstat komento levyn I/O:n selvittämiseksi.
3. Jaa komennon tuloksesta levyn IOPS klusterissa olevien levyjen kokonaismäärällä. Esimerkiksi Isilon IQ 12000x -solmuja käyttävässä 8-solmuisessa klusterissa, jossa on 12 asemaa solmua kohden, levyn IOPS jaetaan 96:lla.
   X-sarjan solmuissa ja NL-sarjan solmuissa levyn IOPS:n pitäisi olla enintään 70 100 %:n satunnaisissa työnkuluissa tai levyn IOPS:n ollessa enintään 140 100 %:n peräkkäisissä työnkuluissa. Koska NL-sarjan solmuissa on vähemmän RAM-muistia ja pienemmät suoritinnopeudet kuin X-sarjan solmuissa, X-sarjan solmut pystyvät käsittelemään suurempia levyn IOPS-asemia.

Solmun ja levyn mukaan

1. Avaa SSH-yhteys johonkin klusterin solmuun ja kirjaudu sisään root-tilillä.
2. Suorita isi statistics query current --nodes=all --stats=node.disk.xfers.rate.sum --format=top Komento, jolla selvitetään solmukohtainen levyjen IOPS, mikä voi auttaa ylikäytettyjen levyjen tunnistamisessa.
3. Suorita isi_stats_tool -a get_key_info|grep node.disk.xfer komento, jolla määritetään, miten tilastotietoja kysellään levykohtaisesti.

Jonossa olevat toiminnot

Toinen tapa selvittää, ovatko levyt ylikäytössä, on määrittää, kuinka monta toimintoa kullekin klusterin levylle on jonossa. Yksivirtaisessa SMB-pohjaisessa työnkulussa neljän jono voi tarkoittaa ongelmaa, kun taas suuren samanaikaisen NFS-nimitilan toiminnoissa jono on suurempi.

1. Avaa SSH-yhteys missä tahansa klusterin solmussa ja kirjaudu sisään root Tili.
2. Suorita isi statistics drive list --nodes=all --sort=queued -d komento, jolla määritetään, miten monta toimintoa kullekin klusterin levylle on jonossa.
3. Määritä, kuinka kauan toiminto oli jonossa: isi statistics drive list --nodes=all --sort=queued -d 

Suoritin

Suoritinongelmat jäljitetään usein toimintoihin, joita asiakkaat suorittavat klusterissa. Käyttämällä isi statistics Komennolla voit määrittää klusterille suoritettavat toiminnot, jotka joko verkkoprotokolla tai asiakastietokone luetteloi.

1. Avaa SSH-yhteys missä tahansa klusterin solmussa ja kirjaudu sisään root Tili.
2. Suorita isi statistics protocol list --long --totalby Op,proto -d --sort TimeAvg --format top komento, jolla määritetään, mitä toimintoja verkossa suoritetaan ja mitkä näistä toiminnoista vievät eniten aikaa.
   Tämä komentotulos antaa yksityiskohtaiset tilastot kaikista verkkoprotokollista järjestettynä sen mukaan, kuinka kauan klusterilta kestää vastata asiakkaille. Vaikka tämän komennon tulokset eivät välttämättä tunnista, mikä toiminto on hitain, se voi osoittaa sinut oikeaan suuntaan.
3. Suorita isi statistics system --nodes all --format top -komennolla, jolla saat lisätietoja suorittimen käsittelystä, kuten solmujen suorittimista käytetään eniten.
4. Suorita isi_for_array -sX 'top -u -n |grep PID -A4' komento, jolla haetaan kunkin solmun neljä prosessia, jotka kuluttavat eniten suoritinresursseja.

• PowerScale OneFS -tietokeskukset
• Nykyiset PowerScale OneFS -korjaukset