I løpet av de siste åtte årene har IT-avdelingen ved Norges teknisk-naturvitenskapelige universitet (NTNU) bygget og tatt i bruk det som er blitt Norges største universitetseide “superdatamaskin”. De kaller den for Idun.
Idun er bygget utelukkende med servere fra Dell Technologies, utstyrt med kraftige datasenter-GPU-er fra NVIDIA. Nå har Idun-klyngen fått en kraftig oppdatering.
– Plattformen består nå av over 300 noder med mer enn 14.000 prosessorkjerner og 230 GPU-er. 56 av disse er Nvidia H100, som gir forskere ved NTNU uovertruffen regnekraft. H100 GPU’ene sitter i 7 Dell PowerEdge XE9680-server noder. XE9680 er Dell’s kraftigste GPU-server, spesialdesignet for AI og HPC-oppgaver, forteller Marius Førland, Account Executive i Dell Technologies.
Systemet støtter NTNU sine viktigste AI-initiativer og har en nøkkelrolle i utviklingen av morgendagens teknologiske gjennombrudd.
Har du lyst å lære mer om hvordan Idun støtter NTNU sine viktigste AI-initiativer? Se NTNUs sesjon med Einar Næss Jensen og Pavlo Khmel på årets Dell Technologies Forum!
Hundre til tusen ganger større simuleringer
Mange forskningsprosjekter krever tilgang til kraftige superdatamaskiner, for eksempel til simulering av ulike fysiske prosesser, opptrening av nevrale nettverk innenfor maskinlæring, eller big data-analyse.
Einar Næss Jensen, senioringeniør ved NTNU, forteller at bruksområdene er mange:
– Idun brukes av både ansatte og studenter som har behov for regnekraft til ulike former for simuleringer og analyser. For eksempel bruker fysikere maskinen til å gjøre analyser og simuleringer ned på atomnivå, mens andre bruker det til språkforskning, finansielle simuleringer, og til og med arkitektur. Totalt sett dekker det et bredt spekter av forskning. I tillegg er en andel av kapasiteten forbeholdt Sintef.
Sparer penger på å ha felles infrastruktur on-prem
Idun er et samarbeid mellom fakultetene på NTNU og IT-avdelingen, hvor målet er å tilby en “compute”-plattform med høy oppetid og som er profesjonelt administrert. Idun skal gjøre det mulig å raskt teste ut og lage prototyper av HPC-programvare – altså programvare for «High Performance Computing», eller superdatamaskiner på godt norsk.
Ansatte og studenter ved NTNU får tilgang til den beregningskapasiteten de trenger til sine prosjekter, i løpet av bare få minutter. Alle fakulteter eller avdelinger kan kjøpe seg inn i klyngen ved å finansiere kapasitet.
– Det var aldri et godt alternativ å kjøpe beregningskapasitet på dette nivået hos noen av de store skyleverandørene, det hadde kostet skjorta. Det er mye rimeligere å ha det på huset, og investeringene betaler seg fort, forklarer Næss Jensen.
Han mener det å gi alle ansatte og medarbeidere enkel tilgang til en infrastruktur som Idun gir en svært god ressursutnyttelse på tvers.
Gjenbruker maskinvare – og overskuddsvarme
Når den kraftige maskinvaren har gjort nytten sin i et gitt antall år, og kanskje er modent for utskiftning, er den fortsatt mer enn kraftig nok til at den kan brukes til andre og mindre beregningsintensive oppgaver.
– Sett fra et miljøperspektiv er dette bra. Ved å flytte den over i annen infrastruktur som ikke har de samme kravene, får vi økt levetid på maskinvaren. I tillegg utvikler datamaskiner som dette mye varme. Overskuddsvarmen fra Idun benytter vi til oppvarming, sier Næss Jensen.
Fakta om Idun
- Idun er en datamaskinklynge ved NTNU i Trondheim som nå består av totalt 234 datasenter-GPU-er fra NVIDIA og 4 FPGA-er.
- Løsningen er bygget opp med blant annet Dells DSS 8440-plattform, spesialdesignet for akselerasjon av maskinlæring, og støtter opptil 10 NVIDIA Tesla V100- eller A100-GPU-er per maskin.
- I tillegg benyttes også Dell PowerEdge-rackservere utstyrt med NVIDIA Tesla V100-, A100- og P100-GPU-er.
- Nodene i klyngen er koblet sammen via to nettverk: et Ethernet-nettverk og et høyhastighets Infiniband-nettverk. GPU-nodene kommuniserer også via NVIDIA NVLink, som gir langt raskere kommunikasjon mellom GPU-ene (eller fra GPU til CPU) enn PCIe-baserte løsninger.
- Idun har nå en total lagringskapasitet på 550 TB, og til sammen 8580 CPU-kjerner fordelt på 188 noder.
Klikk på banneret under for å melde deg på Dell Technologies Forum i Oslo Spektrum, 31. oktober!
Explore the full list of EMEA Dell Technologies Forums here.
