Wkroczenie do świata generatywnej sztucznej inteligencji (GenAI) jest jak wejście w nową rzeczywistość, wypełnioną wyjątkowymi wyzwaniami i możliwościami. Tak jak Dorotka potrzebowała wskazówek, aby poruszać się po Oz, tak organizacje muszą przygotować swoje centra danych, aby sprostać wymaganiom infrastruktury sztucznej inteligencji.
Wymagania obliczeniowe Szmaragdowego Grodu
Wdrażanie infrastruktury sztucznej inteligencji wiąże się z poważnymi wyzwaniami, począwszy od wymagań obliczeniowych, z których najcięższe dotyczą trenowania modeli. Nawet jeśli organizacja nie trenuje modeli od zera, wymagania obliczeniowe dotyczące wnioskowania dużych modeli językowych – plus osadzanie wektorów na potrzeby Retrieval Augmented Generation (RAG) i dopracowywanie – znacznie wykraczają poza te używane w dzisiejszych aplikacjach.
Aby spełnić te wymagania, fizyczny rozmiar, waga, okablowanie, sieci, zasilanie i charakterystyka chłodzenia serwerów generatywnej sztucznej inteligencji opartych na GPU są kilkakrotnie wyższe niż specyfikacje dla serwerów standardowych. Aby wdrożyć tę infrastrukturę sztucznej inteligencji w swoich centrach danych, organizacje muszą przeprowadzić staranne planowanie.
Na przykład Dell PowerEdge XE9680, który został zweryfikowany przez firmę Dell pod kątem zastosowań związanych z wnioskowaniem, to serwer o 6U z 8 kartami graficznymi NVIDIA H100. Ze względu na solidną konstrukcję i wydajność chłodzenia ten serwer waży ponad 200 funtów. Szafa serwerowa z 4 serwerami XE9680 zużywa 20–40 kW energii, zawiera ponad 100 kabli i waży ponad 1000 funtów.
W zależności od potrzeb i skali wdrożenia sztucznej inteligencji można zastosować zalecenia opisane w tym blogu do centrum danych jako całości lub do dedykowanej sekcji sztucznej inteligencji centrum danych.
Mózg Stracha na Wróble: pojemność centrum danych
W klasycznej historii Strach na Wróble mówi, że potrzebuje mózgu, a jego planem jest podążanie za Dorotką, aby znaleźć czarnoksiężnika. W świecie infrastruktury sztucznej inteligencji ważne jest, aby mieć plan dotyczący wielkości centrum danych i przydziału miejsca na potrzeby instalacji serwerów i szaf serwerowych, optymalizacji przepływu powietrza i konserwacji.
Specjaliści ds. wdrożeń usług firmy Dell mogą wspólnie z Twoim zespołem zaprojektować przestrzeń umożliwiającą wydajną obsługę dużej liczby szaf serwerowych infrastruktury sztucznej inteligencji i zapewniającą dodatkową pojemność na potrzeby przyszłej rozbudowy.
Rozmieszczenie szaf w celu ułatwienia konserwacji, dostępu do serwerów i infrastruktury ma kluczowe znaczenie dla dobrego projektu centrum danych i dotyczy również infrastruktury sztucznej inteligencji. Zespoły powinny ustalić regularny harmonogram konserwacji, którego należy przestrzegać. Dotyczy to również regularnych kontroli i wymiany filtrów powietrza, wentylatorów oraz jednostek chłodzących w razie potrzeby.
Odwaga Lwa: skuteczne zarządzanie przepływem powietrza
Przepływ powietrza ma kluczowe znaczenie dla zarządzania ciepłem generowanym przez serwery i systemy infrastruktury. Infrastruktura oparta na sztucznej inteligencji zużywa znacznie więcej energii niż tradycyjne serwery, generując więcej ciepła, przez co przepływ powietrza i chłodzenie jeszcze nabierają znaczenia.
Organizacje powinny stosować strukturalne strategie zarządzania przepływem powietrza, takie jak hermetyzacja ciepłych i zimnych korytarzy oraz kierowanie chłodnego powietrza bezpośrednio do wlotów serwera i gorącego powietrza wywiewanego z dala od sprzętu. Zwiększy to wydajność chłodzenia i obniży koszty energii.
Serce Blaszanego Drwala: zaawansowane zasilanie i chłodzenie
W celu obsługi serwerów GPU o dużej gęstości kluczowa jest ocena potrzeb w zakresie zasilania i chłodzenia. Planowanie powinno obejmować ocenę całkowitego zapotrzebowania na energię teraz i w przyszłości, zapewniając wystarczające zasoby i systemy zapasowe, aby wspierać operacje bez zakłóceń. Centra danych, które nie zostały zaprojektowane z myślą o wyższych wymaganiach infrastruktury sztucznej inteligencji, mogą nie być przystosowane do obsługi serwerów o dużej gęstości GPU.
Rozważ inwestycję w najnowsze technologie zasilania i transformatorów, które oferują wyższą sprawność. Nie tylko zmniejszają one zużycie energii, ale także minimalizują wpływ operacji centrum danych na środowisko. Wykorzystaj zasilacze awaryjne (UPS) do zasilania awaryjnego i energooszczędne jednostki dystrybucji zasilania (PDU) do efektywnego zarządzania zasilaniem i jego dystrybucji w centrum danych.
Zespół firmy Dell pomoże ocenić wymagania w zakresie chłodzenia w celu zarządzania ciepłem generowanym przez obciążenia robocze związane ze sztuczną inteligencją. W obliczu rosnących obciążeń roboczych związanych ze sztuczną inteligencją tradycyjne chłodzenie powietrzem może nie wystarczyć. Wdrożenie rozwiązań chłodzenia cieczą może znacznie zmniejszyć ślad cieplny, umożliwiając wydajniejsze odprowadzanie ciepła, co zapewni stabilność i trwałość w konfiguracjach o większej gęstości.
Ścieżka Toto: złożoność, układ i organizacja kabli
Nie mogliśmy zapomnieć o Toto! Podobnie jak Toto poruszający się po zakamarkach Oz, nasze podejście do wdrażania sztucznej inteligencji obejmuje skrupulatne rozwiązania do zarządzania, które wspierają ułożenie napowietrzne i zarządzanie termiczne. Systemy przesyłowe powinny być zaprojektowane z oddzieleniem kabli zasilających od kabli danych, minimalizując zakłócenia i zwiększając bezpieczeństwo, jak i niezawodność systemu.
W szafie serwerowej ważne jest zachowanie porządku, aby zapobiec blokowaniu się powietrza i ułatwić technikom zlokalizowanie odpowiedniego kabla. Źle poprowadzone kable mogą powodować nagrzewanie i problemy z infrastrukturą przełączającą.
Ponadto skonfigurowanie „zasobnika” generatywnej sztucznej inteligencji często oznacza, że jedna szafa sieciowa obsługuje wiele szaf serwerowych GPU, co skutkuje zwiększeniem liczby i długości kabli biegnących między szafami. Aby systematycznie organizować tę większą liczbę kabli i połączeń, najlepsze praktyki obejmują zaprojektowanie i wdrożenie strukturalnego systemu okablowania i etykietowania.
Aby sprostać przyszłemu rozwojowi, należy wdrażać regulowane systemy rozmieszczania kabli, takie jak panele modułowe i regulowane szafy. Pakiet profesjonalnych usług sztucznej inteligencji firmy Dell obejmuje usługi wdrażania infrastruktury ułatwiające rozmieszczanie i zarządzanie kablami.
Aby jeszcze bardziej uprościć wdrażanie na miejscu, firma Dell może budować, konfigurować, i testować infrastrukturę sztucznej inteligencji w fabryce, znacznie zmniejszając nakład pracy, którą należy wykonać w centrum danych.
Mądrość Dorotki: kwestie utylizacji opakowań
Firma Dell jest świadoma konsekwencji środowiskowych i logistycznych związanych z utylizacją opakowań. Należy wybierać materiały nadające się do recyklingu lub biodegradowalne do pakowania i wdrażać protokoły utylizacji, które priorytetowo traktują zrównoważony rozwój, pomagając spełnić wymagania prawne i poprawiając profil środowiskowy centrum danych.
Organizacje powinny również ocenić swoje centra danych, aby znaleźć obszary możliwości zmniejszenia zużycia energii (i wynikających z tego wymagań dotyczących chłodzenia) istniejącej infrastruktury. Może to pomóc zrównoważyć niektóre potrzeby infrastruktury sztucznej inteligencji i zmniejszyć wpływ na ślad węglowy.
Rozwiązania firmy Dell mają na celu zminimalizowanie ilości odpadów i efektywne zarządzanie kosztami utylizacji, dzięki czemu wdrażanie infrastruktury wykorzystującej sztuczną inteligencję jest równie przyjazne dla środowiska, co zaawansowane technologicznie.
Wkroczenie na drogę z żółtej cegły do centrum danych gotowego do obsługi sztucznej inteligencji
Bohaterowie „Czarnoksiężnika z Krainy Oz” z niewielką pomocą przyjaciół pokonali swoje wyzwania, natomiast firma Dell Technologies może pomóc Twojej organizacji w pomyślnym przejściu do centrum danych gotowego do obsługi generatywnej sztucznej inteligencji dzięki specjalistycznemu planowaniu i wsparciu.
Aby dowiedzieć się więcej o przygotowywaniu centrum danych na nowe wyzwania związane ze sztuczną inteligencją, zapoznaj się z artykułem Dell Professional Services dla generatywnej sztucznej inteligencji lub skontaktuj się z przedstawicielem firmy Dell.
