Tak jak poprzedni tekst – na temat Big Data – ten też będzie opierał się na serii rozmów, które prowadziłem z klientami na temat koncepcji nowych serwerów kasetowych Dell EMC PowerEdge MX.
Zacznę od rzeczy oczywistych. Jeśli porównujemy serwery rack i kasetowe to widać sporo zalet tych drugich – prostsze okablowanie i instalacja, zintegrowane zarządzanie, większa gęstość, lepsza efektywność energetyczna, standaryzacja wszystko to jest wielkim atutem w organizacjach wykorzystujących dużo maszyn. Jednak w ostatnich latach infrastruktura dużych centrów danych musiała przyjąć zupełnie nowe typy aplikacji i choćby z tego powodu w czasie naszych rozmów pada pytanie: „czy blejdy dalej mają sens?”
Zacznijmy od początku…
Większość konsultantów, architektów, inżynierów ma na takie pytanie odpowiedź „To zależy…” i jest to oczywiście początek dłuższego wywodu.
Zacznijmy od opisu zmiany, która rzeczywiście ma miejsce. Po pierwsze obok, tradycyjnych aplikacji i budowanego dla nich środowiska: LAN <-> serwery <-> SAN pojawiła się grupa rozwiązań takich jak np. Hadoop, które nie tylko eliminują część „SAN” ale także wymagają szybkiego i specyficznie budowanego dostępu do dysków lokalnych w serwerach. Podobna architektura wymagana jest przez rozmaite platformy hyperkonwergentne (HCI) będącej podstawą do budowy instalacji VDI czy prywatnych rozwiązań chmurowych. Z kolei dynamika, której spodziewamy się po chmurze prywatnej stawia dodatkowe wymagania sieci LAN, której konfigurację chcielibyśmy automatyzować – stąd w dużych centrach danych coraz popularniejsze są rozwiązania wykorzystujące sieci definiowane programowo (SDN).
Gdzie w tym wszystkim jest miejsce dla serwerów kasetowych z ich ograniczeniami dotyczącymi ilości i sposobu obsługi dysków i skąpym portfolio przełączników zwykle agregującymi jedynie ruch dla urządzeń bliżej rdzenia sieci?
Kiedy myślę o odpowiedzi na te wątpliwości cieszę się, że nasi inżynierowie projektując PowerEdge MX dostrzegli te trendy. Właściwie widzieli je już znacznie wcześniej projektując platformę PowerEdge FX – obudowę blade 2U na 1 do 8 serwerów z możliwością instalacji kart PCIe i dysków – nawet 50 na serwer. Obudowa FX oferuje wysoką gęstość i nie tylko pozwala na budowę klastrów VSAN ale także jest wykorzystywana w architekturach referencyjnych Hadoop dla Claudera i Hortonworks.
PowerEdge MX nie oferuje takiej gęstości jak PowerEdge FX – do zmieszczenia 8 serwerów potrzebuje obudowy 7U ale za to znacznie lepiej wpisuje się w opisane poprzednio zmiany w centrach danych.
Gęstość upakowania
Zacznijmy jednak od rozmiaru obudowy, bo on też budzi kontrowersje. Po pierwsze jej rozmiar jest konsekwencją stale rosnącej powierzchni procesorów. Od czasu, gdy w 2008 powstała obudowa PowerEdge M1000e powierzchnia podstawki procesora Intel wzrosła ponad trzykrotnie. Nie bez znaczenia jest też rosnąca emisja ciepła. Krótko mówiąc, jeśli nie chcemy iść na kompromisy to obudowa kasety z serwerem musi być większa niż dawniej. Szczególnie, że chcemy odpowiadać na nowe zapotrzebowania – czytaj obsużyć dyski lokalnie.
Lokalna pamięć masowa serwera
Zmniejszenie gęstości pozwoliło w serwerze dwugniazdowym MX740p zainstalować 6 dysków 2,5”, a w serwerze czterogniazdowym MX840p 8 sztuk. Już samo to zapewniło nowym serwerom kasetowym miejsce na liście VSAN Ready Node w wersji All Flash z wykorzystaniem wyłącznie napędów wewnętrznych. Oczywiście w ten sposób żaden z nich nie staje się pojemnościowym gigantem ale na to także jest rada. Obudowa pozwala na instalację specjalnych kieszeni PowerEdge MX5016s, a w każdej z nich 16 napędów 2,5”. W pomyśle kieszeń jest podobna do tej znanej z platformy FX ale ponieważ pozwala na mapowanie pojedynczych dysków do wszystkich zainstalowanych w obudowie serwerów oraz wykorzystanie rozmaitych kontrolerów dyskowych otrzymujemy rozwiązanie znacznie lepiej dostosowane do potrzeb stawianych przez rozwiązania SDS.
Jeśli chcemy rozbudować pamięć masową to teoretycznie w obudowie MX możemy zainstalować jeden serwer i 7 kaset na dyski. Jeden serwer i 118 dysków 2,5” (sic!). W praktyce na ogół sensowniej jest przydzielić ich mniej i zmieścić w obudowie więcej serwerów. Na przykład jako VSAN ready node certyfikowane są konfiguracje do 20 dysków. Jeśli ktoś chciałby poczytać, jak działa VSAN na platformie PowerEdge MX to polecam ten dokument: https://www.principledtechnologies.com/Dell/PowerEdge_MX7000_SDS_performance_1018.pdf
Bezpieczeństwo i sieci
Nie pakuje się wszystkich jajek do jednego koszyka – usłyszałem niedawno od Klienta. To chyba angielskie przysłowie i jest w nim sporo racji. Wielu użytkowników obudów kasetowych rozciągało klastry serwerów między paroma obudowami bo niby wszystko podwojone ale tak jest bezpieczniej. Problemem stawały się wtedy rosnące opóźnienia oraz agregacja pasma w sieci LAN, które wynikały z wykorzystania kolejnego przełącznika no i oczywiście koszty.
PowerEdge MX pozwala na budowę sieci na wiele sposobów, jednak najbardziej zaawansowana, a zarazem ekonomiczna metoda wykorzystuje technologię Scalable Fabric. Do budowy Scalable Fabric używamy dwóch przełączników konwergentnych MX9116n (FSE) i specjalnych modułów rozszerzających (FEM). Proszę spojrzeć na schemat:
Zbudowaliśmy właśnie rozwiązanie nie tylko odporne na awarię jednej obudowy ale też znacznie tańsze niż wtedy gdybyśmy instalowali przełączniki w sposób tradycyjny. Tak zbudowana sieć obsługuje nawet 80 serwerów zainstalowanych w 10 obudowach z pełną przepustowością 2x 25Gbps. Z rdzeniem sieci LAN możemy się łączyć z prędkościami do 100Gbps, a z siecią SAN FC do 32Gbps. Co więcej wewnątrz sieci gwarantowane są bardzo małe opóźnienia nie przekraczające 600ns. Nie ma tu oversubskrybcji ani żadnych takich sztuczek, jest za to jeszcze trochę niewykorzystanych portów przeznaczonych do przyszłych celów…
Dodam jeszcze, że w sieci można skorzystać z SmarFabric – funkcji automatyzującej rutynowe czynności takie jak na przykład przyłączanie kolejnych urządzeń czy aktualizację firmare. SmartFabric integruje przełączniki z urządzaniami VxRail i Isilon pozwalając na łatwiejszą ich konfigurację. W przyszłości automatyzacja ma obejmować kolejne produkty. Czytelnikom zainteresowanym tą tematyką proponuję bardzo ciekawy blog Hasana Mansura https://hasanmansur.com/
Tak jak pisałem wcześniej sieć w architekturze Scalable Fabric to tylko jedna z propozycji, bo można też korzystać z innych urządzeń, ale moim zdaniem w większości instalacji będzie ona najlepsza.
A co z zarządzaniem?
Jedną z oczywistych zalet systemów blade było zawsze zarządzanie. Jeden punkt pozwalający na monitorowanie wielu serwerów, szybki dostęp do konfiguracji komponentów, łatwość wymiany jednego serwera na drugi jeśli któraś z maszyn ulegnie awarii, kontrola zużycia energii i chłodu. Choć nie wszyscy korzystali z tych funkcji to jednak serwery kasetowe górują tu nad luźno ze sobą powiązanymi maszynami rack. Nie inaczej jest z obudową PowerEdge MX, która wykorzystuje do zarządzania konsolę OpenManage Enterprise w wersji Modular Edition.
Zalet integracji obu konsol jest wiele – wspólny kod zapewnia nie tylko szybsze aktualizowanie i rozwój, ale także łatwość nauki dla administratorów systemów, którzy w takim samym narzędziu zarządzają serwerami rack i kasetowymi. Skalowalność OME pozwala utworzyć grupę nawet 20 obudów PowerEdge MX i zarządzać nimi z jednego punktu. Lista funkcjonalności OpenManage Enterprise jest naprawdę spora a cały czas dochodzą nowe możliwości. Warto o nich kiedyś napisać osobno.
„Czy blejdy dalej mają sens?”
W kontekście platformy PowerEdge MX powiedziałbym – nie dla każdego.
W małej serwerowni na pewno lepiej sprawdzi się PowerEdge FX albo zwykłe serwery rack.
Jeśli jednak skala, którą operujemy to nie pojedyncze maszyny, ale ich dziesiątki (lub więcej) to warto rozważyć tę technologię. Przy obsłudze tradycyjnej architektury LAN <-> serwery <-> SAN korzystne będą: większa gęstość, wygodna rozbudowa i zarządzanie, ale przede wszystkim agregacja ruchu sieciowego. Jeśli natomiast uruchamiamy usługi takie jak SDS, HCI, Hadoop – to MX także sprawdzi się znakomicie dzięki wygodnej obsłudze pamięci masowej oraz – co oczywiste – dzięki szybkiej sieci zapewniającej komunikację wewnątrz budowanych klastrów.
