ECS: PowerScale: Problemy z wydajnością CloudPools
Summary: Konfiguracja ECS i PowerScale (wcześniej Isilon) w celu korzystania z adresowania w stylu wirtualnym i uzyskania lepszej wydajności.
Symptoms
Jeśli ECS nie jest skonfigurowany z wirtualnym adresem IP i wirtualnym adresowaniem, istnieje potencjalny problem, który może powodować niską prędkość transferu.
CloudPools obsługuje oba style adresowania zasobnika (adresowanie w stylu wirtualnym, adresowanie w stylu ścieżki), jednak zawsze najpierw próbuje adresować w stylu wirtualnym.
Cause
Systemy PowerScale i CloudPools odczytują przechowywane dane we fragmentach o rozmiarze 1 MB.
Podczas odczytów pliku większego niż 1 MB pobierają te fragmenty szeregowo, a co dziewiąty fragment jest 168-bajtowym plikiem nagłówkowym, który zawiera.
Problem pojawia się, gdy składają kilka tysięcy lub setki tysięcy takich wniosków. To seryjnie nieodłączne obciążenie związane z wysyłaniem żądania S3 sumuje się, aby zmniejszyć pobieranie plików i szybkość transferu.
Ponieważ najpierw próbuje użyć adresowania w stylu wirtualnym, może spowodować opóźnienie między żądaniami, jeśli nie jest skonfigurowany do korzystania z adresowania w stylu wirtualnym.
Resolution
Prolog:
- VIP = "Wirtualny adres IP (VIP) to instancja równoważąca obciążenie, w której świat kieruje swoje przeglądarki, aby dostać się do witryny. Adres VIP ma adres IP, który musi być publicznie dostępny, aby można było z niego korzystać. Zazwyczaj numer portu TCP lub UDP jest skojarzony z adresem VIP, na przykład port TCP 80 dla ruchu internetowego. VIP ma przypisany co najmniej jeden prawdziwy serwer, do którego przekazuje ruch.
- CP = CloudPools
- DNS RR = algorytm okrężny DNS
- CNAME = Rekord nazwy kanonicznej to rodzaj rekordu zasobu w systemie nazw domen, który mapuje jedną nazwę domeny na drugą, określany jako nazwa kanoniczna. Może to okazać się wygodne w przypadku uruchamiania wielu usług z jednego adresu IP.
Podczas konfigurowania adresowania w stylu wirtualnym z krótkim podstawowym adresem URL należy wykonać następujące czynności:
- Adres VIP bilansu obciążenia używanego w konfiguracji CP (lub adres VIP DNS RR)
- Wpis CNAME z symbolami wieloznacznymi w DNS dla adresu VIP bilansu obciążenia, dzięki czemu bucket-name.loadbalancer-fqdn.emc.com rozpoznaje dowolną nazwę zasobnika PowerScale CP i jest rozpoznawana jako adres VIP bilansu obciążenia (lub rekordu zasobu DNS)
- Wpis CNAME dla loadbalancer.emc.com
- Podstawowy adres URL adresu VIP skonfigurowany w interfejsie ECS
Adresowanie w stylu hosta wirtualnego (zalecane dla CloudPools):
W schemacie adresowania hosta wirtualnego nazwa zasobnika jest wyświetlana w nazwie hosta. Na przykład dostęp do zasobnika o nazwie "mybucket" na ecs1.yourco.com hosta można uzyskać przy użyciu:
http://mybucket.ecs1.yourco.com
Ponadto ECS umożliwia również dołączenie przestrzeni nazw do adresu. Na przykład:
<bucketname>.<namespace>.ecs1.yourco.com
Aby korzystać z tego stylu adresowania, należy skonfigurować ECS w taki sposób, aby wiedział, która część adresu URL jest nazwą zasobnika. Odbywa się to poprzez skonfigurowanie podstawowego adresu URL. Ponadto należy upewnić się, że system DNS może rozwiązać ten adres. Więcej informacji można znaleźć w poniższych sekcjach:
Adresowanie oparte na ścieżce:
W schemacie adresowania opartym na ścieżce nazwa zasobnika jest dodawana na końcu ścieżki. Na przykład:
ecs1.yourco.com/mybucket
Podczas dołączania przestrzeni nazw należy użyć następującego formatu:
ecs1.yourco.com/mynamespace/mybucket
Część 1: Konfiguracja DNS:
Podczas uzyskiwania dostępu do magazynu ECS przy użyciu usługi S3 upewnij się, że adres URL rozpoznaje adres węzła danych ECS lub modułu równoważenia obciążenia.
Jeśli aplikacja używa adresowania w stylu hosta wirtualnego, adres URL zawiera nazwę zasobnika i może zawierać przestrzeń nazw. W takich okolicznościach należy upewnić się, że dołączono wpis DNS, który rozpoznaje adres stylu hosta wirtualnego. Można to zrobić przy użyciu symbolu wieloznacznego we wpisie DNS.
Jeśli na przykład aplikacja wysyła żądania w formularzu bucket.ecs.example.com, musisz mieć dwa wpisy DNS CNAME.
*.cloudpools_uri.example.com — ten wieloznaczny identyfikator CNAME umożliwia DNS rozpoznawanie naszych żądań, które mają nazwę zasobnika w adresie URL. (To jest to, czego CloudPools używa domyślnie)
cloudpools_uri.example.com - Ten rekord CNAME umożliwi rozpoznanie nazwy bazowej po ustaleniu przez ECS, która część żądania jest zasobnikiem i/lub przestrzenią nazw.
ecs-loadbalancer.example.com - Powinien to być istniejący rekord A w środowisku dla nazwy FQDN systemu DNS LoadBalancer, GTM lub RoundRobin.
NAME TYPE VALUE
--------------------------------------------------
*.cloudpools_uri.example.com CNAME ecs-loadbalancer.example.com
cloudpools_uri.example.com CNAME ecs-loadbalancer.example.com
ecs-loadbalancer.example.com A 192.0.2.23
Te wpisy umożliwiają rozpoznanie nazwy podstawowej podczas wydawania poleceń poziomu usługi (zasobników listy) i adresu zasobnika stylu hosta wirtualnego.
Część 2: Konfigurowanie podstawowego adresu URL w interfejsie ECS:
Jeśli masz aplikację S3, która używa adresowania w stylu hosta wirtualnego i chcesz jej używać do łączenia się z ECS, podstawowy adres URL musi być ustawiony tak, aby ECS wiedział, która część adresu odwołuje się do zasobnika i, opcjonalnie, przestrzeni nazw. Podstawowy adres URL można ustawić przy użyciu portalu ECS lub interfejsu API REST zarządzania ECS i wymaga roli administratora systemu ECS.
Na stronie Zarządzanie podstawowymi adresami URL widoczne są utworzone podstawowe adresy URL oraz informacje o tym, jak ECS powinno ich używać.
Podstawowy adres URL obiektu ustawień >
Aby ECS wiedziało, jak traktować prefiks lokalizacji zasobnika, należy skonfigurować podstawowy adres URL, wybierając jedną z następujących opcji.
- Użyj podstawowego adresu URL z przestrzenią nazw
- Używanie podstawowego adresu URL bez przestrzeni nazw
Podczas przetwarzania żądania ECS wykona następujące czynności:
- Spróbuj wyodrębnić przestrzeń nazw z nagłówka x-emc-namespace. Jeśli zostanie znaleziony, pomiń poniższe kroki i przetwórz żądanie.
- Pobierz nazwę hosta adresu URL z nagłówka hosta i sprawdź, czy ostatnia część adresu pasuje do któregokolwiek ze skonfigurowanych podstawowych adresów URL.
- W przypadku dopasowania podstawowego adresu URL należy użyć części prefiksu nazwy hosta (części pozostawionej po usunięciu podstawowego adresu URL), aby uzyskać lokalizację zasobnika.
W poniższych przykładach pokazano, jak ECS obsługuje przychodzące żądania HTTP z różnymi strukturami.
Przykładowy podstawowy adres URL bez przestrzeni nazw:
Name: Example_BASEURL
BaseURL: cloudpools_uri.example.com
Use with Namespace: No
Dzięki temu można określić, która część żądania jest nazwą zasobnika. Poniżej znajduje się przykładowe żądanie:
d0007430acf369abf0d5681089a1a96abc8fdi16.cloudpools_uri.example.com
Jeśli skonfigurujesz ją z przestrzenią nazw, spogląda wstecz na jeszcze jedną subdomenę, aby określić przestrzeń nazw i zasobnik.
Dodawanie podstawowego adresu URL w ECS:
- Ta operacja wymaga roli administratora systemu w ECS.
- Należy upewnić się, że domena określona w żądaniu, które używa adresu URL do określenia lokalizacji obiektu, jest rozpoznawana jako lokalizacja węzła danych ECS lub modułu równoważenia obciążenia, który znajduje się przed węzłami danych.
Procedura:
- W portalu ECS wybierz opcję Settings > Object Base URLs.
- Wybierz Nowy podstawowy adres URL.
Zostanie wyświetlona strona Nowy podstawowy adres URL.
- Wprowadź nazwę podstawowego adresu URL. Zapewnia to dodatkowe informacje na temat podstawowego adresu URL podczas przeglądania podstawowej tabeli adresów URL.
- Wprowadź podstawowy adres URL.
Jeśli adresy URL lokalizacji obiektów mają postać: d0007430acf369abf0d5681089a1a96abc8fdi16.cloudpools_uri.example.com, podstawowym adresem URL będzie cloudpools_uri.example.com.
Format można określić w selektorze przestrzeni nazw. - Wybierz format, w jakim adres obiektu jest kodowany w adresie URL: Z przestrzenią nazw lub bez przestrzeni nazw
- Wybierz pozycję Zapisz.
Część 3: Konfigurowanie identyfikatora URI dla CloudPools:
Na koniec musimy ustawić właściwy identyfikator URI w konfiguracji CloudPools. Być może identyfikator URI jest już prawidłowo skonfigurowany, ale teraz nadszedł czas, aby to sprawdzić.
Identyfikator URI powinien być rekordem CNAME skonfigurowanym w części 1, który wskazuje na Load Balancer, GTM lub Round Robin.
Twój identyfikator URI to:
cloudpools_uri.example.com
Opcjonalnie możesz umieścić taki numer portu, ale nie jest to wymagane:
cloudpools_uri.example.com:9020
cloudpools_uri.example.com:443
Nie dodawaj żadnego prefiksu "subdomena" do podstawowego adresu URL podczas konfigurowania konta w chmurze.
Nie należy na przykład konfigurować konta w chmurze przy użyciu identyfikatora URI http://powerscale.cloudpools_uri.example.com:9020
Wyjątek stanowi sytuacja, w której PowerScale jest przestrzenią nazw ECS, a w poprzednim kroku, części 2, zaznaczono opcję "Użyj podstawowego adresu URL z przestrzenią nazw".
Część 4: Sprawdzanie, czy CloudPools prawidłowo korzysta z nowej konfiguracji.
Jeśli potrzebujesz pomocy w wykonaniu któregokolwiek z tych kroków, otwórz zgłoszenie serwisowe do zespołu pomocy technicznej PowerScale lub ECS.
Adres IP naszego bilansu obciążenia = 192.0.2.12
Adres IP naszego DNS = 192.0.2.53
Adres IP ECS = 192.168.219.254
Adres IP naszego PowerScale = 192.0.2.70
- Sprawdź, czy Twój DNS prawidłowo rozpoznaje symbol wieloznaczny, powinien rozwiązać się jako adres IP Twojego adresu VIP lub LB.
admin@:> nslookup TEST.cloudpools-uri.example.com
Server: 192.0.2.53
Address: 192.0.2.53#53
TEST.cloudpools-uri.example.com canonical name = ecs-loadbalancer.example.com
Name: ecs-loadbalancer.example.com
Address: 192.0.2.12
- Sprawdź, czy Twój DNS poprawnie rozpoznaje bazę, powinien rozwiązać się jako adres IP Twojego VIP-a lub LB.
admin@:> nslookup cloudpools-uri.example.com
Server: 192.0.2.53
Address: 192.0.2.53#53
cloudpools-uri.example.com canonical name = ecs-loadbalancer.example.com
Name: ecs-loadbalancer.example.com
Address: 192.0.2.12
- Sprawdź, czy identyfikator URI CloudPools jest prawidłowo ustawiony.
- Sprawdź podstawowe adresy URL skonfigurowane w interfejsie ECS.
- Rozpocznij zadanie CloudPools na urządzeniu PowerScale.
Zanotuj czas w formacie UTC, kiedy zadanie zostało utworzone i kiedy zadanie zostało ukończone. - W interfejsie wiersza poleceń ECS sprawdź, czy żądania są wystawiane prawidłowo i czy nie ma błędów, korzystając z czasów zebranych w kroku 5:
Użyj svc_request, aby przejrzeć żądania z tego okresu:
svc_request -start "2018-09-05T18:22:53" -stop "2018-09-05T18:36:05" -t HEAD summary
Przykładowe dane wyjściowe, w których nie można użyć adresowania w stylu wirtualnym i powraca do stylu ścieżki (jeśli to widzisz, otwórz żądanie usługi i odnieś się do tego artykułu bazy wiedzy):
- Pierwsze dwa żądania z zadania CloudPools można zobaczyć przy użyciu adresowania stylu wirtualnego, uzyskując odpowiedź HTTP 403. - fioletowe podświetlenie
- Następnie dwa drugie żądania powracają do adresowania w stylu ścieżki - podświetlenie na niebiesko
- Przykład tego, jak powinny wyglądać żądania - zielone podświetlenie
admin@> svc_request -start "2025-09-05 T18:22:53" -stop "2025-09-05 18:36:05" -t HEAD summary
svc_request v0.0.10 (svc_tools v1.0.0) Started 2018-09-05 18:54:12
Time range: 2018-09-05 18:22:53 - 2018-09-05 18:36:05
Running against node(s): <All nodes>
Request Type: HEAD
Resp
Node Time Request ID Prot Type MPU Client IP Status (bytes) (ms) URL
169.254.1.2 2025-09-05 18:34:07 0aa18451:1641e1e6334:565b3:3f s3 HEAD - 192.0.2.70 403 0 3 //d0007430acf369abf0d5681089a1a96abd8fdi16.cloudpools-uri.example.com/
169.254.2.3 2025-09-05 18:34:07 0aa1845a:1641e1ded8e:55d9f:77 s3 HEAD - 192.0.2.70 403 0 3 /m0007430acf369abf0d5681089a1a96abd8fdi16.cloudpools-uri.example.com/
169.254.1.1 2025-09-05 18:34:12 0aa18450:1641e1dea6e:56189:5 s3 HEAD - 192.0.2.70 200 0 6 d000e1e56aa209c8e7558b30d6d368c1a7b95i1/
169.254.1.1 2025-09-05 18:34:12 0aa18450:1641e1dea6e:56181:4d s3 HEAD - 192.0.2.70 200 0 3 m000e1e56aa209c8e7558b30d6d368c1a7b95i1/