ECS: PowerScale: Problémy s výkonem CloudPools

Pokud systém ECS není nakonfigurován s adresováním virtuální IP adresy a virtuálním stylem, může dojít k potenciálnímu problému, který může způsobit pomalé přenosové rychlosti.
CloudPools podporuje oba styly kbelíkového adresování (adresování ve virtuálním stylu a adresování ve stylu cesty), ale vždy nejprve vyzkouší adresování ve virtuálním stylu.

Systémy PowerScale a CloudPools čtou uložená data ve fragmentech o velikosti 1 MB.

Při čtení souboru většího než 1 MB načítají tyto fragmenty sériově a každý devátý fragment je 168bajtový hlavičkový soubor, který obsahuje.

Problém nastává, když podávají několik tisíc nebo stovky tisíc těchto žádostí. Že sériově inherentní režie při vytváření požadavku S3 se sčítá, aby se rychlost načítání a přenosu souborů zpomalila.

Vzhledem k tomu, že se nejprve pokusí použít adresování virtuálním stylem, může způsobit prodlevu mezi požadavky, pokud není nakonfigurován tak, aby používal adresování virtuálních stylů.

Prolog:

• VIP = "Virtuální IP adresa (VIP) je instance vyrovnávání zatížení, kde svět nasměruje své prohlížeče, aby se dostaly na web. VIP má IP adresu, která musí být veřejně dostupná, aby byla použitelná. K virtuální IP adrese je obvykle přidruženo číslo portu TCP nebo UDP , například port TCP 80 pro webový provoz. VIP má přiřazen alespoň jeden skutečný server, na který distribuuje provoz."
• CP = CloudPools
• Záznam o prostředku DNS = okruhové dotazy DNS.
• CNAME = Záznam kanonického názvu je typ záznamu o prostředku v systému doménových jmen, který mapuje jedno doménové jméno na druhé, označované jako kanonické jméno. To může být výhodné při spouštění více služeb z jedné IP adresy.

Při nastavování adresování ve virtuálním stylu s krátkou základní adresou URL je potřeba následující:

• Virtuální IP adresa nástroje pro vyrovnávání zatížení použitého při nastavování CP (nebo virtuální IP adresa záznamu DNS)
• Položka CNAME se zástupným znakem v DNS pro virtuální IP adresu nástroje pro vyrovnávání zatížení, bucket-name.loadbalancer-fqdn.emc.com přeloží jakýkoli název kbelíku CP zařízení PowerScale na virtuální IP adresu nástroje pro vyrovnávání zatížení (nebo záznamu o prostředku DNS)
• Záznam CNAME pro loadbalancer.emc.com
• Základní adresa URL programu VIP nakonfigurovaného v uživatelském rozhraní ECS

Adresování stylu virtuálního hostitele (doporučeno pro CloudPools):

Ve schématu adresování virtuálního hostitele se název kbelíku zobrazí v názvu hostitele. Například kbelík s názvem "mybucket" na hostitelském ecs1.yourco.com by byl přístupný pomocí:

http://mybucket.ecs1.yourco.com

Kromě toho systém ECS také umožňuje zahrnout do adresy jmenný prostor. Například:

<bucketname>.<namespace>.ecs1.yourco.com

Chcete-li použít tento styl adresování, je nutné nakonfigurovat systém ECS tak, aby věděl, která část adresy URL je název bucketu. To se provádí konfigurací základní adresy URL. Kromě toho musíte zajistit, aby váš systém DNS dokázal adresu přeložit. Další informace najdete v následujících částech:

Adresování na základě cesty:

Ve schématu adresování založeném na cestě je název kbelíku přidán na konec cesty. Například:

ecs1.yourco.com/mybucket

Při zahrnutí oboru názvů použijte následující formát:

ecs1.yourco.com/mynamespace/mybucket

                                                                                                                                                                                                                                       
1. část: Konfigurace DNS:

Při přístupu k úložišti ECS pomocí služby S3 se ujistěte, že adresa URL překládá adresu datového uzlu ECS nebo nástroje pro vyrovnávání zatížení.

Pokud vaše aplikace používá adresování ve stylu virtuálního hostitele, adresa URL obsahuje název kbelíku a může obsahovat obor názvů. Za těchto okolností je nutné zahrnout položku DNS, která překládá adresu ve stylu virtuálního hostitele. To lze provést pomocí zástupného znaku v položce DNS.

Pokud například vaše aplikace vydává požadavky ve formuláři bucket.ecs.example.com, musíte mít dvě položky DNS CNAME.

*.cloudpools_uri.example.com – Tento zástupný znak CNAME umožňuje DNS přeložit naše požadavky, které mají v adrese URL název bucketu. (Toto je to, co CloudPools používá ve výchozím nastavení.)
cloudpools_uri.example.com - Tento záznam CNAME umožní překlad základního názvu poté, co systém ECS určí, která část požadavku je kbelík nebo obor názvů.
ecs-loadbalancer.example.com - Mělo by se jednat o existující záznam A ve vašem prostředí pro plně kvalifikovaný název domény vašeho LoadBalancer, GTM nebo RoundRobin DNS.

NAME                    TYPE   VALUE
--------------------------------------------------
*.cloudpools_uri.example.com       CNAME  ecs-loadbalancer.example.com
cloudpools_uri.example.com         CNAME  ecs-loadbalancer.example.com

ecs-loadbalancer.example.com        A      192.0.2.23

Tyto položky umožňují přeložit základní název při vydávání příkazů na úrovni služby (kbelíky seznamu) a adresu kbelíku ve stylu virtuálního hostitele.

2. část: Konfigurace základní adresy URL v rozhraní ECS:

Pokud máte aplikaci S3, která používá adresování ve stylu virtuálního hostitele, a chcete ji použít pro připojení k systému ECS, musí být základní adresa URL nastavena tak, aby systém ECS věděl, která část adresy odkazuje na kbelík a případně také na obor názvů. Základní adresu URL lze nastavit pomocí portálu ECS nebo pomocí rozhraní REST API pro správu systému ECS a vyžaduje roli správce systému ECS.

Stránka Správa základních adres URL zobrazuje základní adresy URL, které byly vytvořeny, a způsob, jakým je má systém ECS používat.

Nastavení > Základní adresa URL objektu

Aby systém ECS věděl, jak zacházet s předponou umístění kbelíku, je nutné nakonfigurovat základní adresu URL výběrem jedné z následujících možností.

• Použít základní adresu URL s jmenným prostorem
• Použít základní adresu URL bez jmenného prostoru

Při zpracování žádosti provede systém ECS:

1. Pokuste se extrahovat obor názvů z hlavičky x-emc-namespace. Pokud ho najdete, přeskočte níže uvedené kroky a požadavek zpracujte.
2. Získejte název hostitele adresy URL z hlavičky hostitele a zkontrolujte, zda se poslední část adresy shoduje s některou z nakonfigurovaných základních adres URL.
3. Pokud existuje shoda základní adresy URL, použijte část předpony názvu hostitele (část zlevaná při odebrání základní adresy URL) k získání umístění kbelíku.

Následující příklady ukazují, jak systém ECS zpracovává příchozí požadavky HTTP s různými strukturami.

Příklad základní adresy URL bez oboru názvů:

Name:                  Example_BASEURL
BaseURL:               cloudpools_uri.example.com
Use with Namespace:    No

To mu umožní určit, která část požadavku je název kbelíku. Níže je uveden příklad požadavku:

d0007430acf369abf0d5681089a1a96abc8fdi16.cloudpools_uri.example.com

Pokud ji nakonfigurujete s oborem názvů, vyhledá zpět ještě jednu subdoménu, aby určila obor názvů a kbelík.

Přidání základní adresy URL do systému ECS:

Postup:

1. Na portálu ECS vyberte možnost Nastavení > Objekty Základní adresy URL.
2. Vyberte Nová základní adresa URL.

   Zobrazí se stránka Nová základní adresa URL.
   

3. Zadejte název základní adresy URL. To poskytuje další informace o základní adrese URL při prohlížení tabulky základních adres URL.
4. Zadejte základní adresu URL.
   Pokud jsou adresy URL umístění objektů ve tvaru: d0007430acf369abf0d5681089a1a96abc8fdi16.cloudpools_uri.example.com, základní adresa URL by byla cloudpools_uri.example.com.
   V selektoru oboru názvů můžete určit, který formát se má jmenovat.
5. Zvolte formát, ve kterém je adresa objektu zakódována v adrese URL: S oborem názvů nebo bez něj
6. Vyberte možnost Uložit.

3. část: Konfigurace identifikátoru URI pro CloudPools:
Nakonec je nutné nastavit správný identifikátor URI v konfiguraci CloudPools. Možná už máte identifikátor URI správně nakonfigurovaný, ale teď je čas to zkontrolovat.
Identifikátor URI by měl být název CNAME, který jsme nastavili v části 1 a který odkazuje na váš Load Balancer, GTM nebo Round One.

Váš identifikátor URI je: 

cloudpools_uri.example.com

Volitelně můžete zadat číslo portu, ale není to nutné:

cloudpools_uri.example.com:9020

cloudpools_uri.example.com:443

Při konfiguraci cloudového účtu nepřidávejte k základní adrese URL žádnou předponu "subdoména".
Nekonfigurujte například cloudový účet pomocí identifikátoru URI http://powerscale.cloudpools_uri.example.com:9020

Výjimkou je situace, kdy je v systému ECS oborem názvů PowerScale a v předchozím kroku části 2 jste zaškrtli možnost "Use base URL with namespace"

4. část: Ověření, že CloudPools správně používá novou konfiguraci.
Pokud potřebujete pomoc s kterýmkoli z těchto kroků, otevřete servisní požadavek u týmu podpory PowerScale nebo ECS.
 

1. Zkontrolujte, zda váš DNS správně překládá zástupný znak, měl by se přeložit na IP adresu vašeho VIP nebo LB.

admin@:> nslookup TEST.cloudpools-uri.example.com
Server:         192.0.2.53
Address:        192.0.2.53#53

TEST.cloudpools-uri.example.com    canonical name = ecs-loadbalancer.example.com
Name:   ecs-loadbalancer.example.com
Address: 192.0.2.12

2. Zkontrolujte, zda váš DNS správně překládá základnu, měl by se přeložit na IP adresu vaší VIP nebo LB.

admin@:> nslookup cloudpools-uri.example.com
Server:         192.0.2.53
Address:        192.0.2.53#53

cloudpools-uri.example.com    canonical name = ecs-loadbalancer.example.com
Name:   ecs-loadbalancer.example.com
Address: 192.0.2.12

3. Ověřte, že je správně nastavený identifikátor URI CloudPools.
4. Ověřte základní adresy URL, které jste nakonfigurovali v rozhraní ECS.
5. Spusťte úlohu CloudPools v systému PowerScale.
   Poznamenejte si čas v UTC, kdy byla úloha vytvořena a kdy byla dokončena.
6. V rozhraní příkazového řádku ECS ověřte, zda jsou požadavky vydávány správně a zda nedochází k chybám pomocí časů shromážděných v kroku 5:
   Pomocí svc_request se podívejte na požadavky pro dané časové období:

svc_request -start "2018-09-05T18:22:53" -stop "2018-09-05T18:36:05" -t HEAD summary

Příklad výstupu, kdy se nepodaří použít adresování virtuálního stylu a vrátí se ke stylu cesty (pokud se zobrazí toto, otevřete servisní požadavek a odkazujte na tento článek znalostní databáze):

• Můžete zobrazit první dva požadavky z úlohy CloudPools pomocí adresování virtuálního stylu, které získá odpověď HTTP 403. - fialové zvýraznění
• Poté se druhé dva požadavky vrátí k adresování stylu cesty - modré zvýraznění
• Ukázka, jak by měly požadavky vypadat - zelené zvýraznění

admin@> svc_request -start "2025-09-05 T18:22:53" -stop "2025-09-05 18:36:05" -t HEAD summary
svc_request v0.0.10 (svc_tools v1.0.0)                 Started 2018-09-05 18:54:12


Time range:  2018-09-05 18:22:53 - 2018-09-05 18:36:05
Running against node(s): <All nodes>
Request Type: HEAD
                                                                                                                              Resp
                                                                                                                  Node             Time                Request ID                         Prot  Type  MPU   Client IP        Status (bytes)     (ms)     URL
169.254.1.2      2025-09-05 18:34:07   0aa18451:1641e1e6334:565b3:3f      s3    HEAD  -     192.0.2.70       403    0           3        //d0007430acf369abf0d5681089a1a96abd8fdi16.cloudpools-uri.example.com/
169.254.2.3      2025-09-05 18:34:07   0aa1845a:1641e1ded8e:55d9f:77      s3    HEAD  -     192.0.2.70       403    0           3        /m0007430acf369abf0d5681089a1a96abd8fdi16.cloudpools-uri.example.com/

169.254.1.1      2025-09-05 18:34:12   0aa18450:1641e1dea6e:56189:5       s3    HEAD  -     192.0.2.70       200    0           6        d000e1e56aa209c8e7558b30d6d368c1a7b95i1/
169.254.1.1      2025-09-05 18:34:12   0aa18450:1641e1dea6e:56181:4d      s3    HEAD  -     192.0.2.70       200    0           3        m000e1e56aa209c8e7558b30d6d368c1a7b95i1/