ECS: PowerScale: Problemer med CloudPools-ydeevnen

Når ECS ikke er konfigureret med en virtuel IP og virtuel stiladressering, er der et potentielt problem, der kan forårsage langsomme overførselshastigheder.
CloudPools understøtter begge typer bucket-adressering (Virtual Style Addressing, Path Style Addressing), men forsøger altid adressering i virtuel stil først.

Den måde, PowerScale og CloudPools læser deres lagrede data på, er i 1 MB-fragmenter.

Når de læser for en fil, der er større end 1 MB, henter de disse fragmenter serielt, og hvert niende fragment er en 168-byte headerfil, der indeholder.

Problemet opstår, når de fremsætter flere tusinde eller hundredtusinder af disse anmodninger. At serielt de iboende omkostninger ved at foretage en S3-anmodning tilføjer for at gøre filhentningen og overførselshastighederne langsomme.

Da det forsøger at bruge virtuel stiladressering først, kan det forårsage en forsinkelse mellem anmodninger, hvis det ikke er konfigureret til at bruge virtuel stiladressering.

Prolog:

• VIP = "Virtual IP (VIP) er den belastningsbalancerende instans, hvor verden peger sine browsere for at komme til et websted. En VIP har en IP-adresse, som skal være offentligt tilgængelig for at kunne bruges. Normalt er et TCP- eller UDP-portnummer knyttet til VIP, såsom TCP-port 80 til webtrafik. En VIP har mindst én rigtig server tilknyttet, som den sender trafik til."
• CP = CloudPools
• DNS RR = DNS Round Robin
• CNAME = En Canonical Name-post er en type ressourcepost i Domain Name System, der knytter et domænenavn til et andet, kaldet Canonical Name. Dette kan vise sig praktisk, når du kører flere tjenester fra en enkelt IP-adresse.

Følgende er nødvendigt, når du konfigurerer adressering af virtuel stil med en kort basis-URL:

• VIP for load-balancer brugt i CP-opsætning (eller VIP i DNS RR)
• Jokertegn CNAME-indtastning i DNS for Load-Balancer-VIP, så bucket-name.loadbalancer-fqdn.emc.com løser eventuelle PowerScale CP-bucket-navne, der fortolkes over for VIP'en for belastningsbalanceren (eller DNS RR)
• CNAME-indgang for loadbalancer.emc.com
• Basis-URL for VIP konfigureret i ECS-brugergrænsefladen

Adressering af virtuel værtsstil (anbefales til CloudPools):

I det virtuelle værtsadresseringsskema vises bucket-navnet i værtsnavnet. For eksempel vil bucket, kaldet "mybucket" på vært ecs1.yourco.com, blive tilgået ved hjælp af:

http://mybucket.ecs1.yourco.com

Derudover tillader ECS også inkludering af et navneområde i adressen. F.eks.:

<bucketname>.<namespace>.ecs1.yourco.com

Hvis du vil bruge denne adressetype, skal du konfigurere ECS, så den ved, hvilken del af URL-adressen der er bucket-navnet. Dette gøres ved at konfigurere basis-URL'en. Derudover skal du sikre dig, at dit DNS-system kan fortolke adressen. Følgende afsnit indeholder flere oplysninger:

Stibaseret adressering:

I det stibaserede adresseskema føjes bucket-navnet til slutningen af stien. F.eks.:

ecs1.yourco.com/mybucket

Når du medtager et navneområde, skal du bruge følgende format:

ecs1.yourco.com/mynamespace/mybucket

                                                                                                                                                                                                                                       
Del 1: DNS-konfiguration:

Når du får adgang til ECS-lager ved hjælp af S3-tjenesten, skal du sørge for, at URL-adressen oversætter adressen på ECS-datanoden eller belastningsjusteringen.

Hvor din applikation bruger adressering i virtuel værtsstil, indeholder URL-adressen bucketnavnet og kan indeholde et navneområde. Under disse omstændigheder skal du sikre dig, at du medtager en DNS-post, der løser adressen i den virtuelle værtstypografi. Du kan gøre dette ved at bruge et jokertegn i DNS-posten.

Hvis dit program f.eks. udsteder anmodninger i formularen bucket.ecs.example.com, skal du have to DNS CNAME-poster.

*.cloudpools_uri.example.com – Dette wildcard-CNAME gør det muligt for DNS at løse vores anmodninger, der har bucket-navnet i URL-adressen. (Dette er, hvad CloudPools bruger som standard)
cloudpools_uri.example.com - Dette CNAME gør det muligt at fortolke basenavnet, når ECS har bestemt, hvilken del af anmodningen der er bucket og/eller navneområdet.
ecs-loadbalancer.example.com - Dette bør være en eksisterende A-post i dit miljø for FQDN for din LoadBalancer-, GTM- eller RoundRobin DNS.

NAME                    TYPE   VALUE
--------------------------------------------------
*.cloudpools_uri.example.com       CNAME  ecs-loadbalancer.example.com
cloudpools_uri.example.com         CNAME  ecs-loadbalancer.example.com

ecs-loadbalancer.example.com        A      192.0.2.23

Disse poster gør det muligt at fortolke basisnavnet ved udstedelse af serviceniveaukommandoer (listebuckets), og at løse den virtuelle værtsstil bucket-adresse.

Del 2: Konfiguration af den grundlæggende URL-adresse i ECS-brugergrænsefladen:

Hvis du har et S3-program, der bruger adressering i virtuel værtsstil, og du vil bruge det til at oprette forbindelse til ECS, skal basis-URL-adressen angives, så ECS kan vide, hvilken del af adressen der refererer til bucket, og eventuelt navneområdet. Basis-URL-adressen kan indstilles ved hjælp af ECS-portalen eller ved hjælp af ECS Management REST API og kræver rollen som ECS-systemadministrator.

Siden Administration af basiswebadresse viser de grundlæggende URL-adresser, der er blevet oprettet, og hvordan ECS skal bruge dem.

Indstillinger > URL-adresse til objektbase

For at ECS ved, hvordan bucket-placeringspræfikset skal behandles, skal basis-URL-adressen konfigureres ved at vælge en af følgende indstillinger.

• Brug basiswebadresse med navneområde
• Brug basiswebadresse uden navneområde

Ved behandling af en anmodning vil ECS:

1. Prøv at udtrække navneområdet fra x-emc-navneområdeheaderen. Hvis den findes, skal du springe nedenstående trin over og behandle anmodningen.
2. Hent værtsnavnet på URL'en fra værtsheaderen, og kontrollér, om den sidste del af adressen stemmer overens med nogen af de konfigurerede basiswebadresser.
3. Hvis der er et grundlæggende URL-match, skal du bruge præfiksdelen af værtsnavnet (den del, der er tilbage, når basiswebadressen fjernes) for at få bucket-placeringen.

Følgende eksempler viser, hvordan ECS håndterer indgående HTTP-anmodninger med forskellige strukturer.

Eksempel på basiswebadresse uden navneområde:

Name:                  Example_BASEURL
BaseURL:               cloudpools_uri.example.com
Use with Namespace:    No

Dette gør det muligt at bestemme, hvilken del af anmodningen der er bucket-navnet. Nedenfor er et eksempel på anmodning:

d0007430acf369abf0d5681089a1a96abc8fdi16.cloudpools_uri.example.com

Hvis du konfigurerer det med et navneområde, ser det endnu et underdomæne tilbage for at bestemme navneområdet og bucket.

Tilføjelse af basis-URL-adressen i ECS:

Procedure:

1. På ECS-portalen skal du vælge Indstillinger > Objektbaserede URL-adresser.
2. Vælg Ny basiswebadresse.

   Siden Ny basis-URL vises.
   

3. Indtast navnet på den grundlæggende URL-adresse. Dette giver yderligere oplysninger om basiswebadressen, når du ser på tabellen for basiswebadressen.
4. Indtast den grundlæggende URL-adresse.
   Hvis dine objekters placeringswebadresser er i formen: d0007430acf369abf0d5681089a1a96abc8fdi16.cloudpools_uri.example.com, vil den grundlæggende URL-adresse være cloudpools_uri.example.com.
   Du kan angive hvilket format i navneområdevælgeren.
5. Vælg det format, som din objektadresse er kodet i URL-adressen: Med et navneområde eller uden et navneområde
6. VælgGem.

Del 3: Konfiguration af URI for CloudPools:
Endelig skal vi indstille den korrekte URI i CloudPools-konfigurationen. Du har muligvis allerede konfigureret URI'en korrekt, men nu er det tid til at kontrollere det.
URI'en skal være det CNAME, vi konfigurerer i del 1, der peger på din Load Balancer, GTM eller Round Robin.

Din URI er: 

cloudpools_uri.example.com

Eventuelt kan du sætte et portnummer som sådan, men det er ikke nødvendigt:

cloudpools_uri.example.com:9020

cloudpools_uri.example.com:443

Tilføj ikke noget præfiks "underdomæne" til basis-URL'en, mens du konfigurerer cloud-kontoen.
Du må f.eks. ikke konfigurere cloud-kontoen ved hjælp af URI http://powerscale.cloudpools_uri.example.com:9020

Undtagelsen er, når PowerScale er navneområdet på ECS, og i forrige trin Del 2 markerede du "Brug grundlæggende URL-adresse med navneområde"

Del 4: Verificering af, at CloudPools bruges korrekt ved hjælp af den nye konfiguration.
Hvis du har brug for hjælp til nogen af disse trin, skal du åbne en serviceanmodning hos enten PowerScale- eller ECS-supportteamet.
 

1. Kontroller, at din DNS løser jokertegnet korrekt, det skal løse til IP'en for din VIP eller LB.

admin@:> nslookup TEST.cloudpools-uri.example.com
Server:         192.0.2.53
Address:        192.0.2.53#53

TEST.cloudpools-uri.example.com    canonical name = ecs-loadbalancer.example.com
Name:   ecs-loadbalancer.example.com
Address: 192.0.2.12

2. Kontroller, at din DNS løser basen korrekt, den skal løse til IP'en for din VIP eller LB.

admin@:> nslookup cloudpools-uri.example.com
Server:         192.0.2.53
Address:        192.0.2.53#53

cloudpools-uri.example.com    canonical name = ecs-loadbalancer.example.com
Name:   ecs-loadbalancer.example.com
Address: 192.0.2.12

3. Kontrollér, at din CloudPools URI er indstillet korrekt.
4. Bekræft de grundlæggende URL-adresser, du har konfigureret i ECS-brugergrænsefladen.
5. Start et CloudPools job på PowerScale.
   Bemærk klokkeslættet i UTC, hvor jobbet blev oprettet, og hvornår jobbet blev fuldført.
6. Fra ECS CLI skal du kontrollere, at anmodningerne udstedes korrekt, og at der ikke er nogen fejl ved hjælp af de gange, vi indsamlede i trin 5:
   Brug svc_request til at se anmodningerne for den pågældende periode:

svc_request -start "2018-09-05T18:22:53" -stop "2018-09-05T18:36:05" -t HEAD summary

Eksempel på output, hvor den ikke bruger adressering af virtuel typografi og vender tilbage til stitypografi (hvis du ser dette, skal du åbne en serviceanmodning og henvise til denne KB):

• Du kan se de to første anmodninger fra CloudPools Job ved hjælp af den virtuelle typografi, der adresserer at få et HTTP 403-svar. - lilla højdepunkt
• Derefter vender de to andre anmodninger tilbage til stistiladresseringen - blå fremhævning
• Eksempel på, hvordan anmodninger skal se ud - grøn fremhævning

admin@> svc_request -start "2025-09-05 T18:22:53" -stop "2025-09-05 18:36:05" -t HEAD summary
svc_request v0.0.10 (svc_tools v1.0.0)                 Started 2018-09-05 18:54:12


Time range:  2018-09-05 18:22:53 - 2018-09-05 18:36:05
Running against node(s): <All nodes>
Request Type: HEAD
                                                                                                                              Resp
                                                                                                                  Node             Time                Request ID                         Prot  Type  MPU   Client IP        Status (bytes)     (ms)     URL
169.254.1.2      2025-09-05 18:34:07   0aa18451:1641e1e6334:565b3:3f      s3    HEAD  -     192.0.2.70       403    0           3        //d0007430acf369abf0d5681089a1a96abd8fdi16.cloudpools-uri.example.com/
169.254.2.3      2025-09-05 18:34:07   0aa1845a:1641e1ded8e:55d9f:77      s3    HEAD  -     192.0.2.70       403    0           3        /m0007430acf369abf0d5681089a1a96abd8fdi16.cloudpools-uri.example.com/

169.254.1.1      2025-09-05 18:34:12   0aa18450:1641e1dea6e:56189:5       s3    HEAD  -     192.0.2.70       200    0           6        d000e1e56aa209c8e7558b30d6d368c1a7b95i1/
169.254.1.1      2025-09-05 18:34:12   0aa18450:1641e1dea6e:56181:4d      s3    HEAD  -     192.0.2.70       200    0           3        m000e1e56aa209c8e7558b30d6d368c1a7b95i1/