ECS: PowerScale: Ytelsesproblemer i CloudPools
Summary: Konfigurer ECS og PowerScale (formelt Isilon) for å bruke virtuell stiladressering og få bedre ytelse.
Symptoms
Når ECS ikke er konfigurert med virtuell IP og virtuell adressering, er det et potensielt problem som kan føre til trege overføringshastigheter.
CloudPools støtter begge stilene bøtte adressering (Virtual Style Addressing, Path Style Addressing), men prøver alltid virtuell stil adressering først.
Cause
Måten PowerScale og CloudPools leser de lagrede dataene på, er i fragmenter på 1 MB.
Når du leser for en fil som er større enn 1 MB, henter de disse fragmentene serielt, og hvert niende fragment er en 168-byte Header-fil som inneholder.
Problemet oppstår når de kommer med flere tusen eller hundretusener av disse forespørslene. Det seriøst legger den iboende overhead i å lage en S3-forespørsel opp for å gjøre filhentingen og overføringshastighetene trege.
Siden den prøver å bruke virtuell stiladressering først, kan det føre til forsinkelser mellom forespørsler hvis den ikke er konfigurert til å bruke virtuell stiladressering.
Resolution
Prolog:
- VIP = "Virtual IP (VIP) er lastbalanseringsforekomsten der verden peker nettleserne sine for å komme til et nettsted. En VIP har en IP-adresse, som må være offentlig tilgjengelig for å kunne brukes. Vanligvis er et TCP- eller UDP-portnummer knyttet til VIP-en, for eksempel TCP-port 80 for webtrafikk. En VIP har minst en ekte server tildelt den, som den dispenserer trafikk.
- CP = CloudPools
- DNS RR = DNS Round Robin
- CNAME = En Canonical Name-post er en type ressurspost i domenenavnsystemet som tilordner et domenenavn til et annet, referert til som det kanoniske navnet. Dette kan være praktisk når du kjører flere tjenester fra en enkelt IP-adresse.
Følgende er nødvendig når du konfigurerer virtuell stiladressering med en kort grunnleggende URL-adresse:
- VIP for load-balancer brukt i CP-oppsett (eller VIP av DNS RR)
- Jokertegn CNAME-oppføring i DNS for Load-Balancer VIP, slik at bucket-name.loadbalancer-fqdn.emc.com løser eventuelle PowerScale CP-verdinavn løses til VIP for belastningsfordelingen (eller DNS RR)
- CNAME-oppføring for loadbalancer.emc.com
- Grunnleggende URL for VIP konfigurert i ECS-grensesnittet
Adressering av virtuell vertsstil (anbefales for CloudPools):
I det virtuelle vertsadresseringsskjemaet vises bøttenavnet i vertsnavnet. For eksempel bøtte kalt "mybucket" på verten ecs1.yourco.com, vil bli åpnet med:
http://mybucket.ecs1.yourco.com
I tillegg tillater ECS også inkludering av et navnerom i adressen. Eksempel:
<bucketname>.<namespace>.ecs1.yourco.com
Hvis du vil bruke denne adresseringsstilen, må du konfigurere ECS slik at den vet hvilken del av URL-adressen som er bøttenavnet. Dette gjøres ved å konfigurere den grunnleggende URL-adressen. I tillegg må du sørge for at DNS-systemet ditt kan løse adressen. Delene nedenfor inneholder mer informasjon:
Banebasert adressering:
I det banebaserte adresseringsutvalget legges samlingsnavnet til på slutten av banen. Eksempel:
ecs1.yourco.com/mybucket
Når du inkluderer et navneområde, bruker du følgende format:
ecs1.yourco.com/mynamespace/mybucket
Del 1: DNS-konfigurasjon:
Når du åpner ECS-lagring ved hjelp av S3-tjenesten, må du kontrollere at URL-adressen løser problemet med adressen til ECS-datanoden eller belastningsfordeleren.
Der applikasjonen din bruker virtuell vertsstiladressering, inneholder URL-adressen samlingsnavnet og kan inneholde et navneområde. Under disse omstendighetene må du sørge for at du inkluderer en DNS-oppføring som løser problemet med adressen til den virtuelle vertsstilen. Du kan gjøre dette ved å bruke et jokertegn i DNS-oppføringen.
Hvis programmet for eksempel utsteder forespørsler i skjemaet bucket.ecs.example.com, må du ha to DNS CNAME-oppføringer.
*.cloudpools_uri.example.com - Dette wildcard CNAME tillater DNS å løse våre forespørsler som har bøtte navnet i nettadressen. (Dette er hva CloudPools bruker som standard)
cloudpools_uri.example.com - Dette CNAME-navnet gjør det mulig å løse basenavnet etter at ECS har fastslått hvilken del av forespørselen som er samlingen og/eller navneområdet.
ecs-loadbalancer.example.com - Dette bør være en eksisterende A-post i miljøet for FQDN for LoadBalancer, GTM eller RoundRobin DNS.
NAME TYPE VALUE
--------------------------------------------------
*.cloudpools_uri.example.com CNAME ecs-loadbalancer.example.com
cloudpools_uri.example.com CNAME ecs-loadbalancer.example.com
ecs-loadbalancer.example.com A 192.0.2.23
Disse oppføringene gjør det mulig å løse basenavnet ved utstedelse av kommandoer på servicenivå (listesamlinger) og at adressen til samlingen av virtuell vertsstil skal løses.
Del 2: Konfigurere den grunnleggende URL-adressen i ECS-grensesnittet:
Hvis du har et S3-program som bruker virtuell vertsstiladressering, og du vil bruke det til å koble til ECS, må den grunnleggende URL-adressen angis slik at ECS vet hvilken del av adressen som refererer til samlingen og eventuelt navneområdet. Den grunnleggende URL-adressen kan angis ved hjelp av ECS-portalen eller ved hjelp av REST API-en for ECS-administrasjon, og krever rollen som ECS-systemadministrator.
Siden Administrasjon av grunnleggende URL-adresse viser de grunnleggende URL-adressene som er opprettet, og hvordan ECS skal bruke dem.
Innstillinger > URL-adresse for objektbase
For at ECS skal vite hvordan prefikset for samlingsplassering skal behandles, må den grunnleggende URL-adressen konfigureres ved å velge ett av følgende alternativer.
- Bruk grunnleggende URL med navneområde
- Bruk grunnleggende URL uten navneområde
Ved behandling av en forespørsel vil ECS:
- Prøv å pakke ut navneområdet fra overskriften x-emc-namespace. Hvis det blir funnet, hopper du over trinnene nedenfor og behandler forespørselen.
- Hent vertsnavnet til URL-adressen fra vertsoverskriften, og kontroller om den siste delen av adressen samsvarer med noen av de konfigurerte grunnleggende URL-adressene.
- Der det finnes et treff for grunnleggende URL-adresse, bruker du prefiksdelen av vertsnavnet (delen som er igjen når den grunnleggende URL-adressen fjernes) for å hente samlingsplasseringen.
Eksemplene nedenfor viser hvordan ECS håndterer innkommende HTTP-forespørsler med ulike strukturer.
Eksempel på grunnleggende URL-adresse uten navneområde:
Name: Example_BASEURL
BaseURL: cloudpools_uri.example.com
Use with Namespace: No
Dette gjør det mulig å bestemme hvilken del av forespørselen som er bøttenavnet. Nedenfor er et eksempel på forespørsel:
d0007430acf369abf0d5681089a1a96abc8fdi16.cloudpools_uri.example.com
Hvis du konfigurerer det med et navneområde, ser det tilbake ett underdomene til for å bestemme navneområdet og bøtta.
Slik legger du til den grunnleggende URL-adressen i ECS:
- Denne operasjonen krever systemadministratorrollen i ECS.
- Du må sørge for at domenet som er angitt i en forespørsel som bruker en URL-adresse til å angi en objektplassering, løses til plasseringen av ECS-datanoden eller en belastningsfordeling som sitter foran datanodene.
Fremgangsmåte:
- I ECS-portalen velger du Innstillinger > for objektgrunnleggende URL-adresser.
- Velg Ny base-URL.
Siden Ny base-URL vises.
- Skriv inn navnet på den grunnleggende URL-adressen. Dette gir tilleggsinformasjon om den primære URL-adressen når du ser på tabellen for grunnleggende URL-adresse.
- Skriv inn den grunnleggende URL-adressen.
Hvis URL-adressene til objektplasseringen er i formatet: d0007430acf369abf0d5681089a1a96abc8fdi16.cloudpools_uri.example.com, blir den primære URL-adressen cloudpools_uri.example.com.
Du kan angi hvilket format i navneområdevelgeren. - Velg formatet objektadressen er kodet i i URL-adressen: Med et navneområde eller uten et navneområde
- Velg Lagre.
Del 3: Konfigurere URI-en for cloudpools:
Til slutt må vi angi riktig URI i CloudPools-konfigurasjonen. Du har kanskje allerede konfigurert URI-en riktig, men nå er det på tide å kontrollere.
URI-en skal være CNAME-en vi setter opp i del 1 som peker til Load Balancer, GTM eller Round Robin.
URI-en din er:
cloudpools_uri.example.com
Eventuelt kan du sette et portnummer slik, men det er ikke nødvendig:
cloudpools_uri.example.com:9020
cloudpools_uri.example.com:443
Ikke legg til prefiks «underdomene» i den grunnleggende nettadressen når du konfigurerer skykontoen.
Du må for eksempel ikke konfigurere skykontoen ved hjelp av URI http://powerscale.cloudpools_uri.example.com:9020
Unntaket vil være når PowerScale er navneområdet på ECS, og i forrige del 2 merket du av for "Bruk grunnleggende URL-adresse med navneområde"
Del 4: Verifisering av CloudPools bruker den nye konfigurasjonen på riktig måte.
Hvis du trenger hjelp med noen av disse trinnene, åpner du en serviceforespørsel med enten PowerScale- eller ECS-støtteteamet.
IP for belastningsfordeleren = 192.0.2.12
IP for DNS = 192.0.2.53
IP av ECS = 192.168.219.254
IP-adressen til PowerScale = 192.0.2.70
- Sjekk at DNS-en din løser jokertegnet riktig, det skal løse IP-en til VIP eller LB.
admin@:> nslookup TEST.cloudpools-uri.example.com
Server: 192.0.2.53
Address: 192.0.2.53#53
TEST.cloudpools-uri.example.com canonical name = ecs-loadbalancer.example.com
Name: ecs-loadbalancer.example.com
Address: 192.0.2.12
- Kontroller at DNS-en din løser basen riktig, den skal løse IP-adressen til VIP eller LB.
admin@:> nslookup cloudpools-uri.example.com
Server: 192.0.2.53
Address: 192.0.2.53#53
cloudpools-uri.example.com canonical name = ecs-loadbalancer.example.com
Name: ecs-loadbalancer.example.com
Address: 192.0.2.12
- Kontroller at CloudPools-URI-en er riktig angitt.
- Kontroller de grunnleggende URL-adressene du konfigurerte i ECS-grensesnittet.
- Start en CloudPools-jobb på PowerScale.
Legg merke til tiden i UTC da jobben ble opprettet og når jobben ble fullført. - Fra ECS CLI kontrollerer du at forespørslene sendes ut på riktig måte, og at det ikke er noen feil ved hjelp av tidspunktene vi samlet inn i trinn 5:
Bruk svc_request til å se på forespørslene for den tidsperioden:
svc_request -start "2018-09-05T18:22:53" -stop "2018-09-05T18:36:05" -t HEAD summary
Eksempel på utdata der den ikke bruker virtuell stiladressering og går tilbake til banestil (Hvis du ser dette, åpner du en serviceforespørsel og refererer til denne KB-en):
- Du kan se de to første forespørslene fra CloudPools-jobben ved hjelp av den virtuelle stilen som adresserer å få et HTTP 403-svar. - Lilla høydepunkt
- Deretter ber de to andre om å gå tilbake til stistilen som adresserer - blå utheving
- Eksempel på hvordan forespørsler skal se ut - grønn utheving
admin@> svc_request -start "2025-09-05 T18:22:53" -stop "2025-09-05 18:36:05" -t HEAD summary
svc_request v0.0.10 (svc_tools v1.0.0) Started 2018-09-05 18:54:12
Time range: 2018-09-05 18:22:53 - 2018-09-05 18:36:05
Running against node(s): <All nodes>
Request Type: HEAD
Resp
Node Time Request ID Prot Type MPU Client IP Status (bytes) (ms) URL
169.254.1.2 2025-09-05 18:34:07 0aa18451:1641e1e6334:565b3:3f s3 HEAD - 192.0.2.70 403 0 3 //d0007430acf369abf0d5681089a1a96abd8fdi16.cloudpools-uri.example.com/
169.254.2.3 2025-09-05 18:34:07 0aa1845a:1641e1ded8e:55d9f:77 s3 HEAD - 192.0.2.70 403 0 3 /m0007430acf369abf0d5681089a1a96abd8fdi16.cloudpools-uri.example.com/
169.254.1.1 2025-09-05 18:34:12 0aa18450:1641e1dea6e:56189:5 s3 HEAD - 192.0.2.70 200 0 6 d000e1e56aa209c8e7558b30d6d368c1a7b95i1/
169.254.1.1 2025-09-05 18:34:12 0aa18450:1641e1dea6e:56181:4d s3 HEAD - 192.0.2.70 200 0 3 m000e1e56aa209c8e7558b30d6d368c1a7b95i1/