ECS: PowerScale: CloudPools-Performanceprobleme
Summary: Konfigurieren Sie ECS und PowerScale (ehemals Isilon) so, dass sie die Adressierung im virtuellen Stil verwenden und eine bessere Performance erzielen.
Symptoms
Wenn ECS nicht mit einer virtuellen IP-Adresse und einer Adressierung im virtuellen Stil konfiguriert ist, gibt es ein potenzielles Problem, das zu langsamen Übertragungsgeschwindigkeiten führen kann.
CloudPools unterstützt beide Arten der Bucket-Adressierung (Virtual Style Addressing, Path Style Addressing), versucht jedoch immer zuerst die Adressierung im virtuellen Stil.
Cause
PowerScale und CloudPools lesen ihre gespeicherten Daten in 1-MB-Fragmenten.
Wenn Lesevorgänge für eine Datei durchgeführt werden, die größer als 1 MB ist, werden diese Fragmente seriell abgerufen, und jedes neunte Fragment ist eine 168-Byte-Header-Datei, die enthält.
Das Problem tritt auf, wenn sie mehrere Tausend oder Hunderttausende dieser Anfragen stellen. Der inhärente Overhead bei einer S3-Anfrage summiert sich seriell und verlangsamt den Dateiabruf und die Übertragungsraten.
Da zuerst versucht wird, die Adressierung im virtuellen Stil zu verwenden, kann es zu einer Verzögerung zwischen den Anforderungen kommen, wenn sie nicht für die Verwendung der Adressierung im virtuellen Stil konfiguriert ist.
Resolution
Prolog:
- VIP = "Virtual IP (VIP) ist die Lastenausgleichsinstanz, auf die die Welt ihre Browser richtet, um zu einer Site zu gelangen. Eine VIP hat eine IP-Adresse, die öffentlich verfügbar sein muss, um verwendet werden zu können. In der Regel ist eine TCP- oder UDP-Portnummer mit dem VIP verknüpft, z. B. TCP-Port 80 für Webdatenverkehr. Einem VIP ist mindestens ein echter Server zugewiesen, an den er Datenverkehr verteilt."
- CP = CloudPools
- DNS RR = DNS Rundlaufverfahren
- CNAME = Ein Canonical Name-Datensatz ist eine Art von Ressourceneintrag im Domain Name System, der einen Domainnamen einem anderen zuordnet, was als Canonical Name bezeichnet wird. Dies kann sich als praktisch erweisen, wenn mehrere Dienste von einer einzigen IP-Adresse aus ausgeführt werden.
Beim Einrichten einer Adressierung im virtuellen Stil mit einer kurzen Basis-URL ist Folgendes erforderlich:
- VIP des Lastenausgleichsmoduls, der bei der CP-Einrichtung verwendet wird (oder VIP des DNS-RR)
- Platzhalter-CNAME-Eintrag im DNS für die Load-Balancer-VIP, sodass bucket-name.loadbalancer-fqdn.emc.com alle PowerScale CP-Bucket-Namen in die VIP des Load-Balancers (oder DNS-RR) auflöst
- CNAME-Eintrag für loadbalancer.emc.com
- Basis-URL der in der ECS-Benutzeroberfläche konfigurierten VIP
Adressierung im Stil des virtuellen Hosts (empfohlen für CloudPools):
Im Adressierungsschema des virtuellen Hosts wird der Bucket-Name im Hostnamen angezeigt. Auf den Bucket mit dem Namen "mybucket" auf Host ecs1.yourco.com kann beispielsweise wie folgt zugegriffen werden:
http://mybucket.ecs1.yourco.com
Darüber hinaus ermöglicht ECS auch die Aufnahme eines Namespace in die Adresse. Zum Beispiel:
<bucketname>.<namespace>.ecs1.yourco.com
Um diese Art der Adressierung zu verwenden, müssen Sie ECS so konfigurieren, dass es weiß, welcher Teil der URL der Bucket-Name ist. Dies erfolgt durch die Konfiguration der Basis-URL. Darüber hinaus müssen Sie sicherstellen, dass Ihr DNS-System die Adresse auflösen kann. Die folgenden Abschnitte enthalten weitere Informationen:
Pfadbasierte Adressierung:
Im pfadbasierten Adressierungsschema wird der Bucket-Name am Ende des Pfads hinzugefügt. Zum Beispiel:
ecs1.yourco.com/mybucket
Wenn Sie einen Namespace einschließen, verwenden Sie das folgende Format:
ecs1.yourco.com/mynamespace/mybucket
Teil 1: DNS-Konfiguration:
Stellen Sie beim Zugriff auf ECS-Speicher mithilfe des S3-Service sicher, dass die URL die Adresse des ECS-Daten-Node oder des Load Balancer auflöst.
Wenn Ihre Anwendung Adressierung im Stil eines virtuellen Hosts verwendet, enthält die URL den Bucket-Namen und kann einen Namespace enthalten. Unter diesen Umständen müssen Sie sicherstellen, dass Sie einen DNS-Eintrag einfügen, der die Adresse im Stil des virtuellen Hosts auflöst. Sie können dies tun, indem Sie einen Platzhalter im DNS-Eintrag verwenden.
Wenn Ihre Anwendung z. B. Anforderungen in der Form bucket.ecs.example.com ausgibt, benötigen Sie zwei DNS-CNAME-Einträge.
*.cloudpools_uri.example.com – Dieser Platzhalter CNAME ermöglicht es DNS, unsere Anfragen aufzulösen, die den Bucket-Namen in der URL haben. (CloudPools verwendet dies standardmäßig.)
cloudpools_uri.example.com - Dieser CNAME ermöglicht die Auflösung des Basisnamens, nachdem ECS ermittelt hat, welcher Teil der Anfrage der Bucket und/oder Namespace ist.
ecs-loadbalancer.example.com - Dabei sollte es sich um einen vorhandenen A-Eintrag in Ihrer Umgebung für den FQDN Ihres LoadBalancer-, GTM- oder RoundRobin-DNS handeln.
NAME TYPE VALUE
--------------------------------------------------
*.cloudpools_uri.example.com CNAME ecs-loadbalancer.example.com
cloudpools_uri.example.com CNAME ecs-loadbalancer.example.com
ecs-loadbalancer.example.com A 192.0.2.23
Mit diesen Einträgen kann der Basisname aufgelöst werden, wenn Servicelevelbefehle (Buckets aufgelistet) ausgegeben werden, und die Bucket-Adresse im Stil des virtuellen Hosts kann aufgelöst werden.
Teil 2: Konfigurieren der Basis-URL in der ECS-Benutzeroberfläche:
Wenn Sie über eine S3-Anwendung verfügen, die Adressierung im Stil eines virtuellen Hosts verwendet, und Sie diese für die Verbindung mit ECS verwenden möchten, muss die Basis-URL so festgelegt werden, dass ECS weiß, welcher Teil der Adresse sich auf den Bucket und optional auf den Namespace bezieht. Die Basis-URL kann über das ECS-Portal oder über die ECS-Management-REST-API festgelegt werden und erfordert die ECS-Systemadministratorrolle.
Die Seite "Base URL Management" zeigt die erstellten Basis-URLs und wie ECS sie verwenden sollte.
Einstellungen > Objektbasis-URL
Damit ECS weiß, wie das Bucket-Speicherortpräfix zu verarbeiten ist, muss die Basis-URL konfiguriert werden, indem eine der folgenden Optionen ausgewählt wird.
- Basis-URL mit Namespace verwenden
- Basis-URL ohne Namespace verwenden
Bei der Verarbeitung einer Anfrage führt ECS Folgendes durch:
- Versuchen Sie, den Namespace aus dem x-emc-namespace-Header zu extrahieren. Wenn sie gefunden wurde, überspringen Sie die folgenden Schritte und verarbeiten Sie die Anfrage.
- Rufen Sie den Hostnamen der URL aus dem Hostheader ab und überprüfen Sie, ob der letzte Teil der Adresse mit einer der konfigurierten Basis-URLs übereinstimmt.
- Wenn eine Basis-URL übereinstimmt, verwenden Sie den Präfixteil des Hostnamens (der Teil, der übrig bleibt, wenn die Basis-URL entfernt wird), um den Bucket-Speicherort zu erhalten.
Die folgenden Beispiele zeigen, wie ECS eingehende HTTP-Anforderungen mit unterschiedlichen Strukturen verarbeitet.
Beispiel für eine Basis-URL ohne Namespace:
Name: Example_BASEURL
BaseURL: cloudpools_uri.example.com
Use with Namespace: No
Auf diese Weise kann er bestimmen, welcher Teil der Anforderung der Bucket-Name ist. Nachfolgend finden Sie eine Beispielanforderung:
d0007430acf369abf0d5681089a1a96abc8fdi16.cloudpools_uri.example.com
Wenn Sie ihn mit einem Namespace konfigurieren, blickt er eine weitere Subdomain zurück, um den Namespace und den Bucket zu bestimmen.
Hinzufügen der Basis-URL in ECS:
- Für diesen Vorgang ist die Systemadministratorrolle in ECS erforderlich.
- Sie müssen sicherstellen, dass die in einer Anforderung angegebene Domain, die eine URL zur Angabe eines Objektstandorts verwendet, auf den Speicherort des ECS-Daten-Node oder eines Load Balancer vor den Daten-Nodes aufgelöst wird.
Verfahren:
- Wählen Sie im ECS-Portal Settings > Object Base URLs aus.
- Wählen Sie New Base URL aus.
Die Seite Neue Basis-URL wird angezeigt.
- Geben Sie den Namen der Basis-URL ein. Dies bietet zusätzliche Informationen über die Basis-URL, wenn Sie sich die Basis-URL-Tabelle ansehen.
- Geben Sie die Basis-URL ein.
Wenn die Speicherort-URLs Ihrer Objekte die folgende Form haben: d0007430acf369abf0d5681089a1a96abc8fdi16.cloudpools_uri.example.com, wäre die Basis-URL cloudpools_uri.example.com.
Sie können das Format im Namespace-Selektor angeben. - Wählen Sie das Format aus, in dem Ihre Objektadresse in der URL codiert wird: Mit oder ohne Namespace
- Wählen Sie Speichern.
Teil 3: Konfigurieren des URI für CloudPools:
Schließlich müssen wir noch den richtigen URI in der CloudPools-Konfiguration festlegen. Möglicherweise haben Sie den URI bereits ordnungsgemäß konfiguriert, aber jetzt ist es an der Zeit, dies zu überprüfen.
Der URI sollte der CNAME sein, den wir in Teil 1 eingerichtet haben und der auf Ihren Load Balancer, GTM oder Round Robin verweist.
Ihr URI lautet:
cloudpools_uri.example.com
Optional können Sie eine Portnummer wie diese eingeben, dies ist jedoch nicht erforderlich:
cloudpools_uri.example.com:9020
cloudpools_uri.example.com:443
Fügen Sie bei der Konfiguration des Cloudkontos kein Präfix "subdomain" zur Basis-URL hinzu.
Konfigurieren Sie das Cloudkonto beispielsweise nicht mit dem URI http://powerscale.cloudpools_uri.example.com:9020
Die Ausnahme wäre, wenn PowerScale der Namespace auf ECS ist und Sie im vorherigen Schritt Teil 2 die Option "Basis-URL mit Namespace verwenden" aktiviert haben.
Teil 4: Überprüfen, ob CloudPools die neue Konfiguration
ordnungsgemäß verwendetWenn Sie Unterstützung bei einem dieser Schritte benötigen, öffnen Sie einen Service-Request beim PowerScale- oder ECS-Supportteam.
IP unseres Load Balancer = 192.0.2.12
IP unseres DNS = 192.0.2.53
IP von ECS = 192.168.219.254
IP-Adresse von PowerScale = 192.0.2.70
- Überprüfen Sie, ob Ihr DNS den Platzhalter ordnungsgemäß auflöst. Er sollte in die IP Ihres VIP oder LB aufgelöst werden.
admin@:> nslookup TEST.cloudpools-uri.example.com
Server: 192.0.2.53
Address: 192.0.2.53#53
TEST.cloudpools-uri.example.com canonical name = ecs-loadbalancer.example.com
Name: ecs-loadbalancer.example.com
Address: 192.0.2.12
- Überprüfen Sie, ob Ihr DNS die Basis ordnungsgemäß auflöst. Sie sollte in die IP Ihres VIP oder LB aufgelöst werden.
admin@:> nslookup cloudpools-uri.example.com
Server: 192.0.2.53
Address: 192.0.2.53#53
cloudpools-uri.example.com canonical name = ecs-loadbalancer.example.com
Name: ecs-loadbalancer.example.com
Address: 192.0.2.12
- Überprüfen Sie, ob Ihr CloudPools-URI ordnungsgemäß festgelegt ist.
- Überprüfen Sie die Basis-URLs, die Sie in der ECS-Benutzeroberfläche konfiguriert haben.
- Starten Sie einen CloudPools-Job auf PowerScale.
Notieren Sie sich die Zeit in UTC, zu der der Job erstellt wurde und wann der Job abgeschlossen wurde. - Überprüfen Sie in der ECS-CLI, ob die Anforderungen ordnungsgemäß ausgegeben werden und keine Fehler vorliegen, indem Sie die in Schritt 5 erfassten Zeiten verwenden:
Verwenden Sie svc_request, um sich die Anforderungen für diesen Zeitraum anzusehen:
svc_request -start "2018-09-05T18:22:53" -stop "2018-09-05T18:36:05" -t HEAD summary
Beispielausgabe, bei der die Adressierung im Stil "Virtuell" nicht verwendet wird und zum Pfadstil zurückkehrt (wenn dies angezeigt wird, öffnen Sie einen Service-Request und verweisen Sie auf diesen Wissensdatenbank-Artikel):
- Sie können sehen, dass die ersten beiden Anforderungen vom CloudPools-Job mit der virtuellen Adressierung eine HTTP 403-Antwort erhalten. - lila Highlight
- Dann die zweiten beiden Anfragen kehren zur Pfadstiladressierung zurück - blaue Markierung
- Beispiel, wie Anfragen aussehen sollten - grüne Hervorhebung
admin@> svc_request -start "2025-09-05 T18:22:53" -stop "2025-09-05 18:36:05" -t HEAD summary
svc_request v0.0.10 (svc_tools v1.0.0) Started 2018-09-05 18:54:12
Time range: 2018-09-05 18:22:53 - 2018-09-05 18:36:05
Running against node(s): <All nodes>
Request Type: HEAD
Resp
Node Time Request ID Prot Type MPU Client IP Status (bytes) (ms) URL
169.254.1.2 2025-09-05 18:34:07 0aa18451:1641e1e6334:565b3:3f s3 HEAD - 192.0.2.70 403 0 3 //d0007430acf369abf0d5681089a1a96abd8fdi16.cloudpools-uri.example.com/
169.254.2.3 2025-09-05 18:34:07 0aa1845a:1641e1ded8e:55d9f:77 s3 HEAD - 192.0.2.70 403 0 3 /m0007430acf369abf0d5681089a1a96abd8fdi16.cloudpools-uri.example.com/
169.254.1.1 2025-09-05 18:34:12 0aa18450:1641e1dea6e:56189:5 s3 HEAD - 192.0.2.70 200 0 6 d000e1e56aa209c8e7558b30d6d368c1a7b95i1/
169.254.1.1 2025-09-05 18:34:12 0aa18450:1641e1dea6e:56181:4d s3 HEAD - 192.0.2.70 200 0 3 m000e1e56aa209c8e7558b30d6d368c1a7b95i1/