ECS : PowerScale : Problèmes de performances CloudPools

Lorsque ECS n’est pas configuré avec une adresse IP virtuelle et un adressage de style virtuel, il existe un problème potentiel qui peut entraîner des vitesses de transfert lentes.
CloudPools prend en charge les deux styles d’adressage des buckets (Virtual Style Addressing, Path Style Addressing), mais tente toujours d’abord l’adressage virtuel.

PowerScale et CloudPools lisent leurs données stockées par fragments de 1 Mo.

Lors de la lecture d’un fichier de plus de 1 Mo, ils récupèrent ces fragments en série et chaque neuvième fragment est un fichier d’en-tête de 168 octets qui contient.

Le problème se pose lorsqu’ils font plusieurs milliers ou centaines de milliers de ces demandes. Cette surcharge en série inhérente à l’exécution d’une demande S3 ralentit la récupération des fichiers et les taux de transfert.

Puisqu’il tente d’utiliser d’abord l’adressage de style virtuel, il peut entraîner un délai entre les demandes s’il n’est pas configuré pour utiliser l’adressage de style virtuel.

Prologue :

• VIP = "L’adresse IP virtuelle (VIP) est l’instance d’équilibrage de charge où le monde pointe ses navigateurs pour accéder à un site. Un VIP dispose d’une adresse IP, qui doit être accessible au public pour être utilisable. En général, un numéro de port TCP ou UDP est associé au VIP, tel que le port TCP 80 pour le trafic Web. Un VIP a au moins un serveur réel qui lui est attribué, vers lequel il distribue du trafic.
• CP = CloudPools
• DNS RR = DNS Round Robin
• CNAME = Un enregistrement de nom canonique est un type d’enregistrement de ressource dans le système des noms de domaine qui mappe un nom de domaine à un autre, appelé nom canonique. Cela peut s’avérer pratique lors de l’exécution de plusieurs services à partir d’une seule adresse IP.

Les éléments suivants sont nécessaires lors de la configuration de l’adressage de style virtuel avec une URL de base courte :

• VIP de l’équilibreur de charge utilisé dans la configuration CP (ou VIP de DNS RR)
• Entrée CNAME générique dans le DNS pour le VIP de l’équilibreur de charge afin que bucket-name.loadbalancer-fqdn.emc.com résolve tout nom de bucket PowerScale CP se résolve en VIP du répartiteur de charge (ou DNS RR)
• Entrée CNAME pour loadbalancer.emc.com
• URL de base de l’adresse IP virtuelle configurée dans l’interface utilisateur ECS

Adressage basé sur l’hôte virtuel (recommandé pour CloudPools) :

Dans le schéma d’adressage de l’hôte virtuel, le nom du bucket apparaît dans le nom d’hôte. Par exemple, le bucket appelé « mybucket » sur l’hôte ecs1.yourco.com est accessible à l’aide des éléments suivants :

http://mybucket.ecs1.yourco.com

En outre, ECS permet également l’inclusion d’un espace de nommage dans l’adresse. Par exemple :

<bucketname>.<namespace>.ecs1.yourco.com

Pour utiliser ce style d’adressage, vous devez configurer ECS afin qu’il sache quelle partie de l’URL est le nom du bucket. Pour ce faire, configurez l’URL de base. En outre, vous devez vous assurer que votre système DNS peut résoudre l’adresse. Vous trouverez plus d’informations dans les sections suivantes :

Adressage basé sur le chemin :

Dans le modèle d’adressage basé sur un chemin, le nom du bucket est ajouté à la fin du chemin. Par exemple :

ecs1.yourco.com/mybucket

Lors de l’inclusion d’un espace de nommage, utilisez le format suivant :

ecs1.yourco.com/mynamespace/mybucket

                                                                                                                                                                                                                                       
Partie 1 : Configuration DNS :

Lorsque vous accédez au stockage ECS à l’aide du service S3, assurez-vous que l’URL correspond bien à l’adresse du nœud de données ECS ou de l’équilibreur de charge.

Lorsque votre application utilise l’adressage de type hôte virtuel, l’URL inclut le nom du bucket et peut inclure un espace de nommage. Dans ces circonstances, vous devez vous assurer d’inclure une entrée DNS qui résout l’adresse de style d’hôte virtuel. Pour ce faire, utilisez un caractère générique dans l’entrée DNS.

Par exemple, si votre application émet des demandes sous la forme bucket.ecs.example.com, vous devez disposer de deux entrées DNS CNAME.

*.cloudpools_uri.example.com : ce caractère générique CNAME permet au DNS de résoudre les demandes dont l’URL contient le nom du bucket. (C’est ce que CloudPools utilise par défaut)
cloudpools_uri.example.com - Ce CNAME permet de résoudre le nom de base une fois qu’ECS a déterminé quelle partie de la demande est le bucket et/ou l’espace de nommage.
ecs-loadbalancer.example.com - Il doit s’agir d’un enregistrement A existant dans votre environnement pour le FQDN de votre DNS LoadBalancer, GTM ou RoundRobin

NAME                    TYPE   VALUE
--------------------------------------------------
*.cloudpools_uri.example.com       CNAME  ecs-loadbalancer.example.com
cloudpools_uri.example.com         CNAME  ecs-loadbalancer.example.com

ecs-loadbalancer.example.com        A      192.0.2.23

Ces entrées permettent de résoudre le nom de base lors de l’émission de commandes de niveau de service (listes de buckets) et de résoudre l’adresse de bucket de style hôte virtuel.

Partie 2 : Configuration de l’URL de base dans l’interface utilisateur ECS :

Si vous disposez d’une application S3 qui utilise l’adressage de type hôte virtuel et que vous souhaitez l’utiliser pour vous connecter à ECS, l’URL de base doit être définie pour permettre à ECS de savoir quelle partie de l’adresse fait référence au bucket et, éventuellement, à l’espace de nommage. L’URL de base peut être définie à l’aide du portail ECS ou de l’ECS Management REST API, et nécessite le rôle d’administrateur système ECS.

La page Base URL Management affiche les URL de base qui ont été créées et la façon dont ECS doit les utiliser.

Settings > Object Base URL

Pour qu’ECS sache comment traiter le préfixe d’emplacement du bucket, l’URL de base doit être configurée en choisissant l’une des options suivantes.

• Utiliser l’URL de base avec l’espace de nommage
• Utiliser l’URL de base sans espace de nommage

Lors du traitement d’une demande, ECS :

1. Essayez d’extraire l’espace de nommage de l’en-tête x-emc-namespace. Le cas échéant, ignorez les étapes ci-dessous et traitez la demande.
2. Obtenez le nom d’hôte de l’URL à partir de l’en-tête de l’hôte et vérifiez si la dernière partie de l’adresse correspond à l’une des URL de base configurées.
3. En cas de correspondance de l’URL de base, utilisez la partie préfixe du nom d’hôte (la partie restante lorsque l’URL de base est supprimée) pour obtenir l’emplacement du bucket.

Les exemples suivants montrent comment ECS gère les demandes HTTP entrantes avec différentes structures.

Exemple d’URL de base sans espace de nommage :

Name:                  Example_BASEURL
BaseURL:               cloudpools_uri.example.com
Use with Namespace:    No

Cela lui permet de déterminer quelle partie de la demande est le nom du bucket. Vous trouverez ci-dessous un exemple de demande :

d0007430acf369abf0d5681089a1a96abc8fdi16.cloudpools_uri.example.com

Si vous le configurez avec un espace de nommage, il consulte un sous-domaine supplémentaire pour déterminer l’espace de nommage et le bucket.

Ajout de l’URL de base dans ECS :

Procédure :

1. Sur le portail ECS, sélectionnez Settings > Object Base URLs.
2. Sélectionnez New Base URL.

   La page New Base URL s’affiche.
   

3. Saisissez le nom de l’URL de base. Cela fournit des informations supplémentaires sur l’URL de base lorsque vous examinez le tableau d’URL de base.
4. Saisissez l’URL de base.
   Si les URL d’emplacement de vos objets se présentent sous la forme : d0007430acf369abf0d5681089a1a96abc8fdi16.cloudpools_uri.example.com, l’URL de base est cloudpools_uri.example.com.
   Vous pouvez spécifier quel format dans le sélecteur d’espace de nommage.
5. Choisissez le format dans lequel l’adresse de votre objet est codée dans l’URL : Avec ou sans espace de nommage
6. Sélectionnez Enregistrer.

Partie 3 : Configuration de l’URI pour CloudPools :
Enfin, nous devons définir l’URI approprié dans la configuration de CloudPools. Vous avez peut-être déjà configuré l’URI correctement, mais c’est le moment de vérifier.
L’URI doit être le CNAME que nous avons configuré dans la partie 1 qui pointe vers votre équilibreur de charge, GTM ou permutation circulaire.

Votre URI est : 

cloudpools_uri.example.com

Si vous le souhaitez, vous pouvez saisir un numéro de port comme ceci, mais ce n’est pas obligatoire :

cloudpools_uri.example.com:9020

cloudpools_uri.example.com:443

N’ajoutez pas de préfixe « sous-domaine » à l’URL de base lors de la configuration du compte Cloud.
Par exemple, ne configurez pas le compte Cloud à l’aide de l’URI http ://powerscale.cloudpools_uri.example.com :9020

L’exception est lorsque PowerScale est l’espace de nommage sur ECS et qu’à l’étape précédente Partie 2, vous avez coché « Use base URL with namespace »

Partie 4 : Vérifier que CloudPools utilise correctement la nouvelle configuration.
Si vous avez besoin d’aide pour l’une de ces étapes, ouvrez une demande de service auprès de l’équipe de support PowerScale ou ECS.
 

1. Vérifiez que votre DNS résout correctement le caractère générique, il doit se résoudre sur l’adresse IP de votre VIP ou LB.

admin@:> nslookup TEST.cloudpools-uri.example.com
Server:         192.0.2.53
Address:        192.0.2.53#53

TEST.cloudpools-uri.example.com    canonical name = ecs-loadbalancer.example.com
Name:   ecs-loadbalancer.example.com
Address: 192.0.2.12

2. Vérifiez que votre DNS résout correctement la base, il doit se résoudre sur l’adresse IP de votre VIP ou LB.

admin@:> nslookup cloudpools-uri.example.com
Server:         192.0.2.53
Address:        192.0.2.53#53

cloudpools-uri.example.com    canonical name = ecs-loadbalancer.example.com
Name:   ecs-loadbalancer.example.com
Address: 192.0.2.12

3. Vérifiez que votre URI CloudPools est correctement défini.
4. Vérifiez les URL de base que vous avez configurées dans l’interface utilisateur ECS.
5. Démarrez une tâche CloudPools sur le système PowerScale.
   Notez l’heure en UTC à laquelle la tâche a été créée et à quel moment elle s’est terminée.
6. À partir de la CLI ECS, vérifiez que les demandes sont émises correctement et qu’il n’y a pas d’erreurs en utilisant les heures que nous avons recueillies à l’étape 5 :
   Utilisez svc_request pour examiner les demandes pour cette période :

svc_request -start "2018-09-05T18:22:53" -stop "2018-09-05T18:36:05" -t HEAD summary

Exemple de sortie dans lequel l’adressage de style virtuel ne parvient pas à être utilisé et revient au style de chemin (si vous voyez cela, ouvrez une demande de service et référencez cet article de la base de connaissances) :

• Vous pouvez voir les deux premières demandes de la tâche CloudPools utilisant l’adressage de style virtuel obtenir une réponse HTTP 403. - Surbrillance violette
• Ensuite, les deux demandes suivantes reviennent à l’adressage basé sur le style chemin - surbrillance bleue
• Exemple de ce à quoi doivent ressembler les demandes : surbrillance verte

admin@> svc_request -start "2025-09-05 T18:22:53" -stop "2025-09-05 18:36:05" -t HEAD summary
svc_request v0.0.10 (svc_tools v1.0.0)                 Started 2018-09-05 18:54:12


Time range:  2018-09-05 18:22:53 - 2018-09-05 18:36:05
Running against node(s): <All nodes>
Request Type: HEAD
                                                                                                                              Resp
                                                                                                                  Node             Time                Request ID                         Prot  Type  MPU   Client IP        Status (bytes)     (ms)     URL
169.254.1.2      2025-09-05 18:34:07   0aa18451:1641e1e6334:565b3:3f      s3    HEAD  -     192.0.2.70       403    0           3        //d0007430acf369abf0d5681089a1a96abd8fdi16.cloudpools-uri.example.com/
169.254.2.3      2025-09-05 18:34:07   0aa1845a:1641e1ded8e:55d9f:77      s3    HEAD  -     192.0.2.70       403    0           3        /m0007430acf369abf0d5681089a1a96abd8fdi16.cloudpools-uri.example.com/

169.254.1.1      2025-09-05 18:34:12   0aa18450:1641e1dea6e:56189:5       s3    HEAD  -     192.0.2.70       200    0           6        d000e1e56aa209c8e7558b30d6d368c1a7b95i1/
169.254.1.1      2025-09-05 18:34:12   0aa18450:1641e1dea6e:56181:4d      s3    HEAD  -     192.0.2.70       200    0           3        m000e1e56aa209c8e7558b30d6d368c1a7b95i1/