ЕКС: Шкала потужності: Проблеми з продуктивністю CloudPools
Summary: Налаштуйте ECS та PowerScale (офіційно Isilon) для використання адресації віртуального стилю та отримання кращої продуктивності.
Symptoms
Якщо ECS не налаштовано з віртуальною IP-адресою та віртуальним стилем адресації, існує потенційна проблема, яка може спричинити низьку швидкість передачі.
CloudPools підтримує обидва стилі адресації сегментів (Virtual Style Addressing, Path Style Addressing), однак спочатку завжди намагається адресацію у віртуальному стилі.
Cause
Спосіб, за допомогою якого PowerScale і CloudPools зчитують збережені дані – це фрагменти розміром 1 МБ.
Під час читання файлу розміром більше 1 МБ вони отримують ці фрагменти по черзі, і кожен дев'ятий фрагмент є 168-байтовим заголовком, який містить.
Питання виникає, коли вони звертаються з декількома тисячами чи сотнями тисяч таких запитів. Це послідовно накладні витрати, властиві виконанню запиту S3, в сумі роблять швидкість отримання та передачі файлів низькою.
Оскільки він спочатку намагається використовувати адресацію віртуального стилю, це може спричинити затримку між запитами, якщо він не налаштований на використання адресації віртуального стилю.
Resolution
Пролог:
- VIP = "Віртуальна IP (VIP) - це інстанція, що балансує навантаження, коли світ вказує своїм браузерам, щоб потрапити на сайт. VIP-персона має IP-адресу, яка має бути загальнодоступною, щоб її можна було використовувати. Зазвичай з VIP пов'язаний номер порту TCP або UDP , наприклад порт TCP 80 для веб-трафіку. У VIP-персони закріплений як мінімум один реальний сервер, на який він розподіляє трафік».
- CP = CloudPools
- DNS RR = DNS за круговою системою
- CNAME = Запис канонічного імені - це тип ресурсного запису в системі доменних імен, який відображає одне доменне ім'я на інше, яке називається канонічним ім'ям. Це може виявитися зручним при запуску декількох служб з однієї IP-адреси.
При налаштуванні адресації віртуального стилю з короткою базовою URL-адресою необхідне наступне:
- VIP балансувальника навантаження, що використовується в налаштуванні CP (або VIP DNS RR)
- Введення CNAME із символом узагальнення в DNS для балансувальника навантаження VIP, щоб bucket-name.loadbalancer-fqdn.emc.com розв'язувало будь-яке ім'я сегмента PowerScale CP у форматі VIP балансувальника навантаження (або DNS RR)
- Запис CNAME для loadbalancer.emc.com
- Базова URL-адреса VIP, налаштована в інтерфейсі ECS UI
Адресація стилю віртуального хоста (рекомендується для CloudPools):
У схемі адресації віртуального хоста ім'я сегмента відображається в імені хоста. Наприклад, сегмент під назвою "mybucket" у ecs1.yourco.com хоста буде доступний за допомогою:
http://mybucket.ecs1.yourco.com
Крім того, ECS також дозволяє включати простір імен в адресу. Наприклад:
<bucketname>.<namespace>.ecs1.yourco.com
Щоб використовувати цей стиль адресації, потрібно налаштувати ECS так, щоб він знав, яка частина URL-адреси є ім'ям сегмента. Робиться це за допомогою налаштування Base URL. Крім того, ви повинні переконатися, що ваша система DNS може розпізнати адресу. У наступних розділах наведено додаткову інформацію:
Адресація на основі шляху:
У схемі адресації на основі шляху ім'я сегмента додається в кінець шляху. Наприклад:
ecs1.yourco.com/mybucket
При включенні простору імен використовуйте такий формат:
ecs1.yourco.com/mynamespace/mybucket
Частина 1: Конфігурація DNS:
Під час доступу до сховища ECS за допомогою служби S3 переконайтеся, що URL-адреса відповідає адресі вузла даних ECS або розподілювача навантаження.
Якщо ваша програма використовує адресацію в стилі віртуального хоста, URL-адреса містить ім'я сегмента та може включати простір імен. За таких обставин ви повинні переконатися, що ви включили запис DNS, який визначає адресу віртуального стилю хоста. Це можна зробити за допомогою символу узагальнення в записі DNS.
Наприклад, якщо ваша програма видає запити у формі bucket.ecs.example.com, у вас має бути два записи DNS CNAME.
*.cloudpools_uri.example.com – цей CNAME із символом узагальнення дозволяє DNS вирішувати наші запити, які містять ім'я сегмента в URL-адресі. (Це те, що CloudPools використовує за замовчуванням)
cloudpools_uri.example.com - Цей CNAME дозволить вирішити базове ім'я після того, як ECS визначить, яка частина запиту є сегментом та/або простором
імен.ecs-loadbalancer.example.com - Це має бути існуючий запис A у вашому середовищі для FQDN вашого DNS LoadBalancer, GTM або RoundRobin.
NAME TYPE VALUE
--------------------------------------------------
*.cloudpools_uri.example.com CNAME ecs-loadbalancer.example.com
cloudpools_uri.example.com CNAME ecs-loadbalancer.example.com
ecs-loadbalancer.example.com A 192.0.2.23
Ці записи дають змогу розпізнавати базове ім'я під час видачі команд службового рівня (сегменти списку) і адресу сегмента віртуального хосту, яку потрібно вирішити.
Частина 2: Налаштування базової URL-адреси в інтерфейсі ECS:
Якщо у вас є програма S3, яка використовує адресацію в стилі віртуального хоста, і ви хочете використовувати її для підключення до ECS, базова URL-адреса має бути встановлена так, щоб ECS могла знати, яка частина адреси посилається на сегмент і, за бажанням, на простір імен. Базова URL-адреса може бути встановлена за допомогою ECS Portal або за допомогою ECS Management REST API і вимагає ролі системного адміністратора ECS.
На сторінці керування базовими URL-адресами показані створені базові URL-адреси та як ECS має їх використовувати.
URL-адреса > бази об'єктів налаштувань
Щоб ECS знала, як обробляти префікс розташування сегмента, базову URL-адресу потрібно налаштувати, вибравши один із наведених нижче параметрів.
- Використовуйте базову URL-адресу з простором імен
- Використовувати базову URL-адресу без простору назв
При обробці запиту ЕКС:
- Спробуйте витягнути простір імен із заголовка x-emc-namespace. Якщо знайдете, пропустіть наведені нижче кроки та обробіть запит.
- Отримайте ім'я хоста URL із заголовка хоста та перевірте, чи збігається остання частина адреси з будь-якою з налаштованих базових URL-адрес.
- Якщо є збіг із базовою URL-адресою, використовуйте префікс у назві хоста (частина, що залишається після видалення базової URL-адреси), щоб отримати розташування сегмента.
Наступні приклади демонструють, як ECS обробляє вхідні HTTP-запити з різними структурами.
Приклад базової URL-адреси без простору імен:
Name: Example_BASEURL
BaseURL: cloudpools_uri.example.com
Use with Namespace: No
Це дозволяє йому визначити, яка частина запиту є ім'ям сегмента. Нижче наведено приклад запиту:
d0007430acf369abf0d5681089a1a96abc8fdi16.cloudpools_uri.example.com
Якщо ви налаштуєте його за допомогою простору імен, він озирнеться назад ще на один субдомен, щоб визначити простір імен і сегмент
.Додавання базового URL в ECS:
- Для виконання цієї операції потрібна роль системного адміністратора в ECS.
- Ви повинні переконатися, що домен, зазначений у запиті, який використовує URL-адресу для визначення місцезнаходження об'єкта, відповідає розташуванню вузла даних ECS або балансувальника навантаження, який розташований перед вузлами даних.
Процедура:
- На порталі ECS виберіть Налаштування > URL-адрес об'єктів.
- Виберіть Нова базова URL-адреса.
Відкриється сторінка Нова базова URL-адреса.
- Введіть назву базової URL-адреси. Це надає додаткову інформацію про базову URL-адресу під час перегляду таблиці базових URL-адрес.
- Введіть базову URL-адресу.
Якщо URL-адреси розташування ваших об'єктів мають вигляд: d0007430acf369abf0d5681089a1a96abc8fdi16.cloudpools_uri.example.com, базова URL-адреса буде cloudpools_uri.example.com.
Ви можете вказати який формат у селекторі простору імен. - Виберіть формат, у якому закодована адреса вашого об'єкта в URL-адресі: З простором імен або без простору імен
- Виберіть Зберегти.
Частина 3: Налаштування URI для CloudPools:
Нарешті, ми повинні встановити правильний URI в конфігурації CloudPools. Можливо, у вас вже правильно налаштовано URI, але зараз саме час перевірити.
URI має бути CNAME, який ми встановили в Частині 1, який вказує на ваш Load Balancer, GTM або Round Robin.
Ваш URI:
cloudpools_uri.example.com
За бажанням ви можете поставити номер порту так, але це не обов'язково:
cloudpools_uri.example.com:9020
cloudpools_uri.example.com:443
Не додавайте префікс "субдомен" до базової URL-адреси під час налаштування хмарного облікового запису.
Наприклад, не налаштовуйте хмарний обліковий запис за допомогою URI http://powerscale.cloudpools_uri.example.com:9020
Виняток становитиме випадок, коли PowerScale є простором імен на ECS, а на попередньому кроці Частина 2 ви поставили галочку "Використовувати базову URL-адресу з простором імен"
Частина 4: Перевірка CloudPools здійснюється належним чином за допомогою нової конфігурації.
Якщо вам потрібна допомога з будь-яким із цих кроків, відкрийте запит на обслуговування в команді підтримки PowerScale або ECS.
IP нашого балансувальника навантаження = 192.0.2.12
IP нашого DNS = 192.0.2.53
IP ECS = 192.168.219.254
IP-адреса нашого PowerScale = 192.0.2.70
- Переконайтеся, що ваш DNS правильно розпізнає символ узагальнення, він повинен відповідати IP-адресі вашого VIP або LB.
admin@:> nslookup TEST.cloudpools-uri.example.com
Server: 192.0.2.53
Address: 192.0.2.53#53
TEST.cloudpools-uri.example.com canonical name = ecs-loadbalancer.example.com
Name: ecs-loadbalancer.example.com
Address: 192.0.2.12
- Переконайтеся, що ваш DNS правильно розрізняє базу, він повинен відповідати IP вашого VIP або LB.
admin@:> nslookup cloudpools-uri.example.com
Server: 192.0.2.53
Address: 192.0.2.53#53
cloudpools-uri.example.com canonical name = ecs-loadbalancer.example.com
Name: ecs-loadbalancer.example.com
Address: 192.0.2.12
- Переконайтеся, що ваш URI CloudPools налаштовано правильно.
- Перевірте базові URL-адреси, які ви налаштували в інтерфейсі ECS.
- Почніть роботу в CloudPools на PowerScale.
Запишіть час в UTC, коли було створено завдання і коли завдання було виконано. - У ECS CLI переконайтеся, що запити виконуються належним чином і немає помилок, використовуючи час, який ми зібрали на кроці 5:
Використовуйте svc_request, щоб переглянути запити за цей період часу:
svc_request -start "2018-09-05T18:22:53" -stop "2018-09-05T18:36:05" -t HEAD summary
Приклад виведення, де не використовується адресація віртуального стилю та повертається до стилю шляху (якщо ви бачите це, відкрийте запит на послугу та посилайтеся на цю базу даних):
- Ви можете побачити перші два запити з CloudPools Job за допомогою адресації віртуального стилю, отримавши відповідь HTTP 403. - фіолетове виділення
- Потім другі два запити, повертаючись до адресації стилю шляху - синій виділення,
- Приклад того, як повинні виглядати запити - зелене виділення
admin@> svc_request -start "2025-09-05 T18:22:53" -stop "2025-09-05 18:36:05" -t HEAD summary
svc_request v0.0.10 (svc_tools v1.0.0) Started 2018-09-05 18:54:12
Time range: 2018-09-05 18:22:53 - 2018-09-05 18:36:05
Running against node(s): <All nodes>
Request Type: HEAD
Resp
Node Time Request ID Prot Type MPU Client IP Status (bytes) (ms) URL
169.254.1.2 2025-09-05 18:34:07 0aa18451:1641e1e6334:565b3:3f s3 HEAD - 192.0.2.70 403 0 3 //d0007430acf369abf0d5681089a1a96abd8fdi16.cloudpools-uri.example.com/
169.254.2.3 2025-09-05 18:34:07 0aa1845a:1641e1ded8e:55d9f:77 s3 HEAD - 192.0.2.70 403 0 3 /m0007430acf369abf0d5681089a1a96abd8fdi16.cloudpools-uri.example.com/
169.254.1.1 2025-09-05 18:34:12 0aa18450:1641e1dea6e:56189:5 s3 HEAD - 192.0.2.70 200 0 6 d000e1e56aa209c8e7558b30d6d368c1a7b95i1/
169.254.1.1 2025-09-05 18:34:12 0aa18450:1641e1dea6e:56181:4d s3 HEAD - 192.0.2.70 200 0 3 m000e1e56aa209c8e7558b30d6d368c1a7b95i1/