Isilon. Не удается создать зону шифрования Hadoop с помощью RangerKMS и Active Directory Kerberos
Summary: При попытке создать зону шифрования Hadoop происходит сбой, и имя пользователя переходит в качестве имени кластера, а не пользователя HDFS.
Symptoms
При попытке создать зону шифрования Hadoop с OneFS 8.2, Ambari 2.7.3 и HDP 3.1.4.0-315 создание зоны завершается сбоем, так как не удается получить ключ.
Кластер HDP установлен и подключен по протоколу Kerberos с помощью Active Directory, Ranger развернут с помощью Ranger KMS. Ключи создаются в KMS
[hdpuser1@centos-05 ~]$ Hadoop key list -provider kms:// http@centos-05.foo.com:9292/kms
Вывод ключей для KeyProvider: org.apache.hadoop.crypto.key.kms.LoadBalancingKMSClientProvider@1750fbeb
keya
keyb
При создании зоны шифрования отображается следующая ошибка:
# isi hdfs crypto encryption-zones create --path=/ifs/zone3/hdp/hadoop-root/keya --key-name=keya --zone=zone3 -v
Не удалось выполнить вызов создания зоны шифрования: GetKeyMetaData: KMS возвращает состояние HTTP: 403; Сообщение об удаленном исключении: Пользователь:ISILONS-2G88EXB$ не имеет права делать 'GET_METADATA' на 'keya'; Запрос: http://centos-05.foo.com:9292/kms/v1/key/keya/_metadata?user.name=hdfs
Указанная учетная запись пользователя, не имеющая доступа к GET_METADATA, является учетной записью объекта компьютера Active Directory: ISILONS-2G88EXB$ , но не сервисная учетная запись hdfs. Не может добавить этот объект AD в Ranger KMS в качестве прав учетной записи пользователя, $ предотвращает добавление.
Учетная запись hdfs добавлена в KMS с необходимыми привилегиями Get_Metadata, (см. снимок экрана)
pipe1-1# маркер сопоставления аутентификации isi --zone=zone3 --user=foo\ISILONS-2G88EXB$
Имя пользователя:
UID FOOisilons-2g88exb$
:
1000008 SID: С-1-5-21-856609431-2249676204-1531082451-1738
На диске: С-1-5-21-856609431-2249676204-1531082451-1738
ЗИД:
5 Зона: zone3
Привилегии: -
Имя основной группы
: FOOdomain computers < -- GID компьютерного объекта
:
1000003 SID: S-1-5-21-856609431-2249676204-1531082451-515
На диске: S-1-5-21-856609431-2249676204-1531082451-515
Дополнительные идентификаторы
Имя: SID аутентифицированных пользователей
: S-1-5-11
Исходя из вышеуказанного поведения, TDE с Ranger KMS и AD в настоящее время не поддерживается.
Cause
Resolution
Поскольку это будет рассматриваться как функция, для настройки расписания потребуется вмешательство PdM, рекомендуется отделу по работе с заказчиками связаться с группой разработчиков для уточнения дальнейшего плана.
Additional Information
Справочные руководства по HDFS и техническим документам TDE:
https://www.delltechnologies.com/resources/en-us/asset/white-papers/products/storage/h18083-wp-using-tde-with-isilon-hdfs.pdf
Справочное руководство по PowerScale OneFS HDFS