Isilon: Não é possível criar a zona de criptografia do Hadoop com o RangerKMS e o Active Directory Kerberos
Summary: Ao tentar criar uma zona de criptografia do Hadoop, a criação apresenta falha e o nome de usuário passa a ser o nome do cluster em vez do usuário do HDFS.
Symptoms
Falha na tentativa de criar uma zona de criptografia do Hadoop com OneFS 8.2, Ambari 2.7.3 e HDP 3.1.4.0-315, pois não conseguimos obter a chave.
Cluster do HDP instalado e kerberizado com o Active Directory, Ranger implementado com o Ranger KMS. As chaves são criadas no KMS[
hdpuser1@centos-05 ~]$ hadoop key list -provider kms:// http@centos-05.foo.com:9292/kms
Listando chaves para KeyProvider: org.apache.hadoop.crypto.key.kms.LoadBalancingKMSClientProvider@1750fbeb
keya
keyb
Ao criar a zona de criptografia, vemos o seguinte erro:
# isi hdfs crypto encryption-zones create --path=/ifs/zone3/hdp/hadoop-root/keya --key-name=keya --zone=zone3 -v
Falha na chamada Create Encryption Zone: GetKeyMetaData: O KMS retorna status HTTP: 403; Mensagem de exceção remota: Usuário:ISILONS-2G88EXB$ não tem permissão para fazer 'GET_METADATA' em 'keya'; Solicitação: http://centos-05.foo.com:9292/kms/v1/key/keya/_metadata?user.name=hdfs
A conta de usuário referenciada sem acesso a GET_METADATA é a conta de objeto de máquina do AD: ISILONS-2G88EXB$ , não a conta de serviço hdfs Não é possível adicionar esse objeto AD ao Ranger KMS como um privilégio de conta de usuário, o $ impede a adição.
A conta hdfs é adicionada ao KMS com o privilégio Get_Metadata necessário, (veja a captura de tela)
pipe1-1# isi auth mapping token --zone=zone3 --user=foo\ISILONS-2G88EXB$
Nome de usuário:
FOOisilons-2g88exb$
UID:
1000008 SID: S-1-5-21-856609431-2249676204-1531082451-1738
Em disco: S-1-5-21-856609431-2249676204-1531082451-1738
ZID:
5 Zona: zone3
Privilégios: -
Nome do grupo
principal: Computadores < FOOdomain -- GID do objeto
de computador:
1000003 SID: S-1-5-21-856609431-2249676204-1531082451-515
No disco: S-1-5-21-856609431-2249676204-1531082451-515
Nome de identidades
suplementares: SID de usuários
autenticados: S-1-5-11
Com base no comportamento acima, a TDE com Ranger, KMS e AD não é compatível no momento.
Cause
Resolution
Como ele será considerado um recurso, o PdM é obrigado a intervir para definir o agendamento, é recomendável que a equipe da conta entre em contato com a equipe de produtos para obter mais planos.
Additional Information
Guias de referência de HDFS e white paper de TDE:
https://www.delltechnologies.com/resources/en-us/asset/white-papers/products/storage/h18083-wp-using-tde-with-isilon-hdfs.pdf
Guia de referência do PowerScale OneFS HDFS