Isilon : Impossible de créer une zone de chiffrement Hadoop avec RangerKMS et Active Directory Kerberos
Summary: Lorsque vous tentez de créer une zone de chiffrement Hadoop, la création échoue et le nom d’utilisateur devient le nom du cluster au lieu de l’utilisateur HDFS.
Symptoms
Lorsque vous tentez de créer une zone de chiffrement Hadoop avec OneFS 8.2, Ambari 2.7.3 et HDP 3.1.4.0-315, la création de la zone échoue, car il est impossible d’obtenir la clé.
Cluster HDP installé et Kerberisé avec Active Directory, Ranger déployé avec Ranger KMS. Les clés sont créées dans KMS[
hdpuser1@centos-05 ~]$ hadoop key list -provider kms:// http@centos-05.foo.com :9292/kms Liste des
clés pour le fournisseur de clés : org.apache.hadoop.crypto.key.kms.LoadBalancingKMSClientProvider@1750fbeb
keya
keyb
Lors de la création de la zone de chiffrement, l’erreur suivante s’affiche :
# isi hdfs crypto encryption-zones create --path=/ifs/zone3/hdp/hadoop-root/keya --key-name=keya --zone=zone3 -v
Échec de l’appel Create Encryption Zone : GetKeyMetaData : État HTTP de retour KMS : 403; Message d’exception distante : Utilisateur :ISILONS-2G88EXB$ n’est pas autorisé à faire 'GET_METADATA' sur 'keya' ; Demande : http://centos-05.foo.com:9292/kms/v1/key/keya/_metadata?user.name=hdfs
Le compte d’utilisateur référencé sans accès à GET_METADATA est le compte d’objet machine AD : ISILONS-2G88EXB$ , et non le compte de service hdfs Impossible d’ajouter cet objet AD dans Ranger KMS en tant que privilège de compte utilisateur, car le $ empêche l’ajout.
Le compte hdfs est ajouté dans KMS avec le privilège Get_Metadata requis, (voir capture d’écran)
pipe1-1# isi auth mapping token --zone=zone3 --user=foo\ISILONS-2G88EXB$
User
Name : FOOisilons-2g88exb$
UID :
1000008 SID : S-1-5-21-856609431-2249676204-1531082451-1738
On Disk : S-1-5-21-856609431-2249676204-1531082451-1738
ZID :
5 Zone : zone3
Privileges : -
Nom du groupe
principal : FOOdomain computers < -- computer object
GID :
1000003 SID : S-1-5-21-856609431-2249676204-1531082451-515
On Disk : S-1-5-21-856609431-2249676204-1531082451-515
Identités
supplémentaires Name : SID des utilisateurs
authentifiés : S-1-5-11
: Sur la base du comportement ci-dessus, TDE avec Ranger KMS et AD n’est pas pris en charge pour le moment.
Cause
Resolution
Étant donné qu’il sera considéré comme une fonctionnalité, le PdM doit intervenir pour définir la planification. Il est recommandé que l’équipe de compte contacte l’équipe produit pour obtenir un plan supplémentaire.
Additional Information
Guides de référence HDFS et du livre blanc TDE :
https://www.delltechnologies.com/resources/en-us/asset/white-papers/products/storage/h18083-wp-using-tde-with-isilon-hdfs.pdf
Guide de référence de PowerScale OneFS HDFS (en anglais)