Isilon:無法使用 RangerKMS 和 Active Directory Kerberos 建立 Hadoop 加密區域
Summary: 嘗試建立 Hadoop 加密區域時,建立會失敗,而且使用者名稱會以叢集名稱而非 HDFS 使用者使用。
Symptoms
嘗試使用 OneFS 8.2 建立 Hadoop 加密區域時,Ambari 2.7.3 和 HDP 3.1.4.0-315 區域建立會失敗,因為我們無法取得金鑰。
已安裝並使用 Active Directory 進行 Kerberos 化的 HDP 叢集,使用 Ranger KMS 部署的 Ranger。金鑰建立於 KMS
[hdpuser1@centos-05 ~]$ hadoop key list -provider kms:// http@centos-05.foo.com:9292/kms
列出金鑰提供者的金鑰:org.apache.hadoop.crypto.key.kms.LoadBalancingKMSClientProvider@1750fbeb
keya keyb
在建立加密區域時,我們看到以下錯誤:
# isi hdfs crypto encryption-zones create --path=/ifs/zone3/hdp/hadoop-root/keya --key-name=keya --zone=zone3 -v
建立加密區域呼叫失敗:GetKeyMetaData:KMS 傳回 HTTP 狀態:403;遠端例外訊息:使用者:ISILONS-2G88EXB$ 不允許在“keya”上執行“GET_METADATA”;要求:http://centos-05.foo.com:9292/kms/v1/key/keya/_metadata?user.name=hdfs
無法存取GET_METADATA的參考使用者帳戶是 AD 電腦物件帳戶:ISILONS-2G88EXB$ ,不是 hdfs 服務帳戶 無法將此 AD 物件新增至 Ranger KMS 作為使用者帳戶權限,$ 可防止新增。
hdfs 帳戶已新增至 KMS 中,具有必要的Get_Metadata權限,(請參閱螢幕截圖)
pipe1-1# isi auth 對應權杖 --zone=zone3 --user=foo\ISILONS-2G88EXB$
使用者
名稱:FOOisilons-2g88exb$
UID:
1000008 SID:S-1-5-21-856609431-2249676204-1531082451-1738
磁碟上:S-1-5-21-856609431-2249676204-1531082451-1738
ZID:
5 區:3 區
權限:-
主要群組
名稱:FOO網域電腦 < -- 電腦物件
GID:
1000003 SID:S-1-5-21-856609431-2249676204-1531082451-515
磁碟上:S-1-5-21-856609431-2249676204-1531082451-515
補充身份
名稱:已驗證的使用者
SID:S-1-5-11
根據上述行為,目前不支援使用 Ranger KMS 和 AD 的 TDE。
Cause
Resolution
由於將被視為一項功能,PdM 必須介入以設定排程,因此建議客戶團隊聯絡產品團隊以尋求進一步的計劃。
Additional Information
HDFS 參考和 TDE 白皮書指南:
https://www.delltechnologies.com/resources/en-us/asset/white-papers/products/storage/h18083-wp-using-tde-with-isilon-hdfs.pdf