PowerScale : Isilon : OneFS : Accès intermittent refusé à l’aide de Cloudera Hadoop

L’accès au client HDFS vous est refusé :

mkdir: Permission denied: user=hive/dlplhdc1.us.lab.com@AMER.LAB.COM, access=WRITE, path="/tmp/hive/hive/_tez_session_dir/testaaa_270520221_i3"

Dans les journaux de débogage HDFS, l’autorisation refusée s’applique au nom du compte SAM généré :

2021-02-27T16:39:25.220377-04:00 <30.6> lab-sondd-3(id3) hdfs[4183]: [hdfs] RPC V9 mkdirs user: hive/ddlplhdc1.us.LAB.com@AMER.LAB.COM exception: org.apache.hadoop.security.AccessControlException cause: Permission denied: user=hive/dlplhdc1.us.LAB.com@AMER.LAB.COM, access=WRITE, path="/ranger/audit/hive/hiveServer2/20220527/testdd_270520221_9" <FS Exception at ():0 STATUS_ACCESS_DENIED>

Les journaux lsass détaillés indiquent l’impossibilité de rechercher l’utilisateur :

lab-sond-135: 2022-05-27T14:14:34.156217-04:00 <30.7> lab-sond-135(id137) lsass[5777]: [lsass] VERBOSE:0x8063efe10:LsaIsi_CrackName():lsass/server/api/isiutil.c:1125: Unable to crack name hive/dlplhdc1.us.lab.com@AMER.LAB.COM: name is hive/dlplhdc1.us.lab.com, domain AMER.LAB.COM

Dans OneFS 8.2.2 et versions supérieures, le code de recherche utilisateur a été modifié. Le nom principal d’utilisateur (UPN) a été supprimé à l’utilisateur uniquement. Étant donné que le code a changé, l’hypothèse est que DOMAIN\user et user@DOMAIN sont identiques. Cloudera a un format UPN (user@domain) différent que OneFS ne peut pas rechercher.

Solution de contournement :
modifiez le nom du compte SAM dans Active Directory pour qu’il corresponde au nom d’utilisateur dans Hadoop. Par exemple, modifiez le nom du compte SAM en hive pour hive/dlplhdc1.us.lab.com@AMER. LAB.COM :
**REMARQUE : Répétez ce processus si Cloudera régénère un nouveau nom de compte SAM.***

Exemple

lab-sond-1# isi auth users view AMERICAS\\dlhdpprdvrkmhjqnbh --zone=dlprdhdfs
 Name: AMERICAS\dlhdpprdvrkmhjqnbh
 DN: CN=dlhdpprdVrkmHJqNbH,OU=DDL,OU=Prod,OU=Hadoop,DC=amer,DC=lab,DC=com
 DNS Domain: AMERICAS.lab.com
 Domain: AMERICAS
 Provider: lsa-activedirectory-provider:AMER.LAB.COM
 Sam Account Name: dlhdpprdVrkmHJqNbH
 UID: 4000244
...
 UPN: hive/dlplhdc1.us.lab.com@AMER.LAB.COM
User Can Change Password: Yes

Après la modification :

lab-sond-1# isi auth users view AMERICAS\\hive --zone=dlprdhdfs
 Name: AMERICAS\hive
 DN: CN=dlhdpprdVrkmHJqNbH,OU=DDL,OU=Prod,OU=Hadoop,DC=amer,DC=lab,DC=com
 DNS Domain: amer.lab.com
 Domain: AMERICAS
 Provider: lsa-activedirectory-provider:AMER.LAB.COM
 Sam Account Name: hive  <<<<<<<<<<<<<<<<<<<<<<<< changed to match hive user from UPN
 UID: 20006
...
 UPN: hive/dlplhdc1.us.lab.com@AMER.LAB.COM
User Can Change Password: Yes
lab-sond-1#

Vous devez attendre la fin de la réplication Active Directory, ce qui peut prendre plusieurs heures, en fonction de l’environnement.

Le vidage du cache côté Isilon peut également vous aider si le problème persiste :

# isi_for_array isi auth cache flush --all

---------------------------------------------------------------------------------------------------------------------------
Si vous utilisez des utilisateurs proxy, vous pouvez ajouter le nom du compte SAM généré à la liste des utilisateurs proxy : 
 

example-1# isi hdfs proxyusers list
Name
--------------
example\aBuMxq   < -Adding the proxy user here in addition to the hive user, for example
example\sigdkju
hive
hue
-------------

Le correctif de ce problème est prévu pour une version future de OneFS.