OneFS Apache Hadoop YARN düğüm etiketi özelliğini kullanma denemeleri başarısız oluyor

Summary: OneFS Apache Hadoop YARN düğüm etiketi özelliğini kullanma denemeleri başarısız oluyor

Bu makale şunlar için geçerlidir: Bu makale şunlar için geçerli değildir: Bu makale, belirli bir ürüne bağlı değildir. Bu makalede tüm ürün sürümleri tanımlanmamıştır.
Diğer kaynaklara göz atın

Symptoms



Sorun
Apache Hadoop YARN düğüm etiketi özelliğini kullanmaya çalışırken eylem başarısız olur ve OneFS bir hata mesajı oluşturur.


Belirtiler

OneFS 7.2.1.x ve Apache Hadoop 2.7 ile YARN düğüm etiketi özelliğini kullanmaya çalışırken kullanıcılar bir -appendToFile alabilir: Önemli dahili hata mesajı.
 

Ortam
OneFS 7.2.1.x ve Hadoop 2.7

Cause

Neden

Varsayılan olarak Hadoop, düğüm etiket bilgilerini HDFS kümesindeki bir dizinde depolar.  Isilon OneFS 7.2.1.x, Hadoop 2.7'den gönderilen appendtofile parametresini tanımaz ve kullanıcılar YARN düğüm etiketi özelliğini kullanmaya çalıştığında hatalara neden olabilir.

Resolution


Çözüm

Bu sorunu çözmek için aşağıdakilerden birini yapın:

  • OneFS 7.2.1.2

    • Aşağıda sağlanan geçici çözümü uygulayın

  • OneFS 7.2.1.1

    • Önce patch-164059'u uygulayın ve ardından aşağıda sağlanan geçici çözümü uygulayın

Geçici Çözüm

HDFS kümesi yerine OneFS kümesinde bulunan bir YARN düğüm etiketi dizinini manuel olarak oluşturmak ve kullanmak için aşağıdaki geçici çözümü uygulayın.  Not: GitHub'da isilon_hadoop_tools betiği çalıştırdıysanız, betik otomatik olarak doğru dizini oluşturup izinlendirdiğinden bu geçici çözümü izlemeniz gerekmez.

Aşama 1. OneFS'yi düğüm etiket bilgilerini
depolamak için hazırlamaOneFS kümesinde aşağıdaki adımları uygulayın.
Not: Aşağıdaki prosedürde HDFS_ROOT_DIR, OneFS kümesindeki HDFS kök dizininize atıfta bulunur.

  1. Düğüm etiket deposunu barındırmak için OneFS'de yeni dizin oluşturun.
    • mkdir -p HDFS_ROOT_DIR/system/yarn/node-labels
  2. Kullanıcı ipliğinin mevcut olduğunu doğrulayın. Not: Henüz yarn adlı bir kullanıcı oluşturmadıysanız, şimdi bir tane oluşturun.  Kullanıcı oluşturma hakkında bilgi için Isilon OneFS CLI Yönetim Kılavuzu'nun Yerel kullanıcıları ve grupları yönetme bölümüne bakın.
    • isi auth users list
  3. Kullanıcı yarn'ı yeni dizinin sahibi yapın.
    • chown iplik HDFS_ROOT_DIR / sistem / iplik / düğüm etiketleri
  4. Dizinin izin düzeyini, sahibinin okumasına, yazmasına ve yürütmesine izin verecek şekilde değiştirin.
    • CHMOD 700 HDFS_ROOT_DIR/sistem/iplik/düğüm etiketleri
 
(İsteğe bağlı) 2 Adım: Apache Hadoop'u düğüm etiket bilgilerini OneFS'de depolamaya yönlendirin
HDFS kümesinde aşağıdaki adımları uygulayın.
  1. Bir tarayıcı kullanarak HDFS kümeniz üzerinde Ambari Manager'da oturum açın.
  2. Ambari Dashboard'un üst başlığından Services öğesine tıklayın.
  3. Sol panelde YARN öğesine tıklayın.
  4. Configs sekmesine tıklayın.
  5. Settings sekmesine tıklayın.
  6. YARN Özellikleri altında, düğüm etiketlerinin Etkin olduğunu onaylayın.
  7. Save (Kaydet) öğesine tıklayın.
  8. Gelişmiş sekmesine tıklayın.
  9. Gelişmiş iplik sitesi bölümünü genişletin.
  10. yarn.node-labels.fs-store.root-dir alanında, varsayılan /system/yarn/node-labels öğesinin listelendiğini doğrulayın.
  11. Save (Kaydet) öğesine tıklayın.

Additional Information

Ek bilgi

Hadoop 2.7 sorunu hakkında Apache bilgileri:


issues.apache.org/jira/browse/HDFS-9290Yarn ın düğüm etiketi özelliğinin nasıl kullanılacağına ilişkin Apache belgeleri:


hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlYarn ın düğüm etiketi özelliğinin nasıl kullanılacağına ilişkin Hortonworks belgeleri:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html  

Etkilenen Ürünler

Isilon

Ürünler

Isilon
Makale Özellikleri
Article Number: 000052203
Article Type: Solution
Son Değiştirme: 26 Mar 2025
Version:  4
Sorularınıza diğer Dell kullanıcılarından yanıtlar bulun
Destek Hizmetleri
Aygıtınızın Destek Hizmetleri kapsamında olup olmadığını kontrol edin.