Azure HDInsight を使用した Apache Hadoop YARN のトラブルシューティング

Apache Ambari で Apache Hadoop YARN ペイロードを操作するときに発生する主な問題とその解決策について説明します。

クラスターで新しい YARN キューを作成する方法

解決手順

新しい YARN キューを作成し、すべてのキューの間で容量の割り当てのバランスを取るには、Ambari で次の手順を実行します。

この例では、次の 2 つの既存のキュー (defaultthriftsvr) 両方の容量を 50% から 25% に変更し、新しいキュー (Spark) が容量の 50% を使用できるようにします。

キュー 容量 最大容量
default 25% 50%
thrftsvr 25% 50%
spark 50% 50%
  1. [Ambari Views] アイコンを選択し、グリッド パターンを選択します。 次に、[YARN Queue Manager](YARN キュー マネージャー) を選択します。

    Apache Ambari ダッシュボードの YARN Queue Manager

  2. default キューを選びます。

    Apache Ambari YARN での default キューの選択

  3. default キューで、容量 を 50% から 25% に変更します。 thriftsvr キューで、容量 を 25% に変更します。

    default キューと thriftsvr キューの容量を 25% に変更する

  4. 新しいキューを作成し、[キューの追加] を選択します。

    Apache Ambari YARN ダッシュボードのキューの追加

  5. 新しいキューの名前を指定します。

    Apache Ambari YARN ダッシュボードのキューの名前

  6. [容量] の値は 50% のままにして、[アクション] ボタンをクリックします。

    Apache Ambari YARN でのアクションの選択

  7. [Save and Refresh Queues](キューの保存と更新) を選択します。

    [Save and Refresh Queues]\(キューの保存と更新\) を選択

これらの変更は YARN Scheduler UI にすぐに表示されます。

その他の情報

クラスターから YARN ログをダウンロードする方法

解決手順

  1. Secure Shell (SSH) クライアントで HDInsight クラスターに接続します。 詳細については、「その他の情報」をご覧ください。

  2. 現在実行しているすべての YARN アプリケーションのアプリケーション ID を一覧で表示するには、次のコマンドを実行します。

    yarn top
    

    ID が APPLICATIONID 列に一覧で表示されます。 ログを APPLICATIONID 列からダウンロードできます。

    YARN top - 18:00:07, up 19d, 0:14, 0 active users, queue(s): root
    NodeManager(s): 4 total, 4 active, 0 unhealthy, 0 decommissioned, 0 lost, 0 rebooted
    Queue(s) Applications: 2 running, 10 submitted, 0 pending, 8 completed, 0 killed, 0 failed
    Queue(s) Mem(GB): 97 available, 3 allocated, 0 pending, 0 reserved
    Queue(s) VCores: 58 available, 2 allocated, 0 pending, 0 reserved
    Queue(s) Containers: 2 allocated, 0 pending, 0 reserved
    
                      APPLICATIONID USER             TYPE      QUEUE   #CONT  #RCONT  VCORES RVCORES     MEM    RMEM  VCORESECS    MEMSECS %PROGR       TIME NAME
     application_1490377567345_0007 hive            spark  thriftsvr       1       0       1       0      1G      0G    1628407    2442611  10.00   18:20:20 Thrift JDBC/ODBC Server
     application_1490377567345_0006 hive            spark  thriftsvr       1       0       1       0      1G      0G    1628430    2442645  10.00   18:20:20 Thrift JDBC/ODBC Server
    
  3. すべてのアプリケーション マスターの YARN コンテナー ログをダウンロードするには、次のコマンドを使用します。

    yarn logs -applicationIdn logs -applicationId <application_id> -am ALL > amlogs.txt
    

    このコマンドによって、amlogs.txt という名前のログ ファイルが作成されます。

  4. 最新のアプリケーション マスターの YARN コンテナー ログだけをダウンロードするには、次のコマンドを使用します。

    yarn logs -applicationIdn logs -applicationId <application_id> -am -1 > latestamlogs.txt
    

    このコマンドによって、latestamlogs.txt という名前のログ ファイルが作成されます。

  5. 最初の 2 つのアプリケーション マスターの YARN コンテナー ログをダウンロードするには、次のコマンドを使用します。

    yarn logs -applicationIdn logs -applicationId <application_id> -am 1,2 > first2amlogs.txt
    

    このコマンドによって、first2amlogs.txt という名前のログ ファイルが作成されます。

  6. すべての YARN コンテナー ログをダウンロードするには、次のコマンドを使用します。

    yarn logs -applicationIdn logs -applicationId <application_id> > logs.txt
    

    このコマンドによって、logs.txt という名前のログ ファイルが作成されます。

  7. 特定のコンテナーの YARN コンテナー ログをダウンロードするには、次のコマンドを使用します。

    yarn logs -applicationIdn logs -applicationId <application_id> -containerId <container_id> > containerlogs.txt
    

    このコマンドによって、containerlogs.txt という名前のログ ファイルが作成されます。

その他の情報

次のステップ

If you didn't see your problem or are unable to solve your issue, visit one of the following channels for more support:

  • Get answers from Azure experts through Azure Community Support.

  • Connect with @AzureSupport - the official Microsoft Azure account for improving customer experience. Connecting the Azure community to the right resources: answers, support, and experts.

  • If you need more help, you can submit a support request from the Azure portal. Select Support from the menu bar or open the Help + support hub. For more detailed information, review How to create an Azure support request. Access to Subscription Management and billing support is included with your Microsoft Azure subscription, and Technical Support is provided through one of the Azure Support Plans.