シナリオ:Azure HDInsight 内でのクラスター ノードのディスク領域の不足

この記事では、Azure HDInsight クラスターと対話するときの問題のトラブルシューティング手順と可能な解決策について説明します。

問題

次のようなエラー メッセージが表示されてジョブが失敗することがあります: /usr/hdp/2.6.3.2-14/hadoop/libexec/hadoop-config.sh: fork: No space left on device.

または、local-dirs usable space is below configured utilization percentage のような Apache Ambari アラートが表示される場合があります。

原因

Apache Yarn アプリケーション キャッシュによって、使用可能なすべてのディスク領域が消費されている可能性があります。 Spark アプリケーションが効率よく実行されていない可能性があります。

解像度

1. Ambari UI を使用して、ディスク領域が不足しているノードを特定します。

2. 問題となっているノード内のどのフォルダーがディスク領域に最も影響を与えているかを判断します。 まずノードに SSH で接続し、df を実行して、すべてのマウントのディスク使用量を一覧表示します。 通常、これは OSS によって使用される一時ディスクである /mnt です。 フォルダーに入り、「sudo du -hs」と入力すると、フォルダーの下にファイル サイズの概要が表示されます。 /mnt/resource/hadoop/yarn/local/usercache/livy/appcache/application_1537280705629_0007 のようなフォルダーが表示される場合、この出力はアプリケーションがまだ実行されていることを意味します。 この出力は、RDD の永続化または中間シャッフル ファイルが原因である可能性があります。

3. この問題を軽減するには、アプリケーションを強制終了します。これにより、そのアプリケーションによって使用されているディスク領域が解放されます。

4. ワーカー ノードで問題が頻繁に発生する場合は、クラスターの YARN ローカル キャッシュ設定を調整できます。

   Ambari UI を開き、[YARN] --> [Configs] (構成) --> [Advanced] (詳細) の順に選択します。
   次の 2 つのプロパティをカスタム yarn-site.xml セクションに追加して保存します。

   yarn.nodemanager.localizer.cache.target-size-mb=2048
   yarn.nodemanager.localizer.cache.cleanup.interval-ms=300000
   

5. 上記の手順で問題が完全に解決されない場合は、アプリケーションを最適化します。

次のステップ

問題がわからなかった場合、または問題を解決できない場合は、次のいずれかのチャネルでサポートを受けてください。

• Azure コミュニティのサポートを通じて Azure エキスパートから回答を得る。

• カスタマー エクスペリエンスを向上させるための Microsoft Azure の公式アカウントの @AzureSupport に連絡する。 Azure コミュニティで適切なリソース (回答、サポート、エキスパートなど) につながる。

• さらにヘルプが必要な場合は、Azure portal からサポート リクエストを送信できます。 メニュー バーから [サポート] を選択するか、 [ヘルプとサポート] ハブを開いてください。 詳細については、「Azure サポート要求を作成する方法」を参照してください。 サブスクリプション管理と課金サポートへのアクセスは、Microsoft Azure サブスクリプションに含まれていますが、テクニカル サポートはいずれかの Azure のサポート プランを通して提供されます。