Azure HDInsight でのスクリプトアクションのトラブルシューティング

[アーティクル]
03/22/2024

この記事では、Azure HDInsight クラスターと対話するときの問題のトラブルシューティング手順と可能な解決策について説明します。

ログの表示

Apache Ambari Web UI を使用すると、スクリプトアクションによってログに記録された情報を表示できます。クラスターの作成中にスクリプトでエラーが発生した場合、ログは既定のストレージアカウントにあります。このセクションでは、これら両方のオプションを使用してログを取得する方法について説明します。

Apache Ambari Web UI

Web ブラウザーから、https://CLUSTERNAME.azurehdinsight.net に移動します。ここで、CLUSTERNAME はクラスターの名前です。
ページ上部のバーから [OPS] エントリを選択します。これにより、Ambari を使用してクラスターで実行される、現在と過去の操作の一覧が表示されます。
[Operations] 列で runcustomscriptaction エントリを探します。これらのエントリは、スクリプトアクションの実行時に作成されます。

STDOUT と STDERR の出力を表示するには、run\customscriptaction エントリを選択してリンクをたどります。この出力結果はスクリプトの実行時に生成され、有益な情報が含まれていることがあります。

既定のストレージアカウント

スクリプトエラーのためにクラスターの作成が失敗した場合、クラスターストレージアカウントにログが保持されます。

ストレージログは、 \STORAGE_ACCOUNT_NAME\DEFAULT_CONTAINER_NAME\custom-scriptaction-logs\CLUSTER_NAME\DATEにあります。

このディレクトリの下で、ヘッドノード、ワーカーノード、および zookeeper ノードごとにログが整理されています。次の例を参照してください。
- ヘッドノード: <ACTIVE-HEADNODE-NAME>.cloudapp.net
- ワーカーノード: <ACTIVE-WORKERNODE-NAME>.cloudapp.net
- Zookeeper ノード: <ACTIVE-ZOOKEEPERNODE-NAME>.cloudapp.net
対応するホストのすべての stdout と stderr が、ストレージアカウントにアップロードされます。各スクリプトアクションに対して、output-.txt とが 1 つずつあります。 output-*.txt ファイルには、ホストで実行されたスクリプトの URI に関する情報が含まれます。次のテキストはこの情報の例です。
```
'Start downloading script locally: ', u'https://hdiconfigactions.blob.core.windows.net/linuxrconfigactionv01/r-installer-v01.sh'
```
同じ名前のスクリプトアクションクラスターを繰り返し作成できます。そのような場合は、DATE フォルダー名に基づいて適切なログを識別できます。たとえば、異なる日付で作成されるクラスターのフォルダー構造 mycluster は、ログエントリには次のように表示されます。

\STORAGE_ACCOUNT_NAME\DEFAULT_CONTAINER_NAME\custom-scriptaction-logs\mycluster\2015-10-04 \STORAGE_ACCOUNT_NAME\DEFAULT_CONTAINER_NAME\custom-scriptaction-logs\mycluster\2015-10-05
同じ日に同じ名前のスクリプトアクションクラスターを作成する場合は、一意のプレフィックスを使用して該当するログファイルを識別できます。
12:00 AM (深夜 0 時) 近くにクラスターを作成すると、ログファイルが 2 日間にまたがる可能性があります。そのような場合は、同じクラスターに日付が異なる 2 つのフォルダーが作成されます。
既定のコンテナーへのログファイルのアップロードは、特に大きなクラスターの場合、最大 5 分かかることがあります。そのため、ログにアクセスする必要がある場合は、スクリプトアクションが失敗したときにクラスターをすぐに削除しないでください。

Ambari ウォッチドッグ

Linux ベースの HDInsight クラスターでは、Ambari ウォッチドッグ hdinsightwatchdog のパスワードは変更しないでください。パスワードを変更すると、HDInsight クラスターで新しいスクリプトアクションを実行できなくなります。

名前 BlobService をインポートできない

現象。スクリプト操作が失敗します。 Ambari で操作を表示すると、次のエラーに似たテキストが表示されます。

Traceback (most recent call list):
  File "/var/lib/ambari-agent/cache/custom_actions/scripts/run_customscriptaction.py", line 21, in <module>
    from azure.storage.blob import BlobService
ImportError: cannot import name BlobService

原因。このエラーは、HDInsight クラスターに含まれている Python Azure Storage クライアントをアップグレードする場合に発生します。 HDInsight は、Azure Storage クライアント 0.20.0 を予期しています。

解決策。このエラーを解決するには、ssh を使用して各クラスターノードを手動で接続します。次のコマンドを実行して、ストレージクライアントの正しいバージョンを再インストールします。

sudo pip install azure-storage==0.20.0

SSH を使用してクラスターに接続する方法については、「SSH を使用して HDInsight (Apache Hadoop) に接続する」をご覧ください。

クラスターの作成時に使用されたスクリプトが履歴に表示されない

クラスターが 2016 年 3 月 15 日より前に作成された場合、スクリプトアクション履歴にエントリが表示されない可能性があります。クラスターのサイズ変更を行うと、スクリプトアクション履歴にスクリプトが表示されます。

ただし、例外が 2 つあります。

クラスターが 2015 年 9 月 1 日より前に作成された場合。この日付は、スクリプトアクションが導入された日付です。この日付より前に作成されたクラスターに関しては、クラスター作成にスクリプトアクションを使用できませんでした。
クラスターを作成するときに、複数のスクリプトアクションを使用した場合。または、複数のスクリプトに対して同じ名前を使用したか、複数のスクリプトに対して同じ名前と URI、異なるパラメーターを使用した場合。この場合は、次のエラーが発生します。
```
No new script actions can be run on this cluster because of conflicting script names in existing scripts. Script names provided at cluster creation must be all unique. Existing scripts are run on resize.
```

次のステップ

問題がわからなかった場合、または問題を解決できない場合は、次のいずれかのチャネルでサポートを受けてください。

Azure コミュニティのサポートを通じて Azure エキスパートから回答を得る。
カスタマーエクスペリエンスを向上させるための Microsoft Azure の公式アカウントの @AzureSupport に連絡する。 Azure コミュニティで適切なリソース (回答、サポート、エキスパートなど) につながる。
さらにヘルプが必要な場合は、Azure portal からサポートリクエストを送信できます。メニューバーから [サポート] を選択するか、 [ヘルプとサポート] ハブを開いてください。詳細については、「Azure サポート要求を作成する方法」を参照してください。サブスクリプション管理と課金サポートへのアクセスは、Microsoft Azure サブスクリプションに含まれていますが、テクニカルサポートはいずれかの Azure のサポートプランを通して提供されます。

Azure HDInsight でのスクリプト アクションのトラブルシューティング