クイック スタート:Azure HDInsight で Apache Storm トポロジを作成、監視するQuickstart: Create and monitor an Apache Storm topology in Azure HDInsight

Apache Storm は、データ ストリームの処理を目的とし、スケーラビリティとフォールト トレランスに優れた、分散型のリアルタイム計算システムです。Apache Storm is a scalable, fault-tolerant, distributed, real-time computation system for processing streams of data. Azure HDInsight の Storm を使用して、Storm でリアルタイムで ビッグ データ分析を実行するクラウドベースの Storm クラスターを作成できます。With Storm on Azure HDInsight, you can create a cloud-based Storm cluster that performs big data analytics in real time.

このクイック スタートでは、Apache storm-starter プロジェクトの例を使用して、既存の Apache Storm クラスターに対して Apache Storm トポロジーを作成、監視します。In this quickstart, you use an example from the Apache storm-starter project to create and monitor an Apache Storm topology to an existing Apache Storm cluster.

前提条件Prerequisites

トポロジを作成するCreate the topology

  1. Storm クラスターに接続します。Connect to your Storm cluster. 次のコマンドを編集して CLUSTERNAME を Storm クラスターの名前に置き換えてから、コマンドを入力します。Edit the command below by replacing CLUSTERNAME with the name of your Storm cluster, and then enter the command:

    ssh sshuser@CLUSTERNAME-ssh.azurehdinsight.net
    
  2. WordCount の例は、/usr/hdp/current/storm-client/contrib/storm-starter/ で HDInsight クラスターに含まれています。The WordCount example is included on your HDInsight cluster at /usr/hdp/current/storm-client/contrib/storm-starter/. トポロジによりランダムな文が生成され、単語の出現回数がカウントされます。The topology generates random sentences and counts how many times words occur. 次のコマンドを使用して、クラスターで wordcount トポロジを開始します。Use the following command to start the wordcount topology on the cluster:

    storm jar /usr/hdp/current/storm-client/contrib/storm-starter/storm-starter-topologies-*.jar org.apache.storm.starter.WordCountTopology wordcount
    

トポロジの監視Monitor the topology

Storm には、トポロジの実行を操作する Web インターフェイスがあり、HDInsight クラスターに含まれています。Storm provides a web interface for working with running topologies, and is included on your HDInsight cluster.

次の手順により、Storm UI を使用してトポロジを監視します。Use the following steps to monitor the topology using the Storm UI:

  1. Storm UI を表示するには、Web ブラウザーで https://CLUSTERNAME.azurehdinsight.net/stormui を開きます。To display the Storm UI, open a web browser to https://CLUSTERNAME.azurehdinsight.net/stormui. CLUSTERNAME をクラスターの名前に置き換えます。Replace CLUSTERNAME with the name of your cluster.

  2. [トポロジの概要] で、 [名前] 列の [wordcount] エントリを選択します。Under Topology Summary, select the wordcount entry in the Name column. トポロジの情報が表示されます。Information about the topology is displayed.

    storm-starter WordCount トポロジの情報が含まれている Storm ダッシュボード。

    新しいページに、次の情報が表示されます。The new page provides the following information:

    プロパティProperty 説明Description
    トポロジの統計Topology stats 時間枠で整理された、トポロジのパフォーマンスに関する基本的な情報。Basic information on the topology performance, organized into time windows. 特定の時間枠を選択すると、ページの他のセクションに表示される情報の時間枠に変更されます。Selecting a specific time window changes the time window for information displayed in other sections of the page.
    スパウトSpouts 各スパウトによって返された最後のエラーを含む、スパウト関する基本的な情報。Basic information about spouts, including the last error returned by each spout.
    ボルトBolts ボルトに関する基本的な情報。Basic information about bolts.
    トポロジの構成Topology configuration トポロジの構成に関する詳細情報。Detailed information about the topology configuration.
    アクティブ化Activate アクティブ化が解除されたトポロジの処理を再開します。Resumes processing of a deactivated topology.
    非アクティブ化Deactivate 実行中のトポロジを一時停止します。Pauses a running topology.
    再調整Rebalance トポロジの並列処理を調整します。Adjusts the parallelism of the topology. クラスターのノード数を変更した場合は、実行中のトポロジを再調整する必要があります。You should rebalance running topologies after you have changed the number of nodes in the cluster. 再調整によって、並列処理が、クラスター内のノード数の増減に合わせて調整されます。Rebalancing adjusts parallelism to compensate for the increased/decreased number of nodes in the cluster. 詳細については、Apache Storm トポロジの並列処理の理解に関するページを参照してください。For more information, see Understanding the parallelism of an Apache Storm topology.
    強制終了Kill 指定したタイムアウト後に Storm トポロジを停止します。Terminates a Storm topology after the specified timeout.
  3. このページで、 [スパウト] または [ボルト] セクションからエントリを選択します。From this page, select an entry from the Spouts or Bolts section. 選択したコンポーネントに関する情報が表示されます。Information about the selected component is displayed.

    選択したコンポーネントに関する情報が含まれている Storm ダッシュボード。

    新しいページに次の情報が表示されます。The new page displays the following information:

    プロパティProperty 説明Description
    スパウト/ボルトの統計Spout/Bolt stats 時間枠で整理された、コンポーネントのパフォーマンスに関する基本的な情報。Basic information on the component performance, organized into time windows. 特定の時間枠を選択すると、ページの他のセクションに表示される情報の時間枠に変更されます。Selecting a specific time window changes the time window for information displayed in other sections of the page.
    入力の統計 (ボルトのみ)Input stats (bolt only) ボルトによって使用されるデータを生成するコンポーネントに関する情報。Information on components that produce data consumed by the bolt.
    出力の統計Output stats このボルトによって出力されるデータに関する情報。Information on data emitted by this bolt.
    エグゼキュータExecutors このコンポーネントのインスタンスに関する情報。Information on instances of this component.
    ErrorsErrors このコンポーネントで生成されたエラー。Errors produced by this component.
  4. スパウトまたはボルトの詳細を表示したら、 [エグゼキュータ] セクションの [ポート] 列でエントリを選択して、コンポーネントの特定のインスタンスの詳細を表示します。When viewing the details of a spout or bolt, select an entry from the Port column in the Executors section to view details for a specific instance of the component.

     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: split default ["with"]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: split default ["nature"]
     2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [snow]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [snow, 747293]
     2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [white]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [white, 747293]
     2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [seven]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [seven, 1493957]
    

    この例では、seven という単語が 1493957 回発生しました。In this example, the word seven has occurred 1493957 times. この数値は、このトポロジが開始されてから、この単語が発生した回数です。This count is how many times the word has been encountered since this topology was started.

トポロジを停止するStop the topology

ワードカウント トポロジの [トポロジの概要] ページに戻り、 [トポロジのアクション] セクションで [強制終了] ボタンを選択します。Return to the Topology summary page for the word-count topology, and then select the Kill button from the Topology actions section. メッセージが表示されたら、トポロジを停止するまでの待機秒数として「10」を入力します。When prompted, enter 10 for the seconds to wait before stopping the topology. タイムアウト期間後は、ダッシュボードの [Storm UI] セクションにアクセスしても、トポロジは表示されません。After the timeout period, the topology no longer appears when you visit the Storm UI section of the dashboard.

リソースのクリーンアップClean up resources

このクイックスタートを完了したら、必要に応じてクラスターを削除できます。After you complete the quickstart, you may want to delete the cluster. HDInsight を使用すると、データは Azure Storage に格納されるため、クラスターは、使用されていない場合に安全に削除できます。With HDInsight, your data is stored in Azure Storage, so you can safely delete a cluster when it is not in use. また、HDInsight クラスターは、使用していない場合でも課金されます。You are also charged for an HDInsight cluster, even when it is not in use. クラスターの料金は Storage の料金の何倍にもなるため、クラスターを使用しない場合は削除するのが経済的にも合理的です。Since the charges for the cluster are many times more than the charges for storage, it makes economic sense to delete clusters when they are not in use.

クラスターを削除するには、「ブラウザー、PowerShell、または Azure CLI を使用して HDInsight クラスターを削除する」を参照してください。To delete a cluster, see Delete an HDInsight cluster using your browser, PowerShell, or the Azure CLI.

次の手順Next steps

このクイック スタートでは、Apache storm-starter プロジェクトの例を使用して、既存の Apache Storm クラスターに対して Apache Storm トポロジーを作成し監視しました。In this quickstart, you used an example from the Apache storm-starter project to create and monitor an Apache Storm topology to an existing Apache Storm cluster. Apache Storm トポロジの管理や監視の基礎を習得するには、次の記事に進みます。Advance to the next article to learn the basics of managing and monitoring Apache Storm topologies.