Szybki start: Tworzenie i monitorowanie topologii Apache Storm w usłudze Azure HDInsightQuickstart: Create and monitor an Apache Storm topology in Azure HDInsight

Apache Storm to skalowalny, odporny na błędy, rozproszony system obliczeniowy działający w czasie rzeczywistym do przetwarzania strumieni danych.Apache Storm is a scalable, fault-tolerant, distributed, real-time computation system for processing streams of data. Dzięki platformie Storm w usłudze Azure HDInsight można utworzyć oparty na chmurze klaster Storm do wykonywania analizy danych big data w czasie rzeczywistym.With Storm on Azure HDInsight, you can create a cloud-based Storm cluster that performs big data analytics in real time.

W tym przewodniku szybki start użyto przykładu z projektu Apache burza-Starter do tworzenia i monitorowania topologii Apache Storm w istniejącym klastrze Apache Storm.In this quickstart, you use an example from the Apache storm-starter project to create and monitor an Apache Storm topology to an existing Apache Storm cluster.

Wymagania wstępnePrerequisites

Tworzenie topologiiCreate the topology

  1. Nawiąż połączenie z klastrem burzy.Connect to your Storm cluster. Edytuj poniższe polecenie, zastępując CLUSTERNAME je nazwą klastra burzy, a następnie wprowadź polecenie:Edit the command below by replacing CLUSTERNAME with the name of your Storm cluster, and then enter the command:

    ssh sshuser@CLUSTERNAME-ssh.azurehdinsight.net
    
  2. Przykład WORDCOUNT jest dołączany do klastra usługi HDInsight /usr/hdp/current/storm-client/contrib/storm-starter/w lokalizacji.The WordCount example is included on your HDInsight cluster at /usr/hdp/current/storm-client/contrib/storm-starter/. Topologia generuje losowe zdania i zlicza, ile razy występują słowa.The topology generates random sentences and counts how many times words occur. Użyj następującego polecenia, aby uruchomić topologię WORDCOUNT w klastrze:Use the following command to start the wordcount topology on the cluster:

    storm jar /usr/hdp/current/storm-client/contrib/storm-starter/storm-starter-topologies-*.jar org.apache.storm.starter.WordCountTopology wordcount
    

Monitorowanie topologiiMonitor the topology

Burza udostępnia interfejs sieci Web do pracy z uruchomionymi topologiami i znajduje się w klastrze usługi HDInsight.Storm provides a web interface for working with running topologies, and is included on your HDInsight cluster.

Wykonaj następujące kroki, aby monitorować topologię za pomocą interfejsu użytkownika platformy Storm:Use the following steps to monitor the topology using the Storm UI:

  1. Aby wyświetlić interfejs użytkownika platformy Storm, otwórz w przeglądarce internetowej adres https://CLUSTERNAME.azurehdinsight.net/stormui.To display the Storm UI, open a web browser to https://CLUSTERNAME.azurehdinsight.net/stormui. Zastąp ciąg CLUSTERNAME nazwą klastra.Replace CLUSTERNAME with the name of your cluster.

  2. W obszarze Podsumowanie topologiiwybierz wpis WORDCOUNT w kolumnie Nazwa .Under Topology Summary, select the wordcount entry in the Name column. Zostaną wyświetlone informacje o topologii.Information about the topology is displayed.

    Pulpit nawigacyjny platformy Storm z informacjami o topologii przykładu z projektu Storm Starter o nazwie WordCount.

    Nowa strona zawiera następujące informacje:The new page provides the following information:

    WłaściwośćProperty OpisDescription
    Statystyka topologiiTopology stats Podstawowe informacje o wydajności topologii, zorganizowane w okna czasu.Basic information on the topology performance, organized into time windows. Wybór określonego okna czasowego zmienia przedział czasu dla informacji wyświetlanych w innych sekcjach strony.Selecting a specific time window changes the time window for information displayed in other sections of the page.
    Elementy spoutSpouts Podstawowe informacje na temat elementy Spout, w tym ostatni błąd zwrócony przez każdy elementu Spout.Basic information about spouts, including the last error returned by each spout.
    Elementy boltBolts Podstawowe informacje na temat piorunów.Basic information about bolts.
    Konfiguracja topologiiTopology configuration Szczegółowe informacje o konfiguracji topologii.Detailed information about the topology configuration.
    UaktywnijActivate Wznawia przetwarzanie zdezaktywowanej topologii.Resumes processing of a deactivated topology.
    DezaktywujDeactivate Wstrzymuje uruchomioną topologię.Pauses a running topology.
    Zbilansuj ponownieRebalance Dostosowuje równoległość topologii.Adjusts the parallelism of the topology. Po zmianie liczby węzłów w klastrze należy przeprowadzić ponowne równoważenie uruchomionych topologii.You should rebalance running topologies after you have changed the number of nodes in the cluster. Pozwoli to dostosować równoległość topologii w celu kompensacji zwiększonej/zmniejszonej liczby węzłów w klastrze.Rebalancing adjusts parallelism to compensate for the increased/decreased number of nodes in the cluster. Aby uzyskać więcej informacji, zobacz Omówienie równoległości topologii Apache Storm.For more information, see Understanding the parallelism of an Apache Storm topology.
    ZabijKill Kończy topologię burzy po określonym limicie czasu.Terminates a Storm topology after the specified timeout.
  3. Na tej stronie wybierz pozycję z sekcji Spouts (Elementy spout) lub Bolts (Elementy bolt).From this page, select an entry from the Spouts or Bolts section. Zostaną wyświetlone informacje o wybranym składniku.Information about the selected component is displayed.

    Pulpit nawigacyjny Storm z informacjami o wybranych składnikach.

    Na nowej stronie są wyświetlane następujące informacje:The new page displays the following information:

    WłaściwośćProperty OpisDescription
    Statystyka elementu Spout/błyskawicySpout/Bolt stats Podstawowe informacje o wydajności składników zorganizowane w okna czasu.Basic information on the component performance, organized into time windows. Wybór określonego okna czasowego zmienia przedział czasu dla informacji wyświetlanych w innych sekcjach strony.Selecting a specific time window changes the time window for information displayed in other sections of the page.
    Statystyki wejściowe (tylko Piorun)Input stats (bolt only) Informacje o składnikach, które generują dane używane przez pioruna.Information on components that produce data consumed by the bolt.
    Statystyka wyjściowaOutput stats Informacje o danych emitowanych przez ten piorun.Information on data emitted by this bolt.
    Funkcje wykonawczeExecutors Informacje o wystąpieniach tego składnika.Information on instances of this component.
    BłędyErrors Błędy wytwarzane przez ten składnik.Errors produced by this component.
  4. Wyświetlając szczegółowe informacje o elemencie spout lub bolt, wybierz pozycję w kolumnie Port w sekcji Executors (Wykonawcy), aby wyświetlić szczegóły dotyczące określonego wystąpienia składnika.When viewing the details of a spout or bolt, select an entry from the Port column in the Executors section to view details for a specific instance of the component.

     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: split default ["with"]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: split default ["nature"]
     2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [snow]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [snow, 747293]
     2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [white]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [white, 747293]
     2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [seven]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [seven, 1493957]
    

    W tym przykładzie wyraz seven wystąpił 1493957 razy.In this example, the word seven has occurred 1493957 times. Tyle razy został on napotkany od momentu uruchomienia tej topologii.This count is how many times the word has been encountered since this topology was started.

Zatrzymywanie topologiiStop the topology

Wróć do strony Topology summary (Podsumowanie topologii) dla topologii WordCount, a następnie naciśnij przycisk Kill (Kasuj) w obszarze Topology actions (Akcje topologii).Return to the Topology summary page for the word-count topology, and then select the Kill button from the Topology actions section. Po wyświetleniu monitu wprowadź 10 jako liczbę sekund oczekiwania przed zatrzymaniem topologii.When prompted, enter 10 for the seconds to wait before stopping the topology. Po upłynięciu limitu czasu topologia nie będzie już wyświetlana w obszarze interfejsu użytkownika platformy Storm pulpitu nawigacyjnego.After the timeout period, the topology no longer appears when you visit the Storm UI section of the dashboard.

Oczyszczanie zasobówClean up resources

Po zakończeniu przewodnika Szybki Start możesz chcieć usunąć klaster.After you complete the quickstart, you may want to delete the cluster. Dzięki usłudze HDInsight dane są przechowywane w usłudze Azure Storage, więc można bezpiecznie usunąć klaster, gdy nie jest używany.With HDInsight, your data is stored in Azure Storage, so you can safely delete a cluster when it is not in use. Opłaty za klaster usługi HDInsight są naliczane nawet wtedy, gdy nie jest używany.You are also charged for an HDInsight cluster, even when it is not in use. Ponieważ opłaty za klaster są wielokrotnie większe niż opłaty za magazyn, ze względów ekonomicznych warto usuwać klastry, gdy nie są używane.Since the charges for the cluster are many times more than the charges for storage, it makes economic sense to delete clusters when they are not in use.

Aby usunąć klaster, zobacz usuwanie klastra usługi HDInsight przy użyciu przeglądarki, programu PowerShell lub interfejsu wiersza polecenia platformy Azure.To delete a cluster, see Delete an HDInsight cluster using your browser, PowerShell, or the Azure CLI.

Następne krokiNext steps

W tym przewodniku szybki start użyto przykładu z projektu Apache burza-Starter do tworzenia i monitorowania topologii Apache Storm w istniejącym klastrze Apache Storm.In this quickstart, you used an example from the Apache storm-starter project to create and monitor an Apache Storm topology to an existing Apache Storm cluster. Przejdź do następnego artykułu, aby poznać podstawy zarządzania i monitorowania topologii Apache Storm.Advance to the next article to learn the basics of managing and monitoring Apache Storm topologies.