Quickstart: Een Apache Storm topologie in azure HDInsight maken en bewakenQuickstart: Create and monitor an Apache Storm topology in Azure HDInsight

Apache Storm is een gedistribueerd, schaalbaar, fouttolerant en realtime berekeningssysteem voor het verwerken van gegevensstromen.Apache Storm is a scalable, fault-tolerant, distributed, real-time computation system for processing streams of data. Met Storm in Azure HDInsight kunt u een op een cloud gebaseerd Storm-cluster maken dat in realtime big data-analyses uitvoert.With Storm on Azure HDInsight, you can create a cloud-based Storm cluster that performs big data analytics in real time.

In deze Snelstartgids gebruikt u een voor beeld van het Apache Storm-starter- project om een Apache Storm topologie te maken en te bewaken naar een bestaand Apache Storm cluster.In this quickstart, you use an example from the Apache storm-starter project to create and monitor an Apache Storm topology to an existing Apache Storm cluster.

VereistenPrerequisites

De topologie makenCreate the topology

  1. Maak verbinding met uw Storm-cluster.Connect to your Storm cluster. Bewerk de onderstaande opdracht door de CLUSTERNAME naam van uw Storm-cluster te vervangen en voer de volgende opdracht in:Edit the command below by replacing CLUSTERNAME with the name of your Storm cluster, and then enter the command:

    ssh sshuser@CLUSTERNAME-ssh.azurehdinsight.net
    
  2. Het WordCount -voor beeld is opgenomen in uw HDInsight /usr/hdp/current/storm-client/contrib/storm-starter/-cluster op.The WordCount example is included on your HDInsight cluster at /usr/hdp/current/storm-client/contrib/storm-starter/. De topologie genereert wille keurige zinnen en telt het aantal keren dat er woorden optreden.The topology generates random sentences and counts how many times words occur. Gebruik de volgende opdracht om de WordCount -topologie op het cluster te starten:Use the following command to start the wordcount topology on the cluster:

    storm jar /usr/hdp/current/storm-client/contrib/storm-starter/storm-starter-topologies-*.jar org.apache.storm.starter.WordCountTopology wordcount
    

De topologie bewakenMonitor the topology

Storm biedt een webinterface voor het werken met actieve topologieën en is opgenomen in uw HDInsight-cluster.Storm provides a web interface for working with running topologies, and is included on your HDInsight cluster.

Voer de volgende stappen uit voor het bewaken van de topologie met behulp van de Storm-gebruikersinterface:Use the following steps to monitor the topology using the Storm UI:

  1. Als u de Storm-gebruikersinterface wilt weergeven, opent u https://CLUSTERNAME.azurehdinsight.net/stormui in een webbrowser.To display the Storm UI, open a web browser to https://CLUSTERNAME.azurehdinsight.net/stormui. Vervang CLUSTERNAME door de naam van uw cluster.Replace CLUSTERNAME with the name of your cluster.

  2. Onder topologie samenvattingselecteert u de vermelding WordCount in de kolom naam .Under Topology Summary, select the wordcount entry in the Name column. Er wordt informatie over de topologie weergegeven.Information about the topology is displayed.

    Storm-dashboard met informatie over de Storm-Starter WordCount-topologie.

    De nieuwe pagina bevat de volgende informatie:The new page provides the following information:

    EigenschapProperty DescriptionDescription
    Topologie statistiekenTopology stats Basis informatie over de topologie prestaties, geordend in tijd Vensters.Basic information on the topology performance, organized into time windows. Wanneer er een specifiek tijdvenster wordt geselecteerd, verandert het tijdvenster voor informatie die wordt weergegeven in andere gedeelten van de pagina.Selecting a specific time window changes the time window for information displayed in other sections of the page.
    SpoutsSpouts Basis informatie over spouts, met inbegrip van de laatste fout die door elke Spout wordt geretourneerd.Basic information about spouts, including the last error returned by each spout.
    BoltsBolts Basis informatie over schichten.Basic information about bolts.
    Topologie configuratieTopology configuration Gedetailleerde informatie over de topologie configuratie.Detailed information about the topology configuration.
    ActiverenActivate Hervat de verwerking van een gedeactiveerde topologie.Resumes processing of a deactivated topology.
    DeactiverenDeactivate Hiermee wordt een actieve topologie onderbroken.Pauses a running topology.
    Opnieuw verdelenRebalance Hiermee past u de parallellisme van de topologie aan.Adjusts the parallelism of the topology. Nadat u het aantal knooppunten in het cluster hebt gewijzigd, moet u actieve topologieën opnieuw verdelen.You should rebalance running topologies after you have changed the number of nodes in the cluster. Met het opnieuw verdelen wordt de parallelle uitvoering aangepast om te compenseren voor het toegenomen/afgenomen aantal knooppunten in het cluster.Rebalancing adjusts parallelism to compensate for the increased/decreased number of nodes in the cluster. Zie informatie over de parallellisme van een Apache Storm topologievoor meer informatie.For more information, see Understanding the parallelism of an Apache Storm topology.
    AfsluitenKill Hiermee wordt een storm-topologie beëindigd na de opgegeven time-out.Terminates a Storm topology after the specified timeout.
  3. Selecteer op deze pagina een item in de sectie Spouts of Bolts.From this page, select an entry from the Spouts or Bolts section. Er wordt informatie over het geselecteerde onderdeel weergegeven.Information about the selected component is displayed.

    Storm-dashboard met informatie over de geselecteerde onderdelen.

    Op de pagina Nieuw wordt de volgende informatie weer gegeven:The new page displays the following information:

    EigenschapProperty DescriptionDescription
    Spout/flits statistiekenSpout/Bolt stats Basis informatie over de prestaties van het onderdeel, geordend in tijd Vensters.Basic information on the component performance, organized into time windows. Wanneer er een specifiek tijdvenster wordt geselecteerd, verandert het tijdvenster voor informatie die wordt weergegeven in andere gedeelten van de pagina.Selecting a specific time window changes the time window for information displayed in other sections of the page.
    Invoer statistieken (alleen flits)Input stats (bolt only) Informatie over onderdelen die gegevens produceren die door de schicht worden verbruikt.Information on components that produce data consumed by the bolt.
    Uitvoer statistiekenOutput stats Informatie over gegevens die door deze schicht worden verzonden.Information on data emitted by this bolt.
    ExecutorExecutors Informatie over exemplaren van dit onderdeel.Information on instances of this component.
    FoutenErrors Fouten die door dit onderdeel worden geproduceerd.Errors produced by this component.
  4. Als u details voor een specifiek exemplaar van het onderdeel wilt weergeven, selecteert u een item in de kolom Port in de sectie Executor terwijl u de details van een spout of bolt bekijkt.When viewing the details of a spout or bolt, select an entry from the Port column in the Executors section to view details for a specific instance of the component.

     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: split default ["with"]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: split default ["nature"]
     2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [snow]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [snow, 747293]
     2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [white]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [white, 747293]
     2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [seven]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [seven, 1493957]
    

    In dit voorbeeld komt het woord seven 1.493.957 keer voor.In this example, the word seven has occurred 1493957 times. Dit getal is het aantal keer dat het woord is gevonden sinds deze topologie is gestart.This count is how many times the word has been encountered since this topology was started.

De topologie stoppenStop the topology

Ga terug naar de pagina Topology summary voor de word-count-topologie en klik vervolgens op de knop Kill in de sectie Topology actions.Return to the Topology summary page for the word-count topology, and then select the Kill button from the Topology actions section. Wanneer hierom wordt gevraagd, voert u 10 in voor het aantal seconden dat moet worden gewacht voordat de topologie wordt gestopt.When prompted, enter 10 for the seconds to wait before stopping the topology. Na de time-outperiode wordt de topologie niet meer weergegeven als u het gedeelte Storm UI van het dashboard bezoekt.After the timeout period, the topology no longer appears when you visit the Storm UI section of the dashboard.

Resources opschonenClean up resources

Nadat u de Snelstartgids hebt voltooid, kunt u het cluster verwijderen.After you complete the quickstart, you may want to delete the cluster. Met HDInsight worden uw gegevens opgeslagen in Azure Storage zodat u een cluster veilig kunt verwijderen wanneer deze niet wordt gebruikt.With HDInsight, your data is stored in Azure Storage, so you can safely delete a cluster when it is not in use. Voor een HDInsight-cluster worden ook kosten in rekening gebracht, zelfs wanneer het niet wordt gebruikt.You are also charged for an HDInsight cluster, even when it is not in use. Aangezien de kosten voor het cluster vaak zoveel hoger zijn dan de kosten voor opslag, is het financieel gezien logischer clusters te verwijderen wanneer ze niet worden gebruikt.Since the charges for the cluster are many times more than the charges for storage, it makes economic sense to delete clusters when they are not in use.

Als u een cluster wilt verwijderen, raadpleegt u een HDInsight-cluster verwijderen met behulp van uw browser, Power shell of de Azure cli.To delete a cluster, see Delete an HDInsight cluster using your browser, PowerShell, or the Azure CLI.

Volgende stappenNext steps

In deze Quick Start hebt u een voor beeld van het Apache Storm-starter- project gebruikt om een Apache Storm topologie te maken en te bewaken naar een bestaand Apache Storm cluster.In this quickstart, you used an example from the Apache storm-starter project to create and monitor an Apache Storm topology to an existing Apache Storm cluster. Ga naar het volgende artikel voor meer informatie over de basis principes van het beheer en de bewaking van Apache Storm-topologieën.Advance to the next article to learn the basics of managing and monitoring Apache Storm topologies.