Začínáme s Apache Storm v HDInsight pomocí příkladů topologie Storm StarterGet started with Apache Storm on HDInsight using the storm-starter examples

Další informace o použití Apache Storm v HDInsight pomocí příkladů topologie storm starter.Learn how to use Apache Storm in HDInsight using the storm-starter examples.

Apache Storm je škálovatelný výpočetní systém v reálném čase odolný proti chybám, distribuovaný určený pro zpracování datových proudů.Apache Storm is a scalable, fault-tolerant, distributed, real-time computation system for processing streams of data. Pomocí Storm v Azure HDInsight můžete vytvořit cloudový cluster Storm, který bude provádět analýzy velkých objemů dat v reálném čase.With Storm on Azure HDInsight, you can create a cloud-based Storm cluster that performs big data analytics in real time.

Důležité

HDInsight od verze 3.4 výše používá výhradně operační systém Linux.Linux is the only operating system used on HDInsight version 3.4 or greater. Další informace najdete v tématu Vyřazení prostředí HDInsight ve Windows.For more information, see HDInsight retirement on Windows.

PožadavkyPrerequisites

Varování

Za clustery HDInsight se fakturuje za minutu, ať už používáte je nebo není.Billing for HDInsight clusters is prorated per minute, whether you use them or not. Nezapomeňte odstranit cluster po dokončení jeho použití.Be sure to delete your cluster after you finish using it. Zobrazit odstranění clusteru služby HDInsight.See how to delete an HDInsight cluster.

Vytvoření clusteru Apache StormCreate an Apache Storm cluster

Pomocí následujících kroků můžete vytvořit Storm na clusteru HDInsight:Use the following steps to create a Storm on HDInsight cluster:

  1. Přihlaste se k webu Azure Portal.Sign in to the Azure portal.

  2. Přejděte do + vytvořit prostředek > Analytics > HDInsight.Navigate to + Create a resource > Analytics > HDInsight.

    Vytvoření clusteru HDInsight

  3. V části Základy zadejte následující informace:From the Basics section, enter the following information:

    • Název clusteru: Název clusteru HDInsight.Cluster Name: The name of the HDInsight cluster.
    • Předplatné: Vyberte předplatné, které chcete použít.Subscription: Select the subscription to use.
    • Uživatelské jméno přihlášení clusteru a přihlašovací heslo clusteru: Přihlašovací údaje pro přístup ke clusteru přes protokol HTTPS.Cluster login username and Cluster login password: The login when accessing the cluster over HTTPS. Tyto přihlašovací údaje se používají i pro přístup ke službám, jako jsou webové uživatelské rozhraní Ambari nebo REST API.You use these credentials to access services such as the Ambari Web UI or REST API.
    • Uživatelské jméno Secure Shell (SSH): Přihlašovací údaje používané pro přístup ke clusteru přes SSH.Secure Shell (SSH) username: The login used when accessing the cluster over SSH. Ve výchozím nastavení je heslo stejné jako pro přihlášení ke clusteru.By default the password is the same as the cluster login password.
    • Skupina prostředků: Skupina prostředků, ve které se cluster vytváří.Resource Group: The resource group to create the cluster in.
    • Umístění: Oblast Azure, ve které se cluster vytváří.Location: The Azure region to create the cluster in.

    Výběr předplatného

  4. Vyberte Typ clusteru a pak v části Konfigurace clusteru zadejte následující hodnoty:Select Cluster type, and then set the following values in the Cluster configuration section:

    • Typ clusteru: StormCluster Type: Storm

    • Operační systém: LinuxOperating system: Linux

    • Verze: Storm 1.1.0 (HDI 3.6)Version: Storm 1.1.0 (HDI 3.6)

    Nakonec uložte nastavení tlačítkem Vybrat.Finally, use the Select button to save settings.

    Výběr typu clusteru

  5. Po výběru typu clusteru použijte tlačítko Vybrat k výběru typu clusteru.After selecting the cluster type, use the Select button to set the cluster type. Dále stisknutím tlačítka Další dokončete základní konfiguraci.Next, use the Next button to finish basic configuration.

  6. V části Úložiště vyberte nebo vytvořte účet úložiště.From the Storage section, select or create a Storage account. Pro ukázkový postup v tomto dokumentu ponechte všechna ostatní pole v této části na výchozích hodnotách.For the steps in this document, leave the other fields in this section at the default values. Stisknutím tlačítka Další uložte konfiguraci úložiště.Use the Next button to save storage configuration. Další informace o použití Data Lake Storage Gen2 najdete v tématu rychlý start: Nastavení clusterů v HDInsight.For more information on using Data Lake Storage Gen2, see Quickstart: Set up clusters in HDInsight.

    Nastavení účtu úložiště pro HDInsight

  7. V části Souhrn zkontrolujte konfiguraci clusteru.From the Summary section, review the configuration for the cluster. Pomocí odkazů Upravit opravte případná chybná nastavení.Use the Edit links to change any settings that are incorrect. Nakonec pomocí tlačítka Vytvořit cluster vytvořte.Finally, use the Create button to create the cluster.

    Souhrn konfigurace clusteru

    Poznámka

    Vytvoření clusteru trvá přibližně 20 minut.It can take up to 20 minutes to create the cluster.

Spuštění ukázky topologie Storm Starter v HDInsightRun a storm-starter sample on HDInsight

  1. Připojte se ke clusteru HDInsight pomocí protokolu SSH:Connect to the HDInsight cluster using SSH:

     ssh USERNAME@CLUSTERNAME-ssh.azurehdinsight.net
    

    Tip

    Váš klient SSH může hlásit nemožnost potvrzení pravosti hostitele.Your SSH client may say that the authenticity of the host can't be established. V takovém případě zadejte yes a pokračujte.If so, enter yes to continue.

    Poznámka

    Pokud jste použili heslo k zabezpečení uživatelského účtu SSH, zobrazí se výzva k jeho zadání.If you used a password to secure your SSH user account, you are prompted to enter it. Pokud jste použili veřejný klíč, možná budete muset použít parametr -i k zadání odpovídajícího privátního klíče.If you used a public key, you may need to use the -i parameter to specify the matching private key. Například, ssh -i ~/.ssh/id_rsa USERNAME@CLUSTERNAME-ssh.azurehdinsight.net.For example, ssh -i ~/.ssh/id_rsa USERNAME@CLUSTERNAME-ssh.azurehdinsight.net.

    Další informace najdete v tématu Použití SSH se službou HDInsight.For information, see Use SSH with HDInsight.

  2. Následující příkaz použijte ke spuštění ukázkové topologie:Use the following command to start an example topology:

     storm jar /usr/hdp/current/storm-client/contrib/storm-starter/storm-starter-topologies-*.jar org.apache.storm.starter.WordCountTopology wordcount
    

    Tento příkaz v clusteru spustí ukázkovou topologii WordCount.This command starts the example WordCount topology on the cluster. Tato topologie generuje náhodné věty a počítá výskyty slov.This topology generates random sentences and counts how many times words occur. Popisný název topologie je wordcount.The friendly name of the topology is wordcount.

    Poznámka

    Při odesílání vlastních topologií do clusteru je před použitím příkazu storm nutné nejprve zkopírovat soubor jar obsahující cluster.When submitting your own topologies to the cluster, you must first copy the jar file containing the cluster before using the storm command. Ke zkopírování tohoto souboru použijte příkaz scp.Use the scp command to copy the file. Například scp FILENAME.jar USERNAME@CLUSTERNAME-ssh.azurehdinsight.net:FILENAME.jar.For example, scp FILENAME.jar USERNAME@CLUSTERNAME-ssh.azurehdinsight.net:FILENAME.jar

    Příklad WordCount a další příklady topologie Storm Starter jsou již zahrnuty v clusteru na /usr/hdp/current/storm-client/contrib/storm-starter/.The WordCount example, and other storm-starter examples, are already included on your cluster at /usr/hdp/current/storm-client/contrib/storm-starter/.

Pokud chcete zobrazit zdroj ukázek storm-starter, jejich kód najdete na https://github.com/apache/storm/tree/1.1.x-branch/examples/storm-starter.If you are interested in viewing the source for the storm-starter examples, you can find the code at https://github.com/apache/storm/tree/1.1.x-branch/examples/storm-starter. Tento odkaz je pro Storm 1.1.x, který je součástí služby HDInsight 3.6.This link is for Storm 1.1.x, which is provided with HDInsight 3.6. Pro ostatní verze Stormu použijte tlačítko Větev v horní části stránky a vyberte jinou verzi Stormu.For other versions of Storm, use the Branch button at the top of the page to select a different Storm version.

Monitorování topologieMonitor the topology

Uživatelské rozhraní Storm poskytuje webové rozhraní pro práci se spuštěnými topologiemi a je součástí clusteru HDInsight.The Storm UI provides a web interface for working with running topologies, and is included on your HDInsight cluster.

Ke sledování topologie pomocí uživatelského rozhraní Storm použijte následující kroky:Use the following steps to monitor the topology using the Storm UI:

  1. Pokud chcete zobrazit uživatelské rozhraní Storm, otevřete ve webovém prohlížeči adresu https://CLUSTERNAME.azurehdinsight.net/stormui.To display the Storm UI, open a web browser to https://CLUSTERNAME.azurehdinsight.net/stormui. Nahraďte CLUSTERNAME názvem vašeho clusteru.Replace CLUSTERNAME with the name of your cluster.

    Poznámka

    Pokud budete vyzváni k zadání uživatelského jména a hesla, zadejte správce clusteru (admin) a heslo použité při vytvoření clusteru.If asked to provide a user name and password, enter the cluster administrator (admin) and password that you used when creating the cluster.

  2. V části Souhrn topologie, vyberte položku wordcount ve sloupci Název.Under Topology summary, select the wordcount entry in the Name column. Zobrazí se další informace o topologii.Information about the topology is displayed.

    Řídicí panel Storm s informacemi o topologii Storm Starter WordCount.

    Tato stránka přináší následující informace:This page provides the following information:

    • Statistiky topologie – základní informace o výkonu topologie uspořádané do časových oken.Topology stats - Basic information on the topology performance, organized into time windows.

      Poznámka

      Výběrem konkrétního časového okna změníte časové okno informací zobrazených v dalších částech stránky.Selecting a specific time window changes the time window for information displayed in other sections of the page.

    • Funkce Spouts – základní informace o funkcích spouts, včetně poslední chyby vrácené každou funkcí spout.Spouts - Basic information about spouts, including the last error returned by each spout.

    • Funkce Bolts – základní informace o funkcích bolts.Bolts - Basic information about bolts.

    • Topologie konfigurace – podrobné informace o konfiguraci topologie.Topology configuration - Detailed information about the topology configuration.

      Tato stránka také obsahuje akce, které můžete provést na topologii:This page also provides actions that can be taken on the topology:

    • Aktivovat – obnoví zpracování deaktivované topologie.Activate - Resumes processing of a deactivated topology.

    • Deaktivovat – pozastaví spuštěné topologie.Deactivate - Pauses a running topology.

    • Znovu vyvážit – upraví paralelismus topologii.Rebalance - Adjusts the parallelism of the topology. Po změně počtu uzlů v clusteru musíte znovu vyvážit spuštěné topologie.You should rebalance running topologies after you have changed the number of nodes in the cluster. Nové vyvážení upraví paralelismus, aby se vykompenzovalo zvýšení nebo snížení počtu uzlů v clusteru.Rebalancing adjusts parallelism to compensate for the increased/decreased number of nodes in the cluster. Další informace najdete v tématu pochopení paralelismu topologie Apache Storm.For more information, see Understanding the parallelism of an Apache Storm topology.

    • Ukončit – ukončí topologii Storm po zadaném časovém limitu.Kill - Terminates a Storm topology after the specified timeout.

  3. Na této stránce vyberte položku z oddílu Spouts nebo Bolts.From this page, select an entry from the Spouts or Bolts section. Zobrazí se informace o vybrané komponentě.Information about the selected component is displayed.

    Řídicí panel Storm s informacemi o vybraných součástech.

    Tato stránka obsahuje následující informace:This page displays the following information:

    • Statistiky funkcí Spout/Bolt – základní informace o výkonu komponenty uspořádané do časových oken.Spout/Bolt stats - Basic information on the component performance, organized into time windows.

      Poznámka

      Výběrem konkrétního časového okna změníte časové okno informací zobrazených v dalších částech stránky.Selecting a specific time window changes the time window for information displayed in other sections of the page.

    • Statistiky vstupu (pouze funkce bolt) – informace o komponentech, které vytváří dat využívaná funkcí bolt.Input stats (bolt only) - Information on components that produce data consumed by the bolt.

    • Statististiky výstupu – informace o datech vysílaných touto funkcí bolt.Output stats - Information on data emitted by this bolt.

    • Prováděcí moduly – informace o instancích této komponenty.Executors - Information on instances of this component.

    • Chyby – chyby vytvořené touto komponentou.Errors - Errors produced by this component.

  4. Chcete-li zobrazit podrobnosti pro konkrétní instanci komponenty, při zobrazení podrobností o funkcích spout nebo bolt vyberte položku ze sloupce Port v oddílu Vykonavatelé.When viewing the details of a spout or bolt, select an entry from the Port column in the Executors section to view details for a specific instance of the component.

     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: split default ["with"]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: split default ["nature"]
     2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [snow]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [snow, 747293]
     2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [white]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [white, 747293]
     2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [seven]
     2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [seven, 1493957]
    

    V tomto příkladu se slovo seven vyskytlo 1493957krát.In this example, the word seven has occurred 1493957 times. Tolikrát bylo toto slovo zjištěno od spuštění této topologie.This count is how many times the word has been encountered since this topology was started.

Zastavení topologieStop the topology

Vraťte se na stránku Souhrn topologie, kde naleznete topologii počtu slov a pak vyberte tlačítko Zastavit z oddílu Topologie akce.Return to the Topology summary page for the word-count topology, and then select the Kill button from the Topology actions section. Po zobrazení výzvy zadejte hodnotu 10 jako počet sekund, po které se má počkat před zastavením topologie.When prompted, enter 10 for the seconds to wait before stopping the topology. Po uplynutí časového limitu se topologie už při návštěvě oddílu Uživatelské rozhraní Storm řídicího panelu nezobrazí.After the timeout period, the topology no longer appears when you visit the Storm UI section of the dashboard.

Odstranění clusteruDelete the cluster

Varování

Za clustery HDInsight se fakturuje za minutu, ať už používáte je nebo není.Billing for HDInsight clusters is prorated per minute, whether you use them or not. Nezapomeňte odstranit cluster po dokončení jeho použití.Be sure to delete your cluster after you finish using it. Zobrazit odstranění clusteru služby HDInsight.See how to delete an HDInsight cluster.

Pokud narazíte na problém s vytvářením clusteru HDInsight, podívejte se na požadavky na řízení přístupu.If you run into an issue with creating HDInsight cluster, see access control requirements.

Další krokyNext steps

V tomto kurzu Apache Storm jste se naučili základy práce se Stormem v HDInsightu.In this Apache Storm tutorial, you learned the basics of working with Storm on HDInsight. Dále se naučíte, jak založené na jazyce Java vyvíjet topologie pomocí nástroje Apache Maven.Next, learn how to Develop Java-based topologies using Apache Maven.

Pokud jste již obeznámeni s vývojem topologií založených na jazyce Java, přečtěte si dokument Nasazení a správa topologií Apache Storm v HDInsight.If you're already familiar with developing Java-based topologies, see the Deploy and manage Apache Storm topologies on HDInsight document.

Pokud jste vývojář .NET, můžete s použitím sady Visual Studio vytvořit topologie C# nebo hybridní topologie C#/Java.If you are a .NET developer, you can create C# or hybrid C#/Java topologies using Visual Studio. Další informace najdete v tématu vývoj C# topologií pro Apache Storm v HDInsight pomocí nástroje Apache Hadoop pro Visual Studio.For more information, see Develop C# topologies for Apache Storm on HDInsight using Apache Hadoop tools for Visual Studio.

Příklady topologií, které se dají použít se systémem Storm ve službě HDInsight:For example topologies that can be used with Storm on HDInsight, see the following examples: