Rychlý start: Vytvoření a monitorování Apache Storm topologie v Azure HDInsight

Apache Storm je škálovatelný výpočetní systém v reálném čase odolný proti chybám, distribuovaný určený pro zpracování datových proudů. Pomocí Storm v Azure HDInsight můžete vytvořit cloudový cluster Storm, který bude provádět analýzy velkých objemů dat v reálném čase.

V tomto rychlém startu použijete příklad z projektu Apache Storm Starter k vytvoření a monitorování topologie Apache Storm do existujícího clusteru Apache Storm clusteru.

Požadavky

• Cluster Apache Storm ve službě HDInsight. Viz Vytvoření Apache Hadoop clusterů pomocí Azure Portal a jako Typ clusteru vyberte Storm.

• Klient SSH. Další informace najdete v tématu Připojení ke službě HDInsight (Apache Hadoop) pomocí SSH.

Vytvoření topologie

1. Připojení ke clusteru Storm. Upravte následující příkaz tak, že nahradíte názvem CLUSTERNAME vašeho clusteru Storm a pak zadáte příkaz :

   ssh sshuser@CLUSTERNAME-ssh.azurehdinsight.net
   

2. Příklad WordCount je součástí clusteru HDInsight na adrese /usr/hdp/current/storm-client/contrib/storm-starter/ . Topologie generuje náhodné věty a počítá, kolikrát dochází ke slovům. Pomocí následujícího příkazu spusťte v clusteru topologii wordcount:

   storm jar /usr/hdp/current/storm-client/contrib/storm-starter/storm-starter-topologies-*.jar org.apache.storm.starter.WordCountTopology wordcount
   

Monitorování topologie

Storm poskytuje webové rozhraní pro práci se spuštěnou topologií a je součástí clusteru HDInsight.

Ke sledování topologie pomocí uživatelského rozhraní Storm použijte následující kroky:

1. Pokud chcete zobrazit uživatelské rozhraní Storm, otevřete ve webovém prohlížeči adresu https://CLUSTERNAME.azurehdinsight.net/stormui. Nahraďte CLUSTERNAME názvem svého clusteru.

2. V části Souhrn topologie vyberte položku wordcount ve sloupci Název. Zobrazí se další informace o topologii.

   

   Nová stránka obsahuje následující informace:

   Vlastnost	Popis
   Statistiky topologie	Základní informace o výkonu topologie uspořádané do časových oken Výběrem konkrétního časového okna změníte časové okno informací zobrazených v dalších částech stránky.
   Hubičky	Základní informace o spoutech, včetně poslední chyby vrácené jednotlivými spouty.
   Šrouby	Základní informace o boltech
   Konfigurace topologie	Podrobné informace o konfiguraci topologie.
   Aktivovat	Obnoví zpracování deaktivované topologie.
   Deaktivovat	Pozastaví spuštěnou topologii.
   Přehodnotit	Upraví paralelismus topologie. Po změně počtu uzlů v clusteru musíte znovu vyvážit spuštěné topologie. Nové vyvážení upraví paralelismus, aby se vykompenzovalo zvýšení nebo snížení počtu uzlů v clusteru. Další informace najdete v tématu Vysvětlení paralelismuApache Storm topologie .
   Zabít	Ukončí topologii Storm po zadaném časovém limitu.

3. Na této stránce vyberte položku z oddílu Spouts nebo Bolts. Zobrazí se informace o vybrané komponentě.

   

   Na nové stránce se zobrazí následující informace:

   Vlastnost	Popis
   Statistiky Spout/Bolt	Základní informace o výkonu komponent uspořádaných do časových oken Výběrem konkrétního časového okna změníte časové okno informací zobrazených v dalších částech stránky.
   Vstupní statistiky (pouze bolt)	Informace o komponentách, které vytvářejí data spotřebovaná boltem.
   Statistiky výstupu	Informace o datech vygenerovaná touto boltem.
   Exekutoři	Informace o instancích této komponenty.
   Chyby	Chyby, které tato komponenta vytvořila.

4. Chcete-li zobrazit podrobnosti pro konkrétní instanci komponenty, při zobrazení podrobností o funkcích spout nebo bolt vyberte položku ze sloupce Port v oddílu Vykonavatelé.

2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: split default ["with"]
2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: split default ["nature"]
2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [snow]
2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [snow, 747293]
2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [white]
2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [white, 747293]
2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [seven]
2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [seven, 1493957]

V tomto příkladu se slovo seven vyskytlo 1493957krát. Tolikrát bylo toto slovo zjištěno od spuštění této topologie.

Zastavení topologie

Vraťte se na stránku Souhrn topologie, kde naleznete topologii počtu slov a pak vyberte tlačítko Zastavit z oddílu Topologie akce. Po zobrazení výzvy zadejte hodnotu 10 jako počet sekund, po které se má počkat před zastavením topologie. Po uplynutí časového limitu se topologie už při návštěvě oddílu Uživatelské rozhraní Storm řídicího panelu nezobrazí.

Vyčištění prostředků

Po dokončení tohoto rychlého startu můžete cluster odstranit. Pomocí HDInsight jsou vaše data uložena v Azure Storage, takže můžete clusteru bezpečně odstranit, pokud není používán. Za cluster služby HDInsight se účtují poplatky, i když se nepoužívá. Vzhledem k tomu, že poplatky za cluster představují několikanásobek poplatků za úložiště, dává ekonomický smysl odstraňovat clustery, které nejsou používány.

Informace o odstranění clusteru najdete v tématu Odstranění clusteru HDInsight pomocí prohlížeče, PowerShellu nebo Azure CLI.

Další kroky

V tomto rychlém startu jste použili příklad z projektu Apache Storm Starter k vytvoření a monitorování topologie Apache Storm do existujícího clusteru Apache Storm clusteru. V dalším článku se dozvíte základy správy a monitorování Apache Storm topologií.