Hızlı başlangıç: Azure HDInsight 'ta Apache Storm topolojisi oluşturma ve izleme
Apache Storm, veri akışlarını işlemeye yönelik ölçeklenebilir, hataya dayanıklı, dağıtılmış ve gerçek zamanlı bir işlem sistemidir. Azure HDInsight’ta Storm ile büyük veri analizini gerçek zamanlı olarak gerçekleştiren bulut tabanlı bir Storm kümesi oluşturabilirsiniz.
Bu hızlı başlangıçta, var olan bir Apache Storm kümesine Apache Storm topolojisi oluşturmak ve izlemek için Apache fırtınası-başlangıç projesinden bir örnek kullanırsınız.
Önkoşullar
HDInsight üzerinde bir Apache Storm kümesi. Bkz. Azure Portal kullanarak Apache Hadoop kümeleri oluşturma ve küme türü için fırtınası seçme.
Bir SSH istemcisi. Daha fazla bilgi için bkz. SSH kullanarak HDInsight'a (Apache Hadoop) bağlanma.
Topolojiyi oluşturma
fırtınası kümenize Bağlan. Aşağıdaki komutu,
CLUSTERNAMEfırtınası kümenizin adıyla değiştirerek düzenleyin ve ardından şu komutu girin:ssh sshuser@CLUSTERNAME-ssh.azurehdinsight.netWORDCOUNT örneği, HDInsight kümenize ' de eklenmiştir
/usr/hdp/current/storm-client/contrib/storm-starter/. Topoloji rastgele cümleler oluşturur ve sözcüklerin kaç kez meydana geçtiğini sayar. Kümede WORDCOUNT topolojisini başlatmak için aşağıdaki komutu kullanın:storm jar /usr/hdp/current/storm-client/contrib/storm-starter/storm-starter-topologies-*.jar org.apache.storm.starter.WordCountTopology wordcount
Topolojiyi izleme
Fırtınası, çalışan topolojilerle çalışmaya yönelik bir Web arabirimi sağlar ve HDInsight kümenize dahildir.
Storm Kullanıcı Arabirimini kullanarak topolojiyi izlemek için aşağıdaki adımları kullanın:
Storm kullanıcı arabirimini görüntülemek için bir web tarayıcısı açarak
https://CLUSTERNAME.azurehdinsight.net/stormuiadresine gidin.CLUSTERNAMEdeğerini kümenizin adıyla değiştirin.Topoloji Özeti altında ad sütununda WORDCOUNT girişini seçin. Topoloji hakkında bilgiler görüntülenir.
Yeni sayfa aşağıdaki bilgileri sağlar:
Özellik Açıklama Topoloji istatistikleri Topoloji performansı hakkında zaman pencereleri halinde düzenlenmiş temel bilgiler. Belirli bir zaman penceresinin seçilmesi sayfanın diğer bölümlerinde gösterilen bilgiler için zaman penceresini değiştirir. Spout Her Spout tarafından döndürülen son hata dahil olmak üzere spomalar hakkındaki temel bilgiler. Cıvatalar Cıvatları hakkında temel bilgiler. Topoloji yapılandırması Topoloji yapılandırması hakkında ayrıntılı bilgi. Etkinleştir Devre dışı bırakılan bir topoloji işlemeyi sürdürür. Devre dışı bırak Çalışan bir topolojiyi duraklatır. Dengeleme Topolojinin paralelliğini ayarlar. Kümedeki düğüm sayısını değiştirdikten sonra çalışan topolojileri yeniden dengelemeniz gerekir. Yeniden dengeleme, kümede artan/azalan düğüm sayısını dengelemek üzere paralelliği ayarlamaya imkan tanır. Daha fazla bilgi için bkz. Apache Storm topolojisinin paralelliğini anlama. Kapatmayın Belirtilen zaman aşımından sonra bir fırtınası topolojisini sonlandırır. Bu sayfada Spout’lar veya Cıvatalar bölümünden bir giriş seçin. Seçilen bileşen hakkında bilgiler görüntülenir.
Yeni sayfa aşağıdaki bilgileri görüntüler:
Özellik Açıklama Spout/cıvata istatistikleri Zaman pencereleri halinde düzenlenmiş bileşen performansı hakkındaki temel bilgiler. Belirli bir zaman penceresinin seçilmesi sayfanın diğer bölümlerinde gösterilen bilgiler için zaman penceresini değiştirir. Giriş İstatistikleri (yalnızca cıvatlar) Cıvata tüketilen verileri üreten bileşenler hakkında bilgi. Çıkış istatistikleri Bu cıvata yayılan verilerle ilgili bilgiler. Yürütücüler Bu bileşenin örnekleri hakkında bilgi. Hatalar Bu bileşen tarafından oluşturulan hatalar. Spout veya cıvata ayrıntılarını görüntülerken bileşenin belirli bir örneğine ilişkin ayrıntıları görmek için Yürütücüler bölümündeki Bağlantı Noktası sütunundan bir giriş seçin.
2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: split default ["with"]
2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: split default ["nature"]
2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [snow]
2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [snow, 747293]
2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [white]
2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [white, 747293]
2015-01-27 14:18:02 b.s.d.executor [INFO] Processing received message source: split:21, stream: default, id: {}, [seven]
2015-01-27 14:18:02 b.s.d.task [INFO] Emitting: count default [seven, 1493957]
Bu örnekte seven kelimesi 1493957 kez geçmiştir. Bu sayı, bu topoloji başlatıldığından beri kelimeyle kaç kez karşılaşıldığını gösterir.
Topolojiyi durdurma
Word-count topolojisi için Topoloji özeti sayfasına geri dönün ve ardından Topoloji eylemleri bölümünden Sonlandır düğmesini seçin. İstendiğinde, topolojiyi durdurmadan önce beklenecek saniye sayısı için 10 girin. Zaman aşımı süresinden sonra panonun Storm Kullanıcı Arabirimi bölümünü ziyaret ettiğinizde topoloji bir daha görünmez.
Kaynakları temizleme
Hızlı başlangıcı tamamladıktan sonra kümeyi silmek isteyebilirsiniz. HDInsight ile, verileriniz Azure Storage’da depolanır, böylece kullanılmadığında bir kümeyi güvenle silebilirsiniz. Ayrıca, kullanılmıyorken dahi HDInsight kümesi için sizden ücret kesilir. Küme ücretleri depolama ücretlerinin birkaç katı olduğundan, kullanılmadığında kümelerin silinmesi mantıklı olandır.
Bir kümeyi silmek için bkz. tarayıcınızı, PowerShell 'i veya Azure CLI 'yı kullanarak HDInsight kümesini silme.
Sonraki adımlar
Bu hızlı başlangıçta, var olan bir Apache Storm kümesine Apache Storm topolojisi oluşturmak ve izlemek için Apache fırtınası-başlangıç projesinden bir örnek kullandınız. Apache Storm topolojileri yönetme ve izleme hakkında temel bilgileri öğrenmek için sonraki makaleye ilerleyin.