Azure Veri Gezgini ile büyük veri analizi

Veri Gezgini
Event Hubs
IoT Hub
Depolama
Synapse Analytics

Çözüm Fikri

Bu makaleyi olası kullanım örnekleri, alternatif hizmetler, uygulama konuları veya fiyatlandırma yönergeleri gibi daha fazla bilgiyle genişletmemizi isterseniz geri bildirim GitHub bize bildirin!

Bu çözüm fikri, çeşitli kaynaklardan gelen büyük hacimli yüksek hızlı veriler üzerinde büyük veri analizini gösterir.

Olası kullanım örnekleri

Bu çözüm, Azure Veri Gezgini ve Azure Synapse Analytics'in neredeyse gerçek zamanlı analizler ve modern veri ambarı kullanım örnekleri için birbirini nasıl tamamlayanı gösterir.

Bu çözüm zaten Microsoft müşterileri tarafından kullanılıyor. Örneğin, Singapur merkezli biniş yapan Grab şirketi, taksi ve yiyecek teslimat hizmetlerinden ve satıcı iş ortağı uygulamalarından toplanan büyük miktarda veri üzerinde gerçek zamanlı analiz uyguladı. Grab ekibi bu videoda (20:30'dan sonra) MS Ignite'da çözümünü sundu. Bu düzeni kullanarak, Grab günde trilyondan fazla olay işledi.

Bu çözüm perakende sektörü için iyileştirilmiştir.

Mimari

Big data analytics with Azure Data Explorer

Veri akışı

  1. Her tür günlük, iş olayı ve kullanıcı etkinliği gibi ham yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış (serbest metin) veriler çeşitli kaynaklardan Azure Veri Gezgini'a aktarılabilir.
  2. Azure Data Factory, Azure Event Hubs, Azure IoT Hub, Kafka vb. için bağlayıcılarını kullanarak azure Veri Gezgini düşük gecikme süresi ve yüksek aktarım hızıyla veri alın. Alternatif olarak, Azure Event Grid kullanan ve azure Veri Gezgini alma işlem hattını tetikleyen Azure Depolama (Blob veya ADLS 2. Nesil) aracılığıyla veri alın. Ayrıca verileri sıkıştırılmış, bölümlenmiş parquet biçiminde azure Depolama sürekli olarak dışarı aktarabilir ve Sürekli veri dışarı aktarmaya genel bakış bölümünde ayrıntılı olarak açıklandığı gibi bu verileri sorunsuz bir şekilde sorgulayabilirsiniz.
  3. Önceden toplanmış verileri Azure Veri Gezgini'den Azure Depolama'a aktarın ve ardından veri modelleri ve raporları oluşturmak için verileri Synapse Analytics'e alın.
  4. Verileri işlemek, toplamak ve analiz etmek için Azure Veri Gezgini yerel özelliklerini kullanın. Işık hızında içgörü elde etmek için Azure Veri Gezgini panoları, Power BI, Grafana veya diğer araçları kullanarak gerçek zamanlıya yakın analiz panoları oluşturun. Modern bir veri ambarı oluşturmak için Azure Synapse Analytics'i kullanın ve bunu Azure Veri Gezgini verileriyle birleştirerek seçilmiş ve toplanmış veri modelleriyle ilgili BI raporları oluşturun.
  5. Azure Veri Gezgini zaman serisi analizi, desen tanıma, anomali algılama ve tahmin etme vemakine öğrenmesi için yerel gelişmiş analiz özellikleri sağlar. Azure Veri Gezgini, Databricks veAzure Machine Learning gibi ML hizmetleriyle de iyi tümleştirilmiştir. Bu tümleştirme, diğer araçları ve hizmetleri kullanarak modeller oluşturmanıza ve ML modelleri puanlama verileri için Azure Veri Gezgini'a aktarmanıza olanak tanır.

Bileşenler

  • Azure Event Hubs: Basit, güvenilir ve ölçeklenebilir tam olarak yönetilen, gerçek zamanlı veri alımı hizmeti.
  • Azure IoT Hub: IoT cihazları ile Azure arasında çift yönlü iletişimi etkinleştirmek için yönetilen hizmet.
  • HDInsight üzerinde Kafka: Apache Kafka ile açık kaynak analiz için kolay, uygun maliyetli, kurumsal sınıf hizmet.
  • Azure Veri Gezgini: Uygulamalardan, web sitelerinden, IoT cihazlarından ve daha fazlasından büyük hacimlerde veri akışı üzerinde gerçek zamanlı analiz için hızlı, tam olarak yönetilen ve yüksek oranda ölçeklenebilir veri analizi hizmeti.
  • Azure Veri Gezgini Panoları: İyileştirilmiş panolar için Web kullanıcı arabiriminde keşfedilen Kusto sorgularını yerel olarak dışarı aktarın.
  • Azure Synapse Analytics: Kurumsal veri ambarı ile Büyük Veri analizini bir araya getiren analiz hizmeti.

Katkıda Bulunanlar

Bu makale Microsoft tarafından korunur. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazar:

Sonraki adımlar

Daha fazla bilgi için bkz. Azure Veri Gezgini belgeleri.