Azure Veri Gezgini ile büyük veri analizi

Bu çözüm fikri, çeşitli kaynaklardan gelen büyük hacimli yüksek hızlı veriler üzerinde büyük veri analizini gösteriyor.

Olası kullanım örnekleri

Bu çözüm, Azure Veri Gezgini Azure Synapse Analytics ve modern veri depolama kullanım örnekleri için birbirini nasıl tamamlar?

Bu çözüm, Microsoft müşterileri tarafından zaten kullanılıyor. Örneğin Singapur tabanlı yolculuk yapan Grab şirketi, taksi ve yiyecek teslim hizmetlerinden ve satıcı iş ortağı uygulamalardan toplanan çok büyük miktarda veri üzerinde gerçek zamanlı analizler gerçekleştirmiştir. Grab ekibi, çözümlerini bu videoda (20:30 ve sonra) MS Ignite'ta sundu. Bu düzeni kullanarak, Grab günde bir trilyondan fazla olay işledi.

Mimari

Veri akışı

1. Her tür günlük, iş olayları ve kullanıcı etkinlikleri gibi ham yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış (serbest metin) veriler, çeşitli kaynaklardan Azure Veri Gezgini verilere alınabilirsiniz.
2. Azure Veri Gezgini Azure Data Factory , Azure Event Hub, Azure IoT Hub , Kafkave diğer bağlayıcılarını kullanarak verileri düşük gecikme süresi ve yüksekaktarım hızıyla Azure IoT Hub'ye alın. Alternatif olarak, verileri Azure Depolama (Blob veya ADLS 2. Nesil) aracılığıyla alırsanız Azure Event Grid kullanır ve veri alımı işlem hattını Azure Veri Gezgini. Verileri Azure'a sürekli olarak dışarı aktarabilirsiniz Depolama, bölümlenmiş parquet biçiminde ve Sürekli veri dışarı aktarmaya genel bakış içinde ayrıntılı olarak bu verileri sorunsuz bir şekilde sorgular.
3. Önceden toplanmış verileri Azure Veri Gezgini Azure Depolama'a aktarın ve ardından veri modelleri ve raporları oluşturmak Synapse Analytics veri depolama içine alın.
4. Verileri Azure Veri Gezgini, toplamak ve analiz etmek için Azure Veri Gezgini'nin yerel özelliklerini kullanın. Hızla içgörüler elde etmek için panoları, Azure Veri Gezgini , Grafanaveya diğer araçlarıPower BIgerçek zamanlıya yakın analiz panoları oluşturun. Modern Azure Synapse Analytics veri ambarı oluşturmak ve bunu veri ambarıyla birleştirin ve Azure Veri Gezgini ve toplu veri modellerinde BI raporları oluşturma.
5. Azure Veri Gezgini seri analizi, desen tanıma,anomali algılama ve tahmin ve makine öğrenmesi için yerel gelişmişanaliz özellikleri sağlar. Azure Veri Gezgini, Databricks ve ML gibi ML hizmetleriyle de iyi Azure Machine Learning. Bu tümleştirme, diğer araçları ve hizmetleri kullanarak modeller oluşturma ve verileri puanlama için ML dışarı Azure Veri Gezgini dışarı aktarmayı sağlar.

Bileşenler

• Azure Event Hub:Basit, güvenilir ve ölçeklenebilir tam olarak yönetilen, gerçek zamanlı veri alımı hizmeti.
• Azure IoT Hub:IoT cihazları ile Azure arasında çift yönlü iletişimi etkinleştirmek için yönetilen hizmet.
• HDInsight üzerinde Kafka:Açık kaynak analiz ve yüksek kullanılabilirlik ile açık kaynak analiz için kolay, uygun maliyetli, kurumsal Apache Kafka.
• Azure Veri Gezgini:Uygulamalardan, web sitelerinden, IoT cihazlarından ve daha fazla veri akışında gerçek zamanlı analiz için hızlı, tam olarak yönetilen ve yüksek oranda ölçeklenebilir veri analizi hizmeti.
• Azure Veri Gezgini Panolar:Web kullanıcı arabiriminde keşfedilen Kusto sorgularını yerel olarak iyileştirilmiş panolara dışarı aktarın.
• Azure Synapse Analytics:Kurumsal veri depolama ve Büyük Veri analizini bir araya getiren analiz hizmeti.

Sonraki adımlar

Daha fazla bilgi için Azure Veri Gezgini bakın.