Azure Service Bus ve Azure Veri Gezgini ile veriler üzerinde gerçek zamanlı analiz

Azure Service Bus
Azure Data Explorer
Azure App Service
Azure SQL Database
Azure Cosmos DB

Çözüm fikirleri

Bu makale bir çözüm fikridir. İçeriği olası kullanım örnekleri, alternatif hizmetler, uygulama konuları veya fiyatlandırma yönergeleri gibi daha fazla bilgiyle genişletmemizi isterseniz GitHub geri bildirimi sağlayarak bize bildirin.

Bu makalede, mevcut bir ileti aracısı mimarisini neredeyse gerçek zamanlı analizle geliştirmek için Azure Veri Gezgini ve Azure Service Bus'ın nasıl kullanılacağı açıklanmaktadır. BT yöneticilerine, bulut mimarlarına, operasyon ve izleme ekiplerine yöneliktir.

Mimari

Neredeyse gerçek zamanlı analiz uygulamak için bir mimariyi gösteren diyagram.

Bu mimarinin bir Visio dosyasını indirin.

Grafana logosu, Raintank, Inc., dba Grafana Labs'in ticari markasıdır. Bu işaretin kullanılması herhangi bir onay anlamına gelmez.

Diyagramda iki veri yolu gösterilir. 1 ile 5 arasındaki düz çizgiler ve kutularla temsil edilen ana yol, çeşitli kaynaklardan verilerin bir akış analizi işi tarafından işlendiği ve SQL veritabanında depolandığı bir hizmet veri yoluna alımıdır. Noktalı çizgi ve kutularla temsil edilen ikinci yol, hizmet veri yolundan azure Veri Gezgini kümesine akan verileri gösterir; burada Kusto Sorgu Dili (KQL) aracılığıyla sorgulanabilir ve analiz edilebilir.

Service Bus, işlem uygulaması için Kuyruk Tabanlı Yük Dengeleme deseni uygulamak için kullanılır.

Azure Veri Gezgini, neredeyse gerçek zamanlı analiz çalıştırmak ve API'ler aracılığıyla verileri kullanıma açmak veya Power BI, Azure Yönetilen Grafana veya Azure Veri Gezgini panolarına doğrudan sorgu göndermek için kullanılır.

Veri akışı

Mimarideki veri kaynağı mevcut bir Çevrimiçi İşlem İşleme (OLTP) uygulamasıdır. Service Bus, uygulamanın ölçeğini zaman uyumsuz olarak genişletmek için kullanılır.

  1. Azure Uygulaması Service'te barındırılan OLTP uygulaması (veri kaynağı), Service Bus'a veri gönderir.

  2. Service Bus'tan iki yönde veri akışları:

    1. Mevcut OLTP uygulama akışında verileri Azure SQL Veritabanı, Azure Cosmos DB veya benzer bir işletimsel veritabanında depolamak için bir işlev uygulamasını tetikler.

    2. Neredeyse gerçek zamanlı analiz akışında bir düzenleme akışı tetikler.

  3. Düzenleme akışı, neredeyse gerçek zamanlı analiz için Azure Veri Gezgini'e veri gönderir. Akış aşağıdakilerden birini kullanabilir:

    • Mikro toplu işlerde veri göndermek için SDK'ları kullanan veya akış alımı için yapılandırıldığında Azure Veri Gezgini tarafından sağlanan yönetilen akış alımı desteğini kullanan bir işlev uygulaması.
    • Azure Kubernetes Service (AKS) veya Azure VM'de barındırılan bir uygulama gibi mikro toplu işlerde Azure Veri Gezgini veri gönderen bir yoklama hizmeti. Bu seçenek, Azure Veri Gezgini akış alımının yapılandırılmasını gerektirmez.
  4. Azure Veri Gezgini şema eşleme ve güncelleştirme ilkelerini kullanarak verileri işler ve etkileşimli analiz veya raporlama için API, SDK veya bağlayıcı aracılığıyla kullanılabilir hale getirir. İsteğe bağlı olarak, Azure Veri Gezgini SQL Veritabanı veya Azure Data Lake Depolama gibi diğer veri kaynaklarından veri alabilir veya bunlara başvurabilir.

  5. Azure Veri Gezgini panoları, Power BI ve Azure Yönetilen Grafana gibi uygulamalar, özel hizmetler veya raporlama hizmetleri Azure Veri Gezgini'daki verileri neredeyse gerçek zamanlı olarak sorgulayabilir.

Bileşenler

  • App Service , altyapıyı yönetmeden istediğiniz programlama dilinde web uygulamaları, mobil arka uçlar ve RESTful API'leri oluşturmanıza ve barındırmanıza olanak tanır.
  • Service Bus , hizmet olarak güvenilir bulut mesajlaşması sağlar.
  • SQL Veritabanı, bulut için oluşturulmuş, tam olarak yönetilen bir SQL veritabanıdır. Otomatik güncelleştirmeler, sağlama, ölçeklendirme ve yedeklemeler sağlar.
  • Azure Cosmos DB , her ölçekteki uygulamalar için genel olarak dağıtılmış, çok modelli bir veritabanıdır.
  • Azure İşlevleri, olay odaklı sunucusuz bir işlem platformudur. İşlevler ile bulutta büyük ölçekte dağıtım yapabilir ve çalışabilir ve hizmetleri tümleştirmek için tetikleyicileri ve bağlamaları kullanabilirsiniz.
  • AKS , uygulama ve mikro hizmetler iş yükleri için yüksek oranda kullanılabilir, yüksek oranda güvenli ve tam olarak yönetilen bir Kubernetes hizmetidir.
  • Azure Veri Gezgini, uygulamalardan, web sitelerinden, IoT cihazlarından ve daha fazlasından akışla gelen büyük hacimli verilerin gerçek zamanlı analizi için hızlı, tam olarak yönetilen ve yüksek oranda ölçeklenebilir bir veri analizi hizmetidir.
  • Azure Blob Depolama üzerine oluşturulan Data Lake Depolama, yüksek düzeyde ölçeklenebilir veri gölü işlevselliği sağlar.
  • Power BI , verilerinizi tutarlı, görsel olarak çevreleyici ve etkileşimli içgörülere dönüştürmenize yardımcı olabilir.
  • Azure Yönetilen Grafana, Grafana'yı yapılandırmaya zaman harcamadan dağıtmanıza olanak tanıyan tam olarak yönetilen bir hizmettir.

Senaryo ayrıntıları

Gerçek zamanlı analiz, sistemin geçerli durumuyla ilgili içgörüler elde etmek için verileri oluşturulur oluşturulmaz analiz etme işlemidir. Kuruluşlar rekabet avantajı elde etmek için gerçek zamanlı analizleri giderek daha fazla benimsiyor. Neredeyse gerçek zamanlı analiz, veri oluşturma işleminden sonra saniyeler veya dakikalar içinde içgörü sağlayan bir gerçek zamanlı analiz çeşididir.

Bu süreçler kuruluşların daha hızlı içgörü elde etmelerine, daha iyi kararlar almalarına ve değişen koşullara daha etkili bir şekilde yanıt vermelerine olanak tanır. Neredeyse gerçek zamanlı analizler e-ticaret, sağlık, üretim ve finans gibi çeşitli etki alanlarına uygulanabilir. Örneğin, bir e-ticaret şirketi müşterinin davranışını izlemek, fiyatlandırmayı iyileştirmek ve önerileri kişiselleştirmek için neredeyse gerçek zamanlı analiz kullanabilir.

Birçok kuruluş mevcut çözümlerde neredeyse gerçek zamanlı analizler uygular. Bu çözüm fikri, bir ileti aracısını temel alan ve işletimsel OLTP uygulamasının bir parçası olan mevcut mimariye neredeyse gerçek zamanlı analiz eklemeyi gösterir.

OLTP, Çevrimiçi İşlem İşleme anlamına gelir. Genellikle gerçek zamanlı bir ortamda veri girişi ve alma işlemleri için işlem odaklı uygulamaları yöneten bir veri işleme türüdür. OLTP sistemleri, banka işlemleri veya kredi kartı alımları gibi doğası gereği sıklıkla finansal olan küçük ve hızlı işlemleri işlemek için tasarlanmıştır.

Olası kullanım örnekleri

Gerçek zamanlıya yakın analizin avantajlarını gösteren bazı kullanım örnekleri şunlardır:

  • Sağlık hizmetleri sağlayıcıları hasta sonuçlarını izleyebilir, anomalileri algılayabilir ve bakım kalitesini artırabilir.
  • Üretim şirketleri üretimi iyileştirebilir, israfı azaltabilir ve kapalı kalma süresini önleyebilir.
  • Finansal kurumlar işlemleri izleyebilir, sahtekarlığı algılayabilir, riski yönetebilir ve düzenlemelere uyumluluğu sağlayabilir.
  • Ticaret şirketleri kampanyaları izleyebilir ve promosyonu desteklemek için içgörüler elde edebilir.
  • Şirketler tedarik zincirlerini izleyebilir, iyileştirebilir, analiz edebilir ve tahmin edebilir.

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazar:

Diğer katkıda bulunan:

Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.

Sonraki adımlar