Azure Event Hubs'ın özellikleri ve terminolojisi

Azure Event Hubs, düşük gecikme süresi ve yüksek güvenilirlikle büyük hacimlerdeki olayları ve verileri işleyen ve işleyen ölçeklenebilir bir olay işleme hizmetidir. Üst düzey genel bakış için bkz. Event Hubs nedir? .

Bu makale, genel bakış makalesindekibilgileri oluşturur ve Event Hubs bileşenleri ve özellikleri hakkında teknik ve uygulama ayrıntıları sağlar.

Ad Alanı

Event Hubs ad alanı, Olay Hub 'ları (veya Kafka Pari içindeki konular) için bir yönetim kapsayıcısıdır. DNS ile tümleşik ağ uç noktaları ve IP filtrelemesi, sanal ağ hizmeti uç noktasıve özel bağlantıgibi ağ tümleştirme yönetimi özellikleri sağlar.

Olay yayımcıları

Bir olay hub 'ına veri gönderen herhangi bir varlık bir olay yayımcısıdır (terimler olay üreticisi ile kullanılır). Olay yayımcıları, HTTPS veya AMQP 1,0 veya Kafka protokolünü kullanarak olayları yayımlayabilir. olay yayımcıları, OAuth2 tarafından verilen JWT belirteçleri veya bir olay Hub 'ına özgü paylaşılan erişim imzası (SAS) belirteç kazanç yayınlama erişimi ile Azure Active Directory tabanlı yetkilendirme kullanır.

Olay yayımlama

AMQP 1,0, Kafka Protocol veya HTTPS aracılığıyla bir olay yayımlayabilirsiniz. Event Hubs hizmeti, olayları bir olay hub 'ına yayımlamak için REST API ve .net, Java, Python, JavaScriptve Go istemci kitaplıkları sağlar. Diğer çalışma zamanları ve platformlar için Apache Qpid gibi herhangi bir AMQP 1.0 istemcisi kullanabilirsiniz.

AMQP veya HTTPS kullanma seçimi kullanım senaryosuna bağlıdır. AMQP, taşıma düzeyi güvenliği (TLS) veya SSL/TLS’ye ek olarak kalıcı bir çift yönlü yuva oluşturulmasını gerektirir. AMQP, oturum başlatırken daha yüksek ağ maliyetlerine sahiptir, ancak HTTPS her istek için ek TLS yükü gerektirir. AMQP, sık kullanılan yayımcılar için önemli ölçüde daha yüksek performansa sahiptir ve zaman uyumsuz yayımlama koduyla kullanıldığında çok daha düşük gecikme süreleri elde edebilir

Olayları ayrı ayrı veya toplu şekilde yayımlayabilirsiniz. Tek bir yayının, tek bir olay veya toplu iş olmasına bakılmaksızın 1 MB 'lik bir sınırı vardır. Bu eşikten daha büyük yayımlama olayları reddedilir.

Event Hubs üretilen iş birimleri, bölümler ve üretilen iş birimi ayırmaları kullanılarak ölçeklendirilir (aşağıya bakın). Yayımcıların bir olay hub 'ı için seçilen belirli bölümlendirme modelinden haberdar olması ve yalnızca ilgili olayları tutarlı olarak aynı bölüme atamak için kullanılan bir bölüm anahtarı belirtmesi için en iyi uygulamadır.

Event Hubs, bölüm anahtarı değerini paylaşan tüm olayların birlikte depolanmasını ve varış sırasına göre teslim edilmesini sağlar. Bölüm anahtarlarının yayımcı ilkeleriyle birlikte kullanılması durumunda yayımcı kimliğinin ve bölüm anahtarı değerinin eşleşmesi gerekir. Aksi takdirde bir hata oluşur.

Olay saklama

Yayımlanan olaylar yapılandırılabilir, süreli tabanlı bir bekletme ilkesine göre bir olay hub 'ından kaldırılır. İşte birkaç önemli nokta:

• Varsayılan değer ve mümkün olan en kısa saklama süresi 1 gündür (24 saat).
• Event Hubs Standart için maksimum saklama süresi 7 gündür.
• Event Hubs Premium ve adanmış için maksimum saklama süresi 90 gündür.
• Saklama süresini değiştirirseniz, zaten Olay Hub 'ında bulunan iletiler dahil tüm iletiler için geçerlidir.

Event Hubs, tüm bölümler için geçerli olan yapılandırılmış bir saklama süresi için olayları tutar. Saklama süresine ulaşıldığında olaylar otomatik olarak kaldırılır. Bir günün bekletme dönemini belirtirseniz olay, kabul edildikten sonra tam 24 saat kullanılamaz hale gelir. Olayları açıkça silemezsiniz.

olayları izin verilen saklama süresi ötesinde arşivlemeniz gerekiyorsa, Event Hubs yakalama özelliğiniaçarak Azure Depolama veya Azure Data Lake otomatik olarak depolanmasını sağlayabilirsiniz. Bu tür derinlemesine arşivleri aramanız veya çözümlemeniz gerekiyorsa, bunları kolayca Azure SYNAPSE veya diğer benzer depolar ve analiz platformları içine aktarabilirsiniz.

Veri saklama sırasında Event Hubs ' sınırının nedeni, zaman damgası tarafından dizine alınmış ve yalnızca sıralı erişime izin veren derin bir depoda, geçmiş müşteri verilerinin büyük hacimlerini önlemektir. Mimari FIN, geçmiş verilerin daha zengin dizine alınması ve Event Hubs veya Kafka sağladığı gerçek zamanlı olay arabiriminden daha doğrudan erişim sağlaması gerekir. Olay akışı motorları, olay kaynağını belirlemek için veri laçlarının veya uzun vadeli arşivlerin rolünü yürütmeye uygun değildir.

Yayımcı ilkesi

Event Hubs, yayımcı ilkeleri aracılığıyla olay yayımcıları üzerinde ayrıntılı denetim sağlar. Yayımcı ilkeleri çok sayıda bağımsız olay yayımcısını kolaylaştırmak için tasarlanmış çalışma zamanı özellikleridir. Yayımcı ilkeleriyle her yayımcı, olayları aşağıdaki mekanizmayı kullanarak bir olay hub'ında yayımlarken kendi benzersiz tanımlayıcısını kullanır:

//<my namespace>.servicebus.windows.net/<event hub name>/publishers/<my publisher name>

Yayımcı adlarını önceden oluşturmanız gerekli değildir, ancak bunlar bağımsız yayımcı kimlikleri sağlamak amacıyla bir olayı yayımlarken kullanılan SAS belirteci ile eşleşmelidir. Yayımcı ilkelerini kullanırken PartitionKey değeri yayımcı adına ayarlanır. Bu hizmetin düzgün çalışması için bu değerlerin eşleşmesi gerekir.

Yakalama

Event Hubs yakalama , akış verilerini Event Hubs otomatik olarak yakalamanızı ve bir Blob depolama hesabı ya da bir Azure Data Lake Storage hesabına kaydetmenizi sağlar. Azure portal yakalamayı etkinleştirebilir ve yakalama işlemini gerçekleştirmek için bir minimum boyut ve zaman penceresi belirtebilirsiniz. Event Hubs yakalama 'yı kullanarak, kendi Azure Blob Depolama hesabınızı ve kapsayıcısını veya Azure Data Lake Storage hesabınızı, tek bir tane de yakalanan verileri depolamak için kullanılan hesabı belirtirsiniz. Yakalanan veriler Apache avro biçiminde yazılır.

Event Hubs yakalama tarafından üretilen dosyalar aşağıdaki avro şemasına sahiptir:

Bölümler

Event Hubs bir olay hub 'ına bir veya daha fazla bölüme gönderilen olay dizilerini düzenler. Daha yeni olaylar geldikçe, bu sıranın sonuna eklenir.

Bir bölüm, "kaydetme günlüğü" olarak düşünülebilir. Bölümler, olayın gövdesini, olayı tanımlayan Kullanıcı tanımlı bir özellik paketini, bölümdeki boşluğu gibi meta verileri, akış dizisindeki numarasını ve kabul edildiği hizmet tarafı zaman damgasını içeren olay verilerini tutar.

Bölüm kullanmanın avantajları

Event Hubs, büyük hacimden olayların işlenmesine yardımcı olmak üzere tasarlanmıştır ve bölümleme iki şekilde bu şekilde yardımcı olur:

• Event Hubs PaaS hizmeti olsa da, altında fiziksel bir gerçeklik vardır ve olayların sırasını koruyan bir günlüğün tutulması, bu olayların temel depolama ve çoğaltmalarda birlikte tutulması ve bu durumda bir günlük için üretilen iş yükü elde edilmesi gerekir. Bölümlendirme, aynı Olay Hub 'ı için birden çok paralel günlüklerin kullanılmasına izin verir ve bu nedenle kullanılabilir ham GÇ üretilen iş kapasitesini çarpar.
• Kendi uygulamalarınız, bir olay hub 'ına gönderilen olayların hacminin işlenmesine devam edebilmelidir. Karmaşık olabilir ve önemli, ölçeği genişletilmiş ve paralel işleme kapasitesi gerektirir. Olayları işlemek için tek bir işlemin kapasitesi sınırlıdır, bu nedenle birkaç işlem yapmanız gerekir. Bölümler, çözümünüzün bu işlemlere yönelik akışlardır ve her olayın açık bir işleme sahibi olmasını sağlar.

Bölüm sayısı

Bölüm sayısı, bir olay hub 'ı oluşturma sırasında belirtilir. 1 ile her fiyatlandırma katmanı için izin verilen en fazla bölüm sayısı arasında olmalıdır. Her katman için bölüm sayısı sınırı için Bu makaleyebakın.

Bu olay hub 'ının uygulamanızın en yoğun yükü sırasında gerekli olan en az sayıda bölüm seçmenizi öneririz. Özel bir kümede ve Premium katmanda Olay Hub 'ı dışında, oluşturulduktan sonra bir olay hub 'ı için bölüm sayısını değiştiremezsiniz. Ayrılmış bir Event Hubs kümesindeki bir olay hub 'ının bölüm sayısı, Olay Hub 'ı oluşturulduktan sonra artırılabilir , ancak bölümler arasında akış dağıtımı, Bölüm anahtarlarının bölüm değişikliklerinin eşlenmesiyle yapıldığında, bu değişikliklerden kaçınmaya devam etmeniz gerekir. bu nedenle, olayların göreli sırası uygulamanızda önemli olduğunda bu değişikliklere engel olmak için katı çalışmanız gerekir.

Bölüm sayısının izin verilen maksimum değere ayarlanması, ancak her zaman birden çok bölümden faydalanmak için olay akışlarınızın yapılandırılması gerektiğini aklınızda bulundurun. Tüm olaylarda veya yalnızca bir alt akışlarda mutlak sipariş koruması gerekiyorsa, birçok bölümden faydalanabilmeyebilirsiniz. Ayrıca, birçok bölüm işleme tarafını daha karmaşık hale getirir.

Fiyatlandırma yapıldığında bir olay hub 'ında kaç bölümden oluşan bir önemi yoktur. Bu, fiyatlandırma birimlerinin (Standart katman içinüretilen iş birimleri (litre), Premium katman için işleme birimleri (pus) ve ad alanı veya adanmış küme için ayrılmış katman Için Kapasite birimleri (cu düzeyinde kapsanır) ) sayısına bağlıdır. Örneğin, 32 bölümlü veya 1 bölümlü standart katmanın bir olay hub 'ı, ad alanı 1 TU kapasitesine ayarlandığında tam olarak aynı maliyette gerçekleştirilir. Ayrıca, ad alanınızı veya cu düzeyinde kapsanır ölçeğini, bölüm sayısından bağımsız olarak kendi ad alanınız veya özel kümeniz üzerinde ölçeklendirdirebilirsiniz.

Olayları bölümlerle eşleme

Gelen olay verilerini veri düzenleme amacıyla belirli bölümlere eşlemek için bölüm anahtarı kullanabilirsiniz. Bölüm anahtarı, gönderen tarafından belirtilip bir olay hub'ına geçirilen değerdir. Statik karma işlevi ile işlenir ve sonuçta bölüm ataması oluşturulur. Bir olayı yayımlarken bölüm anahtarı belirtmezseniz hepsini bir kez deneme ataması kullanılır.

Olay yayımcısı yalnızca bölüm anahtarını bilir, olayların yayımlandığı bölümü bilmez. Anahtar ile bölümün bu şekilde ayrılması göndereni aşağı akış işleme hakkında çok fazla bilgi sahibi olma gereksiniminden kurtarır. Cihaz veya kullanıcı başına benzersiz bir kimlik iyi bir bölüm anahtarı oluşturur, ancak ilgili olayları tek bir bölümde gruplandırmak için coğrafi bölge gibi diğer öznitelikler de kullanılabilir.

Bir bölüm anahtarı belirtildiğinde ilgili olayların aynı bölümde ve ulaştıkları kesin sırayla birlikte tutulması sağlanır. Bölüm anahtarı, uygulama bağlamınızdan türetilen ve olayların ilişkilerini tanımlayan bir dizedir. Bölüm anahtarı tarafından tanımlanan olaylar dizisi bir akıştır. Bölüm, birçok sayıda akış için çoğullanmış bir günlük deposudur.

SAS belirteçleri

Event Hubs, ad alanı ve Olay Hub 'ı düzeyinde kullanılabilen paylaşılan erişim imzalarını kullanır. SAS belirteci bir SAS anahtarından oluşturulur ve belirli bir biçimde kodlanmış bir URL’nin SHA karmasıdır. Event Hubs anahtar (ilke) ve belirtecin adını kullanarak karmayı yeniden oluşturabilir ve böylece gönderenin kimliğini doğrular. Normalde, olay yayımcıları için SAS belirteci yalnızca belirli bir olay hub'ı üzerindeki gönder ayrıcalıkları ile oluşturulur. Bu SAS belirteci URL mekanizması, yayımcı ilkesinde sunulan yayımcı kimliğinin temelini oluşturur. SAS ile çalışma hakkında daha fazla bilgi için bkz. Service Bus ile Paylaşılan Erişim İmzası Kimlik Doğrulaması.

Olay tüketicileri

Bir olay hub'ından olay verilerini okuyan herhangi bir varlık olay tüketicisidir. Tüm Event Hubs tüketicileri AMQP 1.0 oturumu üzerinden bağlanır ve olaylar, kullanılabilir olduğu anda oturum üzerinden iletilir. İstemcinin veri kullanılabilirliğini yoklaması gerekmez.

Tüketici grupları

Event Hubs yayımlama/abonelik mekanizması tüketici grupları aracılığıyla etkinleştirilir. Tüketici grubu tüm olay hub'ının bir görünümüdür (durum, konum veya uzaklık). Tüketici grupları birden çok tüketen uygulamayı her biri olay akışının ayrı bir görünümüne sahip olacak ve akışı kendi hızlarında ve kendi sapmalarıyla bağımsız bir şekilde okuyacak şekilde etkinleştirir.

Bir akış işleme mimarisinde her bir aşağı akış uygulaması bir tüketici grubuna karşılık gelir. Olay verilerini uzun süreli depolama alanına yazmak isterseniz bu depolama yazma uygulaması bir tüketici grubudur. Bundan sonra karmaşık olay işlemesi başka ve ayrı bir tüketici grubu tarafından gerçekleştirilebilir. Bölümlere yalnızca bir tüketici grubu üzerinden erişebilirsiniz. Bir olay hub 'ında her zaman varsayılan bir tüketici grubu vardır ve ilgili fiyatlandırma katmanı için en fazla tüketici grubu sayısını oluşturabilirsiniz.

Tüketici grubu başına bölüm üzerinde en fazla 5 eşzamanlı okuyucu olabilir; Ancak , Tüketici grubu başına bir bölümde yalnızca bir etkin alıcı olması önerilir. Tek bir bölüm içinde her okuyucu tüm iletileri alır. Aynı bölümde birden fazla okuyucu varsa, yinelenen iletileri işleyebilirsiniz. Kodunuzda bu, önemsiz olmayan bir işlem yapmanız gerekir. Ancak, bazı senaryolarda bu geçerli bir yaklaşımdır.

Azure SDK 'Ları tarafından sunulan bazı istemciler, her bir bölümün tek bir okuyucu içerdiğinden ve bir olay hub 'ının tüm bölümlerinin okunmakta olduğundan emin olmanın ayrıntılarını otomatik olarak yöneten akıllı tüketici aracılarıdır. Bu, kodunuzun, bölümlerin ayrıntılarının çoğunu yoksayabilmesi için Olay Hub 'ından okunan olayların işlenmesine odaklanmasını sağlar. daha fazla bilgi için bkz. Bağlan bölümünebakın.

Aşağıdaki örneklerde, Tüketici grubu URI kuralı gösterilmektedir:

//<my namespace>.servicebus.windows.net/<event hub name>/<Consumer Group #1>
//<my namespace>.servicebus.windows.net/<event hub name>/<Consumer Group #2>

Aşağıdaki şekilde Event Hubs akış işleme mimarisi gösterilmektedir:

Akış uzaklıkları

Uzaklık bir olayın bölüm içindeki konumudur. Uzaklığı istemci tarafındaki bir imleç olarak düşünebilirsiniz. Uzaklık, olayın bayt cinsinden numaralandırılmasıdır. Bu uzaklık, olay tüketicisinin (okuyucu) olay akışında olayları okumaya başlamak istediği bir noktayı belirtmesini sağlar. Uzaklığı bir zaman damgası veya bir uzaklık değeri olarak belirtebilirsiniz. Tüketiciler, kendi uzaklık değerlerini Event Hubs hizmetinin dışında saklamaktan sorumludur. Bir bölüm içinde her olay bir uzaklık içerir.

Denetim noktası oluşturma

Denetim noktası oluşturma, okuyucuların bir bölüm olay dizisindeki konumlarını işaretledikleri veya uyguladıkları bir işlemdir. Denetim noktası oluşturma, tüketicinin sorumluluğundadır ve bir tüketici grubunda bölüm başına temelinde gerçekleşir. Bu sorumluluk, her bir tüketici grubu için her bölüm okuyucusunun geçerli konumunu olay akışında izlemesi gerektiği ve veri akışının tamamlandığını düşündüğünde hizmeti bilgilendirebileceği anlamına gelir.

Bir okuyucunun bölüm bağlantısı kesilirse yeniden bağlandığında ilgili tüketici grubundaki o bölümün son okuyucusu tarafından daha önce gönderilen denetim noktasında okumaya başlar. Okuyucu bağlandığı zaman, okumayı başlatacak konumu belirtmek için Olay Hub 'ına geçişi geçirir. Bu şekilde, denetim noktası oluşturma özelliğini hem aşağı akış uygulamaları ile olayları "tamamlandı" olarak işaretlemek hem de farklı makinelerde çalışan okuyucular arasında bir yük devretme oluşması durumunda esneklik sağlamak amacıyla kullanabilirsiniz. Bu denetim noktası sürecinden daha düşük bir konum belirterek eski verilere dönmek mümkündür. Bu mekanizmayla denetim noktası oluşturma özelliği hem yük devretme esnekliği hem de olay akışı yeniden yürütmesi sağlar.

Ortak tüketici görevleri

Tüm Event Hubs tüketicileri, durum algılayan çift yönlü iletişim kanalı olan bir AMQP 1,0 oturumu aracılığıyla bağlanır. Her bölümde bölüme göre ayrılmış olayların taşınmasını kolaylaştıran bir AMQP 1.0 oturumu vardır.

Bir bölüme bağlanma

Bölümlere bağlanırken, okuyucu bağlantılarını belirli bölümlerle koordine etmek için bir kiralama mekanizması kullanılması yaygın bir uygulamadır. Bu şekilde, bir tüketici grubundaki her bölümün yalnızca bir etkin okuyucu olması mümkündür. Akıllı tüketici aracıları işlevi gören Event Hubs SDK 'lar içindeki istemcileri kullanarak denetim noktası oluşturma, kiralama ve yönetme, okuyucuları basitleştirilir. Bunlar:

• .NET için Eventprocessorclient
• Java için Eventprocessorclient
• Python için Eventhubconsumerclient
• JavaScript/TypeScript için Eventhubconsumerclient

Olayları okuma

Belirli bir bölüm için bir AMQP 1.0 oturumu ve bağlantı açıldıktan sonra olaylar Event Hubs hizmeti tarafından AMQP 1.0 istemcisine teslim edilir. Bu teslim mekanizması, HTTP GET gibi çekme tabanlı mekanizmalardan daha yüksek verimlilik ve daha düşük gecikme sağlar. Olaylar istemciye gönderildiğinde her bir olay verisi örneği, olay dizisinde denetim noktası oluşturmayı kolaylaştırmak için kullanılan uzaklık ve dizi numarası gibi önemli meta veriler içerir.

Olay verileri:

• Uzaklık
• Sıra numarası
• Gövde
• Kullanıcı özellikleri
• Sistem özellikleri

Bu, sapmayı yönetme sorumluluğudur.

Sonraki adımlar

Event Hubs hakkında daha fazla bilgi için şu bağlantıları ziyaret edin:

• Event Hubs kullanmaya başlayın
  • .NET
  • Java
  • Python
  • JavaScript

• Event Hubs programlama kılavuzu
• Event Hubs’da kullanılabilirlik ve tutarlılık
• Event Hubs ile ilgili SSS
• Event Hubs örnekleri