Veri ağı için bir finansal kurum senaryosu
Bu senaryo, ölçeklenebilirlik ve veri ağı mimarileri için bulut ölçeğinde analiz kullanmak isteyen müşterilere yöneliktir. Giriş bölgeleri, veri tümleştirmeleri ve veri ürünleriyle karmaşık bir senaryo gösterir.
Müşteri profili
Kurgusal bir kuruluş olan Woodgrove Bank, dünya çapında ayak izi olan büyük bir finansal hizmetler şirketidir. Woodgrove Bank'ın verileri şirket içi ve bulut dağıtım sistemlerinde barındırılır. Woodgrove Bank mimarisinde, birleştirilmiş pazarlama ve tümleşik raporlama için çeşitli veri ambarı sistemleri vardır. Bu mimari, geçici analiz ve veri bulma için çeşitli veri gölleri içerir. Woodgrove Bank uygulamaları, çoğunlukla API tabanlı veya olay tabanlı uygulama tümleştirme desenleri aracılığıyla birbirine bağlanır.
Geçerli durum
Woodgrove Bank'ın veri ambarı karmaşıklığı nedeniyle verileri farklı konumlara dağıtması zordur. Yeni verileri tümleştirmek zaman alır ve verileri yinelemek için caziptir. Woodgrove Bank, noktadan noktaya bağlantı nedeniyle uçtan uca veri manzaralarını denetlemeyi zor buluyor. Banka yoğun veri tüketimi talebini hafife almış durumda. Yeni kullanım örnekleri, birbiri ardına hızlı bir şekilde tanıtılır. Veri sahipliği ve kalitesi gibi veri idaresi ve maliyetlerin denetlenmesi zordur. Woodgrove Bank, verilerinin tam olarak nerede olduğunu bilmediğinden, yönetmeliklerle güncel tutmak zordur.
Mimari çözümü: Veri ağı
Kuruluşlar son birkaç yılda verilerin her şeyin merkezinde olduğunu fark etti. Veriler yeni verimlilikler açar, yenilikleri destekler, yeni iş modellerinin kilidini açar ve müşteri memnuniyetini artırır. Şirketlerin büyük ölçekteki veriler gibi veri odaklı yöntemleri kullanması en önemli önceliktir.
Verilerin daha derin değerinin tüm kuruluş üyeleri tarafından erişilebilir olduğu bir aşamaya ulaşmak zordur. Eski ve sıkı bağlantılı sistemler, merkezi monolitik platformlar ve karmaşık idare, verilerden değer üretmenin önemli engelleri olabilir.
Veri ağı hakkında
Zhamak Dehghani tarafından icat edilen veri ağı kavramı, verileri, teknolojiyi, süreçleri ve organizasyonu kapsar. Kavramsal olarak, çeşitli etki alanlarının kendi verilerini kullandığı verileri yönetmek için erişilebilir bir yaklaşımdır. Veri ağı, verilerin geleneksel olarak merkezileştirilmesi fikrini zorlar. Veri ağı, verilere büyük bir depo olarak bakmak yerine bağımsız veri ürünlerinin ayrışmasını dikkate alır. Merkezi bir sahiplikten federasyon sahipliğine geçiş, genellikle buluta özel teknolojiler kullanılarak tasarlanan modern ve self servis bir veri platformu tarafından desteklenir.
Veri ağı kavramını yapı taşları olarak ayırdığınızda dikkate almanız gereken bazı önemli noktalar şunlardır:
- Ürün olarak veriler: Her (kuruluş) etki alanı, verilerini uçtan uca çalıştırır. Sorumluluk, etki alanındaki veri sahibiyle birliktedir. İşlem hatları, etki alanlarının kendileriyle ilgili birinci sınıf bir sorun haline gelir.
- Federasyon hesaplamalı veri idaresi: Her veri sahibinin diğerlerine güvenebilmesini ve veri ürünlerini paylaşabilmesini sağlamak için bir kurumsal veri idaresi kuruluşu oluşturulmalıdır. İdare kuruluşu veri kalitesini, veri sahipliğinin merkezi görünürlüğünü, veri erişim yönetimini ve veri gizliliği ilkelerini uygular.
- Etki alanı odaklı veri sahipliği: Kuruluş ideal olarak etki alanı odaklı tasarım ilkelerini uygulayarak ağ içindeki her veri-etki alanı düğümünü tanımlamalı ve modellemelidir.
- Self servis veri platformu: Veri ağı, kullanıcıların teknik karmaşıklığı ortadan kaldırmasına ve bireysel veri kullanım örneklerine odaklanmasına olanak tanıyan bir self servis veri platformu gerektirir.
Bulut ölçeğinde analiz
Ürün olarak veri düşünme ve self servis platform modeli Microsoft'ta yeni değildir. Microsoft, uzun yıllar boyunca dağıtılmış platformlar, etki alanları genelinde işlem hatları, federasyon sahipliği ve kendi kendine açıklayıcı veriler için en iyi yöntemleri gözlemlemiştir.
Woodgrove Bank, bulut ölçeğinde analiz kullanarak veri ağında geçiş yapabilir. Bulut ölçeğinde analiz, modern veri platformlarını tasarlamaya ve hızla dağıtmaya yönelik açık kaynaklı ve açıklayıcı bir şemadır. Azure'ın en iyi yöntemleri ve tasarım ilkeleriyle birleştirilir ve Azure Well-Architected Framework ile uyumludur. Bulut ölçeğinde analiz, kuruluşlara yüzde 80 önceden belirlenmiş bir bakış açısı sağlar ve kalan yüzde 20'si özelleştirilebilir.
Bulut ölçeğinde analiz, kuruluşlara veri ağı için stratejik bir tasarım yolu sunar ve böyle bir mimariyi hızlı bir şekilde ayarlamak için kullanılabilir. Veri yönetimi için temel veri platformu hizmetleri de dahil olmak üzere bir şema sunar.
Bulut ölçeğinde analiz, en üst düzeyde veri yönetimi giriş bölgesi aracılığıyla etkinleştirilen bir veri yönetimi özelliği kullanır. Bu bölge, (self servis) platformunun bir kuruluşunun federasyon veri idaresi ve veri ürünleri aracılığıyla iş değerini yönlendiren veri etki alanlarından sorumludur. Bu yaklaşımın avantajı, aynı standartlara bağlı kalarak teknik karmaşıklığı ortadan kaldırmasıdır. Teknolojinin çoğalmamasını sağlar. Ayrıca kuruluşların modüler, küçük bir ayak iziyle başlamasını ve daha sonra zamanla büyümesini sağlar.
Aşağıdaki diyagramda görebileceğiniz gibi veri yönetimi giriş bölgesi tüm veri etki alanlarını çevreler. Tüm etki alanlarını birbirine tutkallar ve Woodgrove Bank'ın aradığı gözetimi sağlar.
Bulut ölçeğinde analiz, veri ürünleri dağıtıldığında ortak bir mimari kullanan tutarlı idarenin uygulanmasını da destekler. Çerçeve, etki alanları arasında doğrudan iletişime olanak tanır. Verileri korumak ve grupların verileri keşfetmesine izin vermek için merkezi kataloglama ve sınıflandırmaya odaklanarak denetimde kalır. Veri varlıklarınızın üzerine bir şemsiye yerleştirir.
Veri etki alanları
Bulut ölçeği analizini stratejik bir yol olarak kullandığınızda mimarinizin ayrışmasını ve sonuçta elde edilen ayrıntı düzeyini düşünmeniz gerekir. Veri ağı, teknolojilerin sınırlarını takip etmeyerek verileri ayrıştırır. Bunun yerine, daha büyük kuruluşlar için karmaşık sistemler içeren yazılım geliştirme yaklaşımı olan etki alanı temelli tasarım (DDD) ilkelerini uygular. DDD, mikro hizmetler gibi modern yazılım ve uygulama geliştirme uygulamaları üzerindeki etkisi nedeniyle popülerdir.
Etki alanı temelli tasarımdaki desenlerden biri sınırlanmış bağlam olarak bilinir. Sınırlanmış bağlamlar, karmaşıklığı daha iyi yönetmek için etki alanının çözüm alanının mantıksal sınırlarını ayarlamak için kullanılır. Ekiplerin, veri dahil olmak üzere hangi yönleri değiştirebileceklerini ve hangilerinin başkalarıyla eşgüdümlü olarak paylaşılan bağımlılıklar olduğunu anlaması önemlidir. Veri ağı sınırlanmış bağlamı benimser. Bu desen, kuruluşların veri etki alanları etrafında nasıl koordine olabileceğini ve verileri bir ürün olarak sunmaya nasıl odaklanabileceğini açıklamak için kullanır. Her veri etki alanı, diğerlerinden bağımsız olan kendi teknoloji yığınına sahip birden çok veri ürününe sahip olur ve bunları çalıştırır.
Veri ürünleri
Böyle bir veri etki alanının iç mimarisini yakınlaştırdığınızda, içinde veri ürünleri bulmayı beklersiniz.
Veri ürünleri, verileri kullanan işletmeler içinde belirli bir ihtiyacı karşılar. Veri ürünleri, etki alanlarındaki verileri yönetir, düzenler ve anlamlı hale getirir ve elde ettikleri içgörüleri sunar. Veri ürünü, bir veya birden çok veri tümleştirmesinden veya diğer veri ürünlerinden gelen verilerin sonucudur. Veri ürünleri, veri etki alanlarıyla yakından hizalanır ve aynı şekilde inşa edilmiş, resmileştirilmiş dili devralır. Proje katılımcıları ve tasarımcılar tarafından kabul edildi ve tasarımın gereksinimlerine hizmet ediyor. Veri oluşturan her etki alanı, bu veri ürünlerini diğer etki alanları için kullanılabilir hale getirmekle sorumludur.
Bulut ölçeğinde analiz, veri ürünlerinin hızlı bir şekilde sunulmasına yardımcı olmak için veri dağıtımı ve tümleştirme desenlerine yönelik şablonlar sunar. Çerçeve, farklı tüketicilerin ihtiyaçlarını karşılamak için veri toplu işlemi, akış ve analiz sağlar.
Bulut ölçeğinde analizle ilgili harika bir şey, etki alanlarının ve veri ürünlerinin düzenlenme şeklidir. Her veri etki alanı, mantıksal bir yapı ve bulut ölçeği analiz mimarisinde ölçek birimi olan bir veri giriş bölgesiyle hizalanır. Veri saklama ve veri iş yüklerinin yürütülmesini sağlar ve bu da içgörüler ve değer oluşturur. Her veri ürünü, veri giriş bölgesi içinde bir kaynak grubuyla hizalanır ve tüm veri giriş bölgeleri ve yönetim bölgeleri aboneliklerle hizalanır. Bu yaklaşım, uygulama ve yönetimi kolaylaştırır.
Tüm bulut ölçeğindeki analiz şablonları, veri yönetimi giriş bölgesinden aynı ilke kümesini devralır. Şablonlar veri bulunabilirliği, idare, güvenlik, maliyet yönetimi ve operasyonel mükemmellik için gerekli meta verileri otomatik olarak sunar. Karmaşık ekleme, tümleştirme ve test gerektirmeden yeni veri etki alanlarını hızla ekleyebilirsiniz.
Aşağıdaki diyagramda bir veri ürününün nasıl görünebileceği gösterilmektedir:
Veri ürünleri oluşturmaya yönelik pragmatik bir yaklaşım, verilerin kaynaklandığı kaynakla veya kullanım örneğiyle hizalamaktır. Her iki durumda da, temel alınan (karmaşık) uygulama veri modelinin soyut bir görünümünü sağlamanız gerekir. Teknik ayrıntıları gizlemeyi ve yoğun veri tüketimi için iyileştirmeyi denemeniz gerekir. Verileri mantıksal olarak bir arada gruplandıran Azure Synapse görünümü veya Parquet dosyası, bir veri ürününün çeşitli veri etki alanlarında nasıl paylaşılabildiğini gösteren bir örnektir.
Daha sonra veri bulunabilirliği, kanıtlanmışlık, kullanım ve köken üzerinde çalışmanız gerekir. Kanıtlanmış bir yaklaşım, tüm verileri kaydetmek için Azure Purview gibi bir veri idaresi hizmetini kullanmaktır. Bulut ölçeğindeki analizlerdeki veri tümleştirmesi, aynı anda meta veri kaydı gerçekleştirirken bu veri ürünlerinin oluşturulmasına izin verdiğinden noktaları mükemmel bir şekilde birbirine bağlar.
Veri etki alanlarını ve Azure Purview koleksiyonlarını hizalayarak, tek tek etki alanlarındaki tüm veri kaynağı, köken, veri kalitesi ayrıntıları ve tüketim bilgilerini otomatik olarak yakalarsınız. Bu yaklaşımla, birden çok veri etki alanını ve ürünü her ortamdaki tüm meta verileri depolayan merkezi bir idare çözümüne bağlayabilirsiniz. Bunun avantajı, tüm meta verileri merkezi olarak tümleştirmesi ve çeşitli tüketiciler için kolayca erişilebilir hale getirmesidir. Yeni veri ürünlerini kaydetmek için bu mimariyi genişletebilirsiniz.
Aşağıdaki diyagramda, bulut ölçeğinde analiz kullanan etki alanları arası veri ağı mimarisi gösterilmektedir.
Ağ tasarımı, veri ürünlerinin en düşük maliyet kullanılarak etki alanları arasında paylaşılmasına ve tek hata noktası ile bant genişliği sınırlamalarının ortadan kaldırılmasına olanak tanır. Güvenliğin sağlanmasına yardımcı olmak için Microsoft Sıfır Güven güvenlik modelini kullanabilirsiniz. Bulut ölçeğinde analiz, en düşük ayrıcalık ilkesini izleyerek özel uç noktalar ve özel ağ iletişimi, MI'ler, UMI'ler ve iç içe güvenlik grupları kullanan kimlik temelli bir veri erişim modeli aracılığıyla ağ yalıtımı kullanılmasını önerir.
Yönetilen kimlikleri kullanarak en az ayrıcalık erişim modelinin izlenmesini sağlayabilirsiniz. Bu modeldeki uygulama ve hizmetlerin veri ürünlerine erişimi sınırlıdır. Yaklaşan veri ilkeleriyle birlikte Azure ilkeleri, self servis sağlamak ve tüm veri ürünlerinde uyumlu kaynakları büyük ölçekte zorunlu kılmak için kullanılır. Bu tasarımla tekdüzen veri erişimine sahip olurken merkezi veri idaresi ve denetimi aracılığıyla tam denetime sahip olabilirsiniz.
Geleceğe doğru gelişme
Bulut ölçeğinde analiz, veri ağı göz önünde bulundurularak tasarlanmıştır. Bulut ölçeğinde analiz, kuruluşların birçok veri etki alanındaki verileri paylaşabileceği kanıtlanmış bir yaklaşım sağlar. Bu çerçeve, etki alanlarının seçim yapma otonomisine sahip olmasını sağlar ve mimariyi veri yönetimi hizmetleriyle çevreleyerek yönetir.
Veri ağı uygularken etki alanlarınızı mantıksal olarak gruplandırıp düzenleyin. Bu yaklaşım kurumsal bir görünüm gerektirir ve kuruluşunuz için büyük olasılıkla kültürel bir değişimdir. Vardiya, verilerini ürün olarak sağlamakla sorumlu olan veri etki alanları ve sahipler arasında veri sahipliğini bir araya getirmenizi gerektirir. Ayrıca ekiplerin veri yönetimi giriş bölgesi tarafından sunulan merkezi özelliklere uymasını gerektirir. Bu yeni yaklaşım, tek tek ekiplerin mevcut görevlerinden vazgeçmesini gerektirebilir ve bu da büyük olasılıkla direnç oluşturur. Bazı siyasi seçimler yapmanız ve merkezi ve merkezi olmayan yaklaşımlar arasında denge oluşturmanız gerekebilir.
Tek tek etki alanları için mimariye daha fazla giriş bölgesi ekleyerek bir veri ağı mimarisini ölçeklendikleyebilirsiniz. Bu giriş bölgeleri, veri yönetimi giriş bölgesine ve diğer tüm giriş bölgelerine bağlanmak için sanal ağ eşlemesini kullanır. Bu düzen, veri ürünlerini ve kaynaklarını farklı bölgelerde paylaşmanızı sağlar. Ayrı bölgelere böldüğünüzde iş yüklerini Azure aboneliklerine ve kaynaklarına yayabilirsiniz. Bu yaklaşım, veri ağınızı organik olarak uygulamanıza olanak tanır.
Daha fazla bilgi edinin
Microsoft kaynakları:
Veri ağı kurucusu Zhamak Dehghani'nin makalesi: