CluedIn ve Azure Purview ile ana veri hizmetlerini Azure'a geçirme

Data Factory
SQL Veritabanı
Synapse Analytics

Ana Verilere, bir şirket içindeki en önemli iş verilerine veri kalitesini, veri idaresi ve ana veri ana verilerini çözme görevi verildi. Şu anda şirket içinde veya bulutta barındırılan SQL ana veri hizmetleri (AVH) örneği veya örnekleri kullanıyorsanız, aşağıdaki senaryo CluedIn tarafından yerel bir Azure ana veri yönetimi çözümüne taşıma deneyimini basitleştiriyor.

Mimari, ana veri yönetiminin (MDM) birçok yapı yapıtını tutarlı, tutarlı, uçta bir MDM çözümünde kapsüller. CluedIn, MDM projelerini hızlandırmak ve MDM girişimlerinin başarı oranlarını artırmak için kanıtlanmış sıfır modellemeli bir MDM yaklaşımı ortaya attı.

CluedIn, günlük iş yüklerini AVH'den CluedIn'e kolayca geçirmek için veri araçlarında ve MDM ekiplerinde kullanıcı aşinalığı sağlayan SQL AVH için yan yana özellik eşliği sağlar. Ayrıca CluedIn, işletmenize içgörüler için hazır verilerin temeli de dahil olmak üzere çok daha değerli veri yöneticisi işlevleri sağlar.

Mimari

Aşağıdaki diyagramda CluedIn mimari yapısı ve veri akışı gösterildi.

CluedIn mimari yapısını gösteren diyagram.

CluedIn, şirket içi AVH örneklerini geçirmenizi veya barındırılan bir sanal makine örneğiyle bulutta barındırılan SQL VM'sine doğrudan bağlanmanıza olanak vermek için Azure sanal özel a AVH kullanır. CluedIn'in tüm ihtiyacı Windows Communication Foundation (WCF) hizmetinin AVH hizmetine işaret etmektir ve verileri, kuralları, iş akışlarını ve diğer her şeyi CluedIn'e veya ilgili Microsoft hizmetine taşıma işlemini otomatikleştirecek.

Azure Maliyet Yönetimi + Faturalama ile yerel tümleştirme sayesinde, yeni bir AVH CluedIn'e ilerleken, CluedIn MDM iş yüklerinizi kolayca tahmin edersiniz. CluedIn, ortamın ölçeğini yukarı ve aşağı ölçeklendirmek için Azure Otomatik Ölçeklendirme özelliğini kullanır. CluedIn ayrıca buluttaki harcamalarınızı kolayca kontrol etmek için Azure'daki bütçelere yerel olarak tümleştirilmiştir. Azure platformunda maliyetler belirgin hale gelecek olduğundan bu tümleştirme, zaman alan tahmin ve bütçeleme ihtiyacı ortadan kaldırıyor.

Tüm ETL işlem hatlarınızı buluta Azure Data Factory için SSIS paketleri buluta geçirilir.

Bileşenler

CluedIn, aşağıdaki bileşenler de dahil olmak üzere 27 Azure hizmetine yerel tümleştirme sağlar:

Alternatifler

Ayrıca, platformu alternatif senaryolara ve CluedIn'in temel özelliklerine genişletabilirsiniz.

CluedIn'in bu sürümünde, platformun genişleticisi yerel Azure Hizmetleri ile tamamlanacak. Tüm olaylar, geliştiricilerinizin kendileriyle herhangi bir şekilde etkileşim kurması için Olay Hub'ına açık olur. Azure Data Factory, farklı Azure Hizmetlerinin tamamına veri getirme desteği sunan CluedIn'e veri itmek için kullanılabilir. Azure İşlevleri, Event Hubs'a abone olmak için kullanılabilir. Burada, özelleştirmelerinizi Azure İşlevleri.

CluedIn özellikleri

Ana veri hizmetleri geleneksel olarak aşağıdaki ana işlevleri içerir:

  • Model sürümü desteği
  • İş kuralları
  • Veri kalitesi hizmetleri
  • İş akışı
  • Hiyerarşiler
  • Excel eklentisi

CluedIn yukarıdakilerin hepsi için işlevsellik sağlar. Ayrıca, aşağıdaki kullanım örnekleri de etkinleştirilir:

  • Hiyerarşiler artık yerel olarak yerel olarak görselleştiril Power BI.
  • İş akışları geçirilir ve doğrudan iş akışlarında Power Automate.
  • İş kuralları ve veri kalitesi hizmetleri, CluedIn Rules altyapısına yerel olarak geçirilir.
  • CluedIn, adresler, şirket bilgileri ve daha AVH otomatik olarak düzeltmek için veri kayıtlarınızı yerleşik olarak zenginleştirmenizi sağlar.
  • Onay yönetimi ve veri konusu erişim isteklerini çalıştırma.
  • Gerekirse AVH örneğine geri yazın.

CluedIn ayrıca veri değişikliği geçmişinin de geçirildisini destekler ve veri kalitesi geçmişini otomatik olarak AVH olabilir. Geçiş işlemi tamam AVH anda AVH örneklerinizi kapatmak istemiyorsanız, bir AVH çözüm ve CluedIn eşitleniyor olarak da çalıştırabilirsiniz.

CluedIn, Common Data Model / Dataverse'i yerel olarak destekler. Başka bir deyişle Power Apps, Power Automate, Power BI, sanal sohbet botları ve Microsoft Dynamics kullanıcılarının hepsi fazla kurulum veya tümleştirmeye gerek kalmadan CluedIn'den verileri yerel olarak kullanabilir.

CluedIn, Azure Purview ile yerel olarak tümleştirildi

Azure Purview, veri idaresi özelliklerini Microsoft Azure buluta getirir ve CluedIn işlevine yerel tümleştirme sağlar.

  • Azure Purview Sözlüğü doğrudan CluedIn'de (veya tam tersi) kullanılabilir.
  • CluedIn, Purview'da kayıtlı varlıkları alma.
  • CluedIn, Azure Purview'dan alınan kişisel bilgileri tarar ve kişisel verilerin bulunduğu kayıt düzeyini tespit ediyor olabilir. Ayrıca yalnızca yapılandırılmış değil, yapılandırılmamış ve yarı yapılandırılmış verilerde kişisel bilgileri destekler.
  • CluedIn, veri kümelerini Otomatik olarak CluedIn'e eşlemek için Purview'daki şemayı kullanır.
  • CluedIn, Purview Lineage'ın süresini ayrıntılı işleme günlükleri ile genişletmektedir.
  • CluedIn, yeni veri alımı zamanlanana kadar Purview Taramalarını başlatabilirsiniz.

Aşağıdaki görüntüde, Lineage özellik kümesi gösterildi.

CluedIn Lineage özellik kümesi gösteren ekran görüntüsü.

Azure Data Factory desteği

Azure Data Factory (ADF), 100'den fazla hizmetle bağlantı için destek sunar. Bu veriler ADF'den gelen anında veri akışlarını kullanarak doğrudan CluedIn'e teslim edilir. CluedIn yalnızca Ana Veri Hizmeti (AVH) örneklerinize bağlanmanıza izin vermekle birlikte SAAS, veritabanları, veri gölleri ve daha birçok farklı veri kaynağına da bağlanır.

Önemli ADF destek özellikleri şunlardır:

  • Olay Hub'larından olayları dinleyecek şekilde ayarlamanın ardından verileri cluedIn'e geri beslersiniz.
  • ADF'ye özgü uç noktaları ayarlamak için doğrudan CluedIn içinde yerel destek kullanılabilir.
  • Mevcut ADF işlem hatlarını yeni bir hedef havuzla kolayca kullanabilirsiniz.

Dikkat edilmesi gerekenler

Modelleme

CluedIn otomatik modelleme işlemi kullandığından ana veri hizmetlerinden (AVH) veya Microsoft Dynamics gibi diğer veri kaynaklarından veri modellerini geçirmeniz veya yeniden oluşturmanıza gerek yoktur. Bu özellik, sisteme gönderilen verileri temel alan bir modeli otomatik olarak oluşturmak için graf veritabanını kullanır. Geleneksel ilişkisel tabanlı modelden grafa doğru ilerlersanız, ana veri girişimlerinize büyük değer ve esneklik getirirsiniz. Graf yaklaşımı, ilişkisel modelleme stiline göre o kadar da farklı değildir.

Bu modellemenin en önemli yönü, ilişkisel bir stilin size ve takımınıza ana veri modellerinizi farklı şekillerde ve boyutlarda temsil etmek için esnek bir yol vermeleridir. Bu stil, işletmeniz ana veri modelinizin farklı kullanım örneklerine ve iş gereksinimlerine uyacak şekilde esnetilmiş olduğunu gerektirdiğinde yüksek esneklik sağlar. CluedIn, veri alımında önden şemasız bir yaklaşım kullanır. Verilerinizin platforma girişte sıkı ve katı bir şemaya sığmalarına gerek yok. Ancak, CluedIn platformundan verileri uygulanan farklı kullanım durumlarında kullanılırken, verilerin CluedIn'den çıkma yolu üzerinde sıkı ve katı bir şema uygulanabilir.

Aşağıdaki görüntüde İlişkiler özellik kümesi yer amıştır.

CluedIn İlişkileri özellik kümesi gösteren ekran görüntüsü.

Kullanılabilirlik

Bu çözüm bir yönetilen uygulama teklifi olarak barındırıldı ve satıcının yükseltmeleri, bakımı, yedeklemeleri ve daha fazlasını sizin adına yönetecek olduğu kendi kiracınıza uygulanabilir.

CluedIn, yükseltmelerin ve düzeltme eklerinin yerel Azure duyuruları gibi Azure Hizmet Durumu ve Azure zamanlanmış bakımı ile yerel olarak tümleştirildi. CluedIn, Azure ortamındaki yüksek sağlamlık ile birlikte en yüksek hizmet düzeyi sözleşmesi (SLA) gereksinimlerini karşılar.

Performans

CluedIn, depolamayı işlemden ayırarak verilerin işlemesi tamamen durum bilgisizdir. Bir akış hizmeti verisi tarafından desteklene bu, CluedIn'in iş yüklerinizi bağlı olarak ihtiyacınız olan en fazla veya en az bir şekilde ölçeklendirebilir ve ölçeklendirebilir. CluedIn, ölçeklendirmenin otomatik hale Azure Kubernetes Service (AKS) içindeki Azure otomatik ölçeklendirme özelliklerini destekler. Verilerin işlenme performansını artırmak için kubernetes kümenize daha fazla işlem pod'u ayırabilirsiniz. Bu podların hepsi otomatik hale gelir.

Ölçeklenebilirlik

CluedIn, ihtiyacınız olan sayıda AVH tümleştirmeyi destekler. Örneğin, CluedIn'de 50 örnek AVH ve yöneterek. Bunları çok kullanıcılı olarak veya hepsi aynı hesapta karıştırarak çalıştırabilirsiniz. Veri AVH CluedIn'e geçirildiktan sonra, yeni sistemleri ve ana verileri eklemenin birçok yolu vardır ve verileri yükleme konusunda farklı seçenekler vardır.

CluedIn, Docker kapsayıcılarında çalışır ve Kubernetes'i uygulamanın farklı parçalarını barındırır ve çalıştırır. Bu mimari, CluedIn'in esnek ortamlarda iyi çalıştığını ve otomatik olarak gerekli boyutlara ve altyapıya ölçeklendirebilecekleri anlamına gelir.

Otomatik ölçeklendirmeye yerel destekle, CluedIn en büyük veri iş yükleri için ölçeklenebilir bir ortam sağlamak üzere Azure'ın gücünü kullanır. CluedIn hesaplarının platformda on milyonlarca veya yüz milyonlarca kaydı olduğu yaygın bir durum değildir.

Güvenlik

CluedIn güvenliği, azure RBAC aracılığıyla farklı hizmetlere erişim izni verir ve Azure Key Vault denetimi ile Azure İzleyici ve günlüğe kaydetmeyi sağlar. CluedIn, kimliği doğrulanmış kullanıcı hesaplarına ek olarak çoklu oturum açma (SSO) ve kimlik çerçevelerini de destekler. CluedIn uygulamasına yapılan istekler, kullanıcı kimliğiyle bağıntısı olan şifrelenmiş erişim belirteçlerini kullanır. Yerel Azure Active Directory desteğiyle SAML 2.0 bilginizi CluedIn'e eklentiniz gerekir ve yeni MDM çözümünüz için kullanıcı ve rol erişimini yönetmek için hemen kullanılabilir.

Dayanıklılık

CluedIn, veri deposu ve uygulama düzeyinde yüksek kullanılabilirlik modunda çalışır. Depolama ve işleme ayrımı nedeniyle CluedIn yerleşik direnç ve hataya dayanıklılık sunar. Çeşitli iş yüklerini karşılamak için CluedIn uygulamasının farklı bölümleri bağımsız olarak ölçeğini artırır ve azaltır.

DevOps

CluedIn, AKS Azure Pipelines dağıtımları ve güncelleştirmeleri işlemek için sürekli tümleştirme ve sürekli teslim (CI/CD) işlem hatlarını kullanır. Müşteriler ayrıca bu altyapıyı kendi özelleştirmelerini CluedIn'e dağıtmak için de kullanabilir.

Bu senaryoyu dağıtın

Docker kullanarak geliştirme ve değerlendirme amacıyla CluedIn'i dağıtmak için bkz. Docker ile CluedIn.

CluedIn'i üretimde yüklemek için, CluedIn örnekleri doğrudan kendi Azure kiracınıza Azure Market örneklerinden yükleyebilirsiniz.

Fiyatlandırma

CluedIn maliyetleri düşük olarak başlar ve kullanımınıza bağlı olarak fiyatlandırmanın ölçeğini kullanımla eş olacak şekilde ölçeklendirin. Bütçeler doğrudan maliyetler içinde Azure portal böylece operasyonel maliyetlerinizi kontrol altında tutabilirsiniz.

Azure boyutlandırma ve deneme sürümü başlatma

Farklı boyutlu ortamlar için önceden oluşturulmuş Azure tahminleriyle Azure barındırma maliyetlerinizin kapsamını belirlemeye de yardımcı olmak için web sitelerinden CluedIn denemesini başlatabilirsiniz.

Sonraki adımlar