Profisee ve Azure Data Factory ile ana veri yönetimi

Bu mimari desen, analiz ve operasyonel karar alma için kullanılan verilerin kalitesini artırmak için MDM'yi Azure veri hizmetleri ekosistemine nasıl dahil ettiğinizi gösterir. MDM, aşağıdakiler de dahil olmak üzere çeşitli yaygın sorunları çözer:

• Yinelenen verileri tanımlama ve yönetme (eşleştirme ve birleştirme).
• Veri kalitesi sorunlarını etiketleme ve çözme.
• Verileri standartlaştırma ve zenginleştirme.
• Verilerin proaktif olarak yönetilmesine ve geliştirilmesine izin verme.

Bu düzen, MDM'ye modern bir yaklaşım sunar. Kapsayıcılar aracılığıyla dağıtabileceğiniz ve Azure Kubernetes Service ile yönetebileceğiniz Profisee dahil olmak üzere tüm teknolojiler Azure'da yerel olarak dağıtılabilir.

Mimari

Bu mimaride kullanılan diyagramların Visio dosyasını indirin.

Veri akışı

Aşağıdaki veri akışı önceki diyagrama karşılık gelir:

1. Kaynak veri yükü: İş uygulamalarından alınan kaynak veriler Azure Data Lake'e kopyalanır ve daha fazla dönüşüm ve aşağı akış analizinde kullanılmak üzere depolanır. Kaynak veriler genellikle üç kategoriden birine ayrılır:

   • Yapılandırılmış ana veri : Müşterileri, ürünleri, konumları vb. açıklayan bilgiler. Ana veriler düşük hacimli, yüksek karmaşıklıktadır ve zaman içinde yavaş değişir. Genellikle kuruluşların veri kalitesi açısından en çok mücadele eden verilerdir.
   • Yapılandırılmış işlem verileri : Sipariş, fatura veya etkileşim gibi belirli bir zaman noktasında gerçekleşen iş olayları. İşlemler, bu işlemin ölçümlerini (satış fiyatı gibi) ve ana verilere (satın alma işlemine katılan ürün ve müşteri gibi) başvurularını içerir. İşlem verileri genellikle yüksek hacimli, düşük karmaşıklıktadır ve zaman içinde değişmez.
   • Yapılandırılmamış veriler : Belgeler, görüntüler, videolar, sosyal medya içeriği ve ses içerebilen veriler. Modern analiz platformları, yeni içgörüler öğrenmek için yapılandırılmamış verileri giderek daha fazla kullanabilir. Yapılandırılmamış veriler genellikle sosyal medya hesabıyla ilişkilendirilmiş bir müşteri veya bir görüntüyle ilişkilendirilmiş bir ürün gibi ana verilerle ilişkilendirilir.

2. Kaynak ana veri yükü: Kaynak iş uygulamalarından alınan ana veriler, tam köken bilgileri ve en az dönüştürme ile "olduğu gibi" MDM uygulamasına yüklenir.

3. Otomatik MDM işleme: MDM çözümü, adres verileri gibi verileri standartlaştırmak, doğrulamak ve zenginleştirmek için otomatik işlemleri kullanır. Çözüm ayrıca veri kalitesi sorunlarını tanımlar, yinelenen kayıtları gruplar (yinelenen müşteriler gibi) ve "altın kayıtlar" olarak da adlandırılan ana kayıtlar oluşturur.

4. Veri yönetimi: Gerektiğinde veri görevlileri şunları yapabilir:

   • Eşleşen kayıt gruplarını gözden geçirme ve yönetme
   • Veri ilişkileri oluşturma ve yönetme
   • Eksik bilgileri doldurma
   • Veri kalitesi sorunlarını çözün.

   Veri yöneticileri, ürün hiyerarşileri gibi birden çok alternatif hiyerarşik dağıtımı gerektiği gibi yönetebilir.

5. Yönetilen ana veri yükü: Aşağı akış analizi çözümlerine yüksek kaliteli ana veri akışları. Bu eylem, veri tümleştirmeleri artık veri kalitesi dönüştürmeleri gerektirmediğinden süreci basitleştirir.

6. İşlemsel ve yapılandırılmamış veri yükü: İşlemsel ve yapılandırılmamış veri yükleri, yüksek kaliteli ana verilerle bir araya geldiği aşağı akış analizi çözümüne yüklenir.

7. Görselleştirme ve analiz: Veriler modellenip analiz için iş kullanıcılarının kullanımına sunulur. Yüksek kaliteli ana veriler yaygın veri kalitesi sorunlarını ortadan kaldırarak gelişmiş içgörüler elde eder.

Bileşenler

• Azure Data Factory , ETL ve ELT iş akışlarınızı oluşturmanızı, zamanlamanızı ve düzenlemenizi sağlayan bir karma veri tümleştirme hizmetidir.

• Azure Data Lake analiz verileri için sınırsız depolama alanı sağlar.

• Profisee , Microsoft ekosistemiyle kolayca tümleştirilebilen ölçeklenebilir bir MDM platformudur.

• Azure Synapse Analytics , yüksek düzeyde paralel işleme mimarisiyle verileri esnek ve bağımsız olarak ölçeklendirmenize, hesaplamanıza ve depolamanıza olanak tanıyan hızlı, esnek ve güvenilir bulut veri ambarıdır.

• Power BI , kuruluşunuz genelinde içgörüler sunan bir iş analizi araçları paketidir. Yüzlerce veri kaynağına Bağlan, veri hazırlığı basitleştirin ve geliştirilmiş analize yönlendirin. İlgi çekici raporlar oluşturup web’de ve mobil cihazlarda kullanım için bunları kuruluşunuza yönelik olarak yayımlayın.

Alternatifler

Amaca yönelik bir MDM uygulaması olmadığında, Azure ekosisteminde bir MDM çözümü oluşturmak için gereken teknik özelliklerden bazılarını bulabilirsiniz.

• Veri kalitesi - Analiz platformuna yüklerken tümleştirme süreçlerinde veri kalitesi oluşturabilirsiniz. Örneğin, sabit kodlanmış betiklerle bir Azure Data Factory işlem hattında veri kalitesi dönüştürmeleri uygulayın.
• Veri standartlaştırma ve zenginleştirme - Azure Haritalar, Azure İşlevleri ve Azure Data Factory'de kullanabileceğiniz adres verileri için veri doğrulama ve standartlaştırma sağlamaya yardımcı olur. Diğer verilerin standartlaştırılması, sabit kodlanmış betiklerin geliştirilmesini gerektirebilir.
• Yinelenen veri yönetimi - Tam eşleşme için yeterli tanımlayıcıların kullanılabildiği satırları yinelenenleri silmek için Azure Data Factory'yi kullanabilirsiniz. Bu durumda, uygun hayatta kalanlarla eşleşen birleştirme mantığı büyük olasılıkla özel sabit kodlanmış betikler gerektirebilir.
• Veri yönetimi - Power Apps'i kullanarak Azure'daki verileri yönetmeye yönelik basit veri yönetimi çözümleri ve gözden geçirme, iş akışı, uyarılar ve doğrulamalar için uygun kullanıcı arabirimleri geliştirin.

Senaryo ayrıntıları

Birçok dijital dönüşüm programı, çekirdek olarak Azure'ı kullanır. Ancak iş uygulamaları, veritabanları, veri akışları gibi birden çok kaynaktan alınan verilerin kalitesine ve tutarlılığına bağlıdır. Ayrıca iş zekası, analiz, makine öğrenmesi ve daha fazlası aracılığıyla da değer sunar. Profisee'nin Ana Veri Yönetimi (MDM) çözümü, Azure veri varlığını birden çok kaynaktan gelen verileri "hizalamak ve birleştirmek" için pratik bir yöntemle tamamlar. Bunu, eşleşme, birleştirme, standartlaştırma, doğrulama ve doğru gibi kaynak verilerde tutarlı veri standartlarını zorunlu kılarak yapar. Azure Data Factory ve diğer Azure Data Services ile yerel tümleştirme, Azure iş avantajlarının sunulmasını hızlandırmak için bu süreci daha da kolaylaştırır.

MDM çözümlerinin işlevinin temel özelliklerinden biri, birden çok kaynaktan verileri birleştirerek her kayıt için en iyi bilinen ve güvenilen verileri içeren bir "altın kayıt yöneticisi" oluşturmalarıdır. Bu yapı, gereksinimlere göre etki alanına göre etki alanı oluşturur, ancak neredeyse her zaman birden çok etki alanı gerektirir. Yaygın etki alanları müşteri, ürün ve konumdur. Ancak etki alanları, başvuru verilerinden sözleşmelere ve ilaç adlarına kadar her şeyi temsil edebilir. Genel olarak, geniş Azure veri gereksinimlerine göre oluşturabileceğiniz daha iyi etki alanı kapsamı o kadar iyi olur.

MDM tümleştirme işlem hattı

Bu mimarinin bir Visio dosyasını indirin.

Yukarıdaki görüntüde Profisee MDM çözümüyle tümleştirmeye yönelik ayrıntılar gösterilmektedir. Azure Data Factory ve Profisee'nin basit ve modern bir tümleştirme sağlayan yerel REST tümleştirme desteği içerdiğine dikkat edin.

1. Kaynak verileri MDM'ye yükleme: Azure Data Factory, veri gölünden verileri ayıklar, ana veri modeliyle eşleşecek şekilde dönüştürür ve rest havuzu aracılığıyla MDM deposuna akışla aktarır.

2. MDM işleme: MDM platformu, verileri doğrulamak, standartlaştırmak ve zenginleştirmek ve veri kalitesi süreçlerini yürütmek için bir dizi etkinlik aracılığıyla kaynak ana verilerini işler. Son olarak MDM, yinelenen kayıtları tanımlamak ve gruplandırmak ve ana kayıtlar oluşturmak için eşleştirme ve hayatta kalmayı gerçekleştirir. İsteğe bağlı olarak, veri yöneticileri aşağı akış analizinde kullanılmak üzere bir ana veri kümesine neden olan görevleri gerçekleştirebilir.

3. Analiz için ana verileri yükleme: Azure Data Factory, ana verileri Profisee'den Azure Synapse Analytics'e akışla göndermek için REST kaynağını kullanır.

Profisee için Azure Data Factory şablonları

Microsoft ile işbirliği içinde Profisee, Profisee'yi Azure Data Services ekosistemiyle daha hızlı ve daha kolay tümleştirmeyi sağlayan bir dizi Azure Data Factory şablonu geliştirmiştir. Bu şablonlar, Profisee'nin REST Gateway API'sinden veri okumak ve yazmak için Azure Veri Fabrikaları REST veri kaynağı ve veri havuzu kullanır. Hem Profisee'den okumak hem de profisee yazmak için şablonlar sağlar.

Örnek Data Factory şablonu: REST üzerinden JSON'dan Profisee'ye

Aşağıdaki ekran görüntüleri, Azure Data Lake'teki bir JSON dosyasındaki verileri REST aracılığıyla Profisee'ye kopyalayan bir Azure Data Factory şablonunu gösterir.

Şablon, kaynak JSON verilerini kopyalar:

Ardından veriler REST aracılığıyla Profisee ile eşitlenir:

Daha fazla bilgi için bkz . Profisee için Azure Data Factory şablonları.

MDM işleme

Analitik bir MDM kullanım örneğinde veriler genellikle MDM çözümü aracılığıyla işlenip analiz verilerinin yüklenmesini sağlar. Aşağıdaki bölümlerde bu bağlamda müşteri verileri için tipik bir süreç gösterilmektedir.

1. Kaynak veri yükü

Kaynak veriler, köken bilgileri de dahil olmak üzere kaynak sistemlerden MDM çözümüne yüklenir. Bu durumda, biri CRM'den, diğeri ERP uygulamasından olmak üzere iki kaynak kaydımız vardır. Görsel incelemeden sonra iki kayıt da aynı kişiyi temsil eder gibi görünür.

2. Veri doğrulama ve standartlaştırma

Doğrulama ve standartlaştırma kuralları ve hizmetleri adres, ad ve telefon numarası bilgilerini standartlaştırmaya ve doğrulamaya yardımcı olur.

3. Eşleştirme

Veriler standartlaştırıldıktan sonra eşleşme gerçekleşir ve gruptaki kayıtlar arasındaki benzerlik belirlenir. Bu senaryoda, ad ve Telefon üzerinde iki kayıt birbiriyle tam olarak eşleşir ve diğer benzer ad ve adres üzerinde eşleşir.

4. Hayatta Kalanlar

Bir grup biçimlendirilmiş olarak, sağ kalan kişi grubu temsil etmek için bir ana kayıt ("altın kayıt" olarak da adlandırılır) oluşturur ve doldurur.

Bu ana kayıt, gelişmiş kaynak veri ve köken bilgileriyle birlikte işlem verilerine bağlandığı aşağı akış analizi çözümüne yüklenir.

Bu örnekte temel, otomatik MDM işleme gösterilmektedir. Ayrıca, değerleri otomatik olarak hesaplamak ve güncelleştirmek için veri kalitesi kurallarını kullanabilir ve çözümlemek üzere veri görevlileri için eksik veya geçersiz değerleri işaretleyebilirsiniz. Veri yöneticileri, hiyerarşik veri toplamalarını yönetme de dahil olmak üzere verilerin yönetilmesine yardımcı olur.

MDM'nin tümleştirme karmaşıklığı üzerindeki etkisi

Daha önce gösterildiği gibi MDM, verileri bir analiz çözümüyle tümleştirirken karşılaşılan çeşitli yaygın zorlukları ele alır. Veri kalitesi sorunlarını düzeltmeyi, verileri standartlaştırmayı ve zenginleştirmeyi ve yinelenen verileri gerekçelendirmeyi içerir. MDM'yi analiz mimarinize eklemek, tümleştirme sürecinde sabit kodlanmış mantığı ortadan kaldırarak ve MDM çözümüne boşaltarak veri akışını temelden değiştirir ve bu da tümleştirmeleri önemli ölçüde basitleştirir. Aşağıdaki tabloda MDM ile ve MDM olmadan tümleştirme işleminde bazı yaygın farklılıklar özetlenmiştir.

MDM kullanım örnekleri

MDM için çok sayıda kullanım örneği olsa da, gerçek dünyadaki MDM uygulamalarının çoğunu kapsayan birkaç kullanım örneği vardır. Bu kullanım örnekleri tek bir etki alanına odaklansa da, yalnızca bu etki alanından oluşturulma olasılığı düşüktür. Başka bir deyişle, bu odaklanmış kullanım örnekleri bile büyük olasılıkla birden çok ana veri etki alanı içerir.

Müşteri 360

Analiz için müşteri verilerini birleştirmek en yaygın MDM kullanım örneğidir. Kuruluşlar, artan sayıda uygulamada müşteri verilerini yakalar ve tutarsızlıklar ve tutarsızlıklarla uygulamalar arasında yinelenen müşteri verileri oluşturur. Bu düşük kaliteli müşteri verileri, modern analiz çözümlerinin değerinin gerçekleştirilmesini zorlaştırıyor. Belirtiler şunlardır:

• "En iyi müşterilerimiz kimler?" ve "Kaç yeni müşterimiz var?" gibi temel iş sorularını yanıtlamak zor, el ile önemli bir çaba gerektirir.
• Eksik ve yanlış müşteri bilgileri, verilerin toplanıp detaya gitmeyi zorlaştırıyor.
• Kuruluş ve sistem sınırları genelinde bir müşteriyi benzersiz olarak tanımlayamama nedeniyle sistemlerde veya iş birimlerinde müşteri verilerini analiz edememe.
• Düşük kaliteli giriş verileri nedeniyle yapay zeka ve makine öğrenmesinden gelen düşük kaliteli içgörüler.

Ürün 360

Ürün verileri genellikle ERP, PLM veya e-ticaret gibi birden çok kurumsal uygulamaya yayılır. Sonuç olarak ürünün adı, açıklaması ve özellikleri gibi özellikler için tutarsız tanımlara sahip olan ürünlerin toplam kataloğunu anlamakta zorluk vardır. Ayrıca başvuru verilerinin farklı tanımları bu durumu daha da karmaşık hale getirmektedir. Belirtiler şunlardır:

• Ürün analizi için farklı alternatif hiyerarşik toplama ve detaya gitme yollarını destekleyeme.
• Bitmiş mal veya malzeme envanteri, elinizdeki ürünleri tam olarak anlamakta zorluk, ürünlerinizi satın aldığınız satıcılar ve yinelenen ürünler, fazla envantere yol açar.
• Çakışan tanımlar nedeniyle ürünleri rasyonalize etme zorluğu, analizde eksik veya yanlış bilgilere yol açar.

Başvuru verileri 360

Analiz bağlamında başvuru verileri, diğer ana veri kümelerini daha ayrıntılı olarak açıklamaya yardımcı olan çok sayıda veri listesi olarak mevcuttur. Başvuru verileri ülke ve bölge listelerini, para birimlerini, renkleri, boyutları ve ölçü birimlerini içerebilir. Tutarsız başvuru verileri, aşağı akış analizinde belirgin hatalara yol açar. Belirtiler şunlardır:

• Aynı şeyin birden çok gösterimi. Örneğin, Georgia eyaleti "GA" ve "Georgia" olarak gösterilir ve bu da verileri tutarlı bir şekilde toplamayı ve detaya gitmeyi zorlaştırır.
• Sistemler arasındaki başvuru veri değerlerinin çapraz geçişini sağlayamaması nedeniyle uygulamalar arasında veri toplama zorluğu. Örneğin, kırmızı renk ERP sisteminde "R" ve PLM sisteminde "Kırmızı" olarak gösterilir.
• Verileri kategorilere ayırmak için başvuru verisi değerlerinde anlaşmaya varılan farklılıklar nedeniyle kuruluşlar arasında sayıları eşleştirme zorluğu.

Finans 360

Finansal kuruluşlar aylık, üç aylık ve yıllık raporlama gibi kritik etkinlikler için büyük ölçüde verilere güvenir. Birden çok finans ve muhasebe sistemi olan kuruluşlar genellikle finansal raporlar oluşturmak için birleştirdikleri birden çok genel muhasebede finansal verilere sahiptir. MDM, hesapları, maliyet merkezlerini, iş varlıklarını ve diğer finansal veri kümelerini birleştirilmiş bir görünümle eşlemek ve yönetmek için merkezi bir yer sağlayabilir. Belirtiler şunlardır:

• Finansal verileri birden çok sistem arasında birleştirilmiş bir görünümde toplama zorluğu.
• Finansal sistemlerde yeni veri öğeleri ekleme ve eşleme işleminin olmaması.
• Dönem sonu finansal raporlarının üretilmesindeki gecikmeler.

Dikkat edilmesi gereken noktalar

Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanılabilecek bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz . Microsoft Azure İyi Tasarlanmış Çerçeve.

Güvenilirlik

Güvenilirlik, uygulamanızın müşterilerinize sağladığınız taahhütleri karşılayabilmesini sağlar. Daha fazla bilgi için bkz . Güvenilirlik sütununa genel bakış.

Profisee, Azure Kubernetes Service ve Azure SQL Veritabanı üzerinde yerel olarak çalışır. Her iki hizmet de yüksek kullanılabilirliği desteklemek için kullanıma sunulan özellikler sunar.

Performans verimliliği

Performans verimliliği, kullanıcılar tarafından anlamlı bir şekilde yerleştirilen talepleri karşılamak amacıyla iş yükünüzü ölçeklendirme becerisidir. Daha fazla bilgi için bkz . Performans verimliliği sütununa genel bakış.

Profisee, Azure Kubernetes Service ve Azure SQL Veritabanı üzerinde yerel olarak çalışır. Azure Kubernetes Service'i ihtiyaca bağlı olarak Profisee ölçeğini artırıp genişletecek şekilde yapılandırabilirsiniz. Performansı, ölçeklenebilirliği ve maliyetleri dengelemek için Azure SQL Veritabanı birçok farklı yapılandırmada dağıtabilirsiniz.

Güvenlik

Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanılmasına karşı güvence sağlar. Daha fazla bilgi için bkz . Güvenlik sütununa genel bakış.

Profisee, OAuth 2.0 kimlik doğrulama akışı uygulayan OpenID Bağlan aracılığıyla kullanıcıların kimliğini doğrular. Çoğu kuruluş, Profisee'yi Kullanıcıların kimliğini Microsoft Entra Id ile doğrular. Bu işlem, kimlik doğrulaması için kurumsal ilkelerin uygulanmasını ve uygulanmasını sağlar.

Maliyet iyileştirme

Maliyet iyileştirmesi, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri iyileştirmenin yollarını aramaktır. Daha fazla bilgi için bkz . Maliyet iyileştirme sütununa genel bakış.

Çalıştırma maliyetleri bir yazılım lisansından ve Azure tüketiminden oluşur. Daha fazla bilgi için Profisee ile iletişime geçin.

Bu senaryoyu dağıtın

Bu senaryoya dağıtmak için:

1. ARM şablonu kullanarak Profisee'yi Azure'a dağıtın.
2. Azure Data Factory oluşturma.
3. Azure Data Factory'nizi git deposuna bağlanacak şekilde yapılandırın.
4. Profisee'nin Azure Data Factory şablonlarını Azure Data Factory Git deponuza ekleyin.
5. Şablon kullanarak yeni bir Azure Data Factory İşlem Hattı oluşturun.

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazar:

• Sunil Sabat | Asıl Program Yöneticisi

Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.

Sonraki adımlar

• Azure Data Factory'de REST Copy Bağlan veya özelliklerini anlama.
• Azure'da yerel olarak çalışan Profisee hakkında daha fazla bilgi edinin.
• ARM şablonu kullanarak Profisee'yi Azure'a dağıtmayı öğrenin.
• Profisee Azure Data Factory şablonlarını görüntüleyin.

İlgili kaynaklar

Mimari kılavuzları

• Ayıklama, dönüştürme ve yükleme (ETL)
• Azure Data Factory'deki tümleştirme çalışma zamanı
• Azure'da veri işlem hattı düzenleme teknolojisi seçme

Başvuru mimarileri

• Otomatik kurumsal BI
• Ana bilgisayar ve orta ölçekli verileri modernleştirme
• Modern veri ambarı için DataOps
• Veri ambarı ve analiz