Veri ambarı ve analiz

Bu örnek senaryo, birden çok kaynaktaki büyük miktarda veriyi Azure 'daki Birleşik bir analiz platformunda tümleştiren bir veri işlem hattını gösterir. Bu özel senaryo bir satış ve pazarlama çözümüne dayalıdır, ancak tasarım desenleri, e-ticaret, perakende ve sağlık gibi büyük veri kümelerinin gelişmiş analizine ihtiyaç duyan birçok sektör için de uygundur.

Bu örnekte, teşvik programları oluşturan bir satış ve pazarlama şirketi gösterilmektedir. Bu programlar müşterilerin, tedarikçilerin, satışçıların ve çalışanların bir görüntüsünü oluşturur. Veriler bu programlar için önemlidir ve şirket, Azure kullanarak veri analizi aracılığıyla elde edilen öngörüleri geliştirmek istemektedir.

Şirket, analiz verileri için modern bir yaklaşıma ihtiyaç duyuyor. bu sayede, kararlar doğru zamanda doğru veriler kullanılarak yapılır. Şirketin amaçları şunlardır:

• Farklı türlerde veri kaynaklarını bir bulut ölçekli platformda birleştirme.
• Kaynak verileri ortak bir taksonomi ve yapıya dönüştürerek verileri tutarlı ve kolay bir şekilde karşılaştırılabilir hale getirin.
• Şirket içi altyapıyı dağıtmanın ve korumanın yüksek maliyetlerine gerek kalmadan binlerce yaklaşım programını destekleyebilen, çok yönlü bir yaklaşım kullanarak verileri yükleme.
• Verileri toplamak ve dönüştürmek için gereken süreyi önemli ölçüde azaltarak verileri çözümlemeye odaklanırsınız.

İlgili kullanım örnekleri

Bu yaklaşım için de kullanılabilir:

• Verileriniz için tek bir gerçeği kaynağı olacak bir veri ambarı oluşturun.
• İlişkisel veri kaynaklarını diğer yapılandırılmamış veri kümeleriyle tümleştirin.
• Daha basit veri analizi için anlamsal modelleme ve güçlü görselleştirme araçları kullanın.

Mimari

Veriler çözüm üzerinden şu şekilde akar:

1. Her veri kaynağı için, tüm güncelleştirmeler Azure Blob depolama alanındaki bir hazırlama alanına düzenli aralıklarla verilir.
2. Data Factory, verileri blob depolamadan Azure SYNAPSE Analytics 'teki hazırlama tablolarına artımlı olarak yükler. Veriler bu işlem sırasında temizlenmiş ve dönüştürüldü. PolyBase, büyük veri kümeleri için işlem paralel hale getirmek olabilir.
3. Yeni bir veri toplu işi ambara yükledikten sonra, önceden oluşturulmuş bir Analysis Services tablolu model yenilenir. Bu anlam modeli, iş verilerinin ve ilişkilerinin analizini basitleştirir.
4. iş analistleri, Analysis Services anlam modeli aracılığıyla warehoused verilerini çözümlemek için Microsoft Power BI kullanır.

Bileşenler

Şirket birçok farklı platformda veri kaynaklarına sahiptir:

• şirket içi SQL Server
• Oracle şirket içi
• Azure SQL Veritabanı
• Azure tablo depolama
• Cosmos DB

Veriler, birkaç Azure bileşeni kullanılarak bu farklı veri kaynaklarından yüklenir:

• BLOB depolama , Azure SYNAPSE 'e yüklenmeden önce kaynak verileri hazırlamak için kullanılır.
• , Hazırlanan verilerin Azure SYNAPSE 'de ortak bir yapıya dönüştürülmesini Data Factory . Data Factory, performansı en üst düzeye çıkarmak için Azure SYNAPSE 'e veri yüklerken PolyBase 'i kullanır .
• Azure SYNAPSE , büyük veri kümelerini depolamak ve analiz etmek için dağıtılmış bir sistemdir. Büyük ölçekli paralel işleme (MPP) kullanımı, yüksek performanslı analizler çalıştırmaya uygun hale getirir. Azure SYNAPSE, blob depolamadan verileri hızlı bir şekilde yüklemek için PolyBase kullanabilir.
• Analysis Services verileriniz için anlamsal bir model sağlar. Ayrıca, verilerinizi analiz edilirken sistem performansını artırabilir.
• Power BI , verileri analiz etmek ve öngörüleri paylaşmak için bir iş analizi araçları paketidir. Power BI, Analysis Services depolanan bir anlamsal modeli sorgulayabilir veya doğrudan Azure Synapse sorgulayabilir.
• Azure Active Directory (Azure AD) , Power BI aracılığıyla Analysis Services sunucusuna bağlanan kullanıcıların kimliğini doğrular. Data Factory Ayrıca Azure AD 'yi kullanarak Azure SYNAPSE Azure kaynakları için bir hizmet sorumlusu veya yönetilen kimlikaracılığıyla kimlik doğrulaması yapabilir.

Alternatifler

• Örnek işlem hattı birkaç farklı türde veri kaynağı içerir. Bu mimari, çok çeşitli ilişkisel ve ilişkisel olmayan veri kaynaklarını işleyebilir.

• Veri işlem hattınızla ilgili iş akışlarını düzenler Data Factory. verileri yalnızca bir kez veya isteğe bağlı olarak yüklemek istiyorsanız, verileri Blob depolamaya kopyalamak için SQL Server toplu kopyalama (bcp) ve azcopy gibi araçları kullanabilirsiniz. Daha sonra PolyBase kullanarak doğrudan Azure SYNAPSE 'a veri yükleyebilirsiniz.

• çok büyük veri kümeleriniz varsa, analiz verileri için sınırsız depolama sağlayan Data Lake Storagekullanmayı düşünün.

• büyük veri işleme için, şirket içi SQL Server paralel veri ambarı gereci da kullanılabilir. Ancak, işletim maliyetleri genellikle Azure SYNAPSE gibi yönetilen bir bulut tabanlı çözümle çok daha düşüktür.

• Azure SYNAPSE, OLTP iş yükleri veya 250 GB 'tan küçük veri kümeleri için uygun bir değer değildir. bu durumlar için Azure SQL Veritabanı veya SQL Server kullanmanız gerekir.

• Diğer alternatiflere ilişkin karşılaştırmalar için bkz.:

  • Azure 'da veri işlem hattı düzenleme teknolojisini seçme
  • Azure 'da toplu işlem teknolojisi seçme
  • Azure 'da analitik veri deposu seçme
  • Azure 'da veri analizi teknolojisini seçme

Dikkat edilmesi gerekenler

Bu mimarideki teknolojiler, şirketin ölçeklenebilirlik ve kullanılabilirlik gereksinimlerini karşıladıkları için, maliyetlerin denetlenmesine yardımcı olurken seçilmiştir.

• Azure SYNAPSE 'ın büyük ölçüde paralel işleme mimarisi , ölçeklenebilirlik ve yüksek performans sağlar.
• Azure SYNAPSE, yüksek kullanılabilirlik elde etmek IçinSLA 'ları ve önerilen uygulamaları garanti etti.
• Analiz etkinliği düşük olduğunda, Şirket Azure SYNAPSE isteğe bağlı olarak ölçeklendirebilir, hatta daha düşük maliyetlerle işlem azaltır veya hatta duraklamayı azaltabilir.
• Azure Analysis Services, yüksek sorgu iş yükleri sırasında yanıt sürelerini azaltmak için Genişletilebilir . Ayrıca, işlemleri sorgu havuzundan ayırabilirsiniz, böylece istemci sorgularının işlemler işlenerek yavaşlamamaları gerekir.
• Azure Analysis Services Ayrıca yüksek kullanılabilirlik elde etmek içingarantili SLA 'lar ve önerilen uygulamalar da vardır.
• azure Synapse güvenlik modeli , azure AD veya SQL Server kimlik doğrulaması ve şifreleme aracılığıyla bağlantı güvenliği, kimlik doğrulama ve yetkilendirme sağlar. Azure Analysis Services kimlik yönetimi ve Kullanıcı kimlik doğrulaması IÇIN Azure ad kullanır.

Fiyatlandırma

Azure Fiyatlandırma hesaplayıcısı aracılığıyla bir veri ambarı senaryosuna yönelik fiyatlandırma örneğini gözden geçirin. Gereksinimlerinizin maliyetlerinizi nasıl etkilediğini görmek için değerleri ayarlayın.

• Azure SYNAPSE , işlem ve depolama düzeylerini bağımsız olarak ölçeklendirmenize olanak tanır. İşlem kaynakları saat başına ücretlendirilir ve bu kaynakları isteğe bağlı olarak ölçeklendirebilir veya duraklatabilirsiniz. Depolama kaynaklar terabayt başına faturalandırılır, bu nedenle daha fazla veri aldığınız için maliyetleriniz artar.
• Data Factory maliyetler, bir iş yükünde gerçekleştirilen okuma/yazma işlemleri, izleme işlemleri ve düzenleme etkinliklerinin sayısını temel alır. Data Factory maliyetleriniz, her bir ek veri akışı ve her biri tarafından işlenen veri miktarı ile artacaktır.
• Analysis Services geliştirici, temel ve Standart katmanlarda kullanılabilir. Örnekler, sorgu işleme birimleri (QPUs) ve kullanılabilir bellek temel alınarak fiyatlandırılır. Maliyetlerinizi daha düşük tutmak için çalıştırdığınız sorguların sayısını, işledikleri veri miktarını ve ne sıklıkta çalışacağını en aza indirin.
• Power BI farklı gereksinimlere yönelik farklı ürün seçeneklerine sahiptir. Power BI Embedded , uygulamalarınızda Power BI işlevselliği katıştırmak için Azure tabanlı bir seçenek sağlar. yukarıdaki fiyatlandırma örneğine bir Power BI Embedded örneği dahildir.

Sonraki adımlar

• Azure 'da bu mimarinin bir örneğini dağıtmaya yönelik yönergeler içeren Otomatik kurumsal bı Için Azure başvuru mimarisinigözden geçirin.
• Maritz Mosyon çözümleri Müşteri hikayesiniokuyun. Bu hikaye, müşteri verilerini yönetmenin benzer bir yaklaşımını açıklamaktadır.
• Veri işlem hatları, veri depolama, çevrimiçi analitik işleme (OLAP) ve Azure veri mimarisi kılavuzundakibüyük veriler hakkında kapsamlı mimari yönergeler bulabilirsiniz.