Bu örnek senaryo, bir kuruluşta en yaygın veri zorluklarını işleme kapasitesine sahip modern bir veri platformu oluşturmak için kapsamlı Azure Veri Hizmetleri ailesini nasıl kullanabileceğini gösteriyor.
Bu makalede açıklanan çözüm, farklı kaynaklardan (yapılandırılmış, yarı yapılandırılmış, yapılandırılmamış ve akış) veri ve içgörüleri alan, depo edecek, işleyecek, zenginleştirecek ve hizmet verecek çeşitli Azure hizmetlerini birleştirir.
İlgili kullanım örnekleri
Bu yaklaşım ayrıca şunları yapmak için de kullanılabilir:
- Yapılandırılmış veriler için bir veri ambarı ve yarı yapılandırılmış ve yapılandırılmamış veriler için bir veri gölü oluşan, kuruluş genelinde bir veri hub'ı kurma. Bu veri hub'ı, raporlama verileriniz için tek doğru kaynak haline gelir.
- büyük veri işleme teknolojilerinin kullanımıyla ilişkisel veri kaynaklarını diğer yapılandırılmamış veri kümeleriyle tümleştirin.
- Daha basit veri analizi için semantik modelleme ve güçlü görselleştirme araçlarını kullanın.
- Veri kümelerini kuruluş içinde veya güvenilen dış iş ortaklarıyla paylaşın.
Mimari
Bu mimarinin Visio bir dosya indirin.
Not
- Bu mimari kapsamındaki hizmetler, çok daha büyük bir Azure hizmet ailesinin yalnızca bir alt kümesidir. Benzer sonuçlar, bu tasarım kapsamında yer alan diğer hizmetler veya özellikler kullanılarak elde edilebilir.
- Analiz kullanım örneğiniz için belirli iş gereksinimleri, bu tasarımda dikkate alınmayacak farklı hizmetlerin veya özelliklerin kullanımını da sorabilir.
Analiz Kullanım Örnekleri
Mimarinin kapsamına alınan analiz kullanım örnekleri, diyagramın sol tarafındaki farklı veri kaynakları tarafından gösterir. Aşağıdan yukarıya doğru çözümden veri akışı yapılır:
Azure Veri Hizmetleri, Cosmos DB ile bulutta yerel HTAP
Azure Cosmos DB için Azure Synapse Bağlantısı, Azure Synapse çalışma alanınız tarafından kullanılabilen iki analiz altyapısını kullanarak Azure Cosmos DB'de işletimsel veriler üzerinde neredeyse gerçek zamanlı analiz çalıştırmanıza olanak sağlar: SQL Sunucusuz ve Spark Havuzları.
SQL Sunucusuz sorgu veya Spark Havuzunot defteri kullanarak, Cosmos DB analiz deposuna erişebilirsiniz ve ardından gerçek zamanlıya yakın operasyonel verilerinizden veri kümelerini veri gölünden veya veri ambarından verilerle birleştirebilirsiniz.
Veri kümeniz tarafından elde edilen SQL sunucusuz sorgular veri gölünde kalıcı olabilir. Spark not defterleri kullanıyorsanız,sonuçta elde edilen veri kümeleri veri gölünde veya veri ambarında (veri SQL kalıcı olabilir.
Veri görselleştirmesi için Azure Synapse SQL veri kümelerine Power BI havuza veya veri gölüne ilgili verileri yükleme. Power BI modelleri, iş verileri ve ilişkilerin analizini basitleştirmek için bir semantik model kullanır.
İş analistleri, Power BI analiz etmek ve iş içgörüleri türetmek için farklı raporlar ve panolar kullanır.
Veriler, kullanılarak diğer iş birimleriyle veya dış güvenilen iş ortaklarıyla güvenli bir şekilde Azure Veri Paylaşımı.
İlişkisel veritabanları
Hem Azure Synapse buluttaki çok çeşitli veritabanlarından veri çekmek için farklı işlem hatlarını kullanın. Pipelines bir etkinliğe yanıt olarak önceden tanımlanmış bir zamanlamayı temel alarak tetiklenir veya REST API'leri aracılığıyla açıkça çağrıl olabilir.
İlişkisel Azure Synapse veritabanlarından Azure Data Lake Store2. Nesil veri gölünizin Ham bölgesine kopyalanan verileri aşamalı olarak yapmak için bir Veri Kopyalama etkinliği kullanın. Verileri sınırlandırılmış metin biçiminde veya Parquet dosyaları olarak sıkıştırarak kaydedebilirsiniz.
Veri kümelerini doğrulamak,dönüştürmek veveri SQL için Veri Akışları, SQL Sunucusuz sorgular veya Spark not defterleri kullanın.
- Veri dönüşümlerinin bir parçası olarak, standart T-SQL veya Spark not defterlerini kullanarak SQL makine öğrenmesi modellerini çağırabilirsiniz. Bu ML modelleri, veri kümelerinizi zenginleştirmek ve daha fazla iş içgörüleri oluşturmak için kullanılabilir. Bu makine öğrenmesi modelleri, Azure Azure Bilişsel Hizmetler veya ML makine öğrenmesi modellerinden ML.
Son veri kümenizi doğrudan Data Lake Curated bölgesinden veya hızlı veri alımı için COPY komutunu kullanarak Veri Kopyalama etkinliğini kullanarak son veri kümenizi SQL havuz tablolarınıza alın.
Veri görselleştirmesi için Azure Synapse SQL veri kümelerine Power BI havuza veya veri gölüne ilgili verileri yükleme. Power BI modelleri, iş verileri ve ilişkilerin analizini basitleştirmek için bir semantik model kullanır.
İş analistleri, Power BI analiz etmek ve iş içgörüleri türetmek için farklı raporlar ve panolar kullanır.
Veriler, kullanılarak diğer iş birimleriyle veya dış güvenilen iş ortaklarıyla güvenli bir şekilde Azure Veri Paylaşımı.
Yarı yapılandırılmış veri kaynakları
Hem Azure Synapse hem de buluttaki çok çeşitli yarı yapılandırılmış veri kaynaklarından veri çekmek için farklı işlem hatlarını kullanın. Örnek:
- CSV veya JSON dosyalarını içeren dosya tabanlı kaynaklardan veri alma.
- Bağlan DB veya Mongo DB SQL No-Cosmos veritabanlarına erişim sağlar.
- İşlem hattı için veri kaynağınız olarak görev yapan SaaS uygulamaları tarafından sağlanan REST API'lerini çağırma.
Azure Synapse işlem hattından, Veri Kopyalama yarı yapılandırılmış veri kaynaklarından Azure Data Lake Store 2. Nesil veri gölünizin Ham bölgesine kopyalanan verileri aşamalı olarak yapmak için bir Data Lake Store etkinliği kullanın. Veri kaynaklarından alınan özgün biçimi koruyarak verileri kaydetmelisiniz.
Veri kümelerinizi doğrulamak,dönüştürmek ve veri SQL için Veri Akışları, sunucusuz sorgular veya Spark not defterleri kullanın. SQL sunucusuz sorgular, temel ALıNAN CSV,Parquet veya JSON dosyalarını dış tablolar olarak gösterir, böylece bunlar T-SQL.
- Veri dönüşümlerinin bir parçası olarak, standart T-SQL veya Spark not defterlerini kullanarak SQL makine öğrenmesi modellerini çağırabilirsiniz. Bu ML modelleri, veri kümelerinizi zenginleştirmek ve daha fazla iş içgörüleri oluşturmak için kullanılabilir. Bu makine öğrenmesi modelleri, Azure Azure Bilişsel Hizmetler veya ML makine öğrenmesi modellerinden ML.
Son veri kümenizi doğrudan Data Lake Curated bölgesinden veya hızlı veri alımı için COPY komutunu kullanarak Veri Kopyalama etkinliğini kullanarak son veri kümenizi SQL havuz tablolarınıza alın.
Veri görselleştirmesi için Azure Synapse SQL veri kümelerine Power BI havuza veya veri gölüne ilgili verileri yükleme. Power BI modelleri, iş verileri ve ilişkilerin analizini basitleştirmek için bir semantik model kullanır.
İş analistleri, Power BI analiz etmek ve iş içgörüleri türetmek için farklı raporlar ve panolar kullanır.
Veriler, kullanılarak diğer iş birimleriyle veya dış güvenilen iş ortaklarıyla güvenli bir şekilde Azure Veri Paylaşımı.
Yapılandırılmış olmayan veri kaynakları
Hem Azure Synapse hem de bulutta çok çeşitli yapılandırılmış olmayan veri kaynaklarından veri çekmek için veri işlem hatlarını kullanın. Örnek:
- Kaynak dosyaları içeren dosya tabanlı kaynaklardan video, görüntü, ses veya serbest metinleri alarak.
- İşlem hattı için veri kaynağınız olarak görev yapan SaaS uygulamaları tarafından sağlanan REST API'lerini çağırma.
Azure Synapse işlem hattından, Veri Kopyalama olmayan veri kaynaklarından Azure Data Lake Store 2. Nesil veri gölünizin Ham bölgesine kopyalanan verileri aşamalı olarak yapmak için bir Data Lake Store etkinliği kullanın. Veri kaynaklarından alınan özgün biçimi koruyarak verileri kaydetmelisiniz.
Veri kümelerinizi doğrulamak, dönüştürmek, zenginleştirmek ve veri gölünde Kendi Özel Bölgenize taşımak için Spark not defterlerini kullanın.
- Veri dönüşümlerinin bir parçası olarak, standart T-SQL veya Spark not defterlerini kullanarak SQL makine öğrenmesi modellerini çağırabilirsiniz. Bu ML modelleri, veri kümelerinizi zenginleştirmek ve daha fazla iş içgörüleri oluşturmak için kullanılabilir. Bu makine öğrenmesi modelleri, Azure Azure Bilişsel Hizmetler veya ML makine öğrenmesi modellerinden ML.
Son veri kümenizi doğrudan Data Lake Curated bölgesinden hizmet veya hızlı veri alımı için COPY komutunu kullanarak son veri Veri Kopyalama veri kümenizi veri ambarı tablolarınıza kopyalamak için Veri Kopyalama etkinliğini kullanabilirsiniz.
Veri görselleştirmesi için Azure Synapse SQL veri kümelerine Power BI havuza veya veri gölüne ilgili verileri yükleme. Power BI modelleri, iş verileri ve ilişkilerin analizini basitleştirmek için bir semantik model kullanır.
İş analistleri, Power BI analiz etmek ve iş içgörüleri türetmek için farklı raporlar ve panolar kullanır.
Veriler, kullanılarak diğer iş birimleriyle veya dış güvenilen iş ortaklarıyla güvenli bir şekilde Azure Veri Paylaşımı.
Akış
İstemci Azure Event Hubs veya IoT cihazları tarafından oluşturulan veri akışlarını alan Azure IoT Hubs'ı veya Azure IoT Hub'larını kullanın. Olay Hub'ı IoT Hub, alınan olay dizisini koruyarak akış verilerini alan ve depolar. Tüketiciler daha sonra Event Hub'a bağlanarak IoT Hub uç noktaları kullanabilir ve iş için iletileri alabilir.
Olayların bir kopyasını Azure IoT Hub Depolama2. Nesil veri gölün Ham bölgesine kaydetmek için Event Hub Capture veya Data Lake Store Uç Noktaları'ı yapılandırma. Bu özellik, Lambda mimari deseninin "Soğuk Yolu" özelliğini kullanır ve yukarıda açıklanan yarı yapılandırılmış veri kaynaklarının desenini takip eden SQL Sunucusuz sorgular veya Spark not defterleri kullanarak veri gölünize kaydedilen akış verileri üzerinde geçmiş ve eğilim analizi gerçekleştirmenize olanak sağlar.
Lambdamimari Stream Analytics "Hot Path" uygulamak ve transit akış verilerinden içgörüler türetmek için bir iş kullanın. Olay Hub'ı veya IoT Hub'den gelen veri akışı için en az bir giriş, giriş veri akışını işlemeye yönelik bir sorgu ve sorgu sonuçlarının gönder Power BI çıkışını tanımlayın.
- Stream Analytics ile veri işlemenizin bir parçası olarak, akış veri kümelerinizi zenginleştirmek ve oluşturulan tahminlere göre iş kararları almak için makine öğrenmesi modellerini çağırabilirsiniz. Bu makine öğrenmesi modelleri Azure Machine learning Azure Bilişsel Hizmetler veya özel ML modellerinden kullanılabilir.
İş analistleri daha Power BI sorgunuz tarafından oluşturulan hızlı değişen içgörüleri görselleştirmek için gerçek zamanlı veri kümelerini ve pano Stream Analytics kullanır.
Bulma ve Yönetme
Veri idaresi, büyük kurumsal ortamlarda yaygın olarak karşılaşılan bir zorluktur. Bir yandan iş analistleri, iş sorunlarını çözmelerine yardımcı olacak veri varlıklarını keşfedecek ve anlayacaktır. Öte yandan Baş Veri Yetkilileri, iş verilerini gizlilik ve güvenlikle ilgili içgörüler istiyor.
Azure Purview
Veri varlıklarınız, veri sınıflandırması ve kurumsal veri ortamının tamamını kapsayan duyarlılık hakkında veri bulma ve idare içgörüleri için Azure Purview'u kullanın.
Azure Purview, kullanıcıların veri kümelerinin ne anlama geldiğini ve kuruluş genelinde nasıl kullanılmaya yönelik olduğunu anlamaları için gereken belirli iş terminolojisi ile bir iş sözlüğü sürdürmeye yardımcı olabilir.
Kuruluşta veri varlıklarıyla ilgili meta verileri otomatik olarak kataloglama ve güncelleştirme için tüm veri kaynaklarınızı kaydedebilirsiniz ve düzenli taramalar kurabilirsiniz. Azure Purview ayrıca işlem hatlarından veya işlem hatlarından alınan bilgilere dayalı olarak Azure Data Factory veri Azure Synapse ekleyebilir.
Veri Sınıflandırmasıve Veri Duyarlılığı etiketleri, düzenli taramalar sırasında uygulanan önceden yapılandırılmış veya kurallara göre veri varlıklarınıza otomatik olarak eklenebilir.
Veri idaresi uzmanları, azure Purview tarafından oluşturulan raporları ve içgörüleri kullanarak veri ortamının tamamında denetimi koruyabilir ve kuruluşu güvenlik ve gizlilik sorunlarına karşı koruyabilir.
Platform Hizmetleri
Azure çözümlerinizin kalitesini artırmak için, azure Well-Architected Framework 'te tanımlanan önerileri ve yönergeleri izleyin. bu mimari üstün maliyetli bir Işlem: maliyet Iyileştirmesi, işlemsel üstün, performans verimliliği, güvenilirlik ve güvenlik.
Bu önerilerin ardından aşağıdaki hizmetler tasarımın bir parçası olarak göz önünde bulundurulmalıdır:
- Azure Active Directory: Azure iş yükleri genelinde kimlik hizmetleri, çoklu oturum açma ve çok faktörlü kimlik doğrulaması.
- Azure maliyet yönetimi: Azure iş yüklerinizde finansal idare.
- Azure Key Vault: güvenli kimlik bilgileri ve sertifika yönetimi. örneğin, azure Synapse Pipelines, azure Synapse Spark havuzları ve azure ML , veri depolarına güvenli bir şekilde erişmek için kullanılan Azure Key Vault kimlik bilgilerini ve sertifikaları alabilir.
- Azure izleyici: sorunları önceden belirlemek ve performansı ve güvenilirliği en üst düzeye çıkarmak için Azure kaynaklarınızın telemetri bilgilerini toplayın, çözümleyin ve üzerinde işlem yapın.
- Bulut Için Microsoft Defender: Azure iş yüklerinizin güvenlik duruşunu güçlendirin ve izleyin.
- Azure DevOpsGitHub: azure Synapse ve azure ML için iş yükü geliştirme ve dağıtım işlem hatlarınız için otomasyon ve uyumluluğu zorlamak üzere DevOps uygulamalar uygulayın.
- Azure ilkesi: kaynak tutarlılığı, mevzuata uyumluluk, güvenlik, maliyet ve yönetim için kuruluş standartları ve idare uygulayın.
Mimari bileşenleri
Mimaride aşağıdaki Azure hizmetleri kullanılmıştır:
- Azure Synapse Analytics
- Azure Data Lake 2. Nesil
- Azure Cosmos DB
- Azure Bilişsel Hizmetler
- Azure Machine Learning
- Azure Event Hubs
- Azure IoT Hub
- Azure Stream Analytics
- Azure Purview
- Azure Veri Paylaşımı
- Microsoft Power BI
- Azure Active Directory
- Azure Maliyet Yönetimi
- Azure Key Vault
- Azure İzleyici
- Bulut için Microsoft Defender
- Azure DevOps
- Azure İlkesi
- GitHub
Alternatifler
Yukarıdaki mimaride, Azure SYNAPSE işlem hatları veri işlem hattı düzenleme işleminden sorumludur. Azure Data Factory işlem hatları, bu makalede açıklanan özellikleri de sağlar.
Azure Databricks , yapılandırılmış ve yapılandırılmamış verileri doğrudan veri Gölü üzerinde işlemek için kullanılan işlem altyapısı olarak da kullanılabilir.
Yukarıdaki mimaride, Azure Stream Analytics akış verilerini işlemekten sorumlu hizmettir. Azure SYNAPSE Spark havuzları ve Azure Databricks, not defterlerini yürütme yoluyla aynı rolü gerçekleştirmek için de kullanılabilir.
Azure HDInsight Kafka kümeleri, akış verilerini almak ve büyük akış iş yükleri için gereken performans ve ölçeklenebilirlik düzeyini sağlamak için de kullanılabilir.
azure bilişsel hizmetler 'i çağırmak veya bir azure Synapse işlem hattından özel ML modeller Azure Machine Learning için azure işlevleri 'ni de kullanabilirsiniz.
Diğer alternatiflere ilişkin karşılaştırmalar için bkz.:
Dikkat edilmesi gerekenler
Bu mimarideki teknolojiler, her biri bir kuruluştaki en yaygın veri sorunlarını işlemek için gerekli işlevselliği sağladığından seçilmiştir. Bu hizmetler, ölçeklenebilirlik ve kullanılabilirlik gereksinimlerini karşılar, ancak maliyetleri denetler. Bu mimarinin Kapsadığı Hizmetler, Azure hizmetlerinin çok daha büyük bir ailesinin yalnızca bir alt kümesidir. Benzer sonuçlar, bu tasarımın kapsamadığı diğer hizmetler veya özellikler kullanılarak elde edilebilir.
Analiz kullanım çalışmalarınız için belirli iş gereksinimleri, bu tasarımda dikkate alınmayan farklı hizmetlerin veya özelliklerin kullanılmasını da isteyebilir.
Aynı mimari, iş yüklerinizi geliştirebileceğiniz ve test ettiğiniz ön üretim ortamları için de uygulanabilir. Uygun maliyetli bir üretim öncesi ortamı için iş yükleriniz ve her bir hizmetin yeteneklerine yönelik belirli gereksinimleri göz önünde bulundurun.
Fiyatlandırma
Genel olarak, maliyetleri tahmin etmek için Azure Fiyatlandırma hesaplayıcısı ' nı kullanın. İdeal tek fiyatlandırma katmanı ve mimaride bulunan her bir hizmetin toplam genel maliyeti, işlenecek ve saklanacak veri miktarına ve beklenen kabul edilebilir performans düzeyine bağlıdır. Her bir hizmetin fiyatlandırıldıkları hakkında daha fazla bilgi edinmek için aşağıdaki kılavuzu kullanın:
Azure SYNAPSE Analytics sunucusuz mimarisi, işlem ve depolama düzeylerini bağımsız olarak ölçeklendirmenize olanak tanır. İşlem kaynakları kullanıma göre ücretlendirilir ve bu kaynakları isteğe bağlı olarak ölçeklendirebilir veya duraklatabilirsiniz. Depolama kaynaklar terabayt başına faturalandırılır, bu nedenle daha fazla veri aldığınız için maliyetleriniz artar.
Azure Data Lake Gen 2 , depolanan veri miktarına ve verileri okuma ve yazma işlemlerinin sayısına bağlı olarak ücretlendirilir.
Azure Event Hubs ve Azure IoT Hub 'ları , ileti akışlarınızı işlemek için gereken işlem kaynakları miktarına göre ücretlendirilir.
Azure Machine Learning ücretleri, makine öğrenimi modellerinizi eğitmek ve dağıtmak için kullanılan işlem kaynakları miktarından gelir.
Bilişsel Hizmetler , hizmet API 'lerinde yaptığınız çağrı sayısına göre ücretlendirilir.
Azure purview , katalogdaki veri varlıklarının sayısına ve bunları taramak için gereken işlem gücü miktarına göre fiyatlandırılır.
Azure Stream Analytics , akış sorgularınızı işlemek için gereken işlem gücü miktarına göre ücretlendirilir.
Power BI farklı gereksinimlere yönelik farklı ürün seçeneklerine sahiptir. Power BI Embedded , uygulamalarınızda Power BI işlevselliği katıştırmak için Azure tabanlı bir seçenek sağlar. yukarıdaki fiyatlandırma örneğine bir Power BI Embedded örneği dahildir.
Azure CosmosDB , veritabanlarınızın gerektirdiği depolama ve işlem kaynaklarının miktarına göre fiyatlandırılır.
Sonraki adımlar
Veri işlem hatları, veri depolama, çevrimiçi analitik işleme (OLAP) ve Azure veri mimarisi kılavuzundakibüyük veriler hakkında kapsamlı mimari yönergeler bulabilirsiniz.
bu başvuru mimarisinde yer alan hizmetler üzerinde daha fazla eğitim içeriği ve laboratuvarları için Microsoft 'ta veri mühendisinin Learning yollarını keşfet.