Çözüm fikri
bizi görmek isterseniz, olası kullanım durumları, alternatif hizmetler, uygulama değerlendirmeleri veya fiyatlandırma kılavuzu gibi daha fazla bilgi için bu makaleyi genişlettikten sonra GitHub geri bildirimdebulunun!
Azure SYNAPSE Analytics, büyük kuruluşlar üzerinde en sık kullanılan veri güçlüklerini işleyebilecek modern bir veri platformu oluşturmanıza yardımcı olmak için veri tümleştirme, kurumsal veri ambarı ve büyük veri analizlerini birlikte sunar. Azure sanal ağ, Azure genel bulutu ve yönetilen ağda kendi özel ağınızı oluşturmanızı sağlar ve Azure özel uç noktası, yönetilen bulut hizmetlerini bu özel ağlarla güvenli bir şekilde tümleştirmenize olanak tanır.
Olası kullanım örnekleri
Bu makalede açıklanan çözüm, kuruluşunuzun beklediği yüksek güvenlik standartlarını karşılarken, hem yapılandırılmış hem de sede bulunan farklı kaynaklardan veri alma, işleme, depolama, hizmeti sunma ve görselleştirmeye yönelik bir modern veri platformu oluşturmak için bu teknolojilerin nasıl birleştirileceğini gösterir. Buna aşağıdakiler gibi yaygın gereksinimlerin desteklenmesi dahildir:
Veri kaynaklarının güvenliğini sağlama. Şirket içi şirket ağı veya sanal ağ içindeki veri kaynakları bir güvenlik duvarının arkasında güvenli hale getirilir. Şirket içinde veya sanal ağlarda barındırılan bir kaynağa kendi kendine barındırılan tümleştirme çalışma zamanı yüklenerek bu kaynaklara güvenli bir şekilde erişilebilir.
Yönetilen kimlikleri kullanarak kimlik doğrulaması ve yetkilendirme. azure hizmetleri arasındaki iletişim, Azure Active Directory (Azure AD) kimlik doğrulamasını destekleyen kaynaklara bağlanırken kullanılacak uygulamalar için bir kimlik sağlayan yönetilen kimlikler kullanılarak güvenliği sağlanmış olabilir. Bu örnekte, Azure SYNAPSE işlem hatlarını bütünleştirmek için yönetilen kimliği kullanır.
Özel uç noktalar Azure kaynaklarına özel bir bağlantı oluşturur. azure Synapse, Synapse çalışma alanındaki hizmetler için tam olarak yönetilen özel uç nokta işlevselliği sağlar (örneğin, Azure Depolama veya Azure Cosmos DB). azure uygulamaları, Microsoft Power BI ve azure Synapse hizmeti gibi diğer azure kaynakları, örnek çözümün sanal ağıyla tümleştirilmiş özel uç noktalar kullanılarak güvenli hale getirilir. Özel ağınız ve SYNAPSE havuzları arasındaki ağ trafiği, trafiği Microsoft omurga ağı üzerinden taşımak için özel bağlantıyı kullanır ve genel İnternet 'te pozlamayı ortadan kaldırır.
Yoldaki verileri şifreleme. Tüm veri aktarımları, Azure hizmetleriyle iletişim sırasında, uçtan uca güvenli özel veri taşıma olanağı sağlamak için, tüm veri aktarımları, TCP üzerinden güvenli kanal HTTPS ve TLS üzerinden bağlantı kurmasıyla şifrelenir.
Bekleyen verileri şifreleme. Azure SYNAPSE Analytics 'te saydam veri şifrelemesi, SYNAPSE çalışma alanında depolanan verilerinizin gerçek zamanlı şifrelemesini ve şifre çözmeyi gerçekleştirerek kötü amaçlı etkinliğe karşı korunmaya yardımcı olur. Azure Depolama, bekleyen bir depolama hesabındaki tüm verileri de şifreler. Varsayılan olarak, veriler Microsoft tarafından yönetilen anahtarlarla şifrelenir, ancak şifreleme üzerinde ek denetime ihtiyacınız varsa kendi anahtarlarınızı yönetebilirsiniz.
Mimari
Bu örnek çözüm, birkaç Azure hizmeti ve özelliğini kullanır:
Azure SYNAPSE Analytics , bu örnek çözümde veri alımı, işleme ve analiz sağlamak için kullanılan çekirdek hizmettir.
Azure Data Lake Storage (Gen2) , Azure Depolama hizmetlerinin üzerine kurulmuştur ve bu örnekteki diğer hizmetlerin verileri depolarken ve işlerken kullandığı data Lake özellikleri sağlar.
SYNAPSE işlem hatları , verileri özgün kaynaklardan Data Lake Storage konumlarına kopyalar.
Azure SYNAPSE Analytics 'te Apache Spark , verileri normalleştirir ve kaynak konumlarından alınan veriler üzerinde başka işlem görevleri gerçekleştirir.
adanmış SQL havuzu (eski adıyla SQL DW), veriler işlendikten ve normalleştirildikten sonra ve son kullanıcılarınız ve uygulamalarınız tarafından kullanıma hazırlandıktan sonra veri depolama olanakları sağlar.
sunucusuz SQL havuzu , kullanıcıların işlenen ve normalleştirilmiş verileri hızlı bir şekilde sorgulamasına ve analiz etmesine olanak tanır.
Azure SYNAPSE yönetilen sanal ağ , Azure SYNAPSE çalışma alanı için yalıtılmış bir yönetilen sanal ağ ortamı oluşturur ve çalışma alanı kaynakları için ağ yapılandırmasını yönetmenize gerek kalmaz.
Azure SYNAPSE yönetilen özel uç noktaları , Azure kaynaklarına özel bağlantılar oluşturur ve yalnızca Microsoft omurga ağını kullanarak Azure SYNAPSE çalışma alanlarınız Ile diğer Azure kaynakları arasında trafiği yönlendirebilir.
Azure sanal ağı (VNet) , Azure SYNAPSE çalışma alanının bir parçası olmayan Azure kaynakları için özel ağ özellikleri sağlar. Kaynaklar arasında erişimi, güvenliği ve yönlendirmeyi yönetmenizi sağlar.
Azure özel uç noktası , çözümün VNET 'ten Azure yönetilen Hizmetleri 'Ne, sanal ağa etkin bir şekilde bağlanan özel bir IP adresi sağlar. bu, azure Synapse çalışma alanı ile azure Depolama, Azure Cosmos DB, Azure SQL Veritabanı veya kendi azure özel bağlantı hizmetinizgibi diğer Azure hizmetleri arasında güvenli ağ sağlanmasına olanak tanır.
Power BI , kullanıcıların çözüm tarafından işlenen verileri kullanarak gelişmiş analiz gerçekleştirmesini ve öngörüleri paylaşmasını sağlar.
Veri akışı
Veriler çözüm üzerinden şu şekilde akar:
SYNAPSE işlem hatları, dış ilişkisel veri ambarlarından gelen ham yapılandırılmış verileri, Günlükler, düz dosyalar, XML ve diğer kaynak sistemleri gibi verileri oluşturulmuş verilerin bulunduğu etkinlikleri kopyalar. bu veriler daha sonra Azure Data Lake Storage 2. bir konumda depolanır. Şirket içinde barındırılan tümleştirme çalışma zamanını kullanarak şirket içi ortamınızda ve bulutta bulunan bir veri deposu arasında kopyalama etkinliklerini de yönetebilir ve çalıştırabilirsiniz.
Azure Data Lake Storage 2., güvenli depolama alanı sağlar.
Depolama hesabı erişimini, güvenilen Azure hizmetlerine sınırlamak için bir güvenlik duvarı kullanmak, dış saldırı güvenlik açıklarını sınırlandırmanıza önerilir.
Azure Depolama hesaplarınız için özel uç noktalar , sanal ağdaki (VNet) istemcilerin özel bir bağlantıüzerinden güvenli bir şekilde verilere erişmesine izin verir. Özel uç nokta, depolama hesabı hizmeti için VNet adres alanından bir IP adresi kullanır. VNet ve depolama hesabı arasındaki ağ trafiği, VNet üzerinden ve Microsoft omurga ağındaki özel bir bağlantı üzerinden, genel İnternet üzerinden etkilenme olasılığını ortadan kaldırır.
Veriler, Data Lake 'e alındıktan sonra Rest 'te şifrelenir. Müşteri tarafından yönetilen anahtarlarınızın kullanılması, şifreleme anahtarlarınızı daha fazla koruyabilir ve erişim denetimlerini yönetirken daha fazla esneklik ekleyebilirler.
Veriler, SYNAPSE işlem hatlarını kullanarak alınır ve SYNAPSE Spark havuzunu ve Data Lake yeteneklerini kullanarak aşamalar halinde işlenir. veriler, Azure Depolama hesabında, aşamasına özgü Azure Data Lake Storage Gen 2 dizinleri kullanılarak depolanır. Bu aşamalar şunlardır:
SYNAPSE işlem hatları, başlangıçta kaynak sistemlerden verileri içe alarak kopyalama etkinliklerini içerir. Bu alınan veriler, Data Lake 'ın bronz dizinini kullanarak ham biçiminde depolanır.
SYNAPSE Spark havuzu daha sonra ham verileri temizetmek için veri kalitesi kurallarını çalıştırır. Bu veriler daha sonra Data Lake 'ın gümüş dizininde depolanır.
Temizlik sonrasında Spark havuzu, gümüş dizindeki veriler üzerinde gerekli normalleştirme, veri dönüştürmeleri ve iş kurallarını uygular. Dönüştürülen bu veriler daha sonra Data Lake 'ın Gold dizininde depolanır.
Synapse Apache Spark to Synapse SQL bağlayıcısı, normalleştirilmemiş verileri, Power BI gibi bir aşağı akış uygulaması ve raporlama hizmetleri tarafından tüketimine yönelik Synapse SQL havuzuna iter. bu bağlayıcı, Azure Synapse Analytics çalışma alanındaki sunucusuz Apache Spark havuzları ve SQL havuzları arasında verileri en iyi şekilde aktarmak için tasarlanmıştır.
Power BI hizmeti, Synapse SQL havuzundan verileri güvenli bir şekilde getirmek için DirectQuery modunu kullanır. özel vnet 'teki bir sanal makinede yüklü bir veri ağ geçidi, güvenli bir şekilde bağlanmak için aynı VNet 'te özel uç nokta kullanarak Power BI hizmeti ve Synapse SQL havuzu arasında bir bağlantı platformu görevi görür.
dış uygulamalar, sanal ağa bağlı uygun özel uç noktalara erişerek Synapse sunucusuz havuzlardan veya ayrılmış SQL havuzlarından verilere erişebilir.
Bileşenler
Bu senaryoyu dağıtın
Mevcut bir Azure hesabınız olmalıdır. Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.
bu mimaride açıklanan bileşenleri dağıtmanız gereken Azure Resource Manager şablonları GitHub deposunda mevcuttur. bu şablonlar, mimari diyagramında gösterilen tüm hizmetleri şunun dışındadağıtır: Power BI veri ağ geçidi, şirket içinde barındırılan tümleştirme çalışma zamanı ve müşteri tarafından yönetilen anahtarlar için Azure Key Vault.
Data Lake klasör yapısını ve veri kaynaklarına bağlanmak için gerekli olan Azure SYNAPSE Analytics tümleştirme işlem hatlarını oluşturmak için kullanıcıya bir kullanıcı.
ARM şablonunu doğrudan bu düğmeye tıklayarak dağıtın:
Sonraki adımlar
Bu yaklaşımı daha fazla geliştirmeyi öğrenmek için aşağıdaki öğreticileri tamamlayarak Azure SYNAPSE Analytics 'in temellerini öğrenin:
İlgili kaynaklar
Azure SYNAPSE Analytics kullanarak çözümleri planlarken ve dağıttığınızda aşağıdaki makalelere bakın:
Azure SYNAPSE Analytics çalışma alanları için veri ayıklanma koruması
Azure Depolama güvenlik duvarlarını ve sanal ağları yapılandırma
azure özel bağlantı hub 'larını kullanarak azure Synapse Studio 'ya Bağlan
Synapse çalışma alanınızdan güvenli bir Azure depolama hesabına Bağlan
SQL Synapse ile kimlik doğrulaması için Azure Active Directory kimlik doğrulaması kullanma