Güvenliği açıkla

Tamamlandı

Azure Databricks dağıtımlarını planlarken ve uygularken, ağ ve ağ güvenliği uygulama ayrıntıları hakkında bazı hususlar vardır.

Ağ güvenliği

VNet Eşlemesi

Sanal ağ (VNet) eşlemesi, Azure Databricks kaynağınızın başka bir Azure sanal ağı ile eş olarak çalıştığı sanal ağa izin verir. Eşlenen sanal ağlardaki sanal makineler arasındaki trafik, Microsoft omurga altyapısı aracılığıyla yönlendirilir, ancak aynı sanal ağdaki sanal makineler arasında çok benzer trafik, yalnızca özel IP adresleri üzerinden yönlendirilir.

VNet eşlemesi yalnızca, VNet ekleme olmadan standart dağıtım kullanılıyorsa gereklidir.

VNet eşlemesi ekleniyor.

VNet ekleme

Belirli ağ özelleştirmeleri yapmak istiyorsanız, kendi sanal ağınızda Azure Databricks veri düzlemi kaynakları dağıtabilirsiniz. Bu senaryoda, değişiklik yapmayı kısıtlayan yönetilen VNet kullanmak yerine, tam denetime sahip olduğunuz "kendi VNet 'i getir" i olursunuz. Azure Databricks yönetilen VNet 'i oluşturmaya devam eder, ancak bunu kullanmaz.

VNET ekleme aracılığıyla etkinleştirilen özellikler şunlardır:

  • Şirket Içi veri erişimi
  • Özel yönlendirme aracılığıyla tek IP SNAT ve güvenlik duvarı tabanlı filtreleme
  • Hizmet Uç Noktası

VNet ekleme özelliğini etkinleştirmek için Azure Databricks çalışma alanınızı sağlarken kendi sanal ağınızda Azure Databricks çalışma alanını dağıt seçeneğini belirleyin.

VNet ekleme etkinleştiriliyor.

VNet ekleme dağıtımında dağıtılan Azure Databricks kaynaklarını karşılaştırdığınızda, daha önce gördüğünüz standart dağıtım ile bazı hafif farklılıklar vardır. Birincil fark, veri düzlemdeki kümelerin, Microsoft tarafından yönetilen bir Azure Databricks çalışma alanı VNet 'inde barındırıldığından oluşur. Denetim düzlemi hala Microsoft tarafından yönetilen bir VNet içinde barındırılıyor, ancak TLS bağlantısı yine de, trafiği her iki sanal ağ arasında yönlendiren şekilde, sizin için oluşturulur. Ancak, ağ güvenlik grupları (NSG) bu yapılandırmanın yanı sıra müşteri tarafından yönetilmeye gelir. veri düzleminde halen Microsoft tarafından yönetilen tek kaynak, dbfs sağlayan Blob Depolama hizmetidir.

Ayrıca, veri düzleminde kümeler arasındaki düğümler arası TLS iletişimi bu dağıtımda etkinleştirilir. Tek bir şey, düğüm içi TLS daha güvenli olsa da, temel bir dağıtımda performans ve düğüm olmayan TLS ile ilgili küçük bir etkisi vardır.

Azure Databricks çalışma alanınız kendi sanal ağınıza (VNet) dağıtılmışsa, ağ trafiğinin çalışma alanınız için doğru şekilde yönlendirildiğinden emin olmak için Kullanıcı tanımlı yollar (UDR) olarak da bilinen özel yolları kullanabilirsiniz. Örneğin sanal ağı şirket içi ağınıza bağlıyorsanız, trafik şirket içi ağ üzerinden yönlendirilebilir ve Azure Databricks denetim düzlemine ulaşamayabilir. Kullanıcı tanımlı yollar, bu sorunu çözebilir. Aşağıdaki diyagramda UDRs 'nin yanı sıra VNet ekleme dağıtımının diğer bileşenleri de gösterilmektedir.

VNet ekleme dağıtımı.

Aynı VNet 'te farklı Azure Databricks çalışma alanları oluşturabilirsiniz. Ancak, Azure Databricks çalışma alanı başına ayrı ayrılmış alt ağların çiftlerine ihtiyacınız olacaktır. Bu nedenle, VNet ağ aralığının bunları barındırmak için oldukça büyük olması gerekir. VNet CıDR, ve arasında herhangi bir yerde olabilir /16 /24 ve CIDR alt ağı ve arasında herhangi bir yerde olabilir /18 /26 .

Diğer Azure veri Hizmetleri ile güvenli bağlantı

Azure Databricks dağıtımınız büyük olasılıkla azure Blob Depolama, Azure Data Lake Storage 2., Azure Cosmos DB ve azure Synapse Analytics gibi diğer azure veri hizmetlerini içerir. Azure Databricks ile Azure veri Hizmetleri arasındaki trafiğin, genel İnternet üzerinden geçiş yerine Azure ağ omurgasında kalmasını öneririz. Bunu yapmak için Azure özel bağlantı veya hizmet uç noktalarını kullanmanız gerekir.

Azure özel bağlantısı 'nın kullanımı, Azure Data services 'ın Azure Databricks adresinden en güvenli yoludur. özel bağlantı, azure paas hizmetlerine (örneğin, azure Depolama, Azure Cosmos DB ve SQL Veritabanı) ve azure 'da barındırılan müşteri/iş ortağı hizmetlerine sanal ağınızdaki özel bir uç nokta üzerinden erişmenizi sağlar. Sanal ağınız ile hizmet arasındaki trafik, Microsoft ağ omurgasını ele alarak genel Internet 'ten etkilenme olasılığını ortadan kaldırır. Ayrıca, kendi özel bağlantı hizmetinizi sanal ağınızda (VNet) oluşturabilir ve müşterilerinize özel olarak iletebilirsiniz.

Azure VNet hizmet uç noktaları

Sanal ağ (VNet) hizmeti uç noktaları , sanal ağ özel adres alanınızı genişletir. Uç noktalar Ayrıca sanal ağınızın kimliğini doğrudan bir bağlantı üzerinden Azure hizmetlerine genişletir. Uç noktalar kritik Azure hizmeti kaynaklarınızı sanal ağlarınızla sınırlayarak güvenliğini sağlamanıza imkan verir. sanal ağınızdan Azure hizmetine giden trafik her zaman Microsoft Azure ağ omurgasında kalır.

Azure Databricks 'Tan Azure veri kaynaklarına güvenli bir şekilde erişmehakkında daha fazla bilgi edinin.

Aşağıdaki diyagramda, veri ayıklanmasını engellemek için bir hub ve bağlı bileşen topolojisinde VNET ekleme Ile birlikte özel bağlantının nasıl kullanılacağı gösterilmektedir:

Özel net ve VNet ekleme dağıtımını gösteren mimari diyagramı.

  1. VNet ekleme kullanarak bir bağlı bileşen sanal ağında Azure Databricks dağıtın.
  2. Azure veri hizmetleriniz için, Azure Databricks bağlı bileşen sanal ağı içindeki ayrı bir alt ağda bulunan özel bağlantı uç noktalarını ayarlayın.
  3. isteğe bağlı olarak, çalışma alanındaki tüm kümeler için birincil meta veri deposu olarak geçersiz kılmak üzere Azure SQL veritabanını dış Hive meta olarak ayarlayın. Bu, denetim düzleminde birleştirilmiş meta veri deposu için yapılandırmayı geçersiz kılmak üzere tasarlanmıştır.
  4. Bir hub sanal ağında Azure Güvenlik Duvarı 'Nı (veya diğer ağ sanal gereç) dağıtın.

Bu örnek mimari hakkında daha fazla bilgi ve Azure Databricks Ile veri okuma koruması hakkında daha fazla bilgi edinin.

Uyumluluk

Birçok sektörde, verileri depolamak ve işlemek için aşağıdaki en iyi uygulamaların yanı sıra uyumluluk sertifikalarını ve belirlediğimizi karşıladığımızı bakımını yapan Hizmetleri kullanarak uyumluluk sağlamak zorunludur.

Azure Databricks aşağıdaki uyumluluk sertifikalarına sahiptir:

  • HITRUST
  • AıCPA
  • PCI DSS
  • ISO 27001
  • ISO 27018
  • HIPAA (MSFT Iş Associates Sözleşmesi (BAA) tarafından kapsanmış)
  • SOC2, tür 2

Denetim günlükleri

Databricks, Databricks kullanıcıları tarafından gerçekleştirilen etkinliklerin kapsamlı uçtan uca denetim günlükleri sunarak, kuruluşunuzun ayrıntılı Databricks kullanım düzenlerini izlemesine olanak sağlar. Azure Izleyici tümleştirmesi, Denetim günlüklerini yakalamanızı ve merkezi olarak kullanılabilir ve tam olarak aranabilir olmasını sağlar.

Dahil edilen hizmetler/varlıklar şunlardır:

  • Hesaplar
  • Kümeler
  • DBFS
  • Genie
  • İşler
  • Cacls
  • SSH
  • Tables