Azure HPC Önbelleği önkoşulları

  • Makale

Yeni bir Azure HPC Önbelleği oluşturmadan önce ortamınızın bu gereksinimleri karşıladığından emin olun.

Azure aboneliği

Ücretli abonelik önerilir.

Ağ altyapısı

Önbelleğinizi kullanabilmeniz için önce ağ ile ilgili bu önkoşulların ayarlanması gerekir:

  • Azure HPC Önbelleği örneği için ayrılmış alt ağ
  • Önbelleğin depolama alanına ve diğer kaynaklara erişebilmesi için DNS desteği
  • NTP sunucuları ve Azure Kuyruk Depolama hizmeti de dahil olmak üzere ek Microsoft Azure altyapı hizmetlerine alt ağdan erişim.

Önbellek alt ağı

Azure HPC Önbelleği şu özelliklere sahip ayrılmış bir alt ağa ihtiyaç duyar:

  • Alt ağda en az 64 IP adresi bulunmalıdır.
  • Alt ağ içindeki iletişim kısıtlanmamış olmalıdır. Önbellek alt ağı için bir ağ güvenlik grubu kullanıyorsanız, iç IP adresleri arasındaki tüm hizmetlere izin verdiğinden emin olun.
  • Alt ağ, istemci makineleri gibi ilgili hizmetler için bile başka vm barındıramaz.
  • Birden çok Azure HPC Önbelleği örneği kullanıyorsanız her birinin kendi alt ağı gerekir.

En iyi yöntem, her önbellek için yeni bir alt ağ oluşturmaktır. Önbelleği oluşturmanın bir parçası olarak yeni bir sanal ağ ve alt ağ oluşturabilirsiniz.

Bu alt ağı oluştururken, güvenlik ayarlarının bu bölümün devamında belirtilen gerekli altyapı hizmetlerine erişime izin verdiğine dikkat edin. Giden İnternet bağlantısını kısıtlayabilirsiniz, ancak burada belgelenen öğeler için özel durumlar olduğundan emin olun.

DNS erişimi

Önbelleğin sanal ağı dışındaki kaynaklara erişebilmesi için DNS gerekir. Hangi kaynakları kullandığınıza bağlı olarak, özelleştirilmiş bir DNS sunucusu ayarlamanız ve bu sunucu ile Azure DNS sunucuları arasında iletmeyi yapılandırmanız gerekebilir:

  • Azure Blob depolama uç noktalarına ve diğer iç kaynaklara erişmek için Azure tabanlı DNS sunucusuna ihtiyacınız vardır.
  • Şirket içi depolamaya erişmek için, depolama ana bilgisayar adlarınızı çözümleyebilecek özel bir DNS sunucusu yapılandırmanız gerekir. Önbelleği oluşturmadan önce bunu yapmanız gerekir.

Yalnızca Blob depolama kullanıyorsanız, önbelleğiniz için azure tarafından sağlanan varsayılan DNS sunucusunu kullanabilirsiniz. Bununla birlikte, depolamaya veya Azure dışındaki diğer kaynaklara erişmeniz gerekiyorsa, özel bir DNS sunucusu oluşturmanız ve Azure'a özgü çözüm isteklerini Azure DNS sunucusuna iletecek şekilde yapılandırmanız gerekir.

Özel DNS sunucusu kullanmak için önbelleğinizi oluşturmadan önce şu kurulum adımlarını uygulamanız gerekir:

  • Azure HPC Önbelleği barındıracak sanal ağı oluşturun.

  • DNS sunucusunu oluşturun.

  • DNS sunucusunu önbelleğin sanal ağına ekleyin.

    DNS sunucusunu Azure portalında sanal ağa eklemek için şu adımları izleyin:

    1. Azure portalında sanal ağı açın.
    2. Kenar çubuğundaki Ayarlar menüsünden DNS sunucuları'nı seçin.
    3. Özel'i seçin
    4. ALANıNA DNS sunucusunun IP adresini girin.

Basit bir DNS sunucusu, kullanılabilir tüm önbellek bağlama noktaları arasında istemci bağlantılarının yükünü dengelemek için de kullanılabilir.

Azure sanal ağlarındaki kaynaklar için ad çözümleme bölümünde Azure sanal ağları ve DNS sunucusu yapılandırmaları hakkında daha fazla bilgi edinin.

NTP erişimi

HPC Önbelleği normal işlem için bir NTP sunucusuna erişmesi gerekir. Sanal ağlarınızdan giden trafiği kısıtlarsanız, en az bir NTP sunucusuna giden trafiğe izin verdiğinizden emin olun. Varsayılan sunucu time.windows.com ve önbellek bu sunucuyla UDP bağlantı noktası 123'te iletişim kurar.

Önbellek ağınızın ağ güvenlik grubunda NTP sunucunuza giden trafiğe izin veren bir kural oluşturun. Kural yalnızca UDP bağlantı noktası 123'te tüm giden trafiğe izin verebilir veya daha fazla kısıtlamaya sahip olabilir.

Bu örnek, time.windows.com tarafından kullanılan adres olan 168.61.215.74 IP adresine giden trafiği açıkça açar.

Öncelik Name Bağlantı noktası Protokol Kaynak Hedef Eylem
200 NTP Tümü UDP Tümü 168.61.215.74 İzin ver

NTP kuralının giden erişimi yaygın olarak reddeden kurallardan daha yüksek önceliğe sahip olduğundan emin olun.

NTP erişimi için daha fazla ipucu:

  • HPC Önbelleği ve NTP sunucusu arasında güvenlik duvarlarınız varsa, bu güvenlik duvarlarının NTP erişimine de izin verin.

  • Ağ sayfasında HPC Önbelleği hangi NTP sunucusunu kullandığını yapılandırabilirsiniz. Daha fazla bilgi için Ek ayarları yapılandırma bölümüne bakın.

Azure Kuyruk Depolama erişimi

Önbelleğin ayrılmış alt ağı içinden Azure Kuyruk Depolama hizmetine güvenli bir şekilde erişebilmesi gerekir. Azure HPC Önbelleği, yapılandırma ve durum bilgilerini iletişim kurarken kuyruklar hizmetini kullanır.

Önbellek kuyruk hizmetine erişemiyorsa, önbelleği oluştururken Cache Bağlan ivityError iletisi görebilirsiniz.

Erişim sağlamanın iki yolu vardır:

  • Önbellek alt ağınızda bir Azure Depolama hizmet uç noktası oluşturun. Microsoft.Depolama hizmet uç noktasını ekleme yönergeleri için Bkz. Sanal ağ alt ağı ekleme.

  • Ağ güvenlik grubunuzda veya diğer güvenlik duvarlarında Azure depolama kuyruğu hizmet etki alanına erişimi tek tek yapılandırın.

    Bu bağlantı noktalarında erişime izin vermek için kurallar ekleyin:

    • Etki alanı queue.core.windows.net (*.queue.core.windows.net içindeki herhangi bir konağa güvenli trafik için TCP bağlantı noktası 443).

    • TCP bağlantı noktası 80 - sunucu tarafı sertifikasının doğrulaması için kullanılır. Bu bazen sertifika iptal listesi (CRL) denetimi ve çevrimiçi sertifika durum protokolü (OCSP) iletişimleri olarak adlandırılır. *.queue.core.windows.net tümü aynı sertifikayı ve dolayısıyla aynı CRL/OCSP sunucularını kullanır. Konak adı sunucu tarafı SSL sertifikasında depolanır.

    Daha fazla bilgi için NTP erişimindeki güvenlik kuralı ipuçlarına bakın.

    Bu komut, erişim iznine sahip olması gereken CRL ve OSCP sunucularını listeler. Bu sunucular DNS tarafından çözümlenebilir ve önbellek alt ağından 80 numaralı bağlantı noktasında ulaşılabilir olmalıdır.

    
openssl s_client -connect azure.queue.core.windows.net:443 2>&1 < /dev/null | sed -n '/-----BEGIN/,/-----END/p' | openssl x509 -noout -text -in /dev/stdin |egrep -i crl\|ocsp|grep URI

    Çıkış şuna benzer şekilde görünür ve SSL sertifikasının güncelleştirilip güncelleştirilmediğini değiştirebilir:

    OCSP - URI:http://ocsp.msocsp.com
CRL - URI:http://mscrl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl
CRL - URI:http://crl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl

Alt ağın içindeki bir test VM'sinden şu komutu kullanarak alt ağın bağlantısını denetleyebilirsiniz:

openssl s_client -connect azure.queue.core.windows.net:443 -status 2>&1 < /dev/null |grep "OCSP Response Status"

Başarılı bir bağlantı şu yanıtı verir:

OCSP Response Status: successful (0x0)

Olay sunucusu erişimi

Azure HPC Önbelleği, önbellek durumunu izlemek ve tanılama bilgilerini göndermek için Azure olay sunucusu uç noktalarını kullanır.

Önbelleğin events.data.microsoft.com etki alanındaki konaklara güvenli bir şekilde erişebildiğinden emin olun; diğer bir ifadeyle, trafiğin *.events.data.microsoft.com443 numaralı TCP bağlantı noktasını açın.

İzinler

Önbelleğinizi oluşturmaya başlamadan önce izinle ilgili bu önkoşulları denetleyin.

  • Önbellek örneğinin sanal ağ arabirimleri (NIC) oluşturabilmesi gerekir. Önbelleği oluşturan kullanıcının NIC oluşturmak için abonelikte yeterli ayrıcalıklara sahip olması gerekir.

  • Blob depolama kullanıyorsanız Azure HPC Önbelleği depolama hesabınıza erişmek için yetkilendirmeye ihtiyaç duyar. Blob depolama alanınıza önbellek erişimi vermek için Azure rol tabanlı erişim denetimini (Azure RBAC) kullanın. İki rol gereklidir: Hesap Katkıda Bulunanı'Depolama ve Blob Veri Katkıda Bulunanı'Depolama.

    Rolleri eklemek için Depolama hedefleri ekleme başlığındaki yönergeleri izleyin.

altyapıyı Depolama

Önbellek Azure Blob kapsayıcılarını, NFS donanım depolama dışarı aktarmalarını ve NFS'ye bağlı ADLS blob kapsayıcılarını destekler. Önbelleği oluşturduktan sonra depolama hedefleri ekleyin.

Her depolama türünün belirli önkoşulları vardır.

Blob depolama gereksinimleri

Azure Blob depolamayı önbelleğinizle kullanmak istiyorsanız, verileri Azure Blob depolamaya taşıma bölümünde açıklandığı gibi uyumlu bir depolama hesabına ve boş bir Blob kapsayıcısına veya Azure HPC Önbelleği biçimlendirilmiş verilerle doldurulmuş bir kapsayıcıya ihtiyacınız vardır.

Dekont

NFS'ye bağlı blob depolama için farklı gereksinimler geçerlidir. Ayrıntılar için ADLS-NFS depolama gereksinimlerini okuyun.

Depolama hedefi eklemeye çalışmadan önce hesabı oluşturun. Hedefi eklediğinizde yeni bir kapsayıcı oluşturabilirsiniz.

Uyumlu bir depolama hesabı oluşturmak için şu birleşimlerden birini kullanın:

Performans Tür Çoğaltma Erişim katmanı
Standart StorageV2 (genel amaçlı v2) Yerel olarak yedekli depolama (LRS) veya Alanlar arası yedekli depolama (ZRS) Hareketli
Premium Blok blobları Yerel olarak yedekli depolama (LRS) Hareketli

Depolama hesabına önbelleğinizin özel alt ağından erişilebilir olmalıdır. Hesabınız belirli sanal ağlara sınırlı bir özel uç nokta veya genel uç nokta kullanıyorsa önbelleğin alt ağından erişimi etkinleştirdiğinizden emin olun. (Açık bir genel uç nokta önerilmez.)

HPC Önbelleği depolama hedefleriyle özel uç noktaları kullanma hakkında ipuçları için Özel uç noktalarla çalışma makalesini okuyun.

Önbelleğinizle aynı Azure bölgesinde depolama hesabı kullanmak iyi bir uygulamadır.

Ayrıca, yukarıdaki İzinler bölümünde belirtildiği gibi önbellek uygulamasına Azure depolama hesabınıza erişim vermeniz gerekir. Önbelleğe gerekli erişim rollerini vermek için Depolama hedefleri ekleme bölümünde yer alan yordamı izleyin. Depolama hesabı sahibi değilseniz, bu adımı sahibin gerçekleştirmesini sağlayın.

NFS depolama gereksinimleri

NFS depolama sistemi (örneğin, şirket içi donanım NAS sistemi) kullanıyorsanız, bu gereksinimleri karşıladığından emin olun. Bu ayarları doğrulamak için depolama sisteminizin (veya veri merkezinizin) ağ yöneticileri veya güvenlik duvarı yöneticileriyle çalışmanız gerekebilir.

Dekont

Depolama hedef oluşturma işlemi, önbelleğin NFS depolama sistemine erişimi yetersizse başarısız olur.

NAS yapılandırması ve NFS depolama hedefi sorunlarını giderme bölümüne daha fazla bilgi eklenmiştir.

  • Ağ bağlantısı: Azure HPC Önbelleği, önbellek alt ağı ile NFS sisteminin veri merkezi arasında yüksek bant genişliğine sahip ağ erişimine ihtiyaç duyar. ExpressRoute veya benzer bir erişim önerilir. VPN kullanıyorsanız, büyük paketlerin engellenmediğinden emin olmak için TCP MSS'yi 1350'de sıkıştıracak şekilde yapılandırmanız gerekebilir. VPN ayarlarının sorunlarını giderme konusunda daha fazla yardım için VPN paket boyutu kısıtlamaları makalesini okuyun.

  • Bağlantı noktası erişimi: Önbelleğin depolama sisteminizdeki belirli TCP/UDP bağlantı noktalarına erişmesi gerekir. Farklı depolama türlerinin farklı bağlantı noktası gereksinimleri vardır.

    Depolama sisteminizin ayarlarını denetlemek için bu yordamı izleyin.

    • Gerekli bağlantı noktalarını denetlemek için depolama sisteminize bir rpcinfo komut gönderin. Aşağıdaki komut bağlantı noktalarını listeler ve bir tablodaki ilgili sonuçları biçimlendirır. (Sisteminizin IP adresini <> storage_IP terim.)

      Bu komutu NFS altyapısının yüklü olduğu herhangi bir Linux istemcisinden yayımlayabilirsiniz. Küme alt ağı içinde bir istemci kullanıyorsanız, alt ağ ile depolama sistemi arasındaki bağlantıyı doğrulamaya da yardımcı olabilir.

      rpcinfo -p <storage_IP> |egrep "100000\s+4\s+tcp|100005\s+3\s+tcp|100003\s+3\s+tcp|100024\s+1\s+tcp|100021\s+4\s+tcp"| awk '{print $4 "/" $3 " " $5}'|column -t

    Sorgu tarafından rpcinfo döndürülen tüm bağlantı noktalarının Azure HPC Önbelleği alt ağından kısıtlanmamış trafiğe izin verdiğinden emin olun.

    • komutunu kullanamıyorsanız rpcinfo , yaygın olarak kullanılan bu bağlantı noktalarının gelen ve giden trafiğe izin verin:

      Protokol Bağlantı noktası Service
      TCP/UDP 111 rpcbind
      TCP/UDP 2049 NFS
      TCP/UDP 4045 nlockmgr
      TCP/UDP 4046 monte edilmiş
      TCP/UDP 4047 status

      Bazı sistemler bu hizmetler için farklı bağlantı noktası numaraları kullanır. Emin olmak için depolama sisteminizin belgelerine bakın.

    • Bu gerekli bağlantı noktalarının tümlerinde trafiğe izin verdiklerinden emin olmak için güvenlik duvarı ayarlarını denetleyin. Veri merkezinizdeki şirket içi güvenlik duvarlarının yanı sıra Azure'da kullanılan güvenlik duvarlarını da denetlemeyi unutmayın.

  • NFS arka uç depolama, uyumlu bir donanım/yazılım platformu olmalıdır. Depolamanın NFS Sürüm 3'ü (NFSv3) desteklemesi gerekir. Ayrıntılar için Azure HPC Önbelleği ekibine başvurun.

NFS'ye bağlı blob (ADLS-NFS) depolama gereksinimleri

Azure HPC Önbelleği, depolama hedefi olarak NFS protokolüyle bağlanmış bir blob kapsayıcısını da kullanabilir.

Azure Blob depolamada NFS 3.0 protokol desteğinde bu özellik hakkında daha fazla bilgi edinin.

AdLS-NFS blob depolama hedefi ve standart blob depolama hedefi için depolama hesabı gereksinimleri farklıdır. NFS özellikli depolama hesabını oluşturmak ve yapılandırmak için Ağ Dosya Sistemi (NFS) 3.0 protokolunu kullanarak Blob depolamayı bağlama başlığındaki yönergeleri izleyin.

Bu, adımlara genel bir genel bakıştır. Bu adımlar değişebilir, bu nedenle güncel ayrıntılar için her zaman ADLS-NFS yönergelerine bakın.

  1. İhtiyacınız olan özelliklerin çalışmayı planladığınız bölgelerde kullanılabilir olduğundan emin olun.

  2. Aboneliğiniz için NFS protokolü özelliğini etkinleştirin. Depolama hesabını oluşturmadan önce bunu yapın.

  3. Depolama hesabı için güvenli bir sanal ağ (VNet) oluşturun. NFS özellikli depolama hesabınız ve Azure HPC Önbelleği için aynı sanal ağı kullanmanız gerekir. (Önbellekle aynı alt ağı kullanmayın.)

  4. Depolama hesabını oluşturun.

    • Standart blob depolama hesabı için depolama hesabı ayarlarını kullanmak yerine nasıl yapılır belgesindeki yönergeleri izleyin. Desteklenen depolama hesabı türü Azure bölgesine göre farklılık gösterebilir.

    • Ağ bölümünde, oluşturduğunuz güvenli sanal ağda özel bir uç nokta seçin (önerilir) veya güvenli sanal ağdan kısıtlı erişime sahip bir genel uç nokta seçin.

      HPC Önbelleği depolama hedefleriyle özel uç noktaları kullanma hakkında ipuçları için Özel uç noktalarla çalışma makalesini okuyun.

    • NFS erişimini etkinleştirdiğiniz Gelişmiş bölümünü tamamlamayı unutmayın.

    • Önbellek uygulamasına yukarıdaki İzinler bölümünde belirtildiği gibi Azure depolama hesabınıza erişim verin. Bunu ilk kez depolama hedefi oluşturduğunuzda yapabilirsiniz. Önbelleğe gerekli erişim rollerini vermek için Depolama hedefleri ekleme bölümünde yer alan yordamı izleyin.

      Depolama hesabı sahibi değilseniz, bu adımı sahibin gerçekleştirmesini sağlayın.

Azure HPC Önbelleği ile NFS'ye bağlı blob depolamayı kullanma bölümünde Azure HPC Önbelleği ile ADLS-NFS depolama hedeflerini kullanma hakkında daha fazla bilgi edinin.

Özel uç noktalarla çalışma

Azure Depolama, güvenli veri erişimine izin vermek için özel uç noktaları destekler. Azure Blob veya NFS'ye bağlı blob depolama hedefleri ile özel uç noktaları kullanabilirsiniz.

Özel uç noktalar hakkında daha fazla bilgi edinin

Özel uç nokta, HPC Önbelleği arka uç depolama sisteminizle iletişim kurmak için kullandığı belirli bir IP adresi sağlar. Bu IP adresi değişirse önbellek, depolama alanıyla otomatik olarak yeniden bağlantı kuramaz.

Özel uç noktanın yapılandırmasını değiştirmeniz gerekiyorsa, depolama ile HPC Önbelleği arasındaki iletişim sorunlarını önlemek için şu yordamı izleyin:

  1. Depolama hedefini (veya bu özel uç noktayı kullanan tüm depolama hedeflerini) askıya alın.
  2. Özel uç noktada değişiklik yapın ve bu değişiklikleri kaydedin.
  3. "resume" komutuyla depolama hedefini yeniden hizmete alın.
  4. Depolama hedefinin DNS ayarını yenileyin.

Depolama hedefleri için DNS'yi askıya almayı, sürdürmeyi ve yenilemeyi öğrenmek için depolama hedeflerini görüntüleme ve yönetme makalesini okuyun.

Azure CLI erişimini ayarlama (isteğe bağlı)

Azure CLI'dan Azure HPC Önbelleği oluşturmak veya yönetmek istiyorsanız Azure CLI'yı ve hpc-cache uzantısını yüklemeniz gerekir. Azure HPC Önbelleği için Azure CLI'yı ayarlama başlığındaki yönergeleri izleyin.

Sonraki adımlar