Azure Data Lake Storage 2. Nesil özellikleriyle Azure Blob Depolama yükseltme

Makale
01/19/2024

Bu makale, hiyerarşik ad alanını etkinleştirmenize ve dosya ile dizin düzeyinde güvenlik ve daha hızlı işlemler gibi özelliklerin kilidini açmanıza yardımcı olur. Bu özellikler büyük veri analizi iş yükleri tarafından yaygın olarak kullanılır ve toplu olarak Azure Data Lake Storage 2. Nesil olarak adlandırılır.

Bu özellikler hakkında daha fazla bilgi edinmek ve bu yükseltmenin iş yükleri, uygulamalar, maliyetler, hizmet tümleştirmeleri, araçlar, özellikler ve belgeler üzerindeki etkisini değerlendirmek için bkz. Azure Data Lake Storage 2. Nesil özellikleriyle Azure Blob Depolama yükseltme.

Önemli

Yükseltme tek yönlü gerçekleşir. Yükseltmeyi gerçekleştirdikten sonra hesabınızı geri döndürmenin bir yolu yoktur. Yükseltmenizi üretim dışı bir ortamda doğrulamanızı öneririz.

Yükseltmeye hazırlanma

Depolama hesabınızı Data Lake Storage 2. Nesil yükseltmeye hazırlanmak için:

Özellik desteğini gözden geçirme
Her blob yolunun kesimlerinin adlandırıldığından emin olun
Depolama hesabına yazma etkinliğini engelleme

Özellik desteğini gözden geçirme

Depolama hesabınız, etkinleştirilmiş Data Lake Storage 2. Nesil hesaplarda henüz desteklenmeyen özellikleri kullanacak şekilde yapılandırılmış olabilir. Hesabınız bu özellikleri kullanıyorsa yükseltme doğrulama adımını geçmeyecektir. Desteklenmeyen özellikleri belirlemek için Azure Depolama hesaplarında Blob Depolama özellik desteği makalesini gözden geçirin. Hesabınızda bu tür özelliklerden birini kullanıyorsanız yükseltmeye başlamadan önce bunları devre dışı bırakın.

Aşağıdaki özellikler Data Lake Storage 2. Nesil hesapları için desteklenir, ancak yükseltme işlemi tarafından desteklenmez:

Blob anlık görüntüleri
Şifreleme kapsamları
Sabit depolama
Yaşam döngüsü yönetimi için son erişim zamanı izleme
Bloblar için geçici silme
Kapsayıcılar için geçici silme

Depolama hesabınızda bu tür özellikler etkinse yükseltmeyi gerçekleştirmeden önce bunları devre dışı bırakmanız gerekir. Yükseltme tamamlandıktan sonra özellikleri kullanmaya devam etmek istiyorsanız, bunları yeniden etkinleştirin.

Bazı durumlarda, yükseltmeden önce bir özellik devre dışı bırakıldıktan sonra temizleme işlemleri için zaman tanıyacaksınız. Örneklerden biri blob geçici silme özelliğidir. Hesabı yükseltmeden önce blob geçici silmeyi devre dışı bırakmanız ve ardından tüm geçici silme bloblarının süresinin dolmasına izin vermelisiniz.

Önemli

Bir depolama hesabını, değişiklik akışı özelliğinin etkinleştirildiği Data Lake Storage 2. Nesil yükseltemezsiniz. Değişiklik akışını devre dışı bırakmak, yükseltme yapmanıza izin vermez. Bunun yerine, hiyerarşik ad alanı özelliğinin etkinleştirildiği bir hesap oluşturmanız ve ardından verilerinizi bu hesaba aktarmanız gerekir.

Her blob yolunun kesimlerinin adlandırıldığından emin olun

Geçiş işlemi, bir blobun her yol kesimi için bir dizin oluşturur. Data Lake Storage 2. Nesil dizinlerin bir adı olması gerektiğinden geçişin başarılı olması için sanal dizindeki her yol kesiminin bir adı olmalıdır. Aynı gereksinim, yalnızca boşluk karakteriyle adlandırılmış segmentler için de geçerlidir. Yol kesimlerinden herhangi biri adlandırılmamışsa (//) veya yalnızca boşluk karakteriyle ()_ adlandırılmışsa, geçişe devam etmeden önce bu blobları bu adlandırma gereksinimleriyle uyumlu yeni bir yola kopyalamanız gerekir.

Depolama hesabına yazma etkinliğini engelleme

Yükseltme sırasında bir uygulama depolama hesabına yazarsa yükseltme başarısız olabilir. Bu tür yazma etkinliğini önlemek için:

Yazma işlemleri gerçekleştirebilecek tüm uygulamaları veya hizmetleri sessize alma.
Depolama hesabındaki kapsayıcılarda ve bloblarda var olan kiraları serbest bırakın veya sonlandırın.

Yükseltme tamamlandıktan sonra, kapsayıcılara ve bloblara yazma erişimine izin vermek için oluşturduğunuz kiraları sonlandırın.

Uyarı

Etkin kiralamanın, şu anda bu kaynaklara erişen uygulamaları veya sanal makineleri düzgün bir şekilde devre dışı bırakmadan bozulması beklenmeyen sonuçlara neden olabilir. Geçerli kiralamaları bozmadan önce geçerli yazma etkinliklerini sessize almamaya özen gösterin.

Yükseltmeyi gerçekleştirme

Başlamak için Azure portalında oturum açın.
Depolama hesabınızı bulun ve hesaba genel bakış bilgilerini görüntüleyin.
Data Lake 2. Nesil geçişi'ne tıklayın.

Azure Data Lake 2. Nesil özellikleri yapılandırma ile bir Depolama hesabına yükseltme sayfası görüntülenir.
Yükseltmeden önce 1. Adım: Hesap değişikliklerini gözden geçirme bölümünü genişletin ve Gözden geçir ve değişiklikleri kabul et'e tıklayın.
Hesap değişikliklerini gözden geçir sayfasında onay kutusunu seçin ve ardından Değişiklikleri kabul et'e tıklayın.
2. Adım: Yükseltmeden önce hesabı doğrulama bölümünü genişletin ve doğrulamayı başlat'a tıklayın.

Doğrulama başarısız olursa sayfada bir hata görüntülenir. Bazı durumlarda, Hataları görüntüle bağlantısı görüntülenir. Bu bağlantı görünürse seçin.

Ardından error.json dosyasının bağlam menüsünde İndir'i seçin.

Hesabın doğrulama adımını neden geçmediğini belirlemek için indirilen dosyayı açın. Aşağıdaki JSON, hesapta uyumsuz bir özelliğin etkinleştirildiğini gösterir. Bu durumda, özelliği devre dışı bırakır ve doğrulama işlemini yeniden başlatırsınız.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Hesabınız başarıyla doğrulandıktan sonra 3. Adım: Hesabı yükseltme bölümünü genişletin ve yükseltmeyi başlat'a tıklayın.

Önemli

Hesabınız yükseltilirken yazma işlemleri devre dışı bırakılır. Okuma işlemleri devre dışı bırakılmaz, ancak yükseltme işleminin istikrarını bozabilecek okuma işlemlerini askıya almanızı kesinlikle öneririz.

Geçiş başarıyla tamamlandığında, aşağıdakine benzer bir ileti görüntülenir.

Bir Windows PowerShell komut penceresi açın.
En son Azure PowerShell modülüne sahip olduğunuzdan emin olun. Bkz . Azure PowerShell modülünü yükleme.
Connect-AzAccount komutuyla Azure aboneliğinizde oturum açın ve ekrandaki yönergeleri izleyin.
```
Connect-AzAccount
```
Kimliğiniz birden fazla abonelikle ilişkiliyse etkin aboneliğinizi ayarlayın.
```
$context = Get-AzSubscription -SubscriptionId <subscription-id>
Set-AzContext $context
```
<subscription-id> Yer tutucu değerini aboneliğinizin kimliğiyle değiştirin.
Aşağıdaki komutu kullanarak depolama hesabınızı doğrulayın.
```
$result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Validation -AsJob
```
- <resource-group-name> Yer tutucu değerini kaynak grubunuzun adıyla değiştirin.
- <storage-account-name> Yer tutucu değerini depolama hesabınızın adıyla değiştirin.
Hesabınızın boyutuna bağlı olarak bu işlem biraz zaman alabilir. anahtarı kullanarak asJob komutu bir arka plan işinde çalıştırabilir ve böylece istemciniz engellenmez. Komut uzaktan çalışır, ancak iş yerel makinenizde veya komutu çalıştırdığınız VM'de bulunur. Sonuçlar yerel makinenize veya VM'ye iletilir.
İşin durumunu denetlemek ve işin tüm özelliklerini bir listede görüntülemek için dönüş değişkenini cmdlet'ine yöneltin Format-List .
```
$result | Format-List -Property *
```
Doğrulama başarılı olursa State özelliği Tamamlandı olarak ayarlanır.

Doğrulama başarısız olursa, State özelliği Başarısız olarak ayarlanır ve Error özelliği doğrulama hatalarını gösterir.

Aşağıdaki çıkış, hesapta uyumsuz bir özelliğin etkinleştirildiğini gösterir. Bu durumda, özelliği devre dışı bırakır ve doğrulama işlemini yeniden başlatırsınız.

Bazı durumlarda Error özelliği size error.json adlı bir dosyanın yolunu sağlar. Hesabın doğrulama adımını neden geçmediğini belirlemek için bu dosyayı açabilirsiniz.

Aşağıdaki JSON, hesapta uyumsuz bir özelliğin etkinleştirildiğini gösterir. Bu durumda, özelliği devre dışı bırakır ve doğrulama işlemini yeniden başlatırsınız.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Hesabınız başarıyla doğrulandıktan sonra aşağıdaki komutu çalıştırarak yükseltmeyi başlatın.
```
$result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Upgrade -AsJob -Force
```
Yukarıdaki doğrulama örneğinde olduğu gibi bu örnekte de komutu arka plan işinde çalıştırmak için anahtarı kullanılır asJob . Anahtar, Force yükseltmeyi onaylamak için istemleri geçersiz kılar. Anahtarı kullanmıyorsanız AsJob , yalnızca istemlere yanıt verebildiğiniz için anahtarı kullanmanız Force gerekmez.

Önemli

Hesabınız yükseltilirken yazma işlemleri devre dışı bırakılır. Okuma işlemleri devre dışı bırakılmaz, ancak yükseltme işleminin istikrarını bozabilecek okuma işlemlerini askıya almanızı kesinlikle öneririz.

İşin durumunu denetlemek için, önceki adımlarda açıklanan tekniklerin aynısını kullanın. İşlem çalıştırılırken State özelliği Çalışıyor olarak ayarlanır.

Geçiş başarıyla tamamlandığında State özelliği Tamamlandı olarak ayarlanır ve Error özelliği herhangi bir hata göstermez.

Önemli

Yükseltme süresiyle ilgili kaba bir tahmin, 2 milyon blob başına yaklaşık 5-10 dakika olabilir. Örneğin, hesapta 10 milyon blob varsa yükseltme yaklaşık 25-50 dakika sürer. 2 milyondan az blob içeren hesaplar genellikle 10 dakikadan kısa bir sürede yükseltildi.

İlk olarak Azure Cloud Shell'i açın veya Azure CLI'yi yerel olarak yüklediyseniz Windows PowerShell gibi bir komut konsolu uygulaması açın.
Aşağıdaki komutu kullanarak yüklü Azure CLI sürümünün veya daha yüksek olduğunu 2.29.0 doğrulayın.
```
 az --version
```
Azure CLI sürümünüz sürümünden 2.29.0düşükse en son sürümü yükleyin. Daha fazla bilgi için bkz . Azure CLI'yi yükleme.
Kimliğiniz birden fazla abonelikle ilişkiliyse etkin aboneliğinizi ayarlayın.
```
   az account set --subscription <subscription-id>
```
<subscription-id> Yer tutucu değerini aboneliğinizin kimliğiyle değiştirin.
Aşağıdaki komutu kullanarak depolama hesabınızı doğrulayın.
```
az storage account hns-migration start --type validation -n <storage-account-name> -g <resource-group-name>
```
- <resource-group-name> Yer tutucu değerini kaynak grubunuzun adıyla değiştirin.
- <storage-account-name> Yer tutucu değerini depolama hesabınızın adıyla değiştirin.
Doğrulama başarılı olursa, işlem tamamlar ve hiçbir hata görünmez.

Doğrulama başarısız olursa konsolda bir doğrulama hatası görüntülenir. Örneğin, hata (IncompatibleValuesForAccountProperties) Values for account properties are incompatible: Versioning Enabled hesapta uyumsuz bir özelliğin (Sürüm Oluşturma) etkinleştirildiğini gösterir. Bu durumda, özelliği devre dışı bırakır ve doğrulama işlemini yeniden başlatırsınız.

Bazı durumlarda, error.json adlı dosyanın yolu konsolunda görünür. Hesabın doğrulama adımını neden geçmediğini belirlemek için bu dosyayı açabilirsiniz.

Aşağıdaki JSON, hesapta uyumsuz bir özelliğin etkinleştirildiğini gösterir. Bu durumda, özelliği devre dışı bırakır ve doğrulama işlemini yeniden başlatırsınız.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Hesabınız başarıyla doğrulandıktan sonra aşağıdaki komutu çalıştırarak yükseltmeyi başlatın.
```
az storage account hns-migration start --type upgrade -n storage-account-name -g <resource-group-name>
```
Önemli

Hesabınız yükseltilirken yazma işlemleri devre dışı bırakılır. Okuma işlemleri devre dışı bırakılmaz, ancak yükseltme işleminin istikrarını bozabilecek okuma işlemlerini askıya almanızı kesinlikle öneririz.

Geçiş başarılı olursa işlem tamamlar ve hiçbir hata görünmez.

Yükseltmeyi durdurma

Geçişi tamamlanmadan önce durdurabilirsiniz.

Yükseltme tamamlanmadan önce yükseltmeyi durdurmak için yükseltme devam ederken Yükseltmeyi iptal et'i seçin.

Cancel upgrade

Yükseltme tamamlanmadan önce durdurmak için komutunu kullanın Stop-AzStorageAccountHierarchicalNamespaceUpgrade .

Stop-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName <resource-group-name> -Name <storage-account-name>

Yükseltme tamamlanmadan önce durdurmak için komutunu kullanın az storage account hns-migration stop .

az storage account hns-migration stop -n <storage-account-name> -g <resource-group-name>

Verileri, iş yüklerini ve uygulamaları geçirme

İş yüklerinizdeki hizmetleri Blob hizmet uç noktasına veya Data Lake depolama uç noktasına işaret eden şekilde yapılandırın.
Windows Azure Depolama Blob sürücüsü veya WASB sürücüsü kullanan Hadoop iş yükleri için bunları Azure Blob Dosya Sistemi (ABFS) sürücüsünü kullanacak şekilde değiştirdiğinizden emin olun. Blob hizmet uç noktasına istekte bulunan WASB sürücüsünün aksine, ABFS sürücüsü hesabınızın Data Lake Depolama uç noktasına istekte bulunur.
Yükseltilen hesabınızla beklendiği gibi çalıştığından emin olmak için özel uygulamaları test edin.

Data Lake Depolama'da çoklu protokol erişimi, çoğu uygulamanın değişiklik yapmadan Blob API'lerini kullanmaya devam etmelerini sağlar. Sorunlarla karşılaşırsanız veya dizin işlemleri ve ACL'lerle çalışmak için API'leri kullanmak istiyorsanız, kodunuzun bir bölümünü Data Lake Storage 2. Nesil API'leri kullanacak şekilde taşımayı göz önünde bulundurun. .NET, Java , Python, Node.js ve REST kılavuzlarına bakın.
Yükseltilen hesabınızla beklendiği gibi çalıştığından emin olmak için tüm özel betikleri test edin.

Blob API'lerde olduğu gibi, betiklerinizin çoğu büyük olasılıkla bunları değiştirmenize gerek kalmadan çalışır. Ancak gerekirse betik dosyalarını powershell cmdlet'lerini ve Azure CLI komutlarını Data Lake Storage 2. Nesil kullanacak şekilde yükseltebilirsiniz.

Ayrıca bkz.

Azure Data Lake storage 2. Nesil'e giriş

Share via