Azure portalını kullanarak Azure Data Lake Depolama 1. Nesil'den 2. Nesil'e geçirme
Bu makalede, Azure portalını kullanarak geçişi nasıl basitleştirebileceğiniz gösterilmektedir.
Not
Azure Data Lake Storage 1. Nesil artık kullanımdan kaldırıldı. Kullanımdan kaldırma duyurusunu buradan görebilirsiniz. Data Lake Storage 1. Nesil kaynaklara artık erişilemez. Özel yardıma ihtiyacınız varsa lütfen bizimle iletişime geçin.
Burada size bu konuda daha fazla bilgi veren bir video bulabilirsiniz.
Bölümler:
00.37 - Giriş
01:16 - Geçiş için hazırlanma
07:15 - Geçişi kopyalama
17:40 - Kopyalama ve tam geçiş
19:43 - Geçişi tamamlama
33:15 - Geçiş sonrası
Başlamadan önce, Azure Data Lake'te 1. Nesil'den 2. Nesil'e geçiş yönergeleri ve desenleri Depolama genel yönergeleri okuduğunuzdan emin olun.
Hesabınız belirli kısıtlamalara göre portal tabanlı geçişe uygun olmayabilir. 1. Nesil hesabınız için Azure portalında Verileri geçir düğmesi etkinleştirilmediğinde, bir destek planınız varsa bir destek isteğinde bulunabilirsiniz. Microsoft Soru-Cevap'taki topluluk uzmanlarından da yanıt alabilirsiniz.
Not
Daha kolay okunması için, bu makalede Azure Data Lake Storage 1. Nesil'a başvurmak için 1. Nesil terimi ve Azure Data Lake Storage 2. Nesil başvurmak için 2. Nesil terimi kullanılır.
1. Adım: 2. Nesil özelliklerine sahip bir depolama hesabı oluşturma
Azure Data Lake Storage 2. Nesil ayrılmış bir depolama hesabı veya hizmet türü değildir. Bu, bir Azure depolama hesabının Hiyerarşik ad alanı özelliğini etkinleştirerek edinebileceğiniz bir özellik kümesidir. 2. Nesil özelliklerine sahip bir hesap oluşturmak için bkz. Azure Data Lake Storage 2. Nesil ile kullanılacak depolama hesabı oluşturma.
Hesabı oluştururken ayarları aşağıdaki değerlerle yapılandırdığınızdan emin olun.
| Ayar | Value |
|---|---|
| Depolama hesabı adı | İstediğiniz herhangi bir ad. Bu adın 1. Nesil hesabınızın adıyla eşleşmesi gerekmez ve istediğiniz herhangi bir abonelikte olabilir. |
| Konum | Data Lake Storage 1. Nesil hesabı tarafından kullanılan bölge |
| Çoğaltma | LRS veya ZRS |
| En düşük TLS sürümü | 1.0 |
| NFS v3 | Devre dışı |
| Hiyerarşik ad alanı | Etkin |
Not
Azure portalındaki geçiş aracı hesap ayarlarını taşımaz. Bu nedenle, hesabı oluşturduktan sonra şifreleme, ağ güvenlik duvarları, veri koruması gibi ayarları el ile yapılandırmanız gerekir.
Önemli
Kullanım geçmişi olmayan yeni oluşturulmuş yeni bir depolama hesabı kullandığınızdan emin olun. Daha önce kullanılan bir hesaba geçmeyin veya hesabı boş hale getirmek için kapsayıcıların silindiği bir hesabı kullanmayın.
2. Adım: Azure rol tabanlı erişim denetimi (Azure RBAC) rol atamalarını doğrulama
2. Nesil için Depolama Blob Veri Sahibi rolünün depolama hesabı, üst kaynak grubu veya abonelik kapsamında Microsoft Entra kullanıcı kimliğinize atandığından emin olun.
1. Nesil için, Microsoft Entra kimliğinize 1. Nesil hesabı, üst kaynak grubu veya abonelik kapsamında Sahip rolünün atandığından emin olun.
3. Adım: Azure Data Lake Analytics iş yüklerini geçirme
Azure Data Lake Storage 2. Nesil, Azure Data Lake Analytics'i desteklemez. Azure Data Lake Analytics 29 Şubat 2024'te kullanımdan kaldırılacaktır. Azure Portal'ı kullanarak Azure Data Lake Analytics için kullanılan bir Azure Data Lake Storage 1. Nesil hesabını geçirmeye çalışırsanız Azure Data Lake Analytics iş yüklerinizi bozabilirsiniz. 1. Nesil hesabınızı geçirmeyi denemeden önce Azure Data Lake Analytics iş yüklerinizi Azure Synapse Analytics'e veya desteklenen başka bir işlem platformuna geçirmeniz gerekir.
Daha fazla bilgi için bkz . Azure portalını kullanarak Azure Data Lake Analytics'i yönetme.
4. Adım: 1. Nesil hesabını hazırlama
Yalnızca boşluk veya sekme içeren, ile biten, veya ardışık birden çok eğik çizgiyle (//) biten .:dosya veya dizin adları 2. Nesil ile uyumlu değildir. Geçirmeden önce bu dosyaları veya dizinleri yeniden adlandırmanız gerekir.
Daha iyi performans için, geçişi son silme işleminin tarihinden itibaren en az on gün geciktirebilirsiniz. 1. Nesil hesabında silinen dosyalar geçici olarak silinen dosyalara dönüşür ve Çöp Toplayıcı yedi güne kadar bunları kalıcı olarak kaldırmaz ve temizleme işleminin tamamlanması birkaç gün daha sürer. Temizleme için geçen süre, dosya sayısına bağlıdır. Geçici olarak silinen dosyalar da dahil olmak üzere tüm dosyalar geçiş sırasında işlenir. Çöp Toplayıcı silinen dosyaları kalıcı olarak kaldırana kadar beklerseniz bekleme süreniz iyileştirebilir.
5. Adım: Geçişi gerçekleştirme
Başlamadan önce aşağıdaki iki geçiş seçeneğini gözden geçirin ve verileri yalnızca 1. Nesil'den 2. Nesil'e (önerilen) kopyalamaya veya tam geçiş gerçekleştirmeye karar verin.
Seçenek 1: Yalnızca veri kopyalama (önerilir). Bu seçenekte veriler 1. Nesil'den 2. Nesil'e kopyalanır. Veriler kopyalanırken 1. Nesil hesabı salt okunur hale gelir. Veriler kopyalandıktan sonra hem 1. Nesil hem de 2. Nesil hesapları erişilebilir hale gelecek. Ancak yeni 2. Nesil uç noktasını kullanmak için uygulamaları ve işlem iş yüklerini güncelleştirmeniz gerekir.
2. Seçenek: Eksiksiz bir geçiş gerçekleştirin. Bu seçenekte veriler 1. Nesil'den 2. Nesil'e kopyalanır. Veriler kopyalandıktan sonra, 1. Nesil hesabından gelen tüm trafik 2. Nesil hesabına yönlendirilir. Yeniden yönlendirilen istekler, 1. Nesil API çağrılarını 2. Nesil eşdeğerlerine çevirmek için 1. Nesil uyumluluk katmanını kullanır. Geçiş sırasında 1. Nesil hesabı salt okunur hale gelir. Geçiş tamamlandıktan sonra 1. Nesil hesabına erişilemez.
Hangi seçeneği seçerseniz seçin, tüm iş yüklerinizin beklendiği gibi çalıştığını geçirip doğruladıktan sonra 1. Nesil hesabını silebilirsiniz.
1. Seçenek: Verileri 1. Nesil'den 2. Nesil'e kopyalama
Data Lake Storage 1. Nesil hesabınızı bulun ve hesaba genel bakış bilgilerini görüntüleyin.
Verileri geçir düğmesini seçin.
Yeni 2. Nesil hesabına veri kopyala'yı seçin.
Onay kutusunu seçerek Microsoft'a veri geçişini gerçekleştirme izni verin. Ardından Uygula düğmesini seçin.
Bir alt durum iletisiyle birlikte bir ilerleme çubuğu görüntülenir. Geçişin ilerleme durumunu ölçmek için bu göstergeleri kullanabilirsiniz. Her görevin tamamlanma süresi değiştiğinden, ilerleme çubuğu tutarlı bir hızda ilerlemez. Örneğin, ilerleme çubuğu hızla yüzde 50'ye ilerleyebilir, ancak kalan yüzde 50'yi tamamlamak biraz daha zaman alabilir.
Önemli
Verileriniz geçirilirken 1. Nesil hesabınız salt okunur hale gelir ve 2. Nesil hesabınız devre dışı bırakılır. Geçiş tamamlandığında, her iki hesabı da okuyabilir ve yazabilirsiniz.
Geçişi durdur düğmesini seçerek geçişi istediğiniz zaman durdurabilirsiniz.
2. Seçenek: Tam geçiş gerçekleştirme
Data Lake Storage 1. Nesil hesabınızı bulun ve hesaba genel bakış bilgilerini görüntüleyin.
Verileri geçir düğmesini seçin.
Yeni 2. Nesil hesabına geçişi tamamla'yı seçin.
Onay kutusunu seçerek Microsoft'a veri geçişini gerçekleştirme izni verin. Ardından Uygula düğmesini seçin.
Bir alt durum iletisiyle birlikte bir ilerleme çubuğu görüntülenir. Geçişin ilerleme durumunu ölçmek için bu göstergeleri kullanabilirsiniz. Her görevin tamamlanma süresi değiştiğinden, ilerleme çubuğu tutarlı bir hızda ilerlemez. Örneğin, ilerleme çubuğu hızla yüzde 50'ye ilerleyebilir, ancak kalan yüzde 50'yi tamamlamak biraz daha zaman alabilir.
Önemli
Verileriniz geçirilirken 1. Nesil hesabınız salt okunur hale gelir ve 2. Nesil hesabı devre dışı bırakılır.
Ayrıca 1. Nesil URI'sı yeniden yönlendirilirken her iki hesap da devre dışı bırakılır.
Geçiş tamamlandığında 1. Nesil hesabınız devre dışı bırakılır. 1. Nesil hesabınızdaki verilere erişilemez ve 30 gün sonra silinir. 2. Nesil hesabınız okuma ve yazma işlemleri için kullanılabilir.
Geçişi durdur düğmesini seçerek URI yeniden yönlendirilmeden önce istediğiniz zaman durdurabilirsiniz .
6. Adım: Geçişin tamamlandığını doğrulayın
Geçiş başarıyla tamamlanırsa, 2. Nesil hesabı içinde 1. nesil adlı bir kapsayıcı oluşturulur ve 1. Nesil hesabındaki tüm veriler bu yeni 1. nesil kapsayıcısına kopyalanır. 1. Nesil'de bulunan bir yoldaki verileri bulmak için 1. Nesil/ ön ekini 2. Nesil'de erişmek için aynı yola eklemeniz gerekir. Örneğin, 1. Nesil'de 'FolderRoot/FolderChild/FileName.csv' adlı bir yol 2. Nesil'deki 'gen1/FolderRoot/FolderChild/FileName.csv' konumunda kullanılabilir. Kapsayıcı adları 2. Nesil'de yeniden adlandırılamaz, bu nedenle 2. Nesil'de bu 1 . nesil kapsayıcısı geçiş sonrasında yeniden adlandırılamaz. Ancak gerekirse veriler 2. Nesil'deki yeni bir kapsayıcıya kopyalanabilir.
Geçiş başarıyla tamamlanmazsa uyumsuzluklar nedeniyle geçişin durdurulduğunu belirten bir ileti görüntülenir. Sonraki adımla ilgili yardım almak isterseniz lütfen Microsoft Desteği başvurun. Bu ileti, 2. Nesil hesabı daha önce kullanılmışsa veya 1. Nesil hesabındaki dosya ve dizinler uyumsuz adlandırma kuralları kullanıyorsa görüntülenebilir.
Desteğe başvurmadan önce, kullanım geçmişi olmayan yeni oluşturulmuş yeni bir depolama hesabı kullandığınızdan emin olun. Hesabı boş hale getirmek için daha önce kullanılan bir hesaba veya kapsayıcıların silindiği bir hesaba geçmekten kaçının. 1. Nesil hesabınızda, yalnızca boşluk veya sekme içeren, bir ile .:biten veya birden çok eğik çizgi (// içeren) tüm dosya veya dizin adlarını yeniden adlandırdığınızdan emin olun.
7. Adım: İş yüklerini ve uygulamaları geçirme
İş yüklerinizdeki hizmetleri 2. Nesil uç noktanıza işaret eden şekilde yapılandırın. Azure Databricks, HDInsight ve diğer Azure hizmetlerini 2. Nesil'i kullanacak şekilde yapılandırmanıza yardımcı olan makalelerin bağlantıları için bkz. Azure Data Lake Storage 2. Nesil destekleyen Azure hizmetleri.
Uygulamaları 2. Nesil API'lerini kullanacak şekilde güncelleştirin. Şu kılavuzlara bakın:
Data Lake Storage 2. Nesil PowerShell cmdlet'lerini ve Azure CLI komutlarını kullanacak şekilde betikleri güncelleştirin.
Kod dosyalarında veya Databricks not defterlerinde, Apache Hive HQL dosyalarında veya iş yüklerinizin bir parçası olarak kullanılan diğer dosyalarda dizeyi
adl://içeren URI başvurularını arayın. Bu başvuruları yeni depolama hesabınızın 2. Nesil URI'siyle değiştirin. Örneğin: 1. Nesil URI'si:adl://mydatalakestore.azuredatalakestore.net/mydirectory/myfileolabilirabfss://myfilesystem@mydatalakestore.dfs.core.windows.net/mydirectory/myfile.
1. Nesil uyumluluk katmanı
Bu katman, uygulamaların 2. Nesil hesabındaki verilerle etkileşime geçmek için 1. Nesil API'lerini kullanmaya devam edebilmesi için geçiş sırasında kolaylık sağlamak için 1. Nesil ile 2. Nesil arasında uygulama uyumluluğu sağlamaya çalışır. Bu katman sınırlı işlevselliğe sahiptir ve bu yaklaşımı geçiş kapsamında kullanıyorsanız iş yüklerini test hesaplarıyla doğrulamanız önerilir. Uyumluluk katmanı sunucuda çalıştığından yüklenecek bir şey yoktur.
Önemli
Microsoft, iş yüklerinizi ve uygulamalarınızı geçirmenin yerine bu özelliği önermez. 1. Nesil uyumluluk katmanı desteği 29 Şubat 2024'te kullanımdan kaldırıldığında sona erecektir.
Uyumluluk katmanıyla ilgili en az sayıda sorunla karşılaşmak için 1. Nesil SDK'larınızın aşağıdaki sürümleri (veya üzerini) kullandığından emin olun.
| Dil | SDK sürümü |
|---|---|
| .NET | 2.3.9 |
| Java | 1.1.21 |
| Python | 0.0.51 |
Uyumluluk katmanında aşağıdaki işlevler desteklenmez.
ListStatus API'sini ListYazıdan önce seçeneğini belirleyin.
Devamlılık belirteci olmadan 4.000'den fazla dosya içeren ListStatus API'sini seçin.
Ekleme işlemleri için öbek kodlaması.
Microsoft Entra belirteci hedef kitlesi olarak kullanılan
https://management.azure.com/tüm API çağrıları.Yalnızca boşluklar veya sekmeler içeren dosya veya dizin adları; öğesini içeren
:veya.ardışık birden çok eğik çizgiyle (//) biten dosya veya dizin adları.
Sık sorulan sorular
Geçiş ne kadar sürer?
Veriler ve meta veriler paralel olarak geçirilir. Geçişi tamamlamak için gereken toplam süre, bu iki işlemin en son tamamlanana eşittir.
Aşağıdaki tabloda her geçiş işleme görevinin yaklaşık hızı gösterilmektedir.
Not
Bu zaman tahminleri yaklaşıktır ve farklılık gösterebilir. Örneğin, çok sayıda küçük dosyayı kopyalamak performansı yavaşlatabilir.
| Görev işleniyor | Hız |
|---|---|
| Veri kopyalama | Saatte 9 TB |
| Veri doğrulaması | Saatte 9 milyon dosya veya klasör |
| Meta veri kopyalama | Saatte 4 milyon dosya veya klasör |
| Meta veri işleme | Saatte 25 milyon dosya veya klasör |
| Ek meta veri işleme (veri kopyalama seçeneği)1 | Saatte 50 milyon dosya veya klasör |
1 Ek meta veri işleme süresi yalnızca Verileri yeni bir 2. Nesil hesabına kopyala seçeneğini belirlediğinizde geçerlidir. Geçişi yeni 2. nesil hesaba tamamla seçeneğini belirlerseniz bu işlem süresi geçerli değildir.
Örnek: Büyük miktarda veri ve meta veri işleme
Bu örnekte 300 TB veri ile 200 milyon veri ve meta veri öğesi varsayılır.
| Görev | Tahmini süre |
|---|---|
| Verileri kopyalama | 300 TB / 9 TB = 33,33 saat |
| Verileri doğrulama | 200 milyon / 9 milyon = 22,22 saat |
| Toplam veri geçiş süresi | 33.33 + 22.2 = 55.55 saat |
| Meta verileri kopyalama | 200 milyon / 4 milyon = 50 saat |
| Meta veri işleme | 200 milyon / 25 milyon = 8 saat |
| Ek meta veri işleme - yalnızca veri kopyalama seçeneği | 200 milyon / 50 milyon = 4 saat |
| Toplam meta veri geçiş süresi | 50 + 8 + 4 = 62 saat |
| Yalnızca veri geçişi gerçekleştirmek için toplam süre | 62 saat |
| Tam geçiş gerçekleştirmek için toplam süre | 62 - 4 = 58 saat |
Örnek: Az miktarda veri ve meta veri işleme
Bu örnekte 2 TB veri ile 56 bin veri ve meta veri öğesi olduğu varsayılır.
| Görev | Tahmini süre |
|---|---|
| Verileri kopyalama | (2 TB / 9 TB) * 60 dakika = 13,3 dakika |
| Verileri doğrulama | (56.000 / 9 milyon) * 3.600 saniye = 22,4 saniye |
| Toplam veri geçiş süresi | 13,3 dakika + 22,4 saniye = yaklaşık 14 dakika |
| Meta verileri kopyalama | (56.000 / 4 milyon) * 3.600 saniye = yaklaşık 51 saniye |
| Meta veri işleme | 56.000/ 25 milyon = 8 saniye |
| Ek meta veri işleme - yalnızca veri kopyalama seçeneği | (56.000 / 50 milyon) * 3.600 saniye = 4 saniye |
| Toplam meta veri geçiş süresi | 51 + 8 + 4 = 63 saniye |
| Yalnızca veri geçişi gerçekleştirmek için toplam süre | 14 dakika |
| Tam geçiş gerçekleştirmek için toplam süre | 14 dakika - 4 saniye = 13 dakika 56 saniye (yaklaşık 14 dakika) |
Veri geçişinin maliyeti ne kadardır?
Portal tabanlı geçiş aracını kullanmanın bir maliyeti yoktur, ancak Azure Data Lake 1. Nesil ve 2. Nesil hizmetlerinin kullanımı için faturalandırılırsınız. Veri geçişi sırasında, 1. Nesil hesabının veri depolaması ve işlemleri için faturalandırılırsınız.
Geçiş sonrasında yalnızca verileri kopyalayan seçeneği belirlerseniz hem Azure Data Lake 1. Nesil hem de 2. Nesil hesapları için veri depolama ve işlemler için faturalandırılırsınız. 1. Nesil hesabına faturalandırılmamak için, uygulamalarınızı 2. Nesil'e işaret eden şekilde güncelleştirdikten sonra 1. Nesil hesabını silin. Tam geçiş gerçekleştirmeyi seçerseniz, yalnızca 2. Nesil hesabın veri depolaması ve işlemleri için faturalandırılırsınız.
Onay verirken Geçiş başlatma başarısız oldu hata iletisiyle karşılaştım. Bundan sonra ne yapmalıyım?
Tüm Azure Data lake Analytics hesaplarınızın Azure Synapse Analytics'e veya desteklenen başka bir işlem platformuna geçirildiğinden emin olun. Azure Data Lake Analytics hesapları geçirildikten sonra onayı yeniden deneyin. Sorunu daha fazla görürseniz ve bir destek planınız varsa bir destek isteğinde bulunabilirsiniz. Microsoft Soru-Cevap'taki topluluk uzmanlarından da yanıt alabilirsiniz.
Geçiş tamamlandıktan sonra 1. Nesil hesabını kullanmaya geri dönebilir miyim?
1. Seçenek: Yukarıda bahsedilen 1. Nesil'den 2. Nesil'e veri kopyalama seçeneğini kullandıysanız, geçiş sonrasında hem 1. Nesil hem de 2. Nesil hesapları okuma ve yazma işlemleri için kullanılabilir. Ancak, 2. Seçenek: Eksiksiz bir geçiş gerçekleştirdiyseniz 1. Nesil hesabına geri dönmek desteklenmez. 2. Seçenek'te geçiş tamamlandıktan sonra 1. Nesil hesabınızdaki verilere erişilemez ve 30 gün sonra silinir. Azure portalında 1. Nesil hesabını görüntülemeye devam edebilir ve hazır olduğunuzda 1. Nesil hesabını silebilirsiniz.
2. Nesil özellikli hesapta Coğrafi olarak yedekli depolamayı (GRS) etkinleştirmek istiyorum. Bunu nasıl yapabilirim?
Geçiş tamamlandıktan sonra hem "Veri kopyalama" hem de "Geçişi tamamlama" seçeneklerinde uygulama uyumluluk katmanını kullanmayı planlamadığınız sürece devam edebilir ve yedeklilik seçeneğini GRS olarak değiştirebilirsiniz. Uygulama uyumluluğu, GRS yedekliliği kullanan hesaplarda çalışmaz.
1. Nesil'de kapsayıcılar yok ve 2. Nesil'de bunlar var- ne beklemem gerekir?
Verileri 2. Nesil hesabınıza kopyaladığımız zaman otomatik olarak '1. Nesil' adlı bir kapsayıcı oluştururuz. 2. Nesil'de kapsayıcı adları yeniden adlandırılamaz ve bu nedenle geçiş sonrası veriler gerektiğinde 2. Nesil'deki yeni kapsayıcıya kopyalanabilir.
Geçiş performansı açısından neleri göz önünde bulundurmalıyım?
Verileri 2. Nesil hesabınıza kopyaladığınızda, performansı etkileyebilecek iki faktör dosya sayısı ve sahip olduğunuz meta veri miktarıdır. Örneğin, birçok küçük dosya geçişin performansını etkileyebilir.
Geçiş sonrasında WebHDFS Dosya Sistemi API'leri 2. Nesil hesabında desteklenecek mi?
1. Nesil WebHDFS Dosya Sistemi API'leri 2. Nesil'de desteklenir, ancak belirli sapmalarla desteklenir ve uyumluluk katmanı aracılığıyla yalnızca sınırlı işlevsellik desteklenir. Müşteriler daha iyi performans ve özellikler için 2. Nesil API'lerden yararlanmayı planlamalıdır.
Kullanımdan kaldırma tarihinden sonra 1. Nesil hesabıma ne olur?
Hesaba erişilemez hale gelir. Aşağıdakiler yapılamaz:
Hesabı yönetme
Hesaptaki verilere erişme
1. Nesil veya 1. Nesil API'leri, SDK'lar veya istemci araçları için hizmet güncelleştirmeleri alma
1. Nesil müşteri desteğine çevrimiçi olarak, telefonla veya e-postayla erişin
Bkz. Eylem gerekli: 29 Şubat 2024'e kadar Azure Data Lake Storage 2. Nesil geçiş yapma.
Sonraki adımlar
- Genel olarak geçiş hakkında bilgi edinin. Daha fazla bilgi için bkz. Azure Data Lake Depolama 1. Nesil'den 2. Nesil'e geçirme.