Bulut depolama alanını Azure Databricks'e bağlamak için dış konum oluşturma

Makale
05/03/2024

Bu makalede, bulut depolamayı Azure Databricks'e bağlamak için Unity Kataloğu'nda bir dış konumun nasıl yapılandırıldığı açıklanır.

Dış konumlar Unity Kataloğu depolama kimlik bilgilerini bulut nesne depolama kapsayıcılarıyla ilişkilendirir. Dış konumlar, kataloglar ve şemalar için yönetilen depolama konumlarını tanımlamak ve dış tablolar ile dış birimler için konumları tanımlamak için kullanılır.

Azure Data Lake Storage 2. Nesil depolama kapsayıcısında veya Cloudflare R2 demetinde depolamaya başvuran bir dış konum oluşturabilirsiniz.

Katalog Gezgini'ni, Databricks CLI'yı, not defterindeki SQL komutlarını veya Databricks SQL sorgusunu veya Terraform'u kullanarak bir dış konum oluşturabilirsiniz.

Not

Bir birim tanımladığınızda, birim yolu altındaki verilere bulut URI erişimi birimin izinleri tarafından yönetilir.

Başlamadan önce

Ön koşullar:

Azure Databricks'te dış konum nesnesini oluşturmadan önce, dış konum olarak kullanmak istediğiniz Azure Data Lake Storage 2. Nesil depolama kapsayıcısını veya Cloudflare R2 demetini oluşturmanız gerekir.

Dış konum olarak kullandığınız Azure Data Lake Storage 2. Nesil depolama hesaplarının hiyerarşik ad alanına sahip olması gerekir.
Azure Databricks'te tanımlanan ve bulut depolama konumu yoluna erişim sağlayan bir depolama kimlik bilgileriniz olmalıdır. Bkz. Azure Data Lake Storage 2. Nesil bağlanmak için depolama kimlik bilgisi oluşturma ve Cloudflare R2'ye bağlanmak için depolama kimlik bilgisi oluşturma.

İzin gereksinimleri:

Hem meta veri deposunda hem de dış konumda başvuruda bulunan depolama kimlik bilgileri üzerinde ayrıcalığınız olmalıdır CREATE EXTERNAL LOCATION . Meta veri deposu yöneticilerinin meta veri deposunda varsayılan olarak vardır CREATE EXTERNAL LOCATION .

Katalog Gezgini'ne kullanarak dış konum oluşturma

Katalog Gezgini'ne el ile dış konum oluşturabilirsiniz.

İzinler ve önkoşullar: Başlamadan önce bölümüne bakın.

Dış konumu oluşturmak için:

Meta veri deposuna bağlı bir çalışma alanında oturum açın.
Kenar çubuğunda Katalog'a tıklayın.
+ Ekle düğmesine tıklayın ve Dış konum ekle'yi seçin.
Bir Dış konum adı girin.
İsteğe bağlı olarak kapsayıcı yolunu mevcut bir bağlama noktasından kopyalayın (yalnızca kapsayıcılar Azure Data Lake Storage 2. Nesil).
Var olan bir bağlama noktasından kopyalamıyorsanız, dış konum olarak kullanmak istediğiniz depolama kapsayıcısını veya R2 demet yolunu girmek için URL alanını kullanın.

Örneğin, abfss://my-container-name@my-storage-account.dfs.core.windows.net/<path> veya r2://my-bucket@my-account-id.r2.cloudflarestorage.com/<path>.
Dış konuma erişim izni veren depolama kimlik bilgilerini seçin.
(İsteğe bağlı) Kullanıcıların dış konuma salt okunur erişimi olmasını istiyorsanız Gelişmiş Seçenekler'e tıklayın ve Salt okunur'a tıklayın. Daha fazla bilgi için bkz . Dış konumu salt okunur olarak işaretleme.
Oluştur’a tıklayın.
Dış konumu kullanma izni verin.

Herkesin dış konumu kullanması için izinler vermelisiniz:
- Dış konumu kullanarak meta veri deposuna, kataloğa veya şemaya yönetilen depolama konumu eklemek için ayrıcalık verin CREATE MANAGED LOCATION .
- Dış tablolar veya birimler oluşturmak için veya CREATE EXTERNAL VOLUMEverinCREATE EXTERNAL TABLE.
İzin vermek üzere Katalog Gezgini'ni kullanmak için:
1. Ayrıntılar bölmesini açmak için dış konum adına tıklayın.
2. İzinler sekmesinde Ver'e tıklayın.
3. Verme tarihi<external location>iletişim kutusunda, Sorumlular alanında kullanıcıları, grupları veya hizmet sorumlularını seçin ve vermek istediğiniz ayrıcalığı seçin.
4. Ver'e tıklayın.

SQL kullanarak dış konum oluşturma

SQL kullanarak dış konum oluşturmak için bir not defterinde veya SQL sorgu düzenleyicisinde aşağıdaki komutu çalıştırın. Yer tutucu değerlerini değiştirin.

İzinler ve önkoşullar: Başlamadan önce bölümüne bakın.

<location-name>: Dış konum için bir ad. location_name Kısa çizgi ()- gibi özel karakterler içeriyorsa, bunun arka uçlarla (` ` ) çevrelenmiş olması gerekir. Bkz. Adlar.
<bucket-path>: Bu dış konumun erişim iznini veren bulut kiracınızdaki yol. Örneğin, abfss://my-container-name@my-storage-account.dfs.core.windows.net/<path> veya r2://my-bucket@my-account-id.r2.cloudflarestorage.com/<path>.
<storage-credential-name>: Depolama kapsayıcısından veya demet yolundan okuma ve yazma yetkisi veren depolama kimlik bilgilerinin adı. Depolama kimlik bilgisi adı kısa çizgi ()- gibi özel karakterler içeriyorsa, arka çizgiler (` ` ile çevrelenmelidir).

CREATE EXTERNAL LOCATION [IF NOT EXISTS] `<location-name>`
URL '<bucket-path>'
WITH ([STORAGE] CREDENTIAL `<storage-credential-name>`)
[COMMENT '<comment-string>'];

Sonraki adımlar

Diğer kullanıcılara dış konumları kullanma izni verin. Bkz. Dış konumları yönetme.
Dış konumları kullanarak yönetilen depolama konumlarını tanımlayın. Bkz . Unity Kataloğu'nda yönetilen depolama konumu belirtme.
Dış konumları kullanarak dış tabloları tanımlayın. Bkz . Dış tablo oluşturma.
Dış konumları kullanarak dış birimleri tanımlayın. Bkz. Birimler oluşturma ve birimlerle çalışma.

Share via