Membuat kredensial penyimpanan untuk menyambungkan ke Cloudflare R2

Penting

Fitur ini ada di Pratinjau Publik.

Artikel ini menjelaskan cara membuat kredensial penyimpanan di Unity Catalog untuk menyambungkan ke Cloudflare R2. Penyimpanan objek Cloudflare R2 tidak dikenakan biaya keluar. Mereplikasi atau memigrasikan data yang Anda bagikan ke R2 memungkinkan Anda berbagi data di seluruh cloud dan wilayah tanpa dikenakan biaya keluar.

Catatan

Unity Catalog mendukung dua opsi penyimpanan cloud untuk Azure Databricks: kontainer Azure Data Lake Storage Gen2 dan wadah Cloudflare R2. Cloudflare R2 ditujukan terutama untuk kasus penggunaan Berbagi Delta di mana Anda ingin menghindari biaya keluar data penyedia cloud. Azure Data Lake Storage Gen2 sesuai untuk sebagian besar kasus penggunaan lainnya. Lihat Memantau dan mengelola biaya keluar Berbagi Delta (untuk penyedia) dan Membuat kredensial penyimpanan untuk menyambungkan ke Azure Data Lake Storage Gen2.

Untuk menggunakan wadah R2 sebagai lokasi penyimpanan untuk data yang dikelola oleh Katalog Unity, Anda harus membuat kredensial penyimpanan yang mengotorisasi akses ke wadah R2 dan membuat lokasi eksternal yang mereferensikan kredensial penyimpanan dan jalur wadah:

• Kredensial penyimpanan merangkum kredensial cloud jangka panjang yang menyediakan akses pada penyimpanan cloud.
• Lokasi eksternal berisi referensi pada kredensial penyimpanan dan jalur penyimpanan cloud.

Artikel ini berfokus pada pembuatan kredensial penyimpanan.

Untuk informasi selengkapnya, lihat Koneksi ke penyimpanan objek cloud menggunakan Katalog Unity.

Persyaratan

• Ruang kerja Databricks diaktifkan untuk Unity Catalog.

• Databricks Runtime 14.3 atau lebih tinggi, atau gudang SQL 2024.15 atau lebih tinggi.

  Jika Anda menemukan pesan No FileSystem for scheme "r2”kesalahan , komputasi Anda mungkin berada pada versi yang tidak didukung.

• Akun Cloudflare. Lihat https://dash.cloudflare.com/sign-up.

• Peran Admin Cloudflare R2. Lihat dokumentasi peran Cloudflare.

• CREATE STORAGE CREDENTIAL hak istimewa pada metastore Unity Catalog yang dilampirkan ke ruang kerja. Admin akun dan admin metastore memiliki hak istimewa ini secara default.

Mengonfigurasi wadah R2

1. Buat wadah Cloudflare R2.

   Anda dapat menggunakan dasbor Cloudflare atau alat Cloudflare Wrangler.

   Lihat dokumentasi "Memulai" Cloudflare R2 atau dokumentasi Wrangler.

2. Buat Token API R2 dan terapkan ke wadah.

   Lihat dokumentasi autentikasi Cloudflare R2 API.

   Atur properti token berikut:

   • Izin: Baca Objek & Tulis.

     Izin ini memberikan akses baca dan tulis, yang diperlukan saat Anda menggunakan penyimpanan R2 sebagai target replikasi, seperti yang dijelaskan dalam Menggunakan replika Cloudflare R2 atau memigrasikan penyimpanan ke R2.

     Jika Anda ingin menerapkan akses baca-saja dari Azure Databricks ke wadah R2, Anda dapat membuat token yang hanya memberikan akses baca. Namun, ini mungkin tidak perlu, karena Anda dapat menandai kredensial penyimpanan sebagai baca-saja, dan akses tulis apa pun yang diberikan oleh izin ini akan diabaikan.

   • (Opsional) TTL: Lamanya waktu yang Anda inginkan untuk berbagi data wadah dengan penerima data.

   • (Opsional) Pemfilteran Alamat IP Klien: Pilih jika Anda ingin membatasi akses jaringan ke alamat IP penerima yang ditentukan. Jika opsi ini diaktifkan, Anda harus menentukan alamat IP penerima dan Anda harus mengizinkan daftar alamat IP NAT sarana kontrol Databricks untuk wilayah ruang kerja.

   Lihat Alamat sarana kontrol Azure Databricks.

3. Salin nilai token API R2:

   • ID Kunci Akses
   • Kunci Akses Rahasia

   Penting

   Nilai token hanya ditampilkan sekali.

4. Di beranda R2, buka Detail akun dan salin ID akun R2.

Membuat kredensial penyimpanan

1. Di Azure Databricks, masuk ke ruang kerja Anda.

2. Klik Katalog.

3. Klik tombol +Tambahkan dan pilih Tambahkan kredensial penyimpanan dari menu.

   Opsi ini tidak muncul jika Anda tidak memiliki CREATE STORAGE CREDENTIAL hak istimewa.

4. Pilih JenisKredensial Token API Cloudflare.

5. Masukkan nama untuk kredensial dan nilai berikut yang Anda salin saat mengonfigurasi wadah R2:

   • ID Akun
   • ID kunci akses
   • Kunci akses rahasia

6. (Opsional) Jika Anda ingin pengguna memiliki akses baca-saja ke lokasi eksternal yang menggunakan kredensial penyimpanan ini, di Opsi tingkat lanjut pilih Baca saja.

   Jangan pilih opsi ini jika Anda ingin menggunakan kredensial penyimpanan untuk mengakses penyimpanan R2 yang Anda gunakan sebagai target replikasi, seperti yang dijelaskan dalam Menggunakan replika Cloudflare R2 atau memigrasikan penyimpanan ke R2.

   Untuk informasi selengkapnya, lihat Menandai kredensial penyimpanan sebagai baca-saja.

7. Klik Buat.

8. Dalam dialog Kredensial penyimpanan yang dibuat, salin ID Eksternal.

9. (Opsional) Ikat kredensial penyimpanan ke ruang kerja tertentu.

   Secara default, kredensial penyimpanan dapat digunakan oleh pengguna istimewa apa pun di ruang kerja apa pun yang dilampirkan ke metastore. Jika Anda ingin mengizinkan akses hanya dari ruang kerja tertentu, buka tab Ruang Kerja dan tetapkan ruang kerja. Lihat (Opsional) Menetapkan kredensial penyimpanan ke ruang kerja tertentu.

Langkah berikutnya: buat lokasi eksternal

Lihat Membuat lokasi eksternal untuk menyambungkan penyimpanan cloud ke Azure Databricks.