Menyambungkan dan mengelola Snowflake di Microsoft Purview (Pratinjau)

Artikel
07/27/2022
8 menit untuk membaca

Artikel ini menguraikan cara mendaftarkan Snowflake, dan cara mengautentikasi dan berinteraksi dengan Snowflake di Microsoft Purview. Untuk informasi selengkapnya tentang Microsoft Purview, baca artikel pengantar.

Penting

Fitur ini sedang dalam Pratinjau. Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure mencakup ketentuan hukum yang berlaku untuk fitur Azure dalam versi beta, pratinjau, atau belum dirilis ke ketersediaan umum.

Kemampuan yang didukung

Ekstraksi Metadata	Pemindaian penuh	Pemindaian Inkremental	Pemindaian Tercakup	Klasifikasi	Kebijakan akses	Silsilah	Berbagi Data
Ya	Ya	Tidak	Ya	Tidak	Tidak	Ya	Tidak

Saat memindai sumber Snowflake, Microsoft Purview mendukung:

Mengekstrak metadata teknis termasuk:
- Server
- Database
- Schemas
- Tabel termasuk kolom, kunci asing, dan batasan unik
- Tampilan termasuk kolom
- Prosedur tersimpan termasuk himpunan data parameter dan tataan hasil
- Fungsi termasuk himpunan data parameter
- Alur
- Tahap
- Aliran termasuk kolom
- Tugas
- Urutan
Mengambil silsilah statis pada hubungan aset di antara tabel, tampilan, dan aliran.

Saat menyiapkan pemindaian, Anda dapat memilih untuk memindai satu atau beberapa database Snowflake sepenuhnya, atau mencakup pemindaian lebih lanjut ke subset skema yang cocok dengan nama atau pola nama yang diberikan.

Prasyarat

Akun Azure dengan langganan aktif. Buat akun gratis.
Akun Microsoft Purview aktif.
Anda memerlukan izin Administrator Sumber Data dan Pembaca Data untuk mendaftarkan sumber dan mengelolanya di portal tata kelola Microsoft Purview. Untuk informasi selengkapnya tentang izin, lihat Kontrol akses di Microsoft Purview.

Catatan

Jika penyimpanan data Anda tidak dapat diakses publik (jika penyimpanan data Anda membatasi akses dari jaringan lokal, jaringan privat, atau IP tertentu, dll.), Anda harus mengonfigurasi runtime integrasi yang dihost sendiri untuk menyambungkannya.

Jika penyimpanan data Anda tidak dapat diakses publik, siapkan runtime integrasi terbaru yang dihost sendiri. Untuk informasi selengkapnya, lihat membuat dan mengonfigurasi runtime integrasi yang dihost sendiri.
- Pastikan JDK 11 diinstal pada komputer tempat runtime integrasi yang dihost sendiri diinstal. Mulai ulang mesin setelah Anda baru menginstal JDK agar berlaku.
- Pastikan bahwa Visual C++ Redistributable for Visual Studio 2012 Update 4 telah dipasang pada mesin runtime integrasi yang dihost sendiri. Jika Anda tidak menginstal pembaruan ini, Anda dapat mengunduhnya di sini.

Izin yang diperlukan untuk pemindaian

Microsoft Purview mendukung autentikasi dasar (nama pengguna dan kata sandi) untuk memindai Snowflake. Peran default pengguna yang diberikan akan digunakan untuk melakukan pemindaian. Pengguna Snowflake harus memiliki hak penggunaan pada gudang dan database yang akan dipindai, dan membaca akses ke tabel sistem untuk mengakses metadata tingkat lanjut.

Berikut adalah contoh panduan untuk membuat pengguna khusus untuk pemindaian Microsoft Purview dan menyiapkan izin. Jika Anda memilih untuk menggunakan pengguna yang sudah ada, pastikan pengguna tersebut memiliki hak yang memadai untuk objek gudang dan database.

Siapkan purview_reader peran. Anda memerlukan hak ACCOUNTADMIN untuk melakukan ini.

USE ROLE ACCOUNTADMIN;

--create role to allow read only access - this will later be assigned to the Microsoft Purview user
CREATE OR REPLACE ROLE purview_reader;

--make sysadmin the parent role
GRANT ROLE purview_reader TO ROLE sysadmin;

Buat gudang untuk Microsoft Purview untuk menggunakan dan memberikan hak.

--create warehouse - account admin required
CREATE OR REPLACE WAREHOUSE purview_wh WITH 
    WAREHOUSE_SIZE = 'XSMALL' 
    WAREHOUSE_TYPE = 'STANDARD' 
    AUTO_SUSPEND = 300 
    AUTO_RESUME = TRUE 
    MIN_CLUSTER_COUNT = 1 
    MAX_CLUSTER_COUNT = 2 
    SCALING_POLICY = 'STANDARD';

--grant rights to the warehouse
GRANT USAGE ON WAREHOUSE purview_wh TO ROLE purview_reader;

Buat pengguna purview untuk pemindaian Microsoft Purview.

CREATE OR REPLACE USER purview 
    PASSWORD = '<password>'; 

--note the default role will be used during scan
ALTER USER purview SET DEFAULT_ROLE = purview_reader;

--add user to purview_reader role
GRANT ROLE purview_reader TO USER purview;

Memberikan hak pembaca ke objek database.

GRANT USAGE ON DATABASE <your_database_name> TO purview_reader;

--grant reader access to all the database structures that purview can currently scan
GRANT USAGE ON ALL SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON ALL FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON ALL PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON ALL TABLES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON ALL VIEWS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE, READ on ALL STAGES IN DATABASE <your_database_name> TO role purview_reader;

--grant reader access to any future objects that could be created
GRANT USAGE ON FUTURE SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON FUTURE FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON FUTURE PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON FUTURE TABLES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON FUTURE VIEWS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE, READ ON FUTURE STAGES IN DATABASE <your_database_name> TO role purview_reader;

Daftar

Bagian ini menjelaskan cara mendaftarkan Snowflake di Microsoft Purview menggunakan portal tata kelola Microsoft Purview.

Langkah-langkah untuk mendaftar

Untuk mendaftarkan sumber Snowflake baru di katalog data Anda, ikuti langkah-langkah berikut:

Buka akun Microsoft Purview Anda di portal tata kelola Microsoft Purview.
Pilih Peta Data pada navigasi sebelah kiri.
Pilih Daftar
Pada Daftarkan sumber, pilih Snowflake. Pilih Lanjutkan.

Pada layar Daftarkan sumber (Snowflake) , ikuti langkah-langkah berikut:

Masukkan Nama yang akan dicantumkan sumber data dalam Katalog.
Masukkan URL server yang digunakan untuk menyambungkan ke akun Snowflake dalam bentuk <account_identifier>.snowflakecomputing.com, misalnya, xy12345.east-us-2.azure.snowflakecomputing.com. Pelajari selengkapnya tentang pengidentifikasi akun Snowflake.
Pilih koleksi atau buat yang baru (Opsional)
Selesaikan untuk mendaftarkan sumber data.

Pindai

Ikuti langkah-langkah di bawah ini untuk memindai Snowflake untuk mengidentifikasi aset secara otomatis. Untuk informasi lebih lanjut tentang pemindaian secara umum, lihat pengantar untuk pemindaian dan penyerapan kami.

Autentikasi untuk pemindaian

Jenis autentikasi yang didukung untuk sumber Snowflake adalah Autentikasi dasar.

Membuat dan menjalankan pemindaian

Untuk membuat dan menjalankan pemindaian baru, ikuti langkah berikut:

Jika server Anda dapat diakses publik, lewati ke langkah kedua. Jika tidak, Anda harus memastikan runtime integrasi yang dihost sendiri dikonfigurasi:
1. Di portal tata kelola Microsoft Purview, buka Pusat Manajemen, dan pilih Runtime integrasi.
2. Pastikan runtime integrasi yang dihost sendiri tersedia. Jika belum disiapkan, gunakan langkah-langkah yang disebutkan di sini untuk menyiapkan runtime integrasi yang dihost sendiri.
Di portal tata kelola Microsoft Purview, navigasikan ke Sumber.
Pilih sumber Snowflake yang terdaftar.
Pilih + Pemindaian baru.
Berikan detail di bawah ini:
1. Nama: Nama pemindaian
2. Menyambungkan melalui runtime integrasi: Pilih runtime integrasi yang diselesaikan secara otomatis Azure jika server Anda dapat diakses secara publik, atau runtime integrasi yang dihost sendiri yang dikonfigurasi jika tidak tersedia untuk umum.
3. Info masuk: Pilih info masuk untuk menyambungkan ke sumber data Anda. Pastikan untuk:
  - Pilih Autentikasi Dasar saat membuat info masuk.
  - Berikan nama pengguna yang digunakan untuk menyambungkan ke Snowflake di bidang input Nama pengguna.
  - Simpan kata sandi pengguna yang digunakan untuk menyambungkan ke Snowflake di kunci rahasia.
4. Gudang: Tentukan nama instans gudang yang digunakan untuk memberdayakan pemindaian dalam huruf besar. Peran default yang ditetapkan kepada pengguna yang ditentukan dalam kredensial harus memiliki hak PENGGUNAAN pada gudang ini.
5. Database: Tentukan satu atau beberapa nama instans database untuk diimpor dalam huruf besar. Pisahkan nama dalam daftar dengan titik koma (;). Peran default yang ditetapkan untuk pengguna yang ditentukan dalam kredensial harus memiliki hak yang memadai pada objek database.
6. Skema: Membuat daftar subset skema untuk diimpor yang dinyatakan sebagai daftar terpisah titik koma. Contohnya:schema1; schema2 Semua skema pengguna diimpor jika daftar tersebut kosong. Semua skema dan objek sistem diabaikan secara default.
  
  Pola nama skema yang dapat diterima menggunakan sintaks ekspresi SQL LIKE termasuk menggunakan %, misalnya A%; %B; %C%; D Misalnya: A%; %B; %C%; D:
  - mulai dengan A atau
  - Akhiri dengan B atau
  - Berisi C atau
  - Sama dengan D
  Penggunaan NOT dan karakter khusus tidak dapat diterima.
7. Memori maksimum yang tersedia (berlaku saat menggunakan runtime integrasi yang dihost sendiri): Memori maksimum (dalam GB) yang tersedia di VM pelanggan untuk digunakan dengan proses pemindaian. Ini tergantung pada ukuran sumber Snowflake yang akan dipindai.
  
  Catatan
  
  Sebagai aturan praktis, berikan memori 1GB untuk setiap 1000 tabel.
Pilih Lanjutkan.
Pilih pemicu pemindaian Anda. Anda dapat menyiapkan jadwal atau menjalankan pemindaian sekali.
Tinjau pindaian Anda lalu pilih Simpan dan Jalankan.

Menampilkan pemindaian Anda dan pemindaian yang sedang berjalan

Untuk melihat pindaian yang ada, lakukan hal berikut:

Buka portal tata kelola Microsoft Purview. Pilih tab Peta Data di bawah panel kiri.
Pilih sumber data yang diinginkan. Anda akan melihat daftar pemindaian yang ada di sumber data tersebut di bawah Pemindaian terbaru, atau dapat melihat semua pemindaian di bawah tab Pemindaian.
Pilih pemindaian yang memiliki hasil yang ingin Anda lihat.
Halaman ini akan menunjukkan kepada Anda semua eksekusi pemindaian sebelumnya beserta status dan metrik untuk setiap eksekusi pemindaian. Ini juga akan menampilkan apakah pemindaian Anda dijadwalkan atau manual, berapa banyak aset yang memiliki klasifikasi yang diterapkan, berapa banyak total aset yang ditemukan, waktu mulai dan akhir pemindaian, dan total durasi pemindaian.

Kelola pemindaian Anda - edit, hapus, atau batalkan

Untuk mengelola atau menghapus pemindaian, lakukan hal berikut:

Buka portal tata kelola Microsoft Purview. Pilih tab Peta Data di bawah panel kiri.
Pilih sumber data yang diinginkan. Anda akan melihat daftar pemindaian yang ada di sumber data tersebut di bawah Pemindaian terbaru, atau dapat melihat semua pemindaian di bawah tab Pemindaian.
Pilih pemindaian yang ingin Anda kelola. Anda dapat mengedit pemindaian dengan memilih Edit pemindaian.
Anda dapat membatalkan pemindaian yang sedang berlangsung dengan memilih Batalkan eksekusi pemindaian.
Anda dapat menghapus pemindaian dengan memilih Hapus pemindaian.

Catatan

Menghapus pemindaian Anda tidak menghapus katalog aset Anda dari pemindaian sebelumnya.
Aset tidak akan lagi diperbarui dengan perubahan skema jika tabel sumber Anda telah berubah dan Anda memindai ulang tabel sumber setelah mengedit deskripsi di tab skema Microsoft Purview.

Silsilah

Setelah memindai sumber Snowflake, Anda dapat menelusuri katalog data atau katalog data pencarian untuk melihat detail aset.

Buka tab aset -> silsilah data, Anda dapat melihat hubungan aset saat berlaku. Lihat bagian kemampuan yang didukung pada skenario silsilah Snowflake yang didukung. Untuk informasi selengkapnya tentang silsilah data secara umum, lihat silsilah data dan panduan pengguna silsilah data.

Tampilan silsilah snowflake

Catatan

Jika tampilan dibuat oleh tabel dari database yang berbeda, pindai semua database secara bersamaan menggunakan nama di titik koma (;) Daftar.

Tips Pemecahan Masalah

Periksa pengidentifikasi akun Anda di langkah pendaftaran sumber. Jangan sertakan https:// bagian di depan.
Pastikan nama gudang dan nama database berada dalam huruf besar pada halaman penyiapan pemindaian.
Periksa brankas kunci Anda. Pastikan tidak ada kesalahan ketik dalam kata sandi.
Periksa kredensial yang Anda siapkan di Microsoft Purview. Pengguna yang Anda tentukan harus memiliki peran default dengan hak akses yang diperlukan ke gudang dan database yang ingin Anda pindai. Lihat Izin yang diperlukan untuk pemindaian. GUNAKAN DESCRIBE USER; untuk memverifikasi peran default pengguna yang telah Anda tentukan untuk Microsoft Purview.
Gunakan Riwayat Kueri di Snowflake untuk melihat apakah ada aktivitas yang datang.
- Jika ada masalah dengan pengidentifikasi akun atau kata sandi, Anda tidak akan melihat aktivitas apa pun.
- Jika ada masalah dengan peran default, Anda setidaknya harus melihat USE WAREHOUSE . . . pernyataan.
- Anda dapat menggunakan fungsi tabel QUERY_HISTORY_BY_USER untuk mengidentifikasi peran apa yang digunakan oleh koneksi. Menyiapkan pengguna Microsoft Purview khusus akan mempermudah pemecahan masalah.

Langkah berikutnya

Sekarang setelah Anda mendaftarkan sumber, ikuti panduan di bawah ini untuk mempelajari selengkapnya tentang Microsoft Purview dan data Anda.