Mengelola Azure Data Lake Analytics menggunakan Azure CLI

Penting

Azure Data Lake Analytics pensiun pada 29 Februari 2024. Pelajari lebih lanjut dengan pengumuman ini.

Untuk analitik data, organisasi Anda dapat menggunakan Azure Synapse Analytics atau Microsoft Fabric.

Pelajari cara mengelola akun, sumber data, pengguna, dan pekerjaan Data Lake Analytics menggunakan Azure CLI. Untuk melihat topik manajemen menggunakan alat lain, pilih tab pilih di atas.

Prasyarat

Sebelum memulai tutorial ini, Anda harus memiliki sumber daya berikut:

  • Langganan Azure. Lihat Mendapatkan uji coba gratis Azure.

  • Azure CLI. Lihat memasang dan mengonfigurasikan Azure CLI.

    • Unduh dan instal alat Azure CLIpra-rilis untuk menyelesaikan demo ini.
  • Autentikasi dengan menggunakan perintah az login dan pilih langganan yang ingin Anda gunakan. Untuk informasi selengkapnya tentang mengautentikasi menggunakan akun kerja atau sekolah, lihat Sambungkan ke langganan Azure dari Azure CLI.

    az login
    az account set --subscription <subscription id>
    

    Kini Anda dapat mengakses perintah Data Lake Analytics dan Data Lake Store. Jalankan perintah berikut untuk membuat daftar perintah Data Lake Store dan Data Lake Analytics:

    az dls -h
    az dla -h
    

Mengelola akun

Sebelum menjalankan pekerjaan Data Lake Analytics apa pun, Anda harus memiliki akun Data Lake Analytics. Tidak seperti Azure HDInsight, Anda tidak membayar akun Analytics saat tidak menjalankan pekerjaan. Anda hanya membayar waktu ketika menjalankan pekerjaan. Untuk informasi selengkapnya, lihat Ringkasan Data Lake Analytics.

Membuat akun

Jalankan perintah berikut untuk membuat akun Data Lake,

az dla account create --account "<Data Lake Analytics account name>" --location "<Location Name>" --resource-group "<Resource Group Name>" --default-data-lake-store "<Data Lake Store account name>"

Memperbarui akun

Perintah berikut memperbarui properti Akun Data Lake Analytics yang sudah ada

az dla account update --account "<Data Lake Analytics Account Name>" --firewall-state "Enabled" --query-store-retention 7

Membuat daftar akun

Membuat daftar akun Data Lake Analytics dalam grup sumber daya tertentu

az dla account list "<Resource group name>"

Mendapatkan detail akun

az dla account show --account "<Data Lake Analytics account name>" --resource-group "<Resource group name>"

Menghapus akun

az dla account delete --account "<Data Lake Analytics account name>" --resource-group "<Resource group name>"

Mengelola sumber data

Data Lake Analytics saat ini mendukung dua sumber data berikut:

Saat membuat akun Analytics, Anda harus menunjuk akun Penyimpanan Azure Data Lake Storage menjadi akun penyimpanan default. Akun penyimpanan default Data Lake digunakan untuk menyimpan metadata pekerjaan dan log audit pekerjaan. Setelah membuat akun Analytics, Anda dapat menambahkan akun Data Lake Storage dan/atau akun Azure Storage lainnya.

Menemukan akun default Data Lake Store

Anda dapat melihat akun default Data Lake Store yang digunakan dengan menjalankan perintah az dla account show. Nama akun default tercantum di bawah properti defaultDataLakeStoreAccount.

az dla account show --account "<Data Lake Analytics account name>"

Menambahkan akun penyimpanan Blob lainnya

az dla account blob-storage add --access-key "<Azure Storage Account Key>" --account "<Data Lake Analytics account name>" --storage-account-name "<Storage account name>"

Catatan

Hanya nama pendek penyimpanan Blob yang didukung. Jangan gunakan FQDN, misalnya "myblob.blob.core.windows.net".

Menambahkan akun Data Lake Store lainnya

Perintah berikut memperbarui akun Data Lake Analytics yang ditentukan dengan akun Data Lake Store lain:

az dla account data-lake-store add --account "<Data Lake Analytics account name>" --data-lake-store-account-name "<Data Lake Store account name>"

Memperbarui sumber data yang sudah ada

Untuk memperbarui kunci akun penyimpanan Blob yang sudah ada:

az dla account blob-storage update --access-key "<New Blob Storage Account Key>" --account "<Data Lake Analytics account name>" --storage-account-name "<Data Lake Store account name>"

Membuat daftar sumber data

Untuk membuat daftar akun Data Lake Store:

az dla account data-lake-store list --account "<Data Lake Analytics account name>"

Untuk membuat daftar akun penyimpanan Blob:

az dla account blob-storage list --account "<Data Lake Analytics account name>"

Cuplikan layar yang memperlihatkan Azure C L I dengan informasi

Menghapus sumber data

Untuk menghapus akun Data Lake Store:

az dla account data-lake-store delete --account "<Data Lake Analytics account name>" --data-lake-store-account-name "<Azure Data Lake Store account name>"

Untuk menghapus akun penyimpanan Blob:

az dla account blob-storage delete --account "<Data Lake Analytics account name>" --storage-account-name "<Data Lake Store account name>"

Mengelola pekerjaan

Anda harus memiliki akun Data Lake Analytics sebelum dapat membuat pekerjaan. Untuk informasi selengkapnya, lihat Mengelola akun Data Lake Analytics.

Membuat daftar pekerjaan

az dla job list --account "<Data Lake Analytics account name>"

Sumber data daftar Data Lake Analytics

Mendapatkan detail pekerjaan

az dla job show --account "<Data Lake Analytics account name>" --job-identity "<Job Id>"

Mengirimkan pekerjaan

Catatan

Prioritas default pekerjaan adalah 1000, dan tingkat paralelisme default untuk pekerjaan adalah 1.

az dla job submit --account "<Data Lake Analytics account name>" --job-name "<Name of your job>" --script "<Script to submit>"

Membatalkan pekerjaan

Gunakan perintah daftar untuk menemukan ID pekerjaan, lalu gunakan batal untuk membatalkan pekerjaan.

az dla job cancel --account "<Data Lake Analytics account name>" --job-identity "<Job Id>"

Alur dan pengulangan

Mendapatkan informasi tentang alur dan pengulangan

Gunakan perintah az dla job pipeline untuk melihat informasi alur untuk pekerjaan yang dikirim sebelumnya.

az dla job pipeline list --account "<Data Lake Analytics Account Name>"

az dla job pipeline show --account "<Data Lake Analytics Account Name>" --pipeline-identity "<Pipeline ID>"

Gunakan perintah az dla job recurrence untuk melihat informasi pengulangan untuk pekerjaan yang dikirimkan sebelumnya.

az dla job recurrence list --account "<Data Lake Analytics Account Name>"

az dla job recurrence show --account "<Data Lake Analytics Account Name>" --recurrence-identity "<Recurrence ID>"

Langkah berikutnya