Mengotomatiskan proses manajemen pustaka melalui cmdlet Azure PowerShell dan REST API

  • Artikel

Anda mungkin ingin mengelola pustaka untuk kumpulan Apache Spark tanpa server tanpa masuk ke halaman antarmuka pengguna Synapse Analytics. Misalnya, Anda mungkin menemukan bahwa:

  • Anda mengembangkan paket kustom dan ingin mengunggahnya ke ruang kerja serta menggunakannya di kumpulan Spark. Dan Anda ingin menyelesaikan langkah-langkah pada alat lokal Anda tanpa mengunjungi antarmuka pengguna manajemen paket.
  • Anda memperbarui paket Anda melalui proses CI/CD

Dalam artikel ini, kami akan memberikan panduan umum untuk membantu Anda mengelola pustaka melalui cmdlet Azure PowerShell atau REST API.

Mengelola paket melalui cmdlet Azure PowerShell

Menambahkan pustaka baru

  1. Perintah New-AzSynapseWorkspacePackage dapat digunakan untuk mengunggah pustaka baru ke ruang kerja.

    New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"

  2. Kombinasi perintah New-AzSynapseWorkspacePackage dan Update-AzSynapseSparkPool dapat digunakan untuk mengunggah pustaka baru ke ruang kerja dan melampirkan pustaka ke kumpulan Spark.

    $package = New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $package

  3. Jika Anda ingin melampirkan pustaka ruang kerja yang ada ke kumpulan Spark Anda, silakan lihat kombinasi perintah Get-AzSynapseWorkspacePackage dan Update-AzSynapseSparkPool.

    $packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Menghapus pustaka

  1. Untuk menghapus paket terinstal dari kumpulan Spark Anda, silakan lihat kombinasi perintah Get-AzSynapseWorkspacePackage dan Update-AzSynapseSparkPool.

    $package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

  2. Anda juga dapat mengambil kumpulan Spark dan menghapus semua pustaka ruang kerja terlampir dari kumpulan dengan memanggil perintah Get-AzSynapseSparkPool dan Update-AzSynapseSparkPool.

    $pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Untuk kemampuan cmdlet Azure PowerShell lainnya, lihat cmdlet Azure PowerShell untuk Azure Synapse Analytics.

Mengelola paket melalui REST API

Mengelola paket ruang kerja

Dengan kemampuan REST API, Anda dapat menambahkan/menghapus paket atau mencantumkan semua file yang diunggah dari ruang kerja Anda. Lihat API yang didukung penuh, silakan lihat Ringkasan API pustaka ruang kerja.

Mengelola paket kumpulan Spark

Anda dapat memanfaatkan REST API kumpulan Spark untuk melampirkan atau menghapus pustaka sumber terbuka atau kustom ke kumpulan Spark Anda.

  1. Untuk pustaka kustom, tentukan daftar file kustom sebagai properti customLibraries dalam isi permintaan.

    "customLibraries": [
    {
        "name": "samplejartestfile.jar",
        "path": "<workspace-name>/libraries/<jar-name>.jar",
        "containerName": "prep",
        "uploadedTimestamp": "1970-01-01T00:00:00Z",
        "type": "jar"
    }
]

  2. Anda juga dapat memperbarui pustaka kumpulan Spark dengan menentukan properti libraryRequirements di isi permintaan.

    "libraryRequirements": {
      "content": "",
      "filename": "requirements.txt"
}

Langkah berikutnya