建立共用的資料科學虛擬機器集區

在本文中,您將了解如何為小組建立資料科學虛擬機器 (DSVM) 的共用集區。 使用共用集區提供重要優點:

  • 提升資源使用率
  • 更容易共用和共同作業
  • 更有效率地管理 DSVM 資源

您可以使用許多方法和技術來建立 DSVM 集區。 本文著重於互動式虛擬機器 (VM) 的集區。 替代的受控計算基礎結構牽涉到 Azure 機器學習 Compute。 如需詳細資訊,請流覽 建立計算叢集

互動式虛擬機器集區

由整個 AI/數據科學小組共用的互動式 VM 集區,為使用者提供登入可用 DSVM 實例的方式,而不是讓每個使用者擁有專用實例。 此方法提供更佳的可用性和更有效率的資源使用率。

使用 Azure 虛擬機擴展集 技術來建立互動式 VM 集區。 使用擴展集來建立和管理相同、負載平衡和自動調整 VM 的群組。

使用者登入主要集區的IP或 DNS 位址。 擴展集會自動將工作階段路由傳送至擴展集內的可用 DSVM。 因為使用者想要一致且熟悉的環境,無論他們登入的 VM 為何,擴展集中的所有 VM 實例都會掛接共用網路驅動器機。 這類似於 Azure 檔案儲存體 共用或網路檔案系統 (NFS) 共用。 用戶的共用工作區通常會保留在每個實例上掛接的共用檔案存放區上。

您可以在 GitHub 上找到使用 Ubuntu DSVM 執行個體建立擴展集的 Azure Resource Manager 範本範例。 相同的位置會裝載 Azure Resource Manager 範本的參數檔案範例

指定 Azure CLI 中參數檔案的值,以從 Azure Resource Manager 範本建立擴展集:

az group create --name [[NAME OF RESOURCE GROUP]] --location [[ Data center. For eg: "West US 2"]
az deployment group create --resource-group  [[NAME OF RESOURCE GROUP ABOVE]]  --template-uri https://raw.githubusercontent.com/Azure/DataScienceVM/master/Scripts/CreateDSVM/Ubuntu/dsvm-vmss-cluster.json --parameters @[[PARAMETER JSON FILE]]

這些命令假設您有:

  • 參數檔案的複本,其中包含為擴展集實例指定的值
  • VM 實例數目
  • Azure 檔案儲存體 共用的指標
  • 將在每個 VM 上掛接之記憶體帳戶的認證

命令會在本機參考參數檔案。 您也可以在文稿中內嵌傳遞參數,或提示輸入參數。

上述範本可在前端擴展集到後端 Ubuntu DSVM 集區之間實現 SSH 和 Jupyterhub 連接埠。 身為使用者,您會以正常方式登入安全殼層 (SSH) 或 JupyterHub 上的 VM。 因為 VM 執行個體可以動態擴大或縮小,所以任何狀態都必須儲存在掛接的 Azure 檔案儲存體共用中。 您可以使用相同的方法來建立 Windows DSVM 集區。

在 GitHub 的 Azure DataScienceVM 存放庫中也可取得可掛接 Azure 檔案服務共用的指令碼。 此指令碼會在參數檔案中指定的掛接點掛接 Azure 檔案服務共用。 此指令碼也會在初始使用者的主目錄中建立所掛接磁碟機的軟式連結。 Azure 檔案儲存體 共用中的使用者特定筆記本目錄會以軟連結方式$HOME/notebooks/remote連結到目錄,讓使用者可以存取、執行及儲存其 Jupyter 筆記本。 當您在 VM 上建立更多使用者時,可以使用相同的慣例,將每個使用者的 Jupyter 工作區指向 Azure 檔案儲存體 共用。

虛擬機器擴展集支援自動調整。 您可以設定有關何時建立更多實例和何時相應減少實例的規則。 例如,當 VM 完全未使用時,您可以縮減為零個實例,以節省雲端硬體使用量成本。 虛擬機擴展集檔頁面提供自動調整的詳細步驟

下一步