Share via


Azure 機器學習作為雲端規模分析的資料產品

Azure 機器學習是一個整合式平臺,可從頭到尾管理機器學習生命週期,包括協助建立、作業和取用機器學習模型和工作流程。 服務的一些優點包括:

  • 功能可支援建立者藉由協助他們管理實驗、存取資料、追蹤作業、微調超參數,以及自動化工作流程,來提升其生產力。

  • 要說明、重現、稽核及與 DevOps 整合的模型容量,加上豐富的安全性控制模型,可支援操作員以符合治理和合規性需求。

  • 受控推斷功能和與 Azure 計算和資料服務的強固整合,有助於簡化服務的取用方式。

Azure 機器學習涵蓋資料科學生命週期的所有層面。 它涵蓋模型部署的資料存放區和資料集註冊。 它可用於任何類型的機器學習,從傳統機器學習到深度學習。 它包括受監督和不受監督的學習。 無論您偏好撰寫 Python、R 程式碼,還是使用零程式碼或低程式碼選項,例如設計工具,都可以在 Azure 機器學習 工作區中建置、定型和追蹤精確的機器學習和深度學習模型。

Azure 機器學習、Azure 平臺和 Azure AI 服務可以一起運作,以管理機器學習生命週期。 機器學習從業者可以使用 Azure Synapse Analytics、Azure SQL 資料庫或 Microsoft Power BI,開始分析資料並轉換至 Azure 機器學習,以建立原型、管理實驗和作業化。 在 Azure 登陸區域中,Azure 機器學習可視為 資料產品

雲端規模分析中的 Azure 機器學習

雲端採用架構 (CAF) 登陸區域基礎、雲端規模分析資料登陸區域,以及 Azure 機器學習使用預先設定的環境來設定機器學習專業人員,讓他們可以重複部署新的機器學習工作負載或移轉現有的工作負載。 這些功能可協助機器學習專業人員獲得更靈活度和價值的時間。

下列設計原則可引導 Azure 機器學習 Azure 登陸區域的實作:

  • 加速資料存取: 將登陸區域儲存體元件預先設定為 Azure 機器學習 工作區中的資料存放區。

  • 已啟用共同作業: 依專案組織工作區,並集中存取管理登陸區域資源,以支援資料工程、資料科學和機器學習專業人員共同作業。

  • 安全實作: 作為每個部署的預設值,請遵循最佳做法,並使用網路隔離、身分識別和存取管理來保護資料資產。

  • 自助: 機器學習專業人員可以藉由探索部署新專案資源的選項,獲得更靈活度和組織。

  • 資料管理與資料耗用量之間的考慮區隔: 身分識別傳遞是 Azure 機器學習和儲存體的預設驗證類型。

  • 更快速的資料應用程式(來源對齊): Azure Data Factory、Azure Synapse Analytics 和 Databricks 登陸區域可以預先設定為連結至 Azure 機器學習。

  • 可檢視性: 集中記錄和參考組態有助於監視環境。

實作概觀

注意

本節建議雲端規模分析特有的設定。 其可補充 Azure 機器學習 檔和雲端採用架構最佳做法。

工作區組織和設定

您可以部署工作負載所需的機器學習工作區數目,以及您部署的每個登陸區域。 下列建議可協助您的設定:

  • 每個專案至少部署一個機器學習工作區。

  • 根據您的機器學習專案的生命週期,將一個開發(開發)工作區部署到原型使用案例,並儘早探索資料。 針對需要持續實驗、測試和部署的工作,請部署預備和生產工作區。

  • 當資料登陸區域中開發、預備和生產工作區需要多個環境時,建議您避免資料重複,方法是讓每個環境都登陸相同的生產資料登陸區域。

  • 若要深入瞭解如何組織和設定 Azure 機器學習 資源,請參閱 組織和設定 Azure 機器學習 環境

針對資料登陸區域中的每個預設資源組態,Azure 機器學習服務會部署在具有下列設定和相依資源的專用資源群組中:

  • Azure Key Vault
  • Application Insights
  • Azure Container Registry
  • 使用 Azure 機器學習連線到Azure 儲存體帳戶和 Microsoft Entra 身分識別型驗證,以協助使用者連線到帳戶。
  • 系統會為每個工作區設定診斷記錄,並設定為企業級的中央 Log Analytics 資源;這可協助 Azure 機器學習工作健康情況和資源狀態,以集中分析登陸區域內和跨登陸區域。
  • 若要深入瞭解 Azure 機器學習資源和相依性, 請參閱 什麼是 Azure 機器學習 工作區?

與資料登陸區域核心服務整合

資料登陸區域隨附一組預設服務,這些服務部署在 核心服務層 中。 在資料登陸區域中部署 Azure 機器學習時,可以設定這些核心服務。

  • 連線 Azure Synapse Analytics 或 Databricks 工作區做為連結服務,以整合資料和處理巨量資料。

  • 根據預設,資料湖服務會布建在資料登陸區域中,而 Azure 機器學習產品部署會隨附預先設定至這些儲存體帳戶的連線(資料存放區)。

Overview of data product analytics for Azure Machine Learning.

網路連線

在 Azure 登陸區域中實作 Azure 機器學習的網路功能是使用 Azure 機器學習 和 CAF 網路最佳做法的安全性最佳做法 所設定 。 這些最佳做法包括下列設定:

  • Azure 機器學習和相依資源已設定為使用 Private Link 端點。
  • 受控計算資源只會使用私人 IP 位址進行部署。
  • Azure 機器學習公用基底映射存放庫和 Azure Artifacts 等合作夥伴服務的網路連線能力可以在網路層級設定。

身分識別與存取管理

請考慮使用 Azure 機器學習管理使用者身分識別和存取權的下列建議:

  • Azure 機器學習中的資料存放區可以設定為使用認證或身分識別型驗證。 當您在 Azure Data Lake 儲存體 Gen2 中使用 存取控制和資料湖組態時,請將資料存放區設定為使用身分識別型驗證;這可讓 Azure 機器學習優化儲存體的使用者存取權限。

  • 使用 Microsoft Entra 群組來管理儲存體和機器學習資源的使用者許可權。

  • Azure 機器學習可以使用 使用者指派的受控識別進行存取控制 ,並限制 Azure Container Registry、金鑰保存庫、Azure 儲存體 和 Application Insights 的存取範圍。

  • 將使用者指派的受控識別建立至在 Azure 機器學習中建立的受控計算叢集。

透過自助布建基礎結構

您可以使用 Azure 機器學習 的原則來啟用及控管 自助式。 下表列出一組部署 Azure 機器學習時的預設原則。 如需詳細資訊,請參閱 Azure 原則 Azure 機器學習 的內建原則定義。

原則 類型 參考
Azure 機器學習工作區應該使用 Azure Private Link。 內建 檢視Azure 入口網站
Azure 機器學習工作區應該使用使用者指派的受控識別。 內建 檢視Azure 入口網站
[預覽]:為指定的 Azure 機器學習計算設定允許的登錄。 內建 檢視Azure 入口網站
使用私人端點設定 Azure 機器學習工作區。 內建 檢視Azure 入口網站
設定機器學習計算以停用本機驗證方法。 內建 檢視Azure 入口網站
Append-machinelearningcompute-setupscriptscreationscript 自訂 (CAF 登陸區域) 在 GitHub 上檢視
Deny-machinelearning-hbiworkspace 自訂 (CAF 登陸區域) 在 GitHub 上檢視
Deny-machinelearning-publicaccesswhenbehindvnet 自訂 (CAF 登陸區域) 在 GitHub 上檢視
Deny-machinelearning-AKS 自訂 (CAF 登陸區域) 在 GitHub 上檢視
Deny-machinelearningcompute-subnetid 自訂 (CAF 登陸區域) 在 GitHub 上檢視
Deny-machinelearningcompute-vmsize 自訂 (CAF 登陸區域) 在 GitHub 上檢視
Deny-machinelearningcomputecluster-remoteloginportpublicaccess 自訂 (CAF 登陸區域) 在 GitHub 上檢視
Deny-machinelearningcomputecluster-scale 自訂 (CAF 登陸區域) 在 GitHub 上檢視

管理環境的建議

雲端規模分析資料登陸區域概述可重複部署的參考實作,可協助您設定可管理且可控管的環境。 請考慮使用 Azure 機器學習來管理環境的建議:

  • 使用 Microsoft Entra 群組來管理機器學習資源的存取權。

  • 發佈中央監視儀表板,以監視機器學習的管線健康情況、計算使用率和配額管理。

  • 如果您傳統上使用內建的 Azure 原則,且需要符合其他合規性需求,請建置自訂 Azure 原則來增強治理和自助。

  • 若要追蹤研發成本,請在探索使用案例的早期階段,將登陸區域中的一個機器學習工作區部署為共用資源。

重要

使用 Azure 機器學習叢集進行生產等級模型定型,並使用 Azure Kubernetes Service (AKS) 進行生產等級部署。

提示

針對資料科學專案使用 Azure 機器學習。 其涵蓋具有子服務和功能的端對端工作流程,並允許完全自動化程式。

下一步

使用資料產品分析 範本和指引來部署 Azure 機器學習,並參考 Azure 機器學習 檔和教學課程 ,以開始建置您的解決方案。

請繼續下列四篇雲端採用架構文章,以深入瞭解適用于企業的 Azure 機器學習部署和管理最佳做法:

  • 組織和設定 Azure 機器學習環境 :規劃 Azure 機器學習部署時,小組結構、環境或資源的地理位置如何影響工作區的設定方式?

  • Azure 機器學習企業安全性 的最佳做法:瞭解如何使用 Azure 機器學習保護您的環境和資源。

  • 在組織規模 管理 Azure 機器學習的預算、成本和配額:組織在管理 Azure 機器學習所產生的工作負載、小組和使用者計算成本時,面臨許多管理和優化挑戰。

  • 機器學習 DevOps 指南 :機器學習 DevOps 是一項組織變更,其依賴人員、程式和技術的組合,以強固、可調整、可靠且自動化的方式提供機器學習解決方案。 本指南摘要說明企業使用 Azure 機器學習採用機器學習 DevOps 的最佳做法和資訊。