模型目錄和集合
Azure Machine Learning 工作室 中的模型目錄是用來探索和使用各種模型，可讓您建置 Generative AI 應用程式的中樞。 模型類別目錄包含來自模型提供者的數百個模型，例如 Azure OpenAI 服務、Mistral、Meta、Cohere、Nvidia、Hugging Face，包括 Microsoft 定型的模型。 來自 Microsoft 以外提供者的模型是非 Microsoft 產品，如 Microsoft 的產品條款所定義，並受模型提供的條款規範。
模型集合
模型是由模型目錄中的集合所組織。 模型目錄中有三種集合類型：
- 由 Azure AI 策展的模型：最熱門的第三方開放式加權和專利模型，已經過封裝和最佳化，可在 Azure AI 平台上順暢地運作。 這些模型之使用受模型提供者為模型所提供的授權條款規範。 在 Azure 機器學習中部署時，模型的可用性受限於適用的 Azure SLA，而 Microsoft 則提供部署問題的支援。 來自 Meta、NVIDIA、Mistral AI 等合作夥伴的模型即為目錄上「由 Azure AI 策展」集合中可用模型的範例。 這些模型可以透過目錄中模型圖格上的綠色核取記號來識別，也可以依「由 Azure AI 策展」集合進行篩選。
- Azure 上獨家提供的 Azure OpenAI 模型：透過與 Azure OpenAI 服務整合的 'Azure OpenAI' 集合存取旗艦 Azure OpenAI 模型。 Microsoft 支援這些模型，其使用受產品條款及 Azure OpenAI 服務的 SLA 規範。
- 來自 Hugging Face Hub 的開放式模型: 透過 'Hugging Face' 集合存取來自 Hugging Face Hub 的數百個模型，以便透過線上端點即時推斷。 Hugging Face 會建立並維護 Hugging Face 集合中列出的模型。 使用 HuggingFace 論壇或 HuggingFace 支援來取得協助。 深入了解如何從 Hugging Face 部署模型。
建議加入模型目錄：您可以使用此窗體提交要求，將模型新增至模型目錄。
模型目錄功能概觀
如需 Azure OpenAI 模型的資訊，請參閱 Azure OpenAI 服務。
針對由 Azure AI 和 Open 模型從擁抱臉部中樞策劃的模型，其中有些可以使用受控計算選項進行部署，其中有些可使用無伺服器 API 搭配隨用隨付計費進行部署。 您可以探索、比較、評估、微調 (如有支援) 這些模型，並大規模部署並整合到具有企業級安全性和資料控管功能的生成式 AI 應用程式。
- 探索：檢閱模型卡片、嘗試範例推斷及瀏覽程式碼範例，以評估、微調或部署模型。
- 比較：比較產業中可用模型和資料集的基準，以評估哪一個符合您的商務案例。
- 評估：提供自己的測試資料，評估模型是否適合您的特定工作負載。 評估計量可讓您輕鬆地將所選模型在案例中執行的效能視覺化。
- 微調: 使用您自己的定型資料來自訂可微調的模型，並透過比較所有微調作業的計量來選出最佳模型。 內建最佳化可加速微調，並減少微調所需的記憶體和計算。
- 部署: 順暢地部署預先定型的模型或經過微調的模型以進行推斷。 也可以下載可部署到受控計算的模型。
模型部署：受控計算和無伺服器 API（隨用隨付）
模型目錄提供兩種不同的方式，從目錄部署模型以供使用：受控計算和無伺服器 API。 每個模型可用的部署選項會有所不同。您可以在下表中深入了解部署選項的功能，以及特定模型可用的選項。 深入了解部署選項的資料處理。
| 功能 | 受控計算 | 無伺服器 API （隨用隨付） |
|---|---|---|
| 部署體驗和計費 | 模型權數會部署至具有受控在線端點的專用 虛擬機器。 受控線上端點 (可以有一或多個部署) 會提供 REST API 以進行推斷。 您將針對部署所使用的虛擬機器核心時數支付費用。 | 透過部署存取模型，這會佈建一個 API 來存取模型。 該 API 可讓您存取 Microsoft 所管理中央 GPU 集區內裝載的模型以進行推斷。 這種存取模式稱為「模型即服務」。 您將針對 API (通常是在權杖中) 的輸入和輸出支付費用；在您部署之前，會提供定價資訊。 |
| API 驗證 | 金鑰和 Microsoft Entra ID 驗證。 深入了解。 | 僅限金鑰。 |
| 內容安全性 | 使用 Azure 內容安全服務 API。 | 提供與推斷 API 整合的 Azure AI 內容安全篩選。 Azure AI 內容安全篩選可能會個別計費。 |
| 網路隔離 | 具有線上端點的受控虛擬網路。 深入了解。 |
部署選項
| 模型 | 受控計算 | 無伺服器 API （隨用隨付） |
|---|---|---|
| Llama 系列模型 | Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Mistral 系列模型 | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large Mistral-small |
| Cohere 系列模型 | 無法使用 | Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
| JAIS | 無法使用 | jais-30b-chat |
| Phi3 系列車型 | Phi-3-small-128k-指示 Phi-3-small-8k-指示 Phi-3-mini-4k-指示 Phi-3-mini-128k-指示 Phi3-medium-128k-指示 Phi3-medium-4k-指示 |
Phi-3-mini-4k-指示 Phi-3-mini-128k-指示 Phi3-medium-128k-指示 Phi3-medium-4k-指示 Phi-3-vision-128k-instruct |
| Nixtla | 無法使用 | TimeGEN-1 |
| 其他模型 | 可以使用 | 無法使用 |
受控計算
在 Azure 機器學習 的平臺功能上部署具有受控計算的模型的功能，可在模型目錄中廣泛集合的整個 LLMOps 生命週期中啟用無縫整合。
如何為受控計算提供模型？
這些模型可透過 Azure Machine Learning 登錄提供，以便 ML 優先方法裝載和散發 Machine Learning 資產，例如模型權數、用於執行模型的容器執行階段、用於評估和微調模型的管線，以及作為基準和範例的資料集。 這些 ML 登錄建置在可高度調整並符合企業需求的基礎結構之上，以便:
透過內建異地複寫，將低延遲存取模型成品傳遞至所有 Azure 區域。
支援企業安全性需求，例如使用 Azure 原則限制對模型的存取，以及使用受控虛擬網路進行安全部署。
評估及微調使用受控計算部署的模型
您可以使用 Azure 機器學習 Pipelines，在 Azure 機器學習 的「由 Azure AI 策劃」集合中評估及微調。 您可以選擇攜帶自己的評估和微調程式碼，並直接存取模型權數或使用提供內建評估和微調功能的 Azure Machine Learning 元件。 若要深入了解，請按一下此連結。
使用受控計算部署模型以進行推斷
適用於使用受控計算進行部署的模型可以部署到 Azure 機器學習 在線端點以進行即時推斷，也可以用於 Azure 機器學習 批次推斷來批處理您的數據。 部署至受控計算時，您必須在 Azure 訂用帳戶中擁有虛擬機配額，以取得最佳執行模型所需的特定 SKU。 某些模型可讓您部署到暫時共用的配額，以便測試模型。 深入了解如何部署下列模型：
使用受控計算建置 Generative AI Apps
提示流程提供原型設計、實驗、反覆運算和部署 AI 應用程式的功能。 您可以使用在提示流程中搭配 Managed 計算部署的模型搭配 Open Model LLM 工具。 您也可以使用受管理計算所公開的 REST API，例如 LangChain 搭配 Azure 機器學習 擴充功能等熱門 LLM 工具。
使用受控計算部署之模型的內容安全性
Azure AI 內容 保管庫 ty （AACS） 服務可與部署至受控計算的模型搭配使用，以篩選各種有害內容類別，例如性內容、暴力、仇恨和自我傷害，以及進階威脅，例如越獄風險偵測和受保護的材料文字偵測。 您可以參考此筆記本，取得為 Llama 2 整合 AACS 的參考，或使用提示流程中的內容安全 (文字) 工具，將模型的回應傳遞至 AACS 以進行篩選。 您將根據 AACS 定價針對此類使用個別支付費用。
使用不在模型目錄中的模型
對於模型目錄中無法使用的模型，Azure 機器學習 提供開放且可延伸的平臺，讓您能夠使用您選擇的模型。 您可以使用 Azure 機器學習 開放且可延伸的平臺功能，將模型帶入任何架構或運行時間，例如容器的 Azure 機器學習 環境，這些容器可以封裝架構和運行時間，以及 Azure 機器學習 管線，讓程式代碼評估或微調模型。 請參閱此筆記本，以取得匯入模型並使用內建執行階段和管線的範例參考。
無伺服器 API 與隨用隨付計費
模型目錄中的某些模型可以使用隨用隨付計費，部署為無伺服器 API;這種部署方法稱為模型即服務 （MaaS）。 透過 MaaS 提供的模型會裝載於 Microsoft 管理的基礎結構中，以便對模型提供者的模型進行 API 型存取。 API 型存取可大幅降低存取模型的成本，並大幅簡化佈建體驗。 大多數 MaaS 模型都隨附以權杖為基礎的定價。
如何在 MaaS 中提供第三方模型？
模型提供者會提供可供部署為無伺服器 API 且隨用隨付計費的模型，但裝載在 Microsoft 管理的 Azure 基礎結構中，並透過 API 進行存取。 模型提供者會定義授權條款，並設定其模型的使用價格，而 Azure Machine Learning 服務會管理裝載基礎結構、提供推斷 API，並作為資料處理者，以處理透過 MaaS 部署之模型提交的提示和內容輸出。 若要深入了解 MaaS 的資料處理，請參閱資料隱私權一文。
針對 MaaS 中的模型使用支付費用
透過 MaaS 部署之模型的探索、訂閱和取用體驗位於 Azure AI Studio 和 Azure Machine Learning 工作室中。 使用者接受使用模型的授權條款，並在部署期間提供取用的定價資訊。 來自第三方提供者的模型會根據商業市集使用規定透過 Azure Marketplace 計費，而來自 Microsoft 的模型則會使用 Azure 計量作為第一方取用服務計費。 如產品條款所述，第一方取用服務是使用 Azure 計量購買，但不受 Azure 服務條款規範 (這些模型之使用受提供的授權條款規範)。
透過 MaaS 部署模型以進行推斷
透過 MaaS 部署模型可讓使用者取得存取權以準備使用推斷 API，而不需要設定基礎結構或佈建 GPU，從而節省設計時間和資源。 這些 API 可與數個 LLM 工具整合，並按使用量計費，如上一節所述。
使用隨用隨付透過 MaaS 微調模型
對於透過 MaaS 取得並支援微調的模型，使用者可以透過隨用隨付計費利用託管微調功能，使用他們提供的資料來量身打造模型。 如需詳細資訊，請參閱在 Azure AI Studio 中微調 Llama 2 模型。
使用透過 MaaS 部署的模型進行擷取擴增生成 (RAG)
Azure AI Studio 可讓使用者利用向量索引和擷取擴增生成。 可部署為無伺服器 API 的模型可用來根據自定義數據產生內嵌和推斷，以產生其使用案例特定的答案。 如需詳細資訊，請參閱擷取擴增生成和索引。
供應項目和模型的區域可用性
隨用隨付部署僅適用於其 Azure 訂閱屬於模型提供者已推出供應項目之國家/地區中計費帳戶的使用者 (請參閱下一節表格中的「供應項目可用性區域」)。 如果供應專案可在相關區域中使用，則用戶必須具有 Azure 區域中的工作區，模型可供部署或微調，如適用（請參閱下表中的「工作區區域」數據行）。
| 模型 | 供應項目可用性區域 | 適用於部署的工作區區域 | 適用於微調的工作區區域 |
|---|---|---|---|
| Llama-3-70B-Instruct Llama-3-8B-Instruct |
Microsoft 管理的國家/地區 | 美國東部 2、瑞典中部 | 無法使用 |
| Llama-2-7b Llama-2-13b Llama-2-70b |
Microsoft 管理的國家/地區 | 美國東部 2、美國西部 3 | 美國西部 3 |
| Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat |
Microsoft 管理的國家/地區 | 美國東部 2、美國西部 3 | 無法使用 |
| Mistral-Large Mistral-Small |
Microsoft 管理的國家/地區 | 美國東部 2、瑞典中部 | 無法使用 |
| Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
Microsoft 管理的國家/地區 日本 |
美國東部 2、瑞典中部 | 無法使用 |
透過 MaaS 部署之模型的內容安全
重要
此功能目前處於公開預覽。 此預覽版本沒有服務等級協定，不建議用於處理生產工作負載。 可能不支援特定功能，或可能已經限制功能。
如需詳細資訊，請參閱 Microsoft Azure 預覽版增補使用條款。
Azure Machine Learning 會為透過 MaaS 部署的語言模型，實作 Azure AI 內容安全以及有害內容 (仇恨、自殘、性與暴力) 之文字仲裁篩選的預設組態。 若要深入瞭解內容篩選（預覽），請參閱 Azure AI 內容中的危害類別 保管庫 ty。 當服務處理提示產生內容時，內容篩選（預覽）會同步發生，而且您可以根據 AACS 定價 個別計費，以供此類使用。 當您第一次部署語言模型或在部署詳細數據頁面中選取內容篩選切換，即可停用個別無伺服器端點的內容篩選（預覽）。 如果您關閉內容篩選，則可能會有較高的風險讓使用者暴露在有害內容下。
深入了解
- 了解如何使用 Azure Machine Learning 中的基礎模型，透過 Azure Machine Learning 工作室 UI 或以程式碼為基礎的方法，進行微調、評估及部署。
- 探索 Azure Machine Learning 工作室的模型目錄。 您需要 Azure Machine Learning 工作區，才能探索目錄。
- 評估、微調及部署由 Azure Machine Learning 策劃的模型。