Azure AI Studio 中的模型目錄和集合
重要
本文所述的部分功能可能僅適用於預覽版。 此預覽版本沒有服務等級協定，不建議將其用於生產工作負載。 可能不支援特定功能，或可能已經限制功能。 如需詳細資訊，請參閱 Microsoft Azure 預覽版增補使用條款。
Azure AI Studio 中的模型目錄是您用於探索和使用各種模型，以便建置生成式 AI 應用程式的中樞。 模型目錄提供來自 Azure OpenAI 服務、Mistral、Meta、Cohere、Nvidia、Hugging Face 等模型提供者的數百個模型，包括由 Microsoft 定型的模型。 來自 Microsoft 以外提供者的模型是非 Microsoft 產品，如 Microsoft 的產品條款所定義，並受模型提供的條款規範。
模型集合
模型目錄會將模型組織成集合。 模型目錄中有三種集合類型：
- 由 Azure AI 策展的模型：最熱門的第三方開放式加權和專利模型，已經過封裝和最佳化，可在 Azure AI 平台上順暢地運作。 這些模型之使用受模型提供者為模型所提供的授權條款規範。 在 Azure AI Studio 中部署時，模型的可用性受適用的 Azure SLA 規範，且 Microsoft 提供支援以解決部署問題。 來自 Meta、NVIDIA、Mistral AI 等合作夥伴的模型即為目錄上「由 Azure AI 策展」集合中可用模型的範例。 這些模型可以透過目錄中模型圖格上的綠色核取記號來識別，也可以依「由 Azure AI 策展」集合進行篩選。
- Azure 上獨家提供的 Azure OpenAI 模型：透過與 Azure OpenAI 服務整合的 'Azure OpenAI' 集合存取旗艦 Azure OpenAI 模型。 Microsoft 支援這些模型及其使用，但受限於 Azure OpenAI 服務的產品條款和 SLA。
- 從擁抱臉部中樞開啟模型： 來自 HuggingFace 中樞的數百個模型可透過「擁抱臉部」集合存取，以使用受控計算進行即時推斷。 Hugging Face 會建立並維護 Hugging Face 集合中列出的模型。 使用 HuggingFace 論壇或 HuggingFace 支援來取得協助。 若要深入了解，請參閱部署開放式模型。
建議新增至模型目錄：您可以使用此表單提交要求，將模型新增至模型目錄。
模型目錄功能概觀
如需 Azure OpenAI 模型的資訊，請參閱 Azure OpenAI 服務。
來自 Hugging Face 中樞集合的 Azure AI 和 Open 模型中的一些模型可以使用受控計算選項進行部署，而某些模型可以使用無伺服器 API 搭配隨用隨付計費來部署。 您可以探索、比較、評估、微調 (如有支援) 這些模型，並大規模部署並整合到具有企業級安全性和資料控管功能的生成式 AI 應用程式。
- 探索：檢閱模型卡片、嘗試範例推斷及瀏覽程式碼範例，以評估、微調或部署模型。
- 比較：比較產業中可用模型和資料集的基準，以評估哪一個符合您的商務案例。
- 評估：提供自己的測試資料，評估模型是否適合您的特定工作負載。 評估計量可讓您輕鬆地將所選模型在案例中執行的效能視覺化。
- 微調：使用您自己的定型資料來自訂可微調的模型，並透過比較所有微調作業的計量來選出最佳模型。 內建最佳化可加速微調，並減少微調所需的記憶體和計算。
- 部署：順暢地部署預先定型的模型或經過微調的模型以進行推斷。 也可以下載可部署到受控計算的模型。
模型部署：受控計算和無伺服器 API（隨用隨付）
模型目錄提供兩種不同的方式，從目錄部署模型以供使用：受控計算和無伺服器 API。 每個模型可用的部署選項會有所不同；在下表中，您可以深入了解部署選項的功能，以及特定模型的可用選項。 深入了解部署選項的資料處理。
| 功能 | 受控計算 | 無伺服器 API （隨用隨付） |
|---|---|---|
| 部署體驗和計費 | 模型權數會部署到具有受控線上端點的專用虛擬機器。 受控線上端點 (可以有一或多個部署) 會提供 REST API 以進行推斷。 您將針對部署所使用的虛擬機器核心時數支付費用。 | 透過部署存取模型，這會佈建一個 API 來存取模型。 API 可讓您存取由 Microsoft 裝載和管理的模型，以進行推斷。 這種存取模式稱為「模型即服務」。 您將針對 API (通常是在權杖中) 的輸入和輸出支付費用；在您部署之前，會提供定價資訊。 |
| API 驗證 | 金鑰和 Microsoft Entra ID 驗證。 | 僅限金鑰。 |
| 內容安全性 | 使用 Azure 內容安全服務 API。 | 提供與推斷 API 整合的 Azure AI 內容安全篩選。 Azure AI 內容安全篩選可能會個別計費。 |
| 網路隔離 | 設定受控網路。 深入了解。 |
| 模型 | 受控計算 | 無伺服器 API （隨用隨付） |
|---|---|---|
| Llama 系列模型 | Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Mistral 系列模型 | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large Mistral-small |
| Cohere 系列模型 | 無法使用 | Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
| JAIS | 無法使用 | jais-30b-chat |
| Phi3 系列車型 | Phi-3-small-128k-指示 Phi-3-small-8k-指示 Phi-3-mini-4k-指示 Phi-3-mini-128k-指示 Phi3-medium-128k-指示 Phi3-medium-4k-指示 |
Phi-3-mini-4k-指示 Phi-3-mini-128k-指示 Phi3-medium-128k-指示 Phi3-medium-4k-指示 Phi-3-vision-128k-instruct |
| Nixtla | 無法使用 | TimeGEN-1 |
| 其他模型 | 可以使用 | 無法使用 |
受控計算
將模型部署為受控計算的功能建置在 Azure 機器學習 的平臺功能上，以便跨整個 LLMOps 生命週期順暢地整合模型類別目錄中的廣泛模型集合。
模型如何以受控計算的形式提供部署？
這些模型可透過 Azure Machine Learning 登錄提供，以便 ML 優先方法裝載和散發 Machine Learning 資產，例如模型權數、用於執行模型的容器執行階段、用於評估和微調模型的管線，以及作為基準和範例的資料集。 這些 ML 登錄建置在可高度調整並符合企業需求的基礎結構之上，以便:
透過內建異地複寫，將低延遲存取模型成品傳遞至所有 Azure 區域。
支援企業安全性需求，例如使用 Azure 原則限制對模型的存取，以及使用受控虛擬網路進行安全部署。
使用受控計算部署模型以進行推斷
可用於部署至受控計算的模型可以部署到 Azure 機器學習 在線端點以進行即時推斷。 部署至受控計算時，您必須在 Azure 訂用帳戶中擁有虛擬機配額，以取得最佳執行模型所需的特定 SKU。 某些模型可讓您部署到暫時共用的配額，以便測試模型。 深入了解如何部署下列模型：
使用受控計算建置 Generative AI Apps
提示流程提供絕佳的原型設計體驗。 您可以使用在提示流程中搭配 Managed 計算部署的模型搭配 Open Model LLM 工具。 您也可以使用受控計算所公開的 REST API，例如 LangChain 搭配 Azure 機器學習 擴充功能等熱門 LLM 工具。
部署為受控計算之模型的內容安全性
Azure AI 內容 保管庫 ty （AACS） 服務可與 Managed 計算搭配使用，以篩選各種有害內容類別，例如性內容、暴力、仇恨和自我傷害，以及進階威脅，例如越獄風險偵測和受保護的材料文字偵測。 您可以參考此筆記本，取得為 Llama 2 整合 AACS 的參考，或使用提示流程中的內容安全 (文字) 工具，將模型的回應傳遞至 AACS 以進行篩選。 您將根據 AACS 定價針對此類使用個別支付費用。
無伺服器 API 與隨用隨付計費
模型目錄中的某些模型可以部署為無伺服器 API，並隨用隨付計費;這種部署方法稱為模型即服務 （MaaS），提供一種方法，以 API 的形式取用它們，而不在您的訂用帳戶上裝載它們。 透過 MaaS 提供的模型會裝載於 Microsoft 管理的基礎結構中，以便對模型提供者的模型進行 API 型存取。 API 型存取可大幅降低存取模型的成本，並大幅簡化佈建體驗。 大多數 MaaS 模型都隨附以權杖為基礎的定價。
如何在 MaaS 中提供第三方模型？
模型提供者會提供可供部署為無伺服器 API 且隨用隨付計費的模型，但裝載在 Microsoft 管理的 Azure 基礎結構中，並透過 API 進行存取。 模型提供者會定義授權條款，並設定其模型的使用價格，而 Azure Machine Learning 服務會管理裝載基礎結構、提供推斷 API，並作為資料處理者，以處理透過 MaaS 部署之模型提交的提示和內容輸出。 若要深入了解 MaaS 的資料處理，請參閱資料隱私權一文。
針對 MaaS 中的模型使用支付費用
透過 MaaS 部署之模型的探索、訂閱和取用體驗位於 Azure AI Studio 和 Azure Machine Learning 工作室中。 使用者接受使用模型的授權條款，並在部署期間提供取用的定價資訊。 來自第三方提供者的模型會根據商業市集使用規定透過 Azure Marketplace 計費，而來自 Microsoft 的模型則會使用 Azure 計量作為第一方取用服務計費。 如產品條款所述，第一方取用服務是使用 Azure 計量購買，但不受 Azure 服務條款規範 (這些模型之使用受提供的授權條款規範)。
透過 MaaS 部署模型以進行推斷
透過 MaaS 部署模型可讓使用者取得存取權以準備使用推斷 API，而不需要設定基礎結構或佈建 GPU，從而節省設計時間和資源。 這些 API 可與數個 LLM 工具整合，並按使用量計費，如上一節所述。
使用隨用隨付透過 MaaS 微調模型
對於透過 MaaS 取得並支援微調的模型，使用者可以透過隨用隨付計費利用託管微調功能，使用他們提供的資料來量身打造模型。 如需詳細資訊，請參閱微調概觀。
部署為無伺服器 API 之模型的 RAG
Azure AI Studio 可讓使用者利用向量索引和擷取擴增生成。 可透過無伺服器 API 部署的模型可用來根據自定義資料產生內嵌和推斷，以產生其使用案例特定的答案。 如需詳細資訊，請參閱如何建立向量索引。
供應項目和模型的區域可用性
隨用隨付計費僅適用於 Azure 訂用帳戶屬於模型提供者已提供供應專案的國家/地區的計費帳戶的使用者（請參閱下一節表格中的「供應專案可用性區域」）。 如果供應項目可在相關區域中使用，則在適用情況下，使用者必須在可部署或微調模型的 Azure 區域中擁有中樞/專案 (請參閱下表中的「中樞/專案區域」資料行)。
| 模型 | 供應項目可用性區域 | 用於部署的中樞/專案區域 | 用於微調的中樞/專案區域 |
|---|---|---|---|
| Llama-3-70B-Instruct Llama-3-8B-Instruct |
Microsoft 管理的國家/地區 | 美國東部 2、瑞典中部 | 無法使用 |
| Llama-2-7b Llama-2-13b Llama-2-70b |
Microsoft 管理的國家/地區 | 美國東部 2、美國西部 3 | 美國西部 3 |
| Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat |
Microsoft 管理的國家/地區 | 美國東部 2、美國西部 3 | 無法使用 |
| Mistral-Large Mistral-Small |
Microsoft 管理的國家/地區 | 美國東部 2、瑞典中部 | 無法使用 |
| Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
Microsoft 管理的國家/地區 日本 |
美國東部 2、瑞典中部 | 無法使用 |
透過無伺服器 API 部署之模型的內容安全性
重要
本文所述的部分功能可能僅適用於預覽版。 此預覽版本沒有服務等級協定，不建議將其用於生產工作負載。 可能不支援特定功能，或可能已經限制功能。 如需詳細資訊，請參閱 Microsoft Azure 預覽版增補使用條款。
Azure AI Studio 會在使用 MaaS 部署的語言模型中，針對有害內容（仇恨、自我傷害、性與暴力）實作 Azure AI 內容的預設設定，保管庫 ty 文字仲裁篩選器。 若要深入瞭解內容篩選（預覽），請參閱 Azure AI 內容中的危害類別 保管庫 ty。 當服務處理提示產生內容時，內容篩選（預覽）會同步發生，而且您可以根據 AACS 定價 個別計費，以供此類使用。 您可以在第一次部署語言模型時停用個別無伺服器端點的內容篩選，也可以在部署詳細資料頁面中，透過按一下內容篩選切換來停用。 如果您關閉內容篩選，則可能會有較高的風險讓使用者暴露在有害內容下。