Modellkatalog och samlingar
Modellkatalogen i Azure Machine Learning-studio är navet för att identifiera och använda ett brett utbud av modeller som gör att du kan skapa Generative AI-program. Modellkatalogen innehåller hundratals modeller mellan modellleverantörer som Azure OpenAI-tjänsten, Mistral, Meta, Cohere, Nvidia, Hugging Face, inklusive modeller som tränats av Microsoft. Modeller från andra leverantörer än Microsoft är icke-Microsoft-produkter, enligt definitionen i Microsofts produktvillkor, och omfattas av villkoren i modellen.
Modellsamlingar
Modeller ordnas efter samlingar i modellkatalogen. Det finns tre typer av samlingar i modellkatalogen:
- Modeller som har kurerats av Azure AI: De mest populära modellerna med öppen vikt och proprietära från tredje part som paketerats och optimerats för att fungera sömlöst på Azure AI-plattformen. Användning av dessa modeller omfattas av modelleverantörens licensvillkor som tillhandahålls med modellen. När den distribueras i Azure Machine Learning omfattas modellens tillgänglighet av tillämpligt Azure-serviceavtal, och Microsoft tillhandahåller stöd för distributionsproblem. Modeller från partner som Meta, NVIDIA, Mistral AI är exempel på modeller som är tillgängliga i samlingen "Curated by Azure AI" i katalogen. Dessa modeller kan identifieras med en grön bockmarkering på modellpanelerna i katalogen eller så kan du filtrera efter samlingen "Curated by Azure AI".
- Azure OpenAI-modeller, exklusivt tillgängliga i Azure: Flaggskeppsmodeller för Azure OpenAI via samlingen "Azure OpenAI" via en integrering med Azure OpenAI-tjänsten. Dessa modeller stöds av Microsoft och deras användning omfattas av produktvillkoren och serviceavtalet för Azure OpenAI Service.
- Öppna modeller från Hugging Face Hub: Hundratals modeller från HuggingFace-hubben är tillgängliga via samlingen "Hugging Face" för slutsatsdragning i realtid med onlineslutpunkter. HuggingFace skapar och underhåller modeller som finns i HuggingFace-samlingen. Använd HuggingFace-forumet eller HuggingFace-supporten om du behöver hjälp. Läs mer om hur du distribuerar modeller från HuggingFace.
Föreslå tillägg till modellkatalogen: Du kan skicka en begäran om att lägga till en modell i modellkatalogen med hjälp av det här formuläret.
Översikt över modellkatalogfunktioner
Information om Azure OpenAI-modeller finns i Azure OpenAI Service.
För modeller som har kurerats av Azure AI - och Open-modeller från hubben Hugging Face kan vissa av dessa distribueras som realtidsslutpunkter och vissa av dessa är tillgängliga för distribution med betala per användning-fakturering (Modeller som en tjänst). Dessa modeller kan identifieras, jämföras, utvärderas, finjusteras (när de stöds) och distribueras i stor skala och integreras i dina Generative AI-program med säkerhet och datastyrning i företagsklass.
- Upptäck: Granska modellkort, prova exempelinferens och bläddra bland kodexempel för att utvärdera, finjustera eller distribuera modellen.
- Jämför: Jämför riktmärken mellan modeller och datauppsättningar som är tillgängliga i branschen för att bedöma vilken som uppfyller ditt affärsscenario.
- Utvärdera: Utvärdera om modellen passar för din specifika arbetsbelastning genom att tillhandahålla dina egna testdata. Med utvärderingsmått blir det enkelt att visualisera hur bra den valda modellen fungerar i ditt scenario.
- Finjustera: Anpassa finjusteringsbara modeller med dina egna träningsdata och välj den bästa modellen genom att jämföra mått mellan alla dina finjusteringsjobb. Inbyggda optimeringar påskyndar finjusteringen och minskar det minne och den beräkning som behövs för finjustering.
- Distribuera: Distribuera förtränad modeller eller finjusterade modeller sömlöst för slutsatsdragning. Modeller som kan distribueras till realtidsslutpunkter kan också laddas ned.
Modelldistribution: Realtidsslutpunkter och modeller som en tjänst (betala per användning)
Modellkatalogen erbjuder två olika sätt att distribuera modeller från katalogen för användning: realtidsslutpunkter och "betala per användning"-inferens. Vilka distributionsalternativ som är tillgängliga för varje modell varierar. Läs mer om funktionerna i distributionsalternativen och vilka alternativ som är tillgängliga för specifika modeller i tabellerna nedan. Läs mer om databehandling med distributionsalternativen.
| Funktioner | Slutsatsdragning i realtid med hanterade onlineslutpunkter | Betala per användning med modeller som en tjänst |
|---|---|---|
| Distributionsupplevelse och fakturering | Modellvikter distribueras till dedikerade virtuella datorer med hanterade onlineslutpunkter. Den hanterade onlineslutpunkten, som kan ha en eller flera distributioner, gör ett REST API tillgängligt för slutsatsdragning. Du debiteras för den virtuella datorns kärntimmar som används av distributionerna. | Åtkomst till modeller sker via en distribution som etablerar ett API för åtkomst till modellen. API:et ger åtkomst till modellen som finns i en central GPU-pool, som hanteras av Microsoft, för slutsatsdragning. Det här åtkomstläget kallas "Modeller som en tjänst". Du debiteras för indata och utdata till API:erna, vanligtvis i token. prisinformation tillhandahålls innan du distribuerar. |
| API-autentisering | Nycklar och Microsoft Entra ID-autentisering. Läs mer. | Endast nycklar. |
| Innehållssäkerhet | Använd API:er för Azure Content Valv ty-tjänsten. | Azure AI Content Valv ty-filter är tillgängliga integrerade med slutsatsdragnings-API:er. Azure AI Content Valv ty-filter kan faktureras separat. |
| Nätverksisolering | Hanterat virtuellt nätverk med onlineslutpunkter. Läs mer. |
Distribueringsalternativ
| Modell | Realtidsslutpunkter | Betala per användning |
|---|---|---|
| Llama-familjemodeller | Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Mistral-familjemodeller | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large Mistral-small |
| Gemensamma familjemodeller | Inte tillgängliga | Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
| Andra modeller | Tillgängligt | Inte tillgängligt |
Realtidsslutpunkter
Möjligheten att distribuera modeller till slutpunkter i realtid bygger på plattformsfunktionerna i Azure Machine Learning för att möjliggöra sömlös integrering över hela LLMOps-livscykeln för den breda samlingen modeller i modellkatalogen.
Hur görs modeller tillgängliga för realtidsslutpunkter?
Modellerna görs tillgängliga via Azure Machine Learning-register som aktiverar ML:s första metod för att hantera och distribuera Machine Learning-tillgångar , till exempel modellvikter, containerkörningar för att köra modellerna, pipelines för utvärdering och finjustering av modeller och datauppsättningar för benchmarks och exempel. Dessa ML-register bygger på en mycket skalbar och företagsklar infrastruktur som:
Levererar artefakter med låg latensåtkomstmodell till alla Azure-regioner med inbyggd geo-replikering.
Stöder företagets säkerhetskrav som begränsar åtkomsten till modeller med Azure Policy och säker distribution med hanterade virtuella nätverk.
Utvärdera och finjustera modeller som distribuerats som realtidsslutpunkter
Du kan utvärdera och finjustera samlingen "Curated by Azure AI" i Azure Machine Learning med hjälp av Azure Machine Learning Pipelines. Du kan antingen välja att ta med din egen utvärderings- och finjusteringskod och bara komma åt modellvikter eller använda Azure Machine Learning-komponenter som erbjuder inbyggda utvärderings- och finjusteringsfunktioner. Om du vill veta mer följer du den här länken.
Distribuera modeller för slutsatsdragning som realtidsslutpunkter
Modeller som är tillgängliga för distribution till realtidsslutpunkter kan distribueras till Azure Machine Learning Online-slutpunkter för realtidsslutpunkter eller användas för Azure Machine Learning Batch-slutsatsdragning för batchbearbetning av dina data. Om du distribuerar till Online-slutpunkter måste du ha en kvot för virtuella datorer i din Azure-prenumeration för de specifika SKU:er som behövs för att köra modellen optimalt. Med vissa modeller kan du distribuera till en tillfälligt delad kvot för att testa modellen. Läs mer om att distribuera modeller:
- Distribuera Meta Llama-modeller
- Distribuera öppna modeller som skapats av Azure AI
- Distribuera huggande ansiktsmodeller
Skapa generativa AI-appar med realtidsslutpunkter
Prompt Flow erbjuder funktioner för prototyper, experimentering, iterering och distribution av DINA AI-program. Du kan använda modeller som distribuerats som realtidsslutpunkter i Prompt Flow med verktyget Open Model LLM. Du kan också använda REST-API:et som exponeras av realtidsslutpunkterna i populära LLM-verktyg som LangChain med Azure Machine Learning-tillägget.
Innehållssäkerhet för modeller som distribueras som realtidsslutpunkter
Tjänsten Azure AI Content Valv ty (AACS) är tillgänglig för användning med realtidsslutpunkter för att söka efter olika kategorier av skadligt innehåll, till exempel sexuellt innehåll, våld, hat och självskadebeteende och avancerade hot som riskidentifiering av jailbreak och skyddad materialtextidentifiering. Du kan referera till den här notebook-filen för referensintegrering med AACS för Llama 2 eller använda verktyget Content Valv ty (Text) i Prompt Flow för att skicka svar från modellen till AACS för screening. Du debiteras separat enligt AACS-priser för sådan användning.
Arbeta med modeller som inte finns i modellkatalogen
För modeller som inte är tillgängliga i modellkatalogen tillhandahåller Azure Machine Learning en öppen och utökningsbar plattform för att arbeta med valfria modeller. Du kan ta med en modell med valfritt ramverk eller körning med hjälp av Azure Machine Learnings öppna och utökningsbara plattformsfunktioner, till exempel Azure Machine Learning-miljöer för containrar som kan paketera ramverk och runtimes och Azure Machine Learning-pipelines för kod för att utvärdera eller finjustera modellerna. I den här notebook-filen finns exempelreferens för att importera modeller och arbeta med inbyggda körnings- och pipelines.
Modeller som en tjänst (betala per användning)
Vissa modeller i modellkatalogen kan distribueras med betala per användning-fakturering. den här distributionsmetoden kallas Models-as-a Service (MaaS). Modeller som är tillgängliga via MaaS finns i infrastruktur som hanteras av Microsoft, vilket ger API-baserad åtkomst till modellleverantörens modell. API-baserad åtkomst kan avsevärt minska kostnaden för att komma åt en modell och avsevärt förenkla etableringsupplevelsen. De flesta MaaS-modeller levereras med tokenbaserade priser.
Hur görs modeller från tredje part tillgängliga i MaaS?
Modeller som är tillgängliga för användningsbaserad distribution erbjuds av modellleverantören men finns i Microsoft-hanterad Azure-infrastruktur och nås via API. Modellleverantörer definierar licensvillkoren och anger priset för användning av sina modeller, medan Azure Machine Learning-tjänsten hanterar värdinfrastrukturen, gör slutsatsdragnings-API:erna tillgängliga och fungerar som dataprocessor för frågor som skickas och innehållsutdata från modeller som distribueras via MaaS. Läs mer om databehandling för MaaS i artikeln om datasekretess .
Betala för modellanvändning i MaaS
Identifierings-, prenumerations- och förbrukningsupplevelsen för modeller som distribueras via MaaS finns i Azure AI Studio och Azure Machine Learning-studio. Användare accepterar licensvillkor för användning av modellerna och prisinformation för förbrukning tillhandahålls under distributionen. Modeller från tredjepartsleverantörer debiteras via Azure Marketplace i enlighet med användningsvillkoren för den kommersiella marknadsplatsen . Modeller från Microsoft debiteras med Hjälp av Azure-mätare som förbrukningstjänster från första part. Som beskrivs i produktvillkoren köps Förbrukningstjänster från första part med Hjälp av Azure-mätare men omfattas inte av Azure-tjänstvillkor. Användning av dessa modeller omfattas av de licensvillkor som anges.
Distribuera modeller för slutsatsdragning via MaaS
Genom att distribuera en modell via MaaS kan användarna få åtkomst till färdiga slutsatsdragnings-API:er utan att behöva konfigurera infrastruktur eller etablera GPU:er, vilket sparar teknisk tid och resurser. Dessa API:er kan integreras med flera LLM-verktyg och användningen faktureras enligt beskrivningen i föregående avsnitt.
Finjustera modeller via MaaS med Betala per användning
För modeller som är tillgängliga via MaaS och stöder finjustering kan användarna dra nytta av värdbaserad finjustering med betala per användning-fakturering för att skräddarsy modellerna med hjälp av data som de tillhandahåller. Mer information finns i finjustera en Llama 2-modell i Azure AI Studio.
RAG med modeller som distribueras via MaaS
Med Azure AI Studio kan användarna använda vektorindex och hämtningsförhöjd generation. Modeller som kan distribueras via MaaS kan användas för att generera inbäddningar och slutsatsdragning baserat på anpassade data för att generera svar som är specifika för deras användningsfall. Mer information finns i Hämta förhöjd generering och index.
Regional tillgänglighet för erbjudanden och modeller
Distribution med betala per användning är endast tillgänglig för användare vars Azure-prenumeration tillhör ett faktureringskonto i ett land där modellleverantören har gjort erbjudandet tillgängligt (se "erbjudandetillgänglighetsregion" i tabellen i nästa avsnitt). Om erbjudandet är tillgängligt i den relevanta regionen måste användaren sedan ha en arbetsyta i Azure-regionen där modellen är tillgänglig för distribution eller finjustering, i förekommande fall (se kolumnerna "Arbetsyteregion" i tabellen nedan).
| Modell | Erbjudandetillgänglighetsregion | Arbetsyteregion för distribution | Arbetsyteregion för Finetuning |
|---|---|---|---|
| Llama-3-70B-Instruct Llama-3-8B-Instruct |
Microsoft Managed Countries | USA, östra 2, Sverige, centrala | Inte tillgängliga |
| Llama-2-7b Llama-2-13b Llama-2-70b |
Microsoft Managed Countries | USA, östra 2, USA, västra 3 | Västra USA 3 |
| Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat |
Microsoft Managed Countries | USA, östra 2, USA, västra 3 | Inte tillgängliga |
| Mistral-Large Mistral Small |
Microsoft Managed Countries | USA, östra 2, Sverige, centrala | Inte tillgängliga |
| Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
Microsoft Managed Countries Japan |
USA, östra 2, Sverige, centrala | Inte tillgängliga |
Innehållssäkerhet för modeller som distribueras via MaaS
Azure Machine Learning implementerar en standardkonfiguration av Azure AI Content Valv ty textmodereringsfilter för skadligt innehåll (hat, självskadebeteende, sexuellt och våld) för språkmodeller som distribueras med MaaS. Mer information om innehållsfiltrering finns i skadekategorier i Azure AI Content Valv ty. Innehållsfiltrering sker synkront när tjänsten bearbetar uppmaningar om att generera innehåll, och du kan debiteras separat enligt AACS-priser för sådan användning. Du kan inaktivera innehållsfiltrering för enskilda serverlösa slutpunkter när du först distribuerar en språkmodell eller på sidan med distributionsinformation genom att klicka på växlingsknappen för innehållsfiltrering. Du kan ha högre risk att utsätta användare för skadligt innehåll om du inaktiverar innehållsfilter.
Läs mer
- Lär dig hur du använder grundläggande modeller i Azure Machine Learning för finjustering, utvärdering och distribution med hjälp av Azure Machine Learning-studio användargränssnitt eller kodbaserade metoder.
- Utforska modellkatalogen i Azure Machine Learning-studio. Du behöver en Azure Machine Learning-arbetsyta för att utforska katalogen.
- Utvärdera, finjustera och distribuera modeller som har kurerats av Azure Machine Learning.