Wykaz modeli i kolekcje
Wykaz modeli w usłudze Azure Machine Edukacja Studio to centrum do odnajdywania i używania szerokiej gamy modeli, które umożliwiają tworzenie aplikacji generujących sztuczną inteligencję. Wykaz modeli zawiera setki modeli od dostawców modeli, takich jak usługa Azure OpenAI, Mistral, Meta, Cohere, Nvidia, Hugging Face, w tym modele trenowane przez firmę Microsoft. Modele od dostawców innych niż Microsoft są produktami innych niż Microsoft, zgodnie z definicją w warunkach produktu firmy Microsoft i podlegają warunkom dostarczonym z modelem.
Kolekcje modeli
Modele są zorganizowane według kolekcji w katalogu modeli. Istnieją trzy typy kolekcji w wykazie modeli:
- Modele wyselekcjonowane według usługi Azure AI: najbardziej popularne, otwarte modele innych firm z wagą i właściwościami, pakowane i optymalizowane pod kątem bezproblemowej pracy na platformie Azure AI. Korzystanie z tych modeli podlega postanowieniom licencyjnym dostawcy modelu dostarczonym z modelem. Po wdrożeniu w usłudze Azure Machine Learning, dostępność modelu podlega odpowiedniej umowie SLA platformy Azure, a firma Microsoft zapewnia pomoc techniczną dotyczącą problemów z wdrażaniem. Modele od partnerów, takich jak Meta, NVIDIA, Mistral AI, to przykłady modeli dostępnych w kolekcji "Nadzorowane przez sztuczną inteligencję platformy Azure" w katalogu. Te modele można rozpoznać po zielonym znaczniku wyboru na kafelkach modelu w katalogu lub filtrować według kolekcji „Wyselekcjonowane według usługi Azure AI”.
- Modele azure OpenAI, dostępne wyłącznie na platformie Azure: flagowe modele usługi Azure OpenAI za pośrednictwem kolekcji "Azure OpenAI" za pośrednictwem integracji z usługą Azure OpenAI. Te modele są obsługiwane przez firmę Microsoft, a ich użycie podlega warunkom produktu i umowie SLA dla usługi Azure OpenAI Service.
- Otwarte modele z centrum Hugging Face: setki modeli z centrum HuggingFace są dostępne za pośrednictwem kolekcji "Hugging Face" na potrzeby wnioskowania w czasie rzeczywistym z punktami końcowymi online. Hugging Face tworzy i utrzymuje modele wymienione w kolekcji HuggingFace. Aby uzyskać pomoc, skorzystaj z forum HuggingFace lub pomocy technicznej aplikacji HuggingFace. Dowiedz się więcej o tym, jak wdrażać modele z usługi Hugging Face.
Sugerowanie dodatków do wykazu modeli: możesz przesłać żądanie dodania modelu do wykazu modeli przy użyciu tego formularza.
Omówienie możliwości wykazu modeli
Aby uzyskać informacje na temat modeli usługi Azure OpenAI, zobacz temat Azure OpenAI Service.
W przypadku modeli nadzorowanych przez usługę Azure AI i Open z centrum Rozpoznawanie twarzy hugging niektóre z nich można wdrożyć przy użyciu opcji zarządzanego środowiska obliczeniowego, a niektóre z nich są dostępne do wdrożenia przy użyciu bezserwerowych interfejsów API z rozliczeniami płatności zgodnie z rzeczywistym użyciem. Modele te można odnaleźć, porównać, ocenić, dostosować (jeśli są obsługiwane) i wdrożyć na dużą skalę i zintegrować je z aplikacjami generowania sztucznej inteligencji z zabezpieczeniami i ładem danych klasy korporacyjnej.
- Odnajdywanie: Przejrzyj karty modelu, wypróbuj przykładowe wnioskowanie i przejrzyj przykłady kodu, aby ocenić, dostosować lub wdrożyć model.
- Porównaj: Porównaj testy porównawcze między modelami i zestawami danych dostępnymi w branży, aby ocenić, który z nich spełnia Twój scenariusz biznesowy.
- Oceń: oceń, czy model jest odpowiedni dla konkretnego obciążenia, podając własne dane testowe. Metryki oceny ułatwiają wizualizowanie, jak dobrze wybrany model został wykonany w danym scenariuszu.
- Dostrajanie: Dostosuj modele z możliwością dostosowania przy użyciu własnych danych treningowych i wybierz najlepszy model, porównując metryki we wszystkich zadaniach dostrajania. Wbudowane optymalizacje przyspieszają dostrajanie i zmniejszają ilość pamięci i zasobów obliczeniowych potrzebnych do dostrajania.
- Wdrażanie: bezproblemowe wdrażanie wstępnie wytrenowanych modeli lub dostosowanych modeli w celu wnioskowania. Modele, które można wdrożyć w zarządzanych obliczeniach, można również pobrać.
Wdrażanie modelu: zarządzany interfejs API obliczeniowy i bezserwerowy (płatność zgodnie z rzeczywistym użyciem)
Katalog modeli oferuje dwa różne sposoby wdrażania modeli z katalogu na potrzeby użycia: zarządzane interfejsy API obliczeniowe i bezserwerowe. Opcje wdrażania dostępne dla każdego modelu różnią się; Dowiedz się więcej o funkcjach opcji wdrażania i opcjach dostępnych dla określonych modeli w poniższych tabelach. Dowiedz się więcej o przetwarzaniu danych przy użyciu opcji wdrażania.
| Funkcje | Zarządzane obliczenia | Bezserwerowy interfejs API (płatność zgodnie z rzeczywistym użyciem) |
|---|---|---|
| Środowisko wdrażania i rozliczenia | Wagi modelu są wdrażane w dedykowanych maszynach wirtualnych z zarządzanymi punktami końcowymi online. Zarządzany punkt końcowy online, który może mieć co najmniej jedno wdrożenie, udostępnia interfejs API REST na potrzeby wnioskowania. Opłaty są naliczane za godziny rdzenia maszyny wirtualnej używane przez wdrożenia. | Dostęp do modeli odbywa się za pośrednictwem wdrożenia, które aprowizuje interfejs API w celu uzyskania dostępu do modelu. Interfejs API zapewnia dostęp do modelu hostowanego w centralnej puli procesorów GPU zarządzanej przez firmę Microsoft na potrzeby wnioskowania. Ten tryb dostępu jest określany jako "Modele jako usługa". Opłaty są naliczane za dane wejściowe i wyjściowe w interfejsach API, zazwyczaj w tokenach; informacje o cenach są udostępniane przed wdrożeniem. |
| Uwierzytelnianie interfejsu API | Klucze i uwierzytelnianie identyfikatora Entra firmy Microsoft. Dowiedz się więcej. | Tylko klucze. |
| Bezpieczeństwo zawartości | Użyj interfejsów API usługi Azure Content Sejf ty. | Filtry zawartości usługi Azure AI Sejf ty są dostępne zintegrowane z interfejsami API wnioskowania. Filtry zawartości usługi Azure AI Sejf ty mogą być rozliczane oddzielnie. |
| Izolacja sieciowa | Zarządzana sieć wirtualna z punktami końcowymi online. Dowiedz się więcej. |
Opcje wdrażania
| Model | Zarządzane obliczenia | Bezserwerowy interfejs API (płatność zgodnie z rzeczywistym użyciem) |
|---|---|---|
| Modele rodziny Llama | Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Poinstruowanie Llama-3-70B-Poinstruowanie Llama-3-8B Llama-3-70B |
Llama-3-70B-Poinstruowanie Llama-3-8B-Poinstruowanie Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Modele rodzin mistralnych | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large Mistral-small |
| Modele rodziny cohere | Niedostępny | Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-wielojęzyczny |
| JAIS | Niedostępny | jais-30b-chat |
| Modele rodziny Phi3 | Phi-3-small-128k-Poinstruuj Phi-3-small-8k-Poinstruuj Phi-3-mini-4k-Poinstruowanie Phi-3-mini-128k-Poinstruowanie Phi3-medium-128k-poinstruowanie Phi3-medium-4k-poinstruowanie |
Phi-3-mini-4k-Poinstruowanie Phi-3-mini-128k-Poinstruowanie Phi3-medium-128k-poinstruowanie Phi3-medium-4k-poinstruowanie Phi-3-vision-128k-poinstruowanie |
| Nixtla | Niedostępny | TimeGEN-1 |
| Inne modele | Dostępna | Niedostępny |
Zarządzane obliczenia
Możliwość wdrażania modeli za pomocą zarządzanych zasobów obliczeniowych opiera się na możliwościach platformy azure Machine Edukacja w celu umożliwienia bezproblemowej integracji w całym cyklu życia llMOps szerokiej kolekcji modeli w katalogu modeli.
W jaki sposób modele są udostępniane dla zarządzanych zasobów obliczeniowych?
Modele są udostępniane za pośrednictwem rejestrów usługi Azure Machine Edukacja, które umożliwiają pierwsze podejście uczenia maszynowego do hostowania i dystrybucji zasobów maszyny Edukacja, takich jak wagi modelu, środowiska uruchomieniowe kontenerów do uruchamiania modeli, potoków do oceny i dostrajania modeli i zestawów danych dla testów porównawczych i przykładów. Te rejestry uczenia maszynowego bazują na wysoce skalowalnej i gotowej dla przedsiębiorstw infrastrukturze, która:
Dostarcza artefakty modelu dostępu o małych opóźnieniach do wszystkich regionów świadczenia usługi Azure z wbudowaną replikacją geograficzną.
Obsługuje wymagania dotyczące zabezpieczeń przedsiębiorstwa jako ograniczenie dostępu do modeli za pomocą usługi Azure Policy i bezpieczne wdrażanie za pomocą zarządzanych sieci wirtualnych.
Ocenianie i dostosowywanie modeli wdrożonych za pomocą zarządzanych obliczeń
Możesz ocenić i dostosować kolekcję "Wyselekcjonowane przez sztuczną inteligencję platformy Azure" w usłudze Azure Machine Edukacja przy użyciu usługi Azure Machine Edukacja Pipelines. Możesz użyć własnego kodu do oceny i dostrajania oraz po prostu uzyskać dostęp do wag modelu lub użyć składników usługi Azure Machine Edukacja, które oferują wbudowane funkcje oceny i dostrajania. Aby dowiedzieć się więcej, użyj tego linku.
Wdrażanie modeli na potrzeby wnioskowania za pomocą zarządzanych zasobów obliczeniowych
Modele dostępne do wdrożenia za pomocą zarządzanych zasobów obliczeniowych można wdrożyć na maszynie azure Edukacja punktach końcowych online na potrzeby wnioskowania w czasie rzeczywistym lub mogą być używane do wnioskowania wsadowego w usłudze Azure Machine Edukacja przetwarzania danych wsadowych. Wdrożenie w zarządzanych obliczeniach wymaga, aby mieć limit przydziału maszyny wirtualnej w subskrypcji platformy Azure dla określonych jednostek SKU potrzebnych do optymalnego uruchomienia modelu. Niektóre modele umożliwiają wdrożenie tymczasowego udostępnionego limitu przydziału na potrzeby testowania modelu. Dowiedz się więcej o wdrażaniu modeli:
- Wdrażanie modeli Meta Llama
- Wdrażanie otwartych modeli utworzonych przez usługę Azure AI
- Wdrażanie przytulania modeli twarzy
Tworzenie aplikacji generacyjnych sztucznej inteligencji przy użyciu zarządzanych zasobów obliczeniowych
Przepływ monitów oferuje możliwości tworzenia prototypów, eksperymentowania, iterowania i wdrażania aplikacji sztucznej inteligencji. Modele wdrożone z zarządzanymi obliczeniami można używać w usłudze Prompt Flow za pomocą narzędzia Open Model LLM. Możesz również użyć interfejsu API REST udostępnianego przez zarządzane obliczenia w popularnych narzędziach LLM, takich jak LangChain z rozszerzeniem Azure Machine Edukacja.
Bezpieczeństwo zawartości dla modeli wdrożonych przy użyciu zarządzanych zasobów obliczeniowych
Usługa Azure AI Content Sejf ty (AACS) jest dostępna do użycia z modelami wdrożonym w zarządzanych obliczeniach w celu ekranowania dla różnych kategorii szkodliwych treści, takich jak zawartość seksualna, przemoc, nienawiść i samookaleczenia oraz zaawansowane zagrożenia, takie jak wykrywanie ryzyka jailbreaku i wykrywanie tekstu materiałów chronionych. Możesz zapoznać się z tym notesem, aby zapoznać się z integracją referencyjną z usługą AACS for Llama 2 lub użyć narzędzia Content Sejf ty (Text) w temacie Prompt Flow (Monituj przepływ), aby przekazać odpowiedzi z modelu do usługi AACS na potrzeby kontroli. Opłaty będą naliczane oddzielnie zgodnie z cennikiem usługi AACS dla takiego użycia.
Praca z modelami, które nie są w wykazie modeli
W przypadku modeli niedostępnych w katalogu modeli usługa Azure Machine Edukacja udostępnia otwartą i rozszerzalną platformę do pracy z wybranymi modelami. Model można przenieść z dowolną strukturą lub środowiskiem uruchomieniowym przy użyciu otwartych i rozszerzalnych możliwości platformy usługi Azure Machine Edukacja, takich jak środowiska usługi Azure Machine Edukacja dla kontenerów, które mogą pakować struktury i środowiska uruchomieniowe oraz potoki usługi Azure Machine Edukacja dla kodu w celu oceny lub dostosowania modeli. Zapoznaj się z tym notesem, aby uzyskać przykładowe informacje dotyczące importowania modeli i pracy z wbudowanymi środowiskami uruchomieniowymi i potokami.
Bezserwerowe interfejsy API z rozliczeniami płatności zgodnie z rzeczywistym użyciem
Niektóre modele w wykazie modeli można wdrożyć jako bezserwerowe interfejsy API z rozliczeniami płatności zgodnie z rzeczywistym użyciem; ta metoda wdrażania nosi nazwę Models-as-a Service (MaaS). Modele dostępne za pośrednictwem usługi MaaS są hostowane w infrastrukturze zarządzanej przez firmę Microsoft, co umożliwia dostęp oparty na interfejsie API do modelu dostawcy modelu. Dostęp oparty na interfejsie API może znacznie obniżyć koszt uzyskiwania dostępu do modelu i znacznie uprościć środowisko aprowizacji. Większość modeli MaaS jest wyposażonych w ceny oparte na tokenach.
W jaki sposób modele innych firm są udostępniane w usłudze MaaS?
Modele, które są dostępne do wdrożenia jako bezserwerowe interfejsy API z rozliczeniami płatności zgodnie z rzeczywistym użyciem, są oferowane przez dostawcę modelu, ale hostowane w infrastrukturze platformy Azure zarządzanej przez firmę Microsoft i dostępne za pośrednictwem interfejsu API. Dostawcy modelu definiują postanowienia licencyjne i określają cenę użycia swoich modeli, podczas gdy usługa Azure Machine Edukacja zarządza infrastrukturą hostingu, udostępnia interfejsy API wnioskowania i działa jako procesor danych dla monitów przesłanych i danych wyjściowych przez modele wdrożone za pośrednictwem usługi MaaS. Dowiedz się więcej o przetwarzaniu danych dla usługi MaaS w artykule dotyczącym prywatności danych.
Płatność za użycie modelu w usłudze MaaS
Środowisko odnajdywania, subskrypcji i użycia modeli wdrożonych za pośrednictwem usługi MaaS znajduje się w usłudze Azure AI Studio i usłudze Azure Machine Edukacja Studio. Użytkownicy akceptują postanowienia licencyjne dotyczące używania modeli, a informacje o cenach użycia są udostępniane podczas wdrażania. Modele od dostawców innych firm są rozliczane za pośrednictwem witryny Azure Marketplace zgodnie z warunkami użytkowania w komercyjnej witrynie Marketplace; modele firmy Microsoft są rozliczane przy użyciu mierników platformy Azure jako usług użycia firmy First Party. Zgodnie z opisem w warunkach produktu usługi zużycie przez firmę First Party są kupowane przy użyciu mierników platformy Azure, ale nie podlegają warunkom świadczenia usług platformy Azure. Korzystanie z tych modeli podlega postanowieniom licencyjnym.
Wdrażanie modeli na potrzeby wnioskowania za pomocą usługi MaaS
Wdrażanie modelu za pomocą usługi MaaS umożliwia użytkownikom uzyskanie dostępu do gotowych do korzystania z interfejsów API wnioskowania bez konieczności konfigurowania infrastruktury lub aprowizacji procesorów GPU, oszczędzania czasu inżynieryjnego i zasobów. Te interfejsy API można zintegrować z kilkoma narzędziami LLM, a użycie jest rozliczane zgodnie z opisem w poprzedniej sekcji.
Dostrajanie modeli za pomocą usługi MaaS z płatnością zgodnie z rzeczywistym użyciem
W przypadku modeli, które są dostępne za pośrednictwem usługi MaaS i obsługują dostrajanie, użytkownicy mogą korzystać z hostowanego dostrajania przy użyciu rozliczeń z płatnością zgodnie z rzeczywistym użyciem, aby dostosować modele przy użyciu udostępnianych przez nich danych. Aby uzyskać więcej informacji, zobacz dostosowywanie modelu Llama 2 w usłudze Azure AI Studio.
RAG z modelami wdrożonym za pośrednictwem usługi MaaS
Usługa Azure AI Studio umożliwia użytkownikom korzystanie z indeksów wektorów i pobierania rozszerzonej generacji. Modele, które można wdrożyć jako bezserwerowe interfejsy API, mogą służyć do generowania osadzania i wnioskowania na podstawie danych niestandardowych w celu wygenerowania odpowiedzi specyficznych dla ich przypadku użycia. Aby uzyskać więcej informacji, zobacz Pobieranie rozszerzonej generacji i indeksów.
Regionalna dostępność ofert i modeli
Wdrożenie z płatnością zgodnie z rzeczywistym użyciem jest dostępne tylko dla użytkowników, których subskrypcja platformy Azure należy do konta rozliczeniowego w kraju, w którym dostawca modelu udostępnił ofertę (zobacz "region dostępności oferty" w tabeli w następnej sekcji). Jeśli oferta jest dostępna w odpowiednim regionie, użytkownik musi mieć obszar roboczy w regionie świadczenia usługi Azure, w którym model jest dostępny do wdrożenia lub dostrajania, zgodnie z tym, co ma zastosowanie (zobacz kolumny "Region obszaru roboczego" w poniższej tabeli).
| Model | Region dostępności oferty | Region obszaru roboczego na potrzeby wdrażania | Region obszaru roboczego do dostosowania |
|---|---|---|---|
| Llama-3-70B-Poinstruowanie Llama-3-8B-Poinstruowanie |
Kraje zarządzane przez firmę Microsoft | Wschodnie stany USA 2, Szwecja Środkowa | Niedostępny |
| Llama-2-7b Llama-2-13b Llama-2-70b |
Kraje zarządzane przez firmę Microsoft | Wschodnie stany USA 2, Zachodnie stany USA 3 | Zachodnie stany USA 3 |
| Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat |
Kraje zarządzane przez firmę Microsoft | Wschodnie stany USA 2, Zachodnie stany USA 3 | Niedostępny |
| Mistral-Large Mistral Mały |
Kraje zarządzane przez firmę Microsoft | Wschodnie stany USA 2, Szwecja Środkowa | Niedostępny |
| Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-wielojęzyczny |
Kraje zarządzane przez firmę Microsoft Japonia |
Wschodnie stany USA 2, Szwecja Środkowa | Niedostępny |
Bezpieczeństwo zawartości dla modeli wdrożonych za pośrednictwem usługi MaaS
Ważne
Ta funkcja jest obecnie w publicznej wersji zapoznawczej. Ta wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie zalecamy korzystania z niej w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą być nieobsługiwane lub ograniczone.
Aby uzyskać więcej informacji, zobacz Uzupełniające warunki korzystania z wersji zapoznawczych platformy Microsoft Azure.
Usługa Azure Machine Edukacja implementuje domyślną konfigurację zawartości sztucznej inteligencji platformy Azure Sejf ty filtrów moderowania tekstu pod kątem szkodliwej zawartości (nienawiści, samookaleczenia, seksualnej i przemocy) dla modeli językowych wdrożonych za pomocą usługi MaaS. Aby dowiedzieć się więcej na temat filtrowania zawartości (wersja zapoznawcza), zobacz Kategorie szkód w usłudze Azure AI Content Sejf ty. Filtrowanie zawartości (wersja zapoznawcza) odbywa się synchronicznie, ponieważ procesy usługi monituje o wygenerowanie zawartości, a opłaty mogą być naliczane oddzielnie zgodnie z cennikiem usługi AACS dla takiego użycia. Filtrowanie zawartości (wersja zapoznawcza) dla poszczególnych punktów końcowych bezserwerowych można wyłączyć podczas pierwszego wdrażania modelu językowego lub na stronie szczegółów wdrożenia, wybierając przełącznik filtrowania zawartości. W przypadku wyłączenia filtrów zawartości może wystąpić większe ryzyko ujawnienia użytkowników szkodliwej zawartości.
Dowiedz się więcej
- Dowiedz się, jak używać podstawowych modeli w usłudze Azure Machine Edukacja do dostosowywania, oceny i wdrażania przy użyciu interfejsu użytkownika programu Azure Machine Edukacja Studio lub metod opartych na kodzie.
- Zapoznaj się z wykazem modeli w usłudze Azure Machine Edukacja Studio. Do eksplorowania katalogu potrzebujesz obszaru roboczego usługi Azure Machine Edukacja.
- Ocenianie, dostosowywanie i wdrażanie modeli wyselekcjonowanych przez usługę Azure Machine Edukacja.