Modellkatalógus és gyűjtemények
Az Azure Machine Tanulás Studio modellkatalógusa a Generatív AI-alkalmazások készítését lehetővé tevő modellek széles skálájának felderítésére és használatára alkalmas központ. A modellkatalógus több száz modellt tartalmaz olyan modellszolgáltatók között, mint az Azure OpenAI szolgáltatás, a Mistral, a Meta, a Cohere, az Nvidia, az Ölelés arc, beleértve a Microsoft által betanított modelleket. A Microsofttól eltérő szolgáltatóktól származó modellek nem Microsoft-termékek, a Microsoft termékfeltételeiben meghatározottak szerint, és a modellben megadott feltételekre is vonatkoznak.
Modellgyűjtemények
A modellek a modellkatalógus gyűjteményei szerint vannak rendszerezve. A modellkatalógusban három gyűjteménytípus létezik:
- Az Azure AI által válogatott modellek: A legnépszerűbb, harmadik féltől származó nyílt súlyú és igényes modellek, amelyek csomagolva és optimalizálva, zökkenőmentesen működnek az Azure AI-platformon. Ezeknek a modelleknek a használatára a modellszolgáltatónak a modellhez megadott licencfeltételei vonatkoznak. Az Azure Machine Tanulás üzembe helyezésekor a modell rendelkezésre állására a vonatkozó Azure SLA vonatkozik, és a Microsoft támogatást nyújt az üzembe helyezési problémákhoz. Az olyan partnerek modelljei, mint a Meta, az NVIDIA és a Mistral AI, a katalógusban található "Curated by Azure AI" gyűjteményben elérhető modellek. Ezeket a modelleket a katalógusban található modellcsempék zöld pipajele azonosíthatja, vagy a "Curated by Azure AI" gyűjtemény alapján szűrhet.
- Kizárólag az Azure-ban elérhető Azure OpenAI-modellek: Az Azure OpenAI-modellek zászlóshajója az "Azure OpenAI" gyűjteményen keresztül az Azure OpenAI szolgáltatással való integráción keresztül. Ezeket a modelleket a Microsoft támogatja, és használatukra az Azure OpenAI szolgáltatás termékfeltételei és SLA-ja vonatkozik.
- Nyitott modellek az Ölelés Face Hubból: Az Ölelésarc hub több száz modellje érhető el az "Ölelés Arc" gyűjteményen keresztül, hogy valós idejű következtetéseket kövessünk online végpontokkal. Az ölelő arc létrehozza és karbantartja a HuggingFace gyűjteményben felsorolt modelleket. Használja a HuggingFace fórumát vagy a a HuggingFace-támogatást segítségért. További információ arról , hogyan helyezhet üzembe modelleket az Hugging Face-ból.
Javaslatok a modellkatalógus kiegészítésére: Ezen az űrlapon elküldheti a modellkatalógushoz való hozzáadásra vonatkozó kérelmet.
A modellkatalógus képességeinek áttekintése
Az Azure OpenAI-modellekkel kapcsolatos információkért tekintse meg az Azure OpenAI szolgáltatást.
Az Azure AI által válogatott és az Ölelés Face Hub nyitott modelljei esetében ezek némelyike valós idejű végpontként telepíthető, és ezek némelyike használatalapú fizetéses számlázással (szolgáltatásként használt modellek) telepíthető. Ezek a modellek felderíthetők, összehasonlíthatók, kiértékelhetők, finomhangolhatók (ha támogatottak), és nagy léptékben üzembe helyezhetők, és integrálhatók a nagyvállalati szintű biztonsággal és adatszabályozással rendelkező Generatív AI-alkalmazásokba.
- Felfedezés: Modellkártyák áttekintése, mintakövetkeztetés kipróbálása és kódminták tallózása a modell kiértékeléséhez, finomhangolásához vagy üzembe helyezéséhez.
- Összehasonlítás: Hasonlítsa össze az iparágban elérhető modellek és adathalmazok teljesítménymutatóit annak felméréséhez, hogy melyik felel meg az üzleti forgatókönyvnek.
- Értékelés: Saját tesztadatok megadásával kiértékelheti, hogy a modell megfelel-e az adott számítási feladatnak. A kiértékelési metrikák segítségével egyszerűen megjeleníthető, hogy a kiválasztott modell milyen jól teljesített az adott forgatókönyvben.
- Finomhangolás: Testre szabhatja a finomhangolható modelleket a saját betanítási adataival, és a legjobb modellt választhatja ki az összes finomhangolási feladat metrikáinak összehasonlításával. A beépített optimalizálás felgyorsítja a finomhangolást, és csökkenti a finomhangoláshoz szükséges memóriát és számítást.
- Üzembe helyezés: Előre betanított modellek vagy finomhangolt modellek zökkenőmentes üzembe helyezése következtetés céljából. A valós idejű végpontokon üzembe helyezhető modellek is letölthetők.
Modell üzembe helyezése: Valós idejű végpontok és szolgáltatásként nyújtott modellek (használatalapú fizetés)
A modellkatalógus két különböző módszert kínál a modellek katalógusból való üzembe helyezésére a használathoz: valós idejű végpontok és használatalapú fizetéses következtetés. Az egyes modellekhez elérhető üzembehelyezési lehetőségek eltérőek; Az alábbi táblázatokban további információt talál az üzembe helyezési lehetőségek funkcióiról és az egyes modellekhez elérhető lehetőségekről. További információ az üzembe helyezési lehetőségekkel végzett adatfeldolgozásról.
| Funkciók | Valós idejű következtetés felügyelt online végpontokkal | Használatalapú fizetés a modellekkel szolgáltatásként |
|---|---|---|
| Üzembe helyezési élmény és számlázás | A modell súlyozása felügyelt online végpontokkal rendelkező dedikált virtuális gépekre van üzembe helyezve. A felügyelt online végpont, amely egy vagy több üzembe helyezéssel rendelkezhet, rest API-t tesz elérhetővé a következtetéshez. Az üzemelő példányok által használt virtuálisgép-magórákért kell fizetnie. | A modellekhez való hozzáférés olyan üzembe helyezésen keresztül történik, amely egy API-t helyez üzembe a modell eléréséhez. Az API hozzáférést biztosít a Microsoft által felügyelt központi GPU-készletben üzemeltetett modellhez következtetés céljából. Ezt a hozzáférési módot "Modellek szolgáltatásnak" nevezzük. Az API-k bemeneteiért és kimeneteiért díjat kell fizetnie, általában jogkivonatokban; az üzembe helyezés előtt meg kell adni a díjszabással kapcsolatos információkat. |
| API-hitelesítés | Kulcsok és Microsoft Entra-azonosító hitelesítése. További információ. | Csak kulcsok. |
| Tartalombiztonság | Azure Content Széf ty szolgáltatás API-k használata. | Az Azure AI Content Széf ty szűrői integrálva érhetők el a következtetési API-kkal. Az Azure AI Content Széf ty szűrői külön számlázhatók. |
| Hálózati elkülönítés | Felügyelt virtuális hálózat online végpontokkal. További információ. |
Telepítési beállítások
| Modell | Valós idejű végpontok | Használatalapú fizetés |
|---|---|---|
| Láma családi modellek | Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Mistral családi modellek | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large Mistral-small |
| Családi modellek összehevesítése | Nem elérhető | Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-többnyelvű |
| Egyéb modellek | Elérhető | Nem érhető el |
Valós idejű végpontok
A modellek valós idejű végpontokon való üzembe helyezésének képessége az Azure Machine Tanulás platformképességére épül, hogy a modellkatalógus modellgyűjteményének teljes LLMOps-életciklusa zökkenőmentesen integrálható legyen.
Hogyan teszik elérhetővé a modelleket valós idejű végpontokhoz?
A modellek az Azure Machine Tanulás adatbázisain keresztül érhetők el, amelyek lehetővé teszik a gépi tanulás első megközelítését a gépi Tanulás eszközök üzemeltetéséhez és elosztásához, például a modell súlyozásához, a modellek futtatásához használt tároló futtatókörnyezeteihez, a modellek és adatkészletek kiértékeléséhez és finomhangolásához szükséges folyamatokat a teljesítménytesztekhez és mintákhoz. Ezek az ML-nyilvántartások nagymértékben méretezhető és nagyvállalati használatra kész infrastruktúrára épülnek, amelyek:
Alacsony késésű hozzáférési modellösszetevőket biztosít az összes Azure-régióba beépített georeplikálással.
Támogatja a vállalati biztonsági követelményeket, amelyek korlátozzák a modellekhez való hozzáférést az Azure Policy használatával, és biztonságos üzembe helyezés felügyelt virtuális hálózatokkal.
Valós idejű végpontként üzembe helyezett modellek kiértékelése és finomhangolása
A "Curated by Azure AI" gyűjteményben kiértékelheti és finomhangolhatja az Azure Machine-Tanulás az Azure Machine Tanulás Pipelines használatával. Dönthet úgy, hogy saját kiértékelési és finomhangolási kódot hoz létre, és csak a modell súlyozásához fér hozzá, vagy használhatja az Azure Machine Tanulás összetevőket, amelyek beépített kiértékelési és finomhangolási képességeket kínálnak. További információért kövesse ezt a hivatkozást.
Modellek üzembe helyezése következtetéshez valós idejű végpontként
A valós idejű végpontokon való üzembe helyezéshez elérhető modellek üzembe helyezhetők az Azure Machine Tanulás Online-végpontokon valós idejű következtetés céljából, vagy használhatók az Azure Machine Tanulás Batch Inference-hez az adatok kötegelt feldolgozásához. Az online végpontokon való üzembe helyezéshez virtuálisgép-kvótával kell rendelkeznie az Azure-előfizetésben a modell optimális futtatásához szükséges adott termékváltozatokhoz. Egyes modellek lehetővé teszik, hogy ideiglenesen megosztott kvótát telepítsen a modell teszteléséhez. További információ a modellek üzembe helyezéséről:
- Meta Llama-modellek üzembe helyezése
- Az Azure AI által létrehozott nyílt modellek üzembe helyezése
- Arcmodellek ölelése üzembe helyezése
Generatív AI-alkalmazások létrehozása valós idejű végpontokkal
A prompt flow képességeket kínál az AI-alkalmazások prototípus-készítéshez, kísérletezéshez, iteráláshoz és üzembe helyezéséhez. Az Open Model LLM eszközzel valós idejű végpontként üzembe helyezett modelleket használhat a Prompt Flow-ban. A valós idejű végpontok által közzétett REST API-t olyan népszerű LLM-eszközökben is használhatja, mint például a LangChain az Azure Machine Tanulás bővítményével.
Valós idejű végpontként üzembe helyezett modellek tartalombiztonsága
Az Azure AI Content Széf ty (AACS) szolgáltatás valós idejű végpontokkal használható a káros tartalmak különböző kategóriáinak, például a szexuális tartalmak, az erőszak, a gyűlölet és az önkárosítás, valamint az olyan speciális fenyegetések szűréséhez, mint a Jailbreak-kockázatészlelés és a védett anyagszöveg-észlelés. Erre a jegyzetfüzetre hivatkozva referenciaintegrációt végezhet az AACS for Llama 2-vel, vagy a Prompt Flow Tartalom Széf ty (Text) eszközével a modell válaszait továbbíthatja az AACS-nek szűrés céljából. Az ilyen használatért az AACS díjszabása szerint külön kell fizetnie.
A modellkatalógusban nem szereplő modellek használata
A modellkatalógusban nem elérhető modellek esetében az Azure Machine Tanulás egy nyitott és bővíthető platformot biztosít a választott modellek használatához. Az Azure Machine Tanulás nyílt és bővíthető platformfunkciói, például az Azure Machine Tanulás-környezetek segítségével bármilyen keretrendszerrel vagy futtatókörnyezettel rendelkező modellt hozhat létre, amely keretrendszereket és futtatókörnyezeteket, valamint Azure Machine-Tanulás folyamatokat csomagolhat a modellek kiértékeléséhez vagy finomhangolásához. Ebben a jegyzetfüzetben mintaként hivatkozhat a modellek importálására, valamint a beépített futtatókörnyezetek és folyamatok használatára.
Modellek szolgáltatásként (használatalapú fizetés)
A modellkatalógus egyes modelljei használatalapú fizetéses számlázással telepíthetők; ezt az üzembe helyezési módszert szolgáltatásként (Models-as-a Service, MaaS) nevezzük. A MaaS-on keresztül elérhető modelleket a Microsoft által felügyelt infrastruktúrában üzemeltetik, amely API-alapú hozzáférést tesz lehetővé a modellszolgáltató modelljéhez. Az API-alapú hozzáférés jelentősen csökkentheti a modell elérésének költségeit, és jelentősen leegyszerűsítheti a kiépítési élményt. A Legtöbb MaaS-modell jogkivonatalapú díjszabással érhető el.
Hogyan érhetők el harmadik féltől származó modellek a MaaS-ben?
A használatalapú fizetéses üzembe helyezéshez elérhető modelleket a modellszolgáltató kínálja, de a Microsoft által felügyelt Azure-infrastruktúrában üzemelteti, és API-val érhető el. A modellszolgáltatók meghatározzák a licencfeltételeket és beállítják a modelljeik használati árát, míg az Azure Machine Tanulás szolgáltatás kezeli az üzemeltetési infrastruktúrát, elérhetővé teszi a következtetési API-kat, és adatfeldolgozóként működik a MaaS-en keresztül üzembe helyezett modellek által küldött kérések és tartalomkimenetek esetében. A MaaS-hez készült adatfeldolgozásról az adatvédelmi cikkben talál további információt.
Modellhasználat kifizetése a MaaS-ben
A MaaS-en keresztül üzembe helyezett modellek felderítési, előfizetési és használati élménye az Azure AI Studióban és az Azure Machine Tanulás Studióban található. A felhasználók elfogadják a modellek használatára vonatkozó licencfeltételeket, és a használatra vonatkozó díjszabási információkat az üzembe helyezés során adják meg. A külső szolgáltatóktól származó modellek számlázása az Azure Marketplace-en keresztül történik, a kereskedelmi piactér használati feltételeivel összhangban; a Microsofttól származó modellek számlázása Azure-mérőkkel történik, mint első féltől származó fogyasztási szolgáltatás. A termékfeltételekben leírtaknak megfelelően a belső használatalapú szolgáltatások az Azure-mérők használatával vásárolhatók meg, de nem vonatkoznak az Azure szolgáltatási feltételeire. Ezeknek a modelleknek a használatára a megadott licencfeltételek vonatkoznak.
Modellek üzembe helyezése következtetéshez a MaaS-ben
A modell MaaS-sel történő üzembe helyezése lehetővé teszi a felhasználók számára, hogy az infrastruktúra konfigurálása vagy GPU-k kiépítése nélkül is hozzáférjenek a következtetési API-k használatra kész állapotához, így időt és erőforrásokat takarítva meg. Ezek az API-k több LLM-eszközzel integrálhatók, és a használat számlázása az előző szakaszban leírtak szerint történik.
Modellek finomhangolása a MaaS-ben használatalapú fizetéssel
A MaaS-on keresztül elérhető és a finomhangolást támogató modellek esetében a felhasználók használatalapú fizetéses számlázással kihasználhatják az üzemeltetett finomhangolás előnyeit, hogy az általuk megadott adatok alapján testre szabhassák a modelleket. További információ: Llama 2-modell finomhangolása az Azure AI Studióban.
RAG a MaaS-on keresztül üzembe helyezett modellekkel
Az Azure AI Studio lehetővé teszi a felhasználók számára a vektorindexek használatát és a kiterjesztett generáció lekérését. A MaaS-en keresztül üzembe helyezhető modellek használatával egyéni adatokon alapuló beágyazások és következtetések hozhatók létre a használati esetekre vonatkozó válaszok létrehozásához. További információkért tekintse meg a bővített generáció és indexek lekérését ismertető témakört.
Ajánlatok és modellek regionális elérhetősége
A használatalapú fizetéses üzembe helyezés csak azoknak a felhasználóknak érhető el, akiknek az Azure-előfizetése egy számlázási fiókhoz tartozik egy olyan országban, ahol a modellszolgáltató elérhetővé tette az ajánlatot (lásd az "ajánlat rendelkezésre állási régióját" a következő szakaszban található táblázatban). Ha az ajánlat elérhető az adott régióban, akkor a felhasználónak rendelkeznie kell egy Azure-régióban található munkaterületmel, ahol a modell üzembe helyezésre vagy finomhangolásra használható (lásd az alábbi táblázat "Munkaterület régiója" oszlopait).
| Modell | Ajánlat rendelkezésre állási régiója | Munkaterületi régió üzembe helyezéshez | Munkaterületi régió finomhangoláshoz |
|---|---|---|---|
| Llama-3-70B-Instruct Llama-3-8B-Instruct |
Microsoft által felügyelt országok | USA 2. keleti régiója, Közép-Svédország | Nem elérhető |
| Llama-2-7b Llama-2-13b Llama-2-70b |
Microsoft által felügyelt országok | USA 2. keleti régiója, USA 3. nyugati régiója | USA 3. nyugati régiója |
| Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat |
Microsoft által felügyelt országok | USA 2. keleti régiója, USA 3. nyugati régiója | Nem elérhető |
| Mistral-Large Mistral Small |
Microsoft által felügyelt országok | USA 2. keleti régiója, Közép-Svédország | Nem elérhető |
| Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-többnyelvű |
Microsoft által felügyelt országok Japán |
USA 2. keleti régiója, Közép-Svédország | Nem elérhető |
Tartalombiztonság a MaaS-en keresztül üzembe helyezett modellekhez
Az Azure Machine Tanulás az Azure AI Content Széf ty szövegmoderálási szűrőinek alapértelmezett konfigurációját valósítja meg a MaaS-en keresztül üzembe helyezett nyelvi modellek káros tartalmaihoz (szexuális tartalom, erőszak, gyűlölet és önkárosítás). További információ a tartalomszűrésről. A tartalomszűrés szinkron módon történik, amikor a szolgáltatásfolyamatok tartalom létrehozására kérik, és az ilyen felhasználásért az AACS díjszabása szerint külön számlázunk. Töltse ki ezt az űrlapot a szolgáltatásként üzembe helyezett modellek tartalomszűrésének letiltásához.
További információ
- Megtudhatja, hogyan használhat alapmodelleket az Azure Machine Tanulás finomhangolásához, kiértékeléséhez és üzembe helyezéséhez az Azure Machine Tanulás studio felhasználói felületével vagy kódalapú módszerekkel.
- Fedezze fel a modellkatalógust az Azure Machine Tanulás Studióban. A katalógus megismeréséhez Azure Machine Tanulás-munkaterületre van szüksége.
- Az Azure Machine Tanulás által válogatott modellek kiértékelése, finomhangolása és üzembe helyezése.