Share via

Az Azure Databricks szolgáltatás modellje

  • Cikk

Ez a cikk az Azure Databricks Model Serving szolgáltatását ismerteti, beleértve annak előnyeit és korlátait.

Mi az a modellkiszolgáló?

A Databricks Model Serving egységes felületet biztosít az AI-modellek üzembe helyezéséhez, szabályozásához és lekérdezéséhez. Minden kiszolgált modell REST API-ként érhető el, amelyet integrálhat a web- vagy ügyfélalkalmazásba.

A Modellszolgáltatás magas rendelkezésre állású és alacsony késésű szolgáltatást biztosít a modellek üzembe helyezéséhez. A szolgáltatás automatikusan vertikálisan fel- vagy leskálázható az igényváltozások kielégítése érdekében, így az infrastruktúra költségeinek megtakarítása mellett optimalizálható a késési teljesítmény. Ez a funkció kiszolgáló nélküli számítást használ. További részletekért tekintse meg a Modellmegjelenítés díjszabását ismertető oldalt .

A kiszolgáló modell támogatja a kiszolgálást:

  • Egyéni modellek. Ezek MLflow formátumban csomagolt Python-modellek. Regisztrálhatók a Unity Katalógusban vagy a munkaterület-modell beállításjegyzékében. Ilyenek például a scikit-learn, az XGBoost, a PyTorch és az Ölelés Arc transzformátormodellek.
  • A Foundation Model API-k által elérhetővé tett korszerű nyílt modellek. Ezek a modellek olyan válogatott alapmodell-architektúrák, amelyek támogatják az optimalizált következtetést. Az alapmodellek, például a Llama-2-70B-chat, a BGE-Large és a Mistral-7B azonnali használatra érhetők el a jogkivonatonkénti díjszabással, és a teljesítménygaranciát és finomhangolt modellvariánsokat igénylő számítási feladatok üzembe helyezhetők kiosztott átviteli sebességgel.
  • Külső modellek. Ezek a Databricksen kívül üzemeltetett modellek. A külső modelleket kiszolgáló végpontok központilag szabályozhatók, és az ügyfelek sebességkorlátokat és hozzáférés-vezérlést hozhatnak létre számukra. Ilyenek például az alapmodellek, például az OpenAI GPT-4-es, az antropikus Claude és mások.

Feljegyzés

A támogatott nagy nyelvi modelleket az AI Playground használatával használhatja. Az AI-játszótér egy csevegéshez hasonló környezet, ahol tesztelheti, kérheti és összehasonlíthatja az LLM-eket. Ez a funkció az Azure Databricks-munkaterületen érhető el.

A modellkiszolgálás egységes REST API-t és MLflow deployment API-t kínál a CRUD-hoz és a feladatok lekérdezéséhez. Emellett egyetlen felhasználói felületet is biztosít az összes modell és a hozzájuk tartozó kiszolgáló végpontok kezeléséhez. A modelleket közvetlenül az SQL-ből is elérheti az AI-függvények használatával az elemzési munkafolyamatokba való egyszerű integráció érdekében.

Az egyéni modellek Azure Databricksben való kiszolgálásáról szóló bevezető oktatóanyagért tekintse meg az egyéni modellek üzembe helyezését és lekérdezését ismertető oktatóanyagot.

A Databricks alapmodelljeinek lekérdezéséről szóló első lépésekért tekintse meg az LLM-eknek a Databricksen való lekérdezésének első lépéseit.

Miért érdemes modellkiszolgálót használni?

  • Bármilyen modell üzembe helyezése és lekérdezése: A Modellkiszolgáló egységes felületet biztosít, amellyel az összes modellt egyetlen API-val kezelheti, függetlenül attól, hogy a Databricksen vagy külsőleg vannak-e üzemeltetve. Ez a megközelítés leegyszerűsíti a modellek éles környezetben való kipróbálásának, testreszabásának és üzembe helyezésének folyamatát különböző felhőkben és szolgáltatókban.

  • Modellek biztonságos testreszabása a személyes adatokkal: Az adatintelligencia-platformra épülő Modellkiszolgáló leegyszerűsíti a funkciók és a beágyazások modellekbe való integrálását a Databricks szolgáltatástárolóval és a Databricks Vector Search szolgáltatással natív integrációval. A pontosabb és környezetfüggőbb megértés érdekében a modellek finomhangolhatók a védett adatokkal, és könnyedén üzembe helyezhetők a Modellkiszolgálón.

  • Modellek szabályozása és monitorozása: A kiszolgáló felhasználói felületén központilag kezelheti az összes modellvégpontot egy helyen, beleértve a külsőleg üzemeltetetteket is. Kezelheti az engedélyeket, nyomon követheti és beállíthatja a használati korlátokat, és figyelheti az összes modelltípus minőségét. Ez lehetővé teszi az SaaS-hozzáférés demokratizálását és a szervezeten belüli LLM-ek megnyitását, miközben biztosítja a megfelelő védőkorlátokat.

  • A költségek csökkentése optimalizált következtetéssel és gyors skálázással: A Databricks számos optimalizálást hajtott végre, hogy a lehető legjobb átviteli sebességet és késést biztosítsa a nagy modellek számára. A végpontok automatikusan fel- vagy leskálázhatók az igényváltozások kielégítése érdekében, így az infrastruktúra költségeinek megtakarítása mellett optimalizálható a késési teljesítmény.

  • A modellkiszolgálók megbízhatóságának és biztonságának növelése: A modellkiszolgálók magas rendelkezésre állású, alacsony késésű éles használatra készültek, és másodpercenként több mint 25 ezer lekérdezést támogatnak 50 ms-nál kisebb többletkéséssel. A kiszolgáló számítási feladatokat több biztonsági réteg védi, így a legérzékenyebb feladatokhoz is biztonságos és megbízható környezetet biztosít.

Követelmények

Modellkiszolgáló engedélyezése a munkaterülethez

A modellkiszolgálók munkaterületen való engedélyezéséhez nincs szükség további lépésekre.

Korlátozások és régiók rendelkezésre állása

A Databricks Model Serving alapértelmezett korlátokat szab a megbízható teljesítmény biztosításához. Lásd: Modellmegjelenítési korlátok és régiók. Ha visszajelzést szeretne küldeni ezekről a korlátokról vagy egy nem támogatott régióban lévő végpontról, forduljon a Databricks-fiók csapatához.

Adatvédelem a modellkiszolgálóban

A Databricks komolyan veszi az adatbiztonságot. A Databricks tisztában van a Databricks-modellkiszolgálóval elemezni kívánt adatok fontosságával, és az alábbi biztonsági vezérlőket implementálja az adatok védelme érdekében.

  • A Modellkiszolgálónak küldött minden ügyfélkérés logikailag elkülönítve, hitelesítve és engedélyezve van.
  • A Databricks Model Serving titkosítja az összes inaktív adatot (AES-256) és az átvitel alatt (TLS 1.2+).

Minden fizetős fiók esetében a Databricks Modellszolgáltatás nem használja a szolgáltatásba küldött felhasználói bemeneteket vagy a szolgáltatás kimeneteit a modellek betanítása vagy a Databricks-szolgáltatások fejlesztése érdekében.

A Databricks Foundation Model API-k esetében a szolgáltatás biztosítása részeként a Databricks ideiglenesen feldolgozhatja és tárolhatja a bemeneteket és kimeneteket a visszaélések vagy a káros felhasználások megelőzése, észlelése és enyhítése céljából. A bemenetek és kimenetek el vannak különítve más ügyfelektől, a munkaterületével megegyező régióban tárolva legfeljebb harminc (30) napig, és csak a biztonsági vagy visszaélési problémák észleléséhez és megválaszolásához érhetők el.

További erőforrások