Megosztás a következőn keresztül:

Alapmodell betanítása

  • Cikk

Fontos

Ez a funkció a nyilvános előzetes verzióban érhető el. Lépjen kapcsolatba a Databricks-fiók csapatával a nyilvános előzetes verzióban való regisztrációhoz.

Az Alapmodell betanításával saját adataival testre szabhat egy alapmodellt, hogy optimalizálja az adott alkalmazás teljesítményét. Az alapmodellek finomhangolásával vagy folyamatos betanításával jelentősen kevesebb adat, idő és számítási erőforrás használatával taníthatja be saját modelljét, mint egy modell alapból történő betanítása.

A Databricksben minden egy platformon található: a saját, betanításhoz használandó adatok, a betanítandó alapmodell, az MLflow-ba mentett ellenőrzőpontok, valamint a Unity Katalógusban regisztrált modell, és készen áll az üzembe helyezésre.

Ez a cikk áttekintést nyújt a Databricks alapmodell-betanításáról. A használatukkal kapcsolatos részletekért tekintse meg a következőket:

Mi az alapmodell-betanítás?

Az alapmodell betanításával a Databricks API-val vagy a felhasználói felülettel hangolhatja vagy taníthatja be az alapmodellt.

Az alapmodell betanításával az alábbiakat végezheti el:

  • Modell betanítása az egyéni adatokkal az MLflow-ba mentett ellenőrzőpontokkal. A betanított modell teljes vezérlése megmarad.
  • Automatikusan regisztrálja a modellt a Unity Catalogban, így egyszerű üzembe helyezést tesz lehetővé a modell kiszolgálásával.
  • Egy korábban betanított modell súlyainak betöltésével tovább tanítható egy befejezett, saját fejlesztésű modell.

A Databricks azt javasolja, hogy próbálja ki az alapmodell-betanítást, ha:

  • Kipróbálta a néhány lövéses tanulást, és jobb eredményeket szeretne.
  • Már kipróbálta a gyors tervezést egy meglévő modellen, és jobb eredményeket szeretne.
  • Teljes körű tulajdonjogot szeretne kapni egy egyéni modellben az adatvédelem érdekében.
  • Késés-érzékeny vagy költségérzékeny, és egy kisebb, olcsóbb modellt szeretne használni a feladatspecifikus adatokkal.

Támogatott tevékenységek

Az alapmodell-betanítás a következő használati eseteket támogatja:

  • Felügyelt finomhangolás: A modell betanítása strukturált parancssori válaszadatokra. Ezzel a funkcióval a modellt egy új tevékenységhez igazíthatja, módosíthatja a válaszstílusát, vagy utasításokat követhet.
  • Folyamatos előzetes betanítás: A modell betanítása további szöveges adatokkal. Ezzel új ismereteket adhat hozzá egy modellhez, vagy egy modellt egy adott tartományra összpontosíthat.
  • Csevegés befejezése: A modell betanítása csevegőnaplókba egy felhasználó és egy AI-asszisztens között. Ez a formátum használható a tényleges csevegési naplókhoz, valamint a kérdések megválaszolásához és a beszélgetési szövegekhez is. A szöveg automatikusan az adott modellnek megfelelő csevegési formátumba lesz formázva.

Követelmények

  • Databricks-munkaterület az alábbi Azure-régiók egyikében: centralus, , eastus, northcentraluseastus2, , westuswestcentraluswestus3.
  • A Foundation Model Training API-k telepítése a következővel pip install databricks_genaitörténik: .
  • Databricks Runtime 12.2 LTS ML vagy újabb, ha az adatok Delta-táblában találhatóak.

A szükséges bemeneti adatformátumokkal kapcsolatos információkért tekintse meg az Alapmodell-betanítás adatainak előkészítése című témakört.

Ajánlott adatméret modellbetanításhoz

A felügyelt finomhangoláshoz és a csevegés befejezéséhez elegendő jogkivonatot kell biztosítania a modell legalább egy teljes környezeti hosszához. Például 4096 jogkivonatot meta-llama/Llama-2-7b-chat-hf vagy 32768 tokent a mistralai/Mistral-7B-v0.1.

A folyamatos előzetes betanításhoz a Databricks legalább 1,5 millió mintát javasol, hogy jobb minőségű modellt kapjon, amely megtanulja az egyéni adatokat.

Támogatott modellek

Fontos

A Llama 3 licenccel rendelkezik a LLAMA 3 közösségi licenc, copyright © metaplatformok, Inc. Minden jog fenntartva. Az ügyfelek felelősek az alkalmazandó modelllicencek megfelelőségének biztosításáért.

A Llama 2 és a Code Llama modellek licencelése a LLAMA 2 Közösségi Licenc, Copyright © Meta Platforms, Inc. Minden jog fenntartva. Az ügyfelek felelősek az alkalmazandó modelllicencek megfelelőségének biztosításáért.

A DBRX-et a Databricks Open Model Licenc, a Copyright © Databricks, Inc. Minden jog fenntartva. Az ügyfelek felelősek az alkalmazandó modelllicenceknek való megfelelőség biztosításáért, beleértve a Databricks elfogadható használati szabályzatát is.

Modell A környezet maximális hossza
databricks/dbrx-base 4096
databricks/dbrx-instruct 4096
meta-llama/Meta-Llama-3-70B 8192
meta-llama/Meta-Llama-3-70B-Instruct 8192
meta-llama/Meta-Llama-3-8B 8192
meta-llama/Meta-Llama-3-8B-Instruct 8192
meta-llama/Llama-2-7b-hf 4096
meta-llama/Llama-2-13b-hf 4096
meta-llama/Llama-2-70b-hf 4096
meta-llama/Llama-2-7b-chat-hf 4096
meta-llama/Llama-2-13b-chat-hf 4096
meta-llama/Llama-2-70b-chat-hf 4096
codellama/CodeLlama-7b-hf 16384
codellama/CodeLlama-13b-hf 16384
codellama/CodeLlama-34b-hf 16384
codellama/CodeLlama-7b-Instruct-hf 16384
codellama/CodeLlama-13b-Instruct-hf 16384
codellama/CodeLlama-34b-Instruct-hf 16384
codellama/CodeLlama-7b-Python-hf 16384
codellama/CodeLlama-13b-Python-hf 16384
codellama/CodeLlama-34b-Python-hf 16384
mistralai/Mistral-7B-v0.1 32 768
mistralai/Mistral-7B-Instruct-v0.2 32 768
mistralai/Mixtral-8x7B-v0.1 32 768

Alapmodell-betanítás használata

Az alapmodell-betanítás az databricks_genai SDK-val érhető el. Az alábbi példa létrehoz és elindít egy betanítási futtatásokat, amelyek a Unity Catalog-kötetekből származó adatokat használják. A konfiguráció részleteiért tekintse meg a Betanítási futtatás létrehozása az Foundation Model Training API használatával című témakört.

from databricks.model_training import foundation_model as fm

model = 'meta-llama/Llama-2-7b-chat-hf'
# UC Volume with JSONL formatted data
train_data_path = 'dbfs:/Volumes/main/mydirectory/ift/train.jsonl'
register_to = 'main.mydirectory'
run = fm.create(
  model=model,
  train_data_path=train_data_path,
  register_to=register_to,
)

Korlátozások

  • A nagy adathalmazok (10B+ jogkivonatok) a számítási rendelkezésre állás miatt nem támogatottak.
  • A PrivateLink nem támogatott.
  • A folyamatos előzetes betanításhoz a számítási feladatok 60–256 MB-os fájlokra korlátozódnak. Az 1 GB-nál nagyobb fájlok hosszabb feldolgozási időt okozhatnak.
  • A Databricks arra törekszik, hogy a legújabb csúcsmodelleket elérhetővé tegye a testreszabáshoz az Foundation Model Training használatával. Az új modellek elérhetővé tétele során előfordulhat, hogy eltávolítjuk a régebbi modellek API-ból és/vagy felhasználói felületről való elérését, elavulttá tesszük a régebbi modelleket, vagy frissítjük a támogatott modelleket. Ha egy alapmodell el lesz távolítva az API-ból és/vagy a felhasználói felületről vagy elavult, a Databricks a következő lépéseket hajtja végre, hogy legalább három hónappal az eltávolítás és/vagy az elavulás dátuma előtt értesítse az ügyfeleket:
    • A Databricks-munkaterület Kísérletek > alapmodell-betanítási oldaláról figyelmeztető üzenet jelenik meg a modellkártyán, amely jelzi, hogy a modell elavult.
    • Frissítse a dokumentációt, hogy tartalmazzon egy értesítést, amely jelzi, hogy a modell elavulásra van ütemezve.