Share via

Distribuire modelli di base di intelligenza artificiale generativi

  • Articolo

Questo articolo descrive il supporto per la gestione e l'esecuzione di query sui modelli di base di intelligenza artificiale generati e LLM usando Databricks Model Serving.

Importante

Per un'esercitazione introduttiva su come eseguire query su un modello di base in Databricks, vedere Introduzione all'esecuzione di query su LLMs in Databricks.

Che cosa sono i modelli di base?

I modelli di base sono modelli di Machine Learning di grandi dimensioni pre-sottoposti a training con l'intenzione di essere ottimizzati per attività di comprensione e generazione del linguaggio più specifiche. Questi modelli vengono usati per distinguere i modelli all'interno dei dati di input per carichi di lavoro generativi di intelligenza artificiale e LLM.

Databricks Model Serving supporta la gestione e l'esecuzione di query sui modelli di base usando le funzionalità seguenti:

  • API del modello di base. Questa funzionalità rende disponibili modelli aperti all'avanguardia per l'endpoint di gestione del modello. Questi modelli sono architetture di modelli di base curate che supportano l'inferenza ottimizzata. I modelli di base, ad esempio DBRX Instruct, Llama-2-70B-chat, BGE-Large e Mistral-7B sono disponibili per l'uso immediato con prezzi con pagamento per token e carichi di lavoro che richiedono garanzie di prestazioni e varianti di modello ottimizzate possono essere distribuite con velocità effettiva con provisioning.
  • Modelli esterni. Si tratta di modelli ospitati all'esterno di Databricks. Gli endpoint che servono modelli esterni possono essere regolati centralmente e i clienti possono stabilire limiti di velocità e controllo di accesso per loro. Alcuni esempi includono modelli di base come GPT-4 di OpenAI, Claude di Anthropic e altri.

Requisiti

Per accedere ai modelli di base ed eseguire query usando Databricks Model Serving, esaminare i requisiti per ogni funzionalità.

Creare un endpoint di gestione di un modello di base

Vedere Creare un modello di base che gestisce gli endpoint

Eseguire query su un modello di base

Risorse aggiuntive