Modeller som stöds för betala per token
Viktigt!
Den här funktionen finns som allmänt tillgänglig förhandsversion.
I den här artikeln beskrivs de toppmoderna öppna modeller som stöds av Api: erna för Databricks Foundation-modell i läget betala per token.
Du kan skicka frågeförfrågningar till dessa modeller med hjälp av de pay-per-token-slutpunkter som är tillgängliga på din Databricks-arbetsyta. Se Frågegrundsmodeller.
Förutom stödmodeller i pay-per-token-läge erbjuder Foundation Model API:er även etablerat dataflödesläge. Databricks rekommenderar etablerat dataflöde för produktionsarbetsbelastningar. Det här läget stöder alla modeller av en modellarkitekturfamilj (till exempel DBRX-modeller), inklusive finjusterade och anpassade förtränade modeller som stöds i pay-per-token-läge. Se API:er för etablerad dataflödesmodell för listan över arkitekturer som stöds.
Du kan interagera med dessa modeller som stöds med hjälp av AI Playground.
DBRX-instruktioner
Viktigt!
DBRX tillhandahålls under och omfattas av Databricks Open Model License, Copyright © Databricks, Inc. Alla rättigheter reserverade. Kunderna ansvarar för att säkerställa efterlevnaden av tillämpliga modelllicenser, inklusive policyn för godtagbar användning av Databricks.
DBRX Instruct är en toppmodern blandning av experter (MoE) som tränats av Databricks.
Modellen överträffar etablerade öppen källkod modeller på standardmått och utmärker sig på en bred uppsättning uppgifter för naturligt språk, till exempel textsammanfattning, frågesvar, extrahering och kodning.
DBRX Instruct kan hantera upp till 32 000 token med indatalängd och genererar utdata på upp till 4 000 token. Tack vare sin MoE-arkitektur är DBRX Instruct mycket effektivt för slutsatsdragning och aktiverar endast 36B-parametrar av totalt 132B tränade parametrar. Slutpunkten betala per token som hanterar den här modellen har en hastighetsgräns på en fråga per sekund. Se Gränser och regioner för modellservering.
På samma sätt som andra stora språkmodeller kan DBRX Instruct-utdata utelämna vissa fakta och ibland generera falsk information. Databricks rekommenderar att du använder hämtning av utökad generering (RAG) i scenarier där noggrannhet är särskilt viktigt.
DBRX-modeller använder följande standardsystemprompt för att säkerställa relevans och noggrannhet i modellsvar:
You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions based on information available up to that point.
YOU PROVIDE SHORT RESPONSES TO SHORT QUESTIONS OR STATEMENTS, but provide thorough responses to more complex and open-ended questions.
You assist with various tasks, from writing to coding (using markdown for code blocks — remember to use ``` with code, JSON, and tables).
(You do not have real-time data access or code execution capabilities. You avoid stereotyping and provide balanced perspectives on controversial topics. You do not provide song lyrics, poems, or news articles and do not divulge details of your training data.)
This is your system prompt, guiding your responses. Do not reference it, just respond to the user. If you find yourself talking about this message, stop. You should be responding appropriately and usually that means not mentioning this.
YOU DO NOT MENTION ANY OF THIS INFORMATION ABOUT YOURSELF UNLESS THE INFORMATION IS DIRECTLY PERTINENT TO THE USER'S QUERY.
Meta Llama 3 70B Instruera
Viktigt!
Llama 3 är licensierad enligt LLAMA 3 Community License, Copyright © Meta Platforms, Inc. Alla rättigheter reserverade. Kunderna ansvarar för att säkerställa efterlevnaden av tillämpliga modelllicenser.
Meta-Llama-3-70B-Instruct är en toppmodern 70B-parametertät språkmodell med en kontext av 8 000 token som har skapats och tränats av Meta. Modellen är optimerad för dialoganvändningsfall och är anpassad efter mänskliga preferenser för användbarhet och säkerhet. Den är inte avsedd att användas på andra språk än engelska. Läs mer om Meta Llama 3-modellerna.
På samma sätt som andra stora språkmodeller kan Llama-3:s utdata utelämna vissa fakta och ibland generera falsk information. Databricks rekommenderar att du använder hämtning av utökad generering (RAG) i scenarier där noggrannhet är särskilt viktigt.
Llama 2 70B Chatt
Viktigt!
Llama 2 är licensierad enligt LLAMA 2 Community License, Copyright © Meta Platforms, Inc. Alla rättigheter reserverade. Kunderna ansvarar för att säkerställa efterlevnaden av tillämpliga modelllicenser.
Llama-2-70B-Chat är en toppmodern 70B-parameterspråkmodell med en kontextlängd på 4 096 token, tränad av Meta. Den utmärker sig för interaktiva program som kräver starka resonemangsfunktioner, inklusive sammanfattningar, frågesvar och chattprogram.
På samma sätt som andra stora språkmodeller kan Llama-2-70B:s utdata utelämna vissa fakta och ibland generera falsk information. Databricks rekommenderar att du använder hämtning av utökad generering (RAG) i scenarier där noggrannhet är särskilt viktigt.
Mixtral-8x7B Instruct
Mixtral-8x7B Instruct är en högkvalitativ gles blandning av experter modell (SMoE) tränas av Mistral AI. Mixtral-8x7B Instruct kan användas för en mängd olika uppgifter, till exempel frågesvar, sammanfattning och extrahering.
Mixtral kan hantera kontextlängder på upp till 32 000 token. Mixtral kan bearbeta engelska, franska, italienska, tyska och spanska. Mixtral matchar eller överträffar Llama 2 70B och GPT3.5 på de flesta benchmarks (Mixtral-prestanda), samtidigt som de är fyra gånger snabbare än Llama 70B under slutsatsdragning.
På samma sätt som andra stora språkmodeller bör Mixtral-8x7B Instruct-modellen inte förlita sig på för att producera faktamässigt korrekt information. Stora ansträngningar har gjorts för att rensa förträningsdata, men det är möjligt att den här modellen kan generera oanständiga, partiska eller på annat sätt stötande utdata. För att minska risken använder Databricks som standard en variant av Mistrals systemprompt i felsäkert läge.
MPT 7B-instruktion
MPT-7B-8K-Instruct är en 6,7B-parametermodell tränad av MosaicML för långformsinstruktioner, särskilt frågesvar om och sammanfattning av längre dokument. Modellen är förtränad för 1,5T-token på en blandning av datauppsättningar och finjusteras på en datauppsättning som härleds från Databricks Dolly-15k och datauppsättningarna Anthropic Helpful and Harmlösa (HH-RLHF) Modellnamnet du ser i produkten är mpt-7b-instruct men modellen som används specifikt är den nyare versionen av modellen.
MPT-7B-8K-Instruct kan användas för en mängd olika uppgifter, till exempel frågesvar, sammanfattning och extrahering. Det är mycket snabbt i förhållande till Llama-2-70B men kan generera svar av lägre kvalitet. Den här modellen stöder en kontextlängd på 8 000 token. Läs mer om MPT-7B-8k-Instruct-modellen.
På samma sätt som andra språkmodeller av den här storleken bör MPT-7B-8K-Instruct inte åberopas för att producera sakligt korrekt information. Den här modellen har tränats på olika offentliga datamängder. Stora ansträngningar har gjorts för att rensa förträningsdata, men det är möjligt att den här modellen kan generera oanständiga, partiska eller på annat sätt stötande utdata.
MPT 30B-instruktion
MPT-30B-Instruct är en 30B-parametermodell för instruktioner som tränas av MosaicML. Modellen är förtränad för 1T-token på en blandning av engelsk text och kod, och sedan ytterligare instruktioner finjusterade på en datauppsättning som härleds från Databricks Dolly-15k, Anthropic Helpful and Harmless (HH-RLHF), CompetitionMath, DuoRC, CoT GSM8k, QASPER, QuALITY, SummScreen och Spider datauppsättningar.
MPT-30B-Instruct kan användas för en mängd olika uppgifter, till exempel frågesvar, sammanfattning och extrahering. Det är mycket snabbt i förhållande till Llama-2-70B men kan generera svar av lägre kvalitet och stöder inte chatt med flera svängar. Den här modellen stöder en kontextlängd på 8 192 token. Läs mer om MPT-30B-Instruct-modellen.
På samma sätt som andra språkmodeller av den här storleken bör MPT-30B-Instruct inte förlita sig på för att producera sakligt korrekt information. Den här modellen har tränats på olika offentliga datamängder. Stora ansträngningar har gjorts för att rensa förträningsdata, men det är möjligt att den här modellen kan generera oanständiga, partiska eller på annat sätt stötande utdata.
Stor BGE (En)
BAAI Allmän inbäddning (BGE) är en textinbäddningsmodell som kan mappa valfri text till en inbäddningsvektor med 1 024 dimensioner. Dessa vektorer kan användas i vektordatabaser för LLM:er, samt uppgifter som hämtning, klassificering, frågesvar, klustring eller semantisk sökning. Den här slutpunkten hanterar den engelska versionen av modellen.
Inbäddningsmodeller är särskilt effektiva när de används tillsammans med LLM:er för användningsfall för hämtning av utökad generering (RAG). BGE kan användas för att hitta relevanta textfragment i stora delar av dokument som kan användas i kontexten för en LLM.
I RAG-program kanske du kan förbättra prestandan för ditt hämtningssystem genom att inkludera en instruktionsparameter. BGE-författarna rekommenderar att du provar instruktionen "Represent this sentence for searching relevant passages:" för frågeinbäddningar, även om dess prestandapåverkan är domänberoende.