Share via

Integrált adattömb- és beágyazás az Azure AI Searchben

  • Cikk

Fontos

Az integrált adattömb-készítés és vektorizálás nyilvános előzetes verzióban érhető el a kiegészítő használati feltételek alatt. A 2023-10-01-preview REST API biztosítja ezt a funkciót.

Az integrált vektorizálás az Indexelési és lekérdezési folyamatok kiterjesztése az Azure AI Searchben. A következő képességeket adja hozzá:

  • Adattömbelés az indexelés során
  • Szöveg–vektor átalakítás indexelés közben
  • Szöveg–vektor átalakítás lekérdezések során

Az adattömb-készítés nem nehéz követelmény, de ha a nyers dokumentumok nem kicsik, az adattömb-készítés szükséges a modellek beágyazási modelljeinek tokenbemeneti követelményeinek teljesítéséhez.

A legfontosabb előnye, hogy az integrált vektorizálás felgyorsítja a fejlesztést, és minimálisra csökkenti a karbantartási feladatokat az adatbetöltés és a lekérdezési idő során, mivel kevesebb külső összetevőt kell konfigurálni és kezelni.

A vektorkonvertálások egyirányúak: szövegről vektorra. Lekérdezések vagy eredmények esetében nincs vektor–szöveg átalakítás (például nem konvertálható vektoreredmény ember által olvasható sztringgé).

Integrált vektorizáció használata az indexelés során

Adattömbök és szöveg–vektor konverziók esetén a következő összetevők függőségét kell figyelembe vennie:

Integrált vektorizáció használata lekérdezésekben

Ha a lekérdezések során a szöveg-vektor konverziót szeretné elvégezni, az alábbi összetevőkre kell függőséget vállalnia:

  • Az indexsémában definiált vektorosító, amely egy vektormezőhöz van rendelve, és a lekérdezéskor automatikusan használható a szöveges lekérdezés vektorsá alakításához.
  • Egy vagy több vektormezőt meghatározó lekérdezés.
  • Egy szöveges sztring, amely a lekérdezés időpontjában vektorrá alakul.

Összetevő diagramja

Az alábbi ábra az integrált vektorizáció összetevőit mutatja be.

Egy integrált vektorizálási munkafolyamat összetevőinek diagramja.

A munkafolyamat egy indexelő folyamat. Az indexelők lekérik az adatokat a támogatott adatforrásokból, és adatbővítést (vagy alkalmazott AI-t) kezdeményeznek az Azure OpenAI- vagy Azure AI-szolgáltatások vagy egyéni kód meghívásával szöveg-vektoros átalakításokhoz vagy egyéb feldolgozáshoz.

A diagram az integrált vektorizálásra összpontosít, de a megoldás nem korlátozódik erre a listára. További készségeket adhat hozzá az AI-bővítéshez, létrehozhat egy tudástárat, szemantikai rangsorolást adhat hozzá, relevanciahangolást és egyéb lekérdezési funkciókat adhat hozzá.

Rendelkezésre állás és díjszabás

Az integrált vektorizálás minden régióban és szinten elérhető. Ha azonban az Azure OpenAI-t és az AzureOpenAIEmbedding képességet használja, ellenőrizze a szolgáltatás regionális elérhetőségét .

Ha egyéni jártasságot és Azure-beli üzemeltetési mechanizmust (például Azure-függvényalkalmazást, Azure Web Appot és Azure Kubernetes-t) használ, ellenőrizze a termék régiónkénti oldalát a funkciók elérhetőségéről.

Az adatrészletezés (Text Split skill) ingyenes, és minden régióban elérhető az Összes Azure AI-szolgáltatásban.

Feljegyzés

A 2019. január 1. előtt létrehozott régebbi keresési szolgáltatások némelyike olyan infrastruktúrán van üzembe helyezve, amely nem támogatja a vektoros számítási feladatokat. Ha vektormezőt próbál hozzáadni egy sémához, és hibaüzenetet kap, az elavult szolgáltatások eredménye. Ebben az esetben létre kell hoznia egy új keresési szolgáltatást a vektorfunkció kipróbálásához.

Milyen forgatókönyvek támogathatják az integrált vektorizálást?

  • Bontsa fel a nagyméretű dokumentumokat adattömbökre, amelyek vektoros és nem avektoros forgatókönyvekhez hasznosak. Vektorok esetén az adattömbök segítenek megfelelni a modellek beágyazásának bemeneti korlátainak. Nem megadó forgatókönyvek esetén előfordulhat, hogy van egy csevegőstílusú keresőalkalmazása, amelyben a GPT indexelt adattömbökből állít össze válaszokat. A csevegési stílusú kereséshez vektoros vagy nem konvektorizált adattömböket is használhat.

  • Hozzon létre egy vektortárolót, ahol az összes mező vektormező, és a dokumentumazonosító (a keresési indexhez szükséges) az egyetlen sztringmező. Kérje le a vektortárolót a dokumentumazonosítók lekéréséhez, majd küldje el a dokumentum vektormezőit egy másik modellnek.

  • Vektor- és szövegmezők kombinálása hibrid kereséshez szemantikai rangsorolással vagy anélkül. Az integrált vektorizálás leegyszerűsíti a vektorkeresés által támogatott összes forgatókönyvet.

Mikor érdemes integrált vektorizálást használni?

Javasoljuk, hogy használja az Azure AI Studio beépített vektorizálási támogatását. Ha ez a megközelítés nem felel meg az igényeinek, létrehozhat olyan indexelőket és készségkészleteket, amelyek integrált vektorizálást indukálnak az Azure AI Search programozott felületeinek használatával.

Integrált vektorizáció használata

Csak lekérdezési vektorizálás esetén:

  1. Vektorizáló hozzáadása indexhez. Ennek ugyanazzal a beágyazási modellel kell rendelkeznie, amely vektorokat hoz létre az indexben.
  2. Rendelje hozzá a vektorosítót egy vektorprofilhoz, majd rendeljen hozzá egy vektorprofilt a vektormezőhöz.
  3. Alakítsa ki a vektoros lekérdezést , amely meghatározza a vektorizálni kívánt szöveges sztringet.

Egy gyakoribb forgatókönyv – adattömbölés és vektorizálás az indexelés során:

  1. Adatforrás-kapcsolat létrehozása egy támogatott adatforrással indexelőalapú indexeléshez.
  2. Hozzon létre egy olyan készségkészletet, amely az adattömbök és az AzureOpenAIEmbeddingModel szövegfelosztási készségét hívja meg, vagy egy egyéni készséget az adattömbök vektorizálásához.
  3. Hozzon létre egy indexet, amely egy vektorizálót határoz meg a lekérdezési időhöz, és rendelje hozzá vektormezőkhöz.
  4. Hozzon létre egy indexelőt , amellyel az adatok beolvasásától kezdve a képességkészletek végrehajtásáig mindent vezérelhet az indexelésen keresztül.

Ha szeretné, hozzon létre másodlagos indexeket olyan speciális forgatókönyvekhez, ahol az adattömb tartalma egy indexben van, és egy másik indexben nincs megadva. Az adattömb indexek (vagy másodlagos indexek) a RAG-alkalmazások esetében hasznosak.

Tipp.

A kód írása előtt próbálja ki az új Adatok importálása és vektorizálása varázslót az Azure Portalon az integrált vektorizáció felfedezéséhez.

Vagy konfiguráljon egy Jupyter-jegyzetfüzetet arra, hogy ugyanazt a munkafolyamatot celláról cellára futtassa az egyes lépések működésének megtekintéséhez.

Korlátozások

Győződjön meg arról, hogy ismeri az Azure OpenAI-kvótákat és a modellek beágyazási korlátait. Az Azure AI Search újrapróbálkozési szabályzatokkal rendelkezik, de ha a kvóta kimerült, az újrapróbálkozás sikertelen lesz.

Az Azure OpenAI-jogkivonat percenkénti korlátja modellenként, előfizetésenként. Ezt tartsa szem előtt, ha beágyazási modellt használ lekérdezési és indexelési számítási feladatokhoz is. Ha lehetséges, kövesse az ajánlott eljárásokat. Mindegyik számítási feladathoz rendelkezik beágyazási modellel, és próbálja őket különböző előfizetésekben üzembe helyezni.

Az Azure AI Searchben ne feledje, hogy a szolgáltatási korlátok szint és számítási feladatok szerint vannak.

Végül a következő funkciók jelenleg nem támogatottak:

Az integrált vektorizálás előnyei

Íme néhány az integrált vektorizálás fő előnyei közül:

  • Nincs külön adattömb- és vektorizálási folyamat. A kód írása és karbantartása egyszerűbb.

  • A végpontok közötti indexelés automatizálása. Amikor az adatok megváltoznak a forrásban (például az Azure Storage-ban, az Azure SQL-ben vagy a Cosmos DB-ben), az indexelő a teljes folyamaton keresztül áthelyezheti ezeket a frissítéseket a lekéréstől a dokumentummegrepedésig, az opcionális AI-bővítésen, az adattömbökön, a vektorizáción és az indexelésen keresztül.

  • Adattömbök tartalmának kivetítése másodlagos indexekre. A másodlagos indexek ugyanúgy jönnek létre, mint bármely keresési index (a mezőkkel és más szerkezetekkel rendelkező sémák), de az indexelők egy elsődleges indexkel töltik fel őket. Az egyes forrásdokumentumok tartalma az elsődleges és másodlagos indexek mezőibe áramlik ugyanazon indexelési futtatás során.

    A másodlagos indexek kérdés- és válasz- vagy csevegésstílusú alkalmazásokhoz készültek. A másodlagos index részletes információkat tartalmaz konkrétabb egyezésekhez, de a szülőindex több információval rendelkezik, és gyakran teljesebb választ adhat. Ha egyezés található a másodlagos indexben, a lekérdezés a szülődokumentumot adja vissza az elsődleges indexből. Ha például egy nagy PDF-fájlt forrásdokumentumként használ, az elsődleges index alapinformációkkal (cím, dátum, szerző, leírás) rendelkezhet, míg a másodlagos indexben kereshető tartalomrészletek találhatók.

Következő lépések