Retrieval Augmented Generation (RAG) i indeksy
Ważne
Niektóre funkcje opisane w tym artykule mogą być dostępne tylko w wersji zapoznawczej. Ta wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie zalecamy korzystania z niej w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą być nieobsługiwane lub ograniczone. Aby uzyskać więcej informacji, zobacz Uzupełniające warunki korzystania z wersji zapoznawczych platformy Microsoft Azure.
W tym artykule omówiono znaczenie i potrzebę pobierania rozszerzonej generacji (RAG) i indeksu generowania sztucznej inteligencji.
Co to jest RAG?
Najpierw niektóre podstawy. Duże modele językowe (LLM), takie jak ChatGPT, są szkolone na publicznych danych internetowych, które były dostępne w momencie ich trenowania. Mogą odpowiedzieć na pytania związane z danymi, na które zostały przeszkolone. Te dane publiczne mogą nie być wystarczające do spełnienia wszystkich Twoich potrzeb. Możesz chcieć odpowiedzieć na pytania na podstawie Twoich prywatnych danych. Lub dane publiczne mogą po prostu przestać być nieaktualne. Rozwiązaniem tego problemu jest pobieranie rozszerzonej generacji (RAG), wzorzec używany w sztucznej inteligencji, który używa usługi LLM do generowania odpowiedzi z własnymi danymi.
Jak działa rag?
RAG to wzorzec, który używa danych z modułem LLM do generowania odpowiedzi specyficznych dla Twoich danych. Gdy użytkownik zadaje pytanie, magazyn danych jest przeszukiwany na podstawie danych wejściowych użytkownika. Pytanie użytkownika jest następnie łączone z pasującymi wynikami i wysyłane do usługi LLM przy użyciu monitu (jawne instrukcje dla modelu sztucznej inteligencji lub uczenia maszynowego) w celu wygenerowania żądanej odpowiedzi. Można to zilustrować w następujący sposób.
Co to jest indeks i dlaczego go potrzebuję?
Model RAG używa Twoich danych do generowania odpowiedzi na pytania użytkownika. Aby rag działało dobrze, musimy znaleźć sposób na wyszukiwanie i wysyłanie danych w łatwy i ekonomiczny sposób do LLMs. Jest to osiągane przy użyciu indeksu. Indeks to magazyn danych, który umożliwia wydajne wyszukiwanie danych. Jest to bardzo przydatne w modelu RAG. Indeks można zoptymalizować pod kątem funkcji LLM, tworząc wektory (dane tekstowe konwertowane na sekwencje liczbowe przy użyciu modelu osadzania). Dobry indeks zwykle ma wydajne funkcje wyszukiwania, takie jak wyszukiwania słów kluczowych, wyszukiwania semantyczne, wyszukiwania wektorowe lub kombinacja tych funkcji. Ten zoptymalizowany wzorzec RAG można zilustrować w następujący sposób.
Usługa Azure AI udostępnia zasób indeksu do użycia ze wzorcem RAG. Zasób indeksu zawiera ważne informacje, takie jak miejsce przechowywania indeksu, sposób uzyskiwania dostępu do indeksu, jakie tryby wyszukiwania indeksu, czy indeks ma wektory, jaki jest model osadzania używany dla wektorów itp. Indeks usługi Azure AI używa usługi Azure AI Search jako podstawowego i zalecanego magazynu indeksów. Azure AI Search to zasób platformy Azure, który obsługuje pobieranie informacji za pośrednictwem wektora i danych tekstowych przechowywanych w indeksach wyszukiwania.