Kom igång med Java Enterprise-chattexemplet med HJÄLP av RAG

  • Artikel

Den här artikeln visar hur du distribuerar och kör exemplet på enterprise-chattappen för Java. Det här exemplet implementerar en chattapp med Java, Azure OpenAI Service och Retrieveal Augmented Generation (RAG) i Azure AI Search för att få svar om medarbetarförmåner på ett fiktivt företag. Appen är seedad med PDF-filer inklusive den anställdas handbok, ett förmånsdokument och en lista över företagsroller och förväntningar.

Börja nu

Genom att följa anvisningarna i den här artikeln gör du följande:

  • Distribuera en chattapp till Azure.
  • Få svar om medarbetarförmåner.
  • Ändra inställningarna för att ändra beteendet för svar.

När du har slutfört den här artikeln kan du börja ändra det nya projektet med din anpassade kod.

Den här artikeln är en del av en samling artiklar som visar hur du skapar en chattapp med Hjälp av Azure OpenAI Service och Azure AI Search. Andra artiklar i samlingen är:

Arkitekturöversikt

En enkel arkitektur för chattappen visas i följande diagram:

Diagram som visar arkitektur från klient till serverdelsapp.

Viktiga komponenter i arkitekturen är:

  • Ett webbprogram som är värd för den interaktiva chattupplevelsen.
  • En Azure AI Search-resurs för att få svar från dina egna data.
  • En Azure OpenAI-tjänst som ska tillhandahålla:
    • Nyckelord för att förbättra sökningen över dina egna data.
    • Svar från OpenAI-modellen.
    • Inbäddningar från ada-modellen

Kostnad

De flesta resurser i den här arkitekturen använder en prisnivå för grundläggande eller förbrukning. Förbrukningspriser baseras på användning, vilket innebär att du bara betalar för det du använder. För att slutföra den här artikeln kommer det att finnas en avgift men den kommer att vara minimal. När du är klar med artikeln kan du ta bort resurserna för att sluta debiteras.

Läs mer om kostnaden i exempelrepo.

Förutsättningar

En utvecklingscontainermiljö är tillgänglig med alla beroenden som krävs för att slutföra den här artikeln. Du kan köra utvecklingscontainern i GitHub Codespaces (i en webbläsare) eller lokalt med hjälp av Visual Studio Code.

Om du vill använda den här artikeln behöver du följande krav:

  1. En Azure-prenumeration – Skapa en kostnadsfritt
  2. Azure-kontobehörigheter – Ditt Azure-konto måste ha behörigheten Microsoft.Authorization/roleAssignments/write, till exempel administratör för användaråtkomst eller ägare.
  3. Åtkomst beviljad till Azure OpenAI i den önskade Azure-prenumerationen. För närvarande måste man ansöka om att få åtkomst till den här tjänsten. Du kan ansöka om åtkomst till Azure OpenAI genom att fylla i formuläret på https://aka.ms/oai/access. Öppna ett problem på den här lagringsplatsen för att kontakta oss om du har ett problem.
  4. GitHub-konto

Öppna utvecklingsmiljön

Börja nu med en utvecklingsmiljö som har alla beroenden installerade för att slutföra den här artikeln.

GitHub Codespaces kör en utvecklingscontainer som hanteras av GitHub med Visual Studio Code för webben som användargränssnitt. För den enklaste utvecklingsmiljön använder du GitHub Codespaces så att du har rätt utvecklarverktyg och beroenden förinstallerade för att slutföra den här artikeln.

Viktigt!

Alla GitHub-konton kan använda Codespaces i upp till 60 timmar kostnadsfritt varje månad med 2 kärninstanser. Mer information finns i GitHub Codespaces månadsvis inkluderade lagrings- och kärntimmar.

  1. Starta processen för att skapa ett nytt GitHub Codespace på grenen main av Azure-Samples/azure-search-openai-demo-java GitHub-lagringsplatsen.

  2. Högerklicka på följande knapp och välj Öppna länk i nya fönster för att ha både utvecklingsmiljön och dokumentationen tillgänglig samtidigt.

    Öppna det här projektet i GitHub Codespaces

  3. På sidan Skapa kodområde granskar du konfigurationsinställningarna för kodområdet och väljer sedan Skapa nytt kodområde

    Skärmbild av bekräftelseskärmen innan du skapar ett nytt kodområde.

  4. Vänta tills kodområdet har startats. Den här startprocessen kan ta några minuter.

  5. Logga in på Azure med Azure Developer CLI i terminalen längst ned på skärmen.

    azd auth login

  6. Kopiera koden från terminalen och klistra sedan in den i en webbläsare. Följ anvisningarna för att autentisera med ditt Azure-konto.

  7. De återstående uppgifterna i den här artikeln sker i samband med den här utvecklingscontainern.

Distribuera och köra

Exempellagringsplatsen innehåller alla kod- och konfigurationsfiler som du behöver för att distribuera en chattapp till Azure. Följande steg beskriver hur du distribuerar exemplet till Azure.

Distribuera chattapp till Azure

Viktigt!

Azure-resurser som skapas i det här avsnittet medför omedelbara kostnader, främst från Azure AI Search-resursen. Dessa resurser kan medföra kostnader även om du avbryter kommandot innan det körs fullständigt.

  1. Kör följande Azure Developer CLI-kommando för att etablera Azure-resurserna och distribuera källkoden:

    azd up

  2. När du uppmanas att ange ett miljönamn ska du hålla det kort och gemener. Exempel: myenv Det används som en del av resursgruppens namn.

  3. När du uppmanas till det väljer du en prenumeration för att skapa resurserna i.

  4. När du uppmanas att välja en plats första gången väljer du en plats nära dig. Den här platsen används för de flesta resurser, inklusive värdtjänster.

  5. Om du uppmanas att ange en plats för OpenAI-modellen väljer du en plats nära dig. Om samma plats är tillgänglig som din första plats väljer du det.

  6. Vänta tills appen har distribuerats. Det kan ta 5–10 minuter för distributionen att slutföras.

  7. När programmet har distribuerats visas en URL i terminalen.

  8. Välj den URL:en som är märkt Deploying service web för att öppna chattprogrammet i en webbläsare. Skärmbild av chattappen i webbläsaren som visar flera förslag på chattinmatning och chatttextrutan för att ange en fråga.

Använda chattappen för att få svar från PDF-filer

Chattappen är förinstallerad med information om medarbetarnas förmåner från PDF-filer. Du kan använda chattappen för att ställa frågor om fördelarna. Följande steg beskriver hur du använder chattappen.

  1. I webbläsaren väljer eller anger du "Vad ingår i min Northwind Health Plus-plan som inte är standard?" i chatttextrutan.

    Skärmbild av chattappens första svar.

  2. Välj en av citaten i svaret.

    Skärmbild av chattappens första svar med citatet markerat i en röd ruta.

  3. I det högra fönstret använder du flikarna för att förstå hur svaret genererades.

    Tabb beskrivning
    Tankeprocess Det här är ett skript för interaktionerna i chatten.
    Stöd för innehåll Detta inkluderar information för att besvara din fråga och källmaterialet.
    Hänvisning Då visas DEN PDF-sida som innehåller citatet.

  4. När du är klar väljer du den markerade fliken igen för att stänga fönstret.

Använda inställningar för chattappar för att ändra beteendet för svar

Chattappens intelligens bestäms av OpenAI-modellen och de inställningar som används för att interagera med modellen.

Skärmbild av inställningar för chattutvecklare.

Inställning beskrivning
Åsidosätt promptmall Det här är uppmaningen som används för att generera svaret.
Hämta så många sökresultat Det här är antalet sökresultat som används för att generera svaret. Du kan se dessa källor som returneras i flikarna Tankeprocess och Stöd för innehåll i källhänvisning.
Exkludera kategori Det här är kategorin av dokument som undantas från sökresultaten.
Använda semantisk ranker för hämtning Det här är en funktion i Azure AI Search som använder maskininlärning för att förbättra sökresultatens relevans.
Använda frågekontextsammanfattningar i stället för hela dokument När både Use semantic ranker och Use query-contextual summaries kontrolleras använder LLM bildtext som extraherats från nyckelpassagen, i stället för alla passager, i de högst rankade dokumenten.
Föreslå uppföljningsfrågor Låt chattappen föreslå uppföljningsfrågor baserat på svaret.
Hämtningsläge Vektorer + Text innebär att sökresultaten baseras på texten i dokumenten och inbäddningarna av dokumenten. Vektorer innebär att sökresultaten baseras på inbäddning av dokumenten. Text innebär att sökresultaten baseras på texten i dokumenten.
Svar om att streamchatten har slutförts Stream-svar i stället för att vänta tills det fullständiga svaret är tillgängligt för ett svar.

Följande steg beskriver hur du ändrar inställningarna.

  1. I webbläsaren väljer du fliken Utvecklare Inställningar.

  2. Markera kryssrutan Föreslå uppföljningsfrågor och ställ samma fråga igen.

    What is my deductible?

    Chatten returnerade föreslagna uppföljningsfrågor, till exempel följande:

    1. What is the cost sharing for out-of-network services?
2. Are preventive care services subject to the deductible?
3. How does the prescription drug deductible work?

  3. På fliken Inställningar avmarkerar du Använd semantisk ranker för hämtning.

  4. Ställ samma fråga igen?

    What is my deductible?

  5. Vad är skillnaden i svaren?

    Till exempel gav svaret, som använde den semantiska rankaren, ett enda svar: The deductible for the Northwind Health Plus plan is $2,000 per year.

    Reponse utan semantisk rangordning returnerade ett svar, vilket krävde mer arbete för att få svaret: Based on the information provided, it is unclear what your specific deductible is. The Northwind Health Plus plan has different deductible amounts for in-network and out-of-network services, and there is also a separate prescription drug deductible. I would recommend checking with your provider or referring to the specific benefits details for your plan to determine your deductible amount.

Rensa resurser

Rensa Azure-resurser

De Azure-resurser som skapas i den här artikeln faktureras till din Azure-prenumeration. Om du inte förväntar dig att behöva dessa resurser i framtiden tar du bort dem för att undvika att debiteras mer.

Kör följande Azure Developer CLI-kommando för att ta bort Azure-resurserna och ta bort källkoden:

azd down --purge

Rensa GitHub Codespaces

Om du tar bort GitHub Codespaces-miljön kan du maximera mängden kostnadsfria timmar per kärna som du får för ditt konto.

Viktigt!

Mer information om ditt GitHub-kontos rättigheter finns i GitHub Codespaces månadsvis inkluderade lagrings- och kärntimmar.

  1. Logga in på GitHub Codespaces-instrumentpanelen (https://github.com/codespaces).
  2. Leta upp de kodområden som körs från Azure-Samples/azure-search-openai-demo-java GitHub-lagringsplatsen. Skärmbild av alla kodområden som körs, inklusive deras status och mallar.
  3. Öppna snabbmenyn för kodområdet och välj sedan Ta bort. Skärmbild av snabbmenyn för ett enda kodområde med borttagningsalternativet markerat.

Hur besvaras frågan?

Appen är uppdelad i två appar:

  • Ett JavaScript-program på klientsidan med react-ramverket med verktyget Vite-kompilering.
  • Ett Java-program i serverdelen svarar på frågan.

Serverdels-API /chat :et går igenom processen för att få svaret:

  • Skapa RAG-alternativ: Skapa en uppsättning alternativ som ska användas för att generera ett svar.
  • Skapa metod med RAG-alternativ: Använd en kombination av hämtningsbaserade och generativa modeller för att skapa en metod för att generera ett korrekt och naturligt klingande svar.
  • Kör metoden med RAG-alternativ och föregående konversation: Använd metoden och RAG-alternativen för att generera ett svar baserat på föregående konversation. Svaret innehåller information om vilka dokument som användes för att generera svaret.

Få hjälp

Den här exempellagringsplatsen innehåller felsökningsinformation.

Om du inte åtgärdar problemet loggar du problemet till lagringsplatsens problem.

Nästa steg