Azure OpenAI på dina data med bilder med GPT-4 Turbo with Vision (förhandsversion) i Azure OpenAI Studio

Använd den här artikeln om du vill lära dig hur du tillhandahåller egna bilddata för GPT-4 Turbo med Vision, Azure OpenAI:s visionsmodell. MED GPT-4 Turbo with Vision på dina data kan modellen generera mer anpassade och riktade svar med hjälp av hämtningsförhöjd generation baserat på dina egna bilder och bildmetadata.

Viktigt!

När GPT4-Turbo med visionsförhandsgranskningsmodellen är inaktuell kommer du inte längre att kunna använda Azure OpenAI på dina bilddata. Information om hur du implementerar en RAG-lösning (Retrieval Augmented Generation) med bilddata finns i följande exempel på github.

Förutsättningar

• En Azure-prenumeration – Skapa en kostnadsfritt.

• Åtkomst beviljad till Azure OpenAI i den önskade Azure-prenumerationen.

  För närvarande måste man ansöka om att få åtkomst till den här tjänsten. Du kan ansöka om åtkomst till Azure OpenAI genom att fylla i formuläret på https://aka.ms/oai/access. Öppna ett problem på den här lagringsplatsen för att kontakta oss om du har ett problem.

• En Azure OpenAI-resurs med GPT-4 Turbo med Vision-modellen distribuerad. Mer information om distributionsmodellerna finns i Förstå distributionsmodeller.

• Se till att du har tilldelats rollen Cognitive Services-deltagare för Azure OpenAI-resursen.

Lägg till din datakälla

Gå till Azure OpenAI Studio och logga in med autentiseringsuppgifter som har åtkomst till din Azure OpenAI-resurs. Under eller efter inloggningsarbetsflödet väljer du lämplig katalog, Azure-prenumeration och Azure OpenAI-resurs.

På panelen Assistentkonfiguration väljer du Lägg till dina data (förhandsversion)>+ Lägg till en datakälla.

I fönstret som visas när du har valt Lägg till en datakälla visas flera alternativ för att välja en datakälla.

Du har tre olika alternativ för att lägga till dina data för GPT-4 Turbo med Visions datakälla:

• Använda dina egna bildfiler och bildmetadata
• Använda Azure AI Search
• Använda Azure Blob Storage

Alla tre alternativen använder Azure AI Search-index för att göra bild-till-bild-sökning och hämta de bästa sökresultaten för din bild av indataprompten. För alternativ för Azure Blob Storage och Ladda upp filer genererar Azure OpenAI ett bildsökningsindex åt dig. För Azure AI Search måste du ha ett bildsökningsindex. Följande avsnitt innehåller information om hur du skapar sökindexet.

När du använder de här alternativen för första gången kan du se det här röda meddelandet där du uppmanas att aktivera resursdelning mellan ursprung (CORS). Det här är ett meddelande som ber dig att aktivera CORS, så att Azure OpenAI kan komma åt ditt bloblagringskonto. Åtgärda varningen genom att välja Aktivera CORS.

Lägga till dina data genom att ladda upp filer

Du kan ladda upp dina bildfiler manuellt och ange metadata för dem manuellt med hjälp av Azure OpenAI. Detta är särskilt användbart om du experimenterar med en liten uppsättning avbildningar och vill skapa din datakälla.

1. Gå till knappen Välj en datakälla i Azure OpenAI enligt beskrivningen ovan. Välj Ladda upp filer.

2. Välj din prenumeration. Välj en Azure Blob Storage som dina uppladdade avbildningsfiler ska lagras i. Välj en Azure AI Search-resurs där ditt nya bildsökningsindex skapas. Ange önskat namn på bildsökningsindexet.

   När du har fyllt i alla fält markerar du de två rutorna längst ned som bekräftar den aktuella användningen och väljer Nästa.

   

   Följande filtyper stöds för avbildningsfilerna:

   • .jpg
   • .png
   • .gif
   • .bmp
   • .tiff

3. Välj Bläddra efter en fil för att välja bildfiler som du vill använda från din lokala katalog.

4. När du har valt dina bildfiler ser du de bildfiler som valts i den högra tabellen. Välj Ladda upp filer. När du har laddat upp filerna visas statusen för var och en laddas upp. Välj Nästa.

   

5. För varje bildfil anger du metadata i de angivna beskrivningsfälten. När du har beskrivningar för varje bild väljer du Nästa.

   

6. Granska att all information är korrekt. Välj Spara och stäng.

Lägga till dina data med Hjälp av Azure AI Search

Om du har ett befintligt Azure AI-sökindex kan du använda det som datakälla. Om du inte redan har skapat ett sökindex för dina bilder kan du skapa ett med hjälp av söklagringsplatsen för AI Search-vektor på GitHub, som ger dig skript för att skapa ett index med dina bildfiler. Det här alternativet är också bra om du vill skapa din datakälla med dina egna filer som alternativet ovan och sedan komma tillbaka till lekplatsen för att välja den datakälla som du redan har skapat men inte har lagt till ännu.

1. Gå till knappen Välj en datakälla i Azure OpenAI enligt beskrivningen ovan. Välj Azure AI Search.

   Dricks

   Du kan välja ett bildsökningsindex som du har skapat med alternativen För Azure Blob Storage eller Ladda upp filer.

2. Välj din prenumeration och Azure AI-tjänsten Search du använde för att skapa bildsökningsindexet.

3. Välj ditt Azure AI Search-index som du har skapat med dina bilder.

4. När du har fyllt i alla fält markerar du de två kryssrutorna längst ned och ber dig att bekräfta de avgifter som uppstår vid användning av GPT-4 Turbo med Vision-vektorinbäddningar och Azure AI Search. Välj Nästa. Om CORS inte redan är aktiverat för AI Search-resursen visas en varning. Åtgärda varningen genom att välja Aktivera CORS.

   

5. Granska informationen och välj sedan Spara och stäng.

Lägga till dina data med Azure Blob Storage

Om du har en befintlig Azure Blob Storage-container kan du använda den för att skapa ett bildsökningsindex. Om du vill skapa en ny bloblagring läser du snabbstartsdokumentationen för Azure Blob Storage.

Bloblagringen ska innehålla bildfiler och en JSON-fil med sökvägarna och metadata för bildfilen. Det här alternativet är särskilt användbart om du har ett stort antal bildfiler och inte vill ladda upp var och en manuellt.

Om du inte redan har en bloblagring ifylld med dessa filer och vill ladda upp filer en i taget kan du ladda upp dina filer med Hjälp av Azure OpenAI Studio i stället.

Innan du börjar lägga till din Azure Blob Storage-container som datakälla kontrollerar du att bloblagringen innehåller alla avbildningar som du vill mata in och en JSON-fil som innehåller sökvägarna och metadata för bildfilen.

Viktigt!

Din metadata-JSON-fil måste:

• Ha ett filnamn som börjar med ordet "metadata", allt i gemener utan blanksteg.
• Ha högst 10 000 bildfiler. Om du har fler än det här antalet filer i containern kan du ha flera JSON-filer var och en med upp till det här maxvärdet.

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

När du har fyllt i en bloblagring med bildfiler och minst en metadata-JSON-fil är du redo att lägga till bloblagringen som en datakälla.

1. Gå till knappen Välj en datakälla i Azure OpenAI enligt beskrivningen ovan. Välj Azure Blob Storage.

2. Välj din prenumeration, Azure Blob Storage och lagringscontainer. Du måste också välja en Azure AI Search-resurs eftersom ett nytt bildsökningsindex skapas i den här resursgruppen. Om du inte har en Azure AI Search-resurs kan du skapa en ny med hjälp av länken under listrutan. Om CORS inte redan är aktiverat för Azure Blob Storage-resursen visas en varning. Åtgärda varningen genom att välja Aktivera CORS.

3. När du har valt en Azure AI-sökresurs anger du ett namn för sökindexet i fältet Indexnamn .

   Kommentar

   Namnet på indexet kommer att suffixas med –v, för att indikera att detta är ett index med bildvektorer som extraherats från de bilder som tillhandahålls. Beskrivningen som arkiveras i metadata.json läggs till som textmetadata i indexet.

4. När du har fyllt i alla fält markerar du de två kryssrutorna längst ned och ber dig att bekräfta de avgifter som uppstår vid användning av GPT-4 Turbo med Vision-vektorinbäddningar och Azure AI Search. Välj Nästa.

   

5. Granska informationen och välj sedan Spara och stäng.

Använda dina inmatade data med din GPT-4 Turbo med Vision-modell

När du har anslutit datakällan med någon av de tre metoderna ovan tar det lite tid innan datainmatningsprocessen slutförs. Du ser en ikon och ett meddelande om pågående inmatning under processens gång. När inmatningen har slutförts ser du att en datakälla har skapats.

När datakällan har matats in visas information om datakällan samt namnet på bildsökningsindexet. Nu är dessa inmatade data redo att användas som grunddata för din distribuerade GPT-4 Turbo med Vision-modell. Din modell använder de vanligaste hämtningsdata från ditt bildsökningsindex och genererar ett svar som specifikt följer dina inmatade data.

Aktivera CORS

Om CORS inte redan är aktiverat för datakällan visas följande meddelande.

Om du ser det här meddelandet väljer du Aktivera CORS när du ansluter datakällan.

Ytterligare tips

Lägga till och ta bort datakällor

Azure OpenAI tillåter för närvarande endast att en datakälla används per chattsession. Om du vill lägga till en ny datakälla måste du först ta bort den befintliga datakällan. Du kan göra detta genom att välja Ta bort datakälla under informationen om datakällan.

När du tar bort en datakälla visas ett varningsmeddelande. Om du tar bort en datakälla rensas chattsessionen och alla lekplatsinställningar återställs.

Viktigt!

Om du byter till en modelldistribution som inte använder GPT-4 Turbo med Vision-modellen visas ett varningsmeddelande om att ta bort en datakälla. Observera att om du tar bort en datakälla rensas chattsessionen och alla lekplatsinställningar återställs.

Nästa steg

• Du kan också chatta med Azure OpenAI-textmodeller. Mer information finns i Använda textdata .
• Du kan också använda GPT-4 Turbo with Vision i ett chattscenario genom att följa snabbstarten.
• Vanliga frågor och svar om GPT-4 Turbo med Vision
• GPT-4 Turbo med Vision API-referens