Azure OpenAI em seus dados com imagens usando GPT-4 Turbo com Visão (visualização) no estúdio do Azure OpenAI

Use este artigo para saber como fornecer seus próprios dados de imagem para o GPT-4 Turbo com Visão, o modelo de visão do Azure OpenAI. O GPT-4 Turbo com Visão em seus dados permite que o modelo gere respostas mais personalizadas e direcionadas usando a Geração Aumentada de Recuperação com base em suas próprias imagens e metadados de imagem.

Importante

Quando o modelo GPT4-Turbo com visualização de visão for preterido, você não poderá mais usar o Azure OpenAI em seus dados de imagem. Para implementar uma solução de geração aumentada de recuperação (RAG) com dados de imagem, consulte o exemplo a seguir no github.

Pré-requisitos

• Uma assinatura do Azure - Crie uma gratuitamente.

• Acesso concedido ao Azure OpenAI na subscrição pretendida do Azure.

  Atualmente, o acesso a este serviço é concedido apenas por pedido. Você pode solicitar acesso ao Azure OpenAI preenchendo o formulário em https://aka.ms/oai/access. Abra um problema neste repositório para entrar em contato conosco se tiver um problema.

• Um recurso OpenAI do Azure com o modelo GPT-4 Turbo with Vision implantado. Para obter mais informações sobre a implementação de modelos, veja o guia de implementação de recursos.

• Certifique-se de que lhe foi atribuída pelo menos a função de Colaborador dos Serviços Cognitivos para o recurso OpenAI do Azure.

Adicione sua fonte de dados

Navegue até o Azure OpenAI Studio e entre com credenciais que têm acesso ao seu recurso do Azure OpenAI. Durante ou após o fluxo de trabalho de entrada, selecione o diretório apropriado, a assinatura do Azure e o recurso do Azure OpenAI.

No bloco Configuração do Assistente, selecione Adicionar seus dados (visualização)>+ Adicionar uma fonte de dados.

No painel que aparece depois de selecionar Adicionar uma fonte de dados, você verá várias opções para selecionar uma fonte de dados.

Você tem três opções diferentes para adicionar seus dados para GPT-4 Turbo com a fonte de dados do Vision:

• Usando seus próprios arquivos de imagem e metadados de imagem
• Usando a Pesquisa de IA do Azure
• Usando o Armazenamento de Blobs do Azure

Todas as três opções usam o índice de Pesquisa do Azure AI para fazer pesquisa de imagem para imagem e recuperar os principais resultados de pesquisa para sua imagem de prompt de entrada. Para as opções de Armazenamento de Blob do Azure e Carregar arquivos, o Azure OpenAI gerará um índice de pesquisa de imagens para você. Para o Azure AI Search, você precisa ter um índice de pesquisa de imagem. As seções a seguir contêm detalhes sobre como criar o índice de pesquisa.

Ao usar essas opções pela primeira vez, você poderá ver este aviso vermelho solicitando que você ative o compartilhamento de recursos entre origens (CORS). Este é um aviso solicitando que você habilite o CORS, para que o Azure OpenAI possa acessar sua conta de armazenamento de blob. Para corrigir o aviso, selecione Ativar CORS.

Adicione os seus dados carregando ficheiros

Você pode carregar manualmente seus arquivos de imagem e inserir metadados deles manualmente, usando o Azure OpenAI. Isso é especialmente útil se você estiver experimentando um pequeno conjunto de imagens e quiser criar sua fonte de dados.

1. Navegue até o botão Selecionar uma fonte de dados no Azure OpenAI, conforme descrito acima. Selecione Carregar arquivos.

2. Selecione a sua subscrição. Selecione um armazenamento de Blob do Azure no qual seus arquivos de imagem carregados serão armazenados. Selecione um recurso do Azure AI Search no qual seu novo índice de pesquisa de imagem será criado. Introduza o nome do índice de pesquisa de imagens da sua escolha.

   Depois de preencher todos os campos, marque as duas caixas na parte inferior reconhecendo o uso incorrido e selecione Avançar.

   

   Os seguintes tipos de ficheiro são suportados para os seus ficheiros de imagem:

   • .jpg
   • .png
   • .gif
   • .bmp
   • .tiff

3. Selecione Procurar um arquivo para selecionar os arquivos de imagem que você gostaria de usar no diretório local.

4. Depois de selecionar seus arquivos de imagem, você verá os arquivos de imagem selecionados na tabela correta. Selecione Carregar arquivos. Depois de carregar os arquivos, você verá que o status de cada um é Carregado. Selecione Seguinte.

   

5. Para cada arquivo de imagem, insira os metadados nos campos de descrição fornecidos. Depois de obter descrições para cada imagem, selecione Avançar.

   

6. Verifique se todas as informações estão corretas. Selecione Guardar e fechar.

Adicione seus dados usando o Azure AI Search

Se você tiver um índice de pesquisa de IA do Azure existente, poderá usá-lo como uma fonte de dados. Se você ainda não tiver um índice de pesquisa criado para suas imagens, poderá criar um usando o repositório de pesquisa vetorial AI Search no GitHub, que fornece scripts para criar um índice com seus arquivos de imagem. Essa opção também é ótima se você quiser criar sua fonte de dados usando seus próprios arquivos, como a opção acima, e depois voltar à experiência do playground para selecionar a fonte de dados que você já criou, mas ainda não adicionou.

1. Navegue até o botão Selecionar uma fonte de dados no Azure OpenAI, conforme descrito acima. Selecione Azure AI Search.

   Gorjeta

   Você pode selecionar um índice de pesquisa de imagem que criou com as opções Armazenamento de Blob do Azure ou Carregar arquivos.

2. Selecione sua assinatura e o serviço Azure AI Search que você usou para criar o índice de pesquisa de imagens.

3. Selecione seu índice do Azure AI Search que você criou com suas imagens.

4. Depois de preencher todos os campos, marque as duas caixas de seleção na parte inferior solicitando que você confirme as cobranças incorridas ao usar o GPT-4 Turbo com incorporações vetoriais do Vision e a Pesquisa de IA do Azure. Selecione Seguinte. Se o CORS ainda não estiver ativado para o recurso AI Search, você verá um aviso. Para corrigir o aviso, selecione Ativar CORS.

   

5. Reveja os detalhes e, em seguida, selecione Guardar e fechar.

Adicione seus dados usando o Armazenamento de Blobs do Azure

Se você tiver um contêiner de Armazenamento de Blob do Azure existente, poderá usá-lo para criar um índice de pesquisa de imagem. Se você quiser criar um novo armazenamento de blob, consulte a documentação de início rápido do armazenamento de Blob do Azure.

Seu armazenamento de blob deve conter arquivos de imagem e um arquivo JSON com os caminhos e metadados do arquivo de imagem. Esta opção é especialmente útil se você tiver um grande número de arquivos de imagem e não quiser carregar manualmente cada um.

Se você ainda não tiver um armazenamento de blob preenchido com esses arquivos e quiser carregar arquivos um a um, poderá carregar seus arquivos usando o estúdio OpenAI do Azure.

Antes de começar a adicionar seu contêiner de Armazenamento de Blob do Azure como sua fonte de dados, verifique se o armazenamento de blob contém todas as imagens que você gostaria de ingerir e um arquivo JSON que contém os caminhos e metadados do arquivo de imagem.

Importante

Seu arquivo JSON de metadados deve:

• Tenha um nome de arquivo que comece com a palavra "metadados", tudo em minúsculas sem espaço.
• Tenha um máximo de 10.000 arquivos de imagem. Se você tiver mais do que esse número de arquivos em seu contêiner, poderá ter vários arquivos JSON, cada um com até esse máximo.

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

Depois de ter um armazenamento de blob preenchido com arquivos de imagem e pelo menos um arquivo JSON de metadados, você estará pronto para adicionar o armazenamento de blob como uma fonte de dados.

1. Navegue até o botão Selecionar uma fonte de dados no Azure OpenAI, conforme descrito acima. Selecione Armazenamento de Blobs do Azure.

2. Selecione sua assinatura, armazenamento de Blob do Azure e contêiner de armazenamento. Você também precisará selecionar um recurso do Azure AI Search, pois um novo índice de pesquisa de imagens será criado neste grupo de recursos. Se você não tiver um recurso do Azure AI Search, poderá criar um novo usando o link abaixo da lista suspensa. Se o CORS ainda não estiver ativado para o recurso de armazenamento de Blob do Azure, você verá um aviso. Para corrigir o aviso, selecione Ativar CORS.

3. Depois de selecionar um recurso de pesquisa do Azure AI, insira um nome para o índice de pesquisa no campo Nome do índice .

   Nota

   O nome do índice será sufixo com –v, para indicar que este é um índice com vetores de imagem extraídos das imagens fornecidas. A descrição arquivada no metadata.json será adicionada como metadados de texto no índice.

4. Depois de preencher todos os campos, marque as duas caixas de seleção na parte inferior solicitando que você reconheça as cobranças incorridas pelo uso do GPT-4 Turbo com incorporações vetoriais do Vision e da Pesquisa de IA do Azure. Selecione Seguinte.

   

5. Reveja os detalhes e, em seguida, selecione Guardar e fechar.

Utilizar os dados ingeridos com o modelo GPT-4 Turbo with Vision

Depois de conectar sua fonte de dados usando qualquer um dos três métodos listados acima, levará algum tempo para que o processo de ingestão de dados seja concluído. Você verá um ícone e uma mensagem Ingestão em andamento à medida que o processo progride. Quando a ingestão for concluída, você verá que uma fonte de dados foi criada.

Quando a fonte de dados terminar de ser ingerida, você verá os detalhes da fonte de dados, bem como o nome do índice de pesquisa de imagens. Agora, esses dados ingeridos estão prontos para serem usados como dados de aterramento para o seu modelo GPT-4 Turbo com Visão implantado. Seu modelo usará os principais dados de recuperação do seu índice de pesquisa de imagens e gerará uma resposta especificamente aderida aos seus dados ingeridos.

Ativar o CORS

Se o CORS ainda não estiver ativado para sua fonte de dados, você verá a seguinte mensagem aparecer.

Se vir esta mensagem, selecione Ativar CORS quando ligar a origem de dados.

Dicas Adicionais

Adicionando e removendo fontes de dados

Atualmente, o Azure OpenAI permite que apenas uma fonte de dados seja usada por uma sessão de chat. Se você quiser adicionar uma nova fonte de dados, você deve remover a fonte de dados existente primeiro. Isso pode ser feito selecionando Remover fonte de dados sob as informações da fonte de dados.

Ao remover uma fonte de dados, você verá uma mensagem de aviso. A remoção de uma fonte de dados limpa a sessão de bate-papo e redefine todas as configurações do playground.

Importante

Se você mudar para uma implantação de modelo que não esteja usando o modelo GPT-4 Turbo com Visão, você verá uma mensagem de aviso para remover uma fonte de dados. Observe que remover uma fonte de dados limpará a sessão de bate-papo e redefinirá todas as configurações do playground.

Próximos passos

• Você também pode conversar por chat em modelos de texto do Azure OpenAI. Consulte Usar seus dados de texto para obter mais informações.
• Ou use o GPT-4 Turbo com Visão em um cenário de bate-papo seguindo o início rápido.
• Perguntas frequentes sobre o GPT-4 Turbo com Visão
• Referência do GPT-4 Turbo com API Vision