Share via

Tutorial: Criar e implantar um copiloto de perguntas e respostas com fluxo de prompt no Azure AI Studio

  • Artigo

Importante

Alguns dos recursos descritos neste artigo podem estar disponíveis apenas na visualização. Essa visualização é fornecida sem um contrato de nível de serviço e não a recomendamos para cargas de trabalho de produção. Algumas funcionalidades poderão não ser suportadas ou poderão ter capacidades limitadas. Para obter mais informações, veja Termos Suplementares de Utilização para Pré-visualizações do Microsoft Azure.

Neste tutorial do Azure AI Studio , você usa a IA generativa e o fluxo de prompt para criar, configurar e implantar um copiloto para sua empresa de varejo chamada Contoso. Sua empresa de varejo é especializada em equipamentos e roupas de camping ao ar livre.

O copiloto deve responder a perguntas sobre os seus produtos e serviços. Ele também deve responder a perguntas sobre seus clientes. Por exemplo, o copiloto pode responder a perguntas como "Quanto custam os sapatos de caminhada TrailWalker?" e "Quantos sapatos de caminhada TrailWalker Daniel Wilson comprou?".

As etapas neste tutorial são:

  1. Adicione seus dados ao playground de bate-papo.
  2. Crie um fluxo de prompt a partir do playground.
  3. Personalize o fluxo de prompt com várias fontes de dados.
  4. Avalie o fluxo usando um conjunto de dados de avaliação de perguntas e respostas.
  5. Implante o fluxo para consumo.

Pré-requisitos

Adicione seus dados e tente o modelo de bate-papo novamente

No início rápido do AI Studio (que é um pré-requisito para este tutorial), você pode observar como seu modelo responde sem seus dados. Agora você adiciona seus dados ao modelo para ajudá-lo a responder a perguntas sobre seus produtos.

Para concluir esta seção, você precisa de uma cópia local dos dados do produto. O repositório Azure-Samples/aistudio-python-quickstart-sample no GitHub contém exemplos de informações sobre clientes de varejo e produtos relevantes para este cenário tutorial. Clone o repositório ou copie os arquivos de 3-product-info.

Importante

O recurso Adicionar seus dados no playground do Azure AI Studio não oferece suporte ao uso de uma rede virtual ou ponto de extremidade privado nos seguintes recursos:

  • Pesquisa de IA do Azure
  • Azure OpenAI
  • Recurso de armazenamento

Siga estas etapas para adicionar seus dados no playground de bate-papo para ajudar o assistente a responder perguntas sobre seus produtos. Você não está alterando o modelo implantado em si. Seus dados são armazenados separadamente e com segurança em sua assinatura do Azure.

  1. Vá para o seu projeto no Azure AI Studio.

  2. Selecione Playgrounds>Chat no painel esquerdo.

  3. Selecione seu modelo de chat implantado na lista suspensa Implantação .

    Captura de tela do playground de bate-papo com o modo de bate-papo e o modelo selecionados.

  4. No lado esquerdo do playground de bate-papo, selecione Adicionar seus dados>+ Adicionar uma nova fonte de dados.

    Captura de tela do playground de bate-papo com a opção de adicionar uma fonte de dados visível.

  5. Na lista suspensa Fonte de dados, selecione Carregar arquivos.

    Captura de tela das opções de seleção da fonte de dados.

  6. Selecione Upload>Upload de arquivos para procurar seus arquivos locais.

  7. Selecione os ficheiros que pretende carregar. Selecione os arquivos de informações do produto (3-product-info) que você baixou ou criou anteriormente. Adicione todos os arquivos agora. Você não poderá adicionar mais arquivos posteriormente na mesma sessão de playground.

  8. Selecione Carregar para carregar o arquivo em sua conta de armazenamento de Blob do Azure. Em seguida, selecione Seguinte.

    Captura de ecrã da caixa de diálogo para selecionar e carregar ficheiros.

  9. Selecione um serviço Azure AI Search. Neste exemplo, selecionamos Conectar outro recurso do Azure AI Search na lista suspensa Selecionar serviço Azure AI Search. Se você não tiver um recurso de pesquisa, poderá criar um selecionando Criar um novo recurso do Azure AI Search. Em seguida, volte a esta etapa para se conectar e selecione-o.

    Captura de ecrã das opções de seleção de recursos de pesquisa.

  10. Procure seu serviço Azure AI Search e selecione Adicionar conexão.

    Captura de ecrã da página para adicionar uma ligação de serviço de pesquisa.

  11. Para o Nome do índice, insira informações do produto e selecione Avançar.

  12. Na página Configurações de pesquisa, em Configurações de vetor, desmarque a caixa de seleção Adicionar pesquisa vetorial a este recurso de pesquisa. Essa configuração ajuda a determinar como o modelo responde às solicitações. Em seguida, selecione Seguinte.

    Nota

    Se você adicionar pesquisa vetorial, mais opções estarão disponíveis aqui por um custo adicional.

  13. Reveja as suas definições e selecione Criar.

  14. No playground, você pode ver que sua ingestão de dados está em andamento. Este processo pode demorar vários minutos. Antes de continuar, aguarde até ver a fonte de dados e o nome do índice no lugar do status.

    Captura de tela do playground de bate-papo com o status de ingestão de dados em exibição.

  15. Insira um nome para a configuração do playground e selecione Salvar>configuração de salvamento. Todos os itens de configuração são salvos por padrão. Os itens incluem implantação, mensagem do sistema, mensagem de segurança, parâmetros, dados adicionados, exemplos e variáveis. Salvar uma configuração com o mesmo nome salvará em relação à versão anterior.

    Captura de ecrã do nome de configuração do parque infantil e do botão Guardar.

  16. Agora você pode conversar com o modelo fazendo a mesma pergunta de antes ("Quanto são os sapatos de caminhada TrailWalker"), e desta vez ele usa informações de seus dados para construir a resposta. Você pode expandir o botão de referências para ver os dados que foram usados.

Criar um fluxo de prompt a partir do playground

Agora você pode perguntar: "Como posso personalizar ainda mais este copiloto?" Talvez você queira adicionar várias fontes de dados, comparar prompts diferentes ou o desempenho de vários modelos. Um fluxo de prompt serve como um fluxo de trabalho executável que simplifica o desenvolvimento de seu aplicativo de IA baseado em LLM. Ele fornece uma estrutura abrangente para gerenciar o fluxo de dados e o processamento em seu aplicativo. Você usa o fluxo de prompt para otimizar as mensagens que são enviadas para o modelo de chat do copiloto.

Nesta seção, você aprenderá como fazer a transição para o fluxo de prompt do playground. Você exporta o ambiente de bate-papo do playground, incluindo conexões com os dados adicionados. Mais adiante neste tutorial, você avalia o fluxo e, em seguida, implanta o fluxo para consumo.

Nota

As alterações feitas no fluxo de prompt não são aplicadas para atualizar o ambiente do playground.

Você pode criar um fluxo de prompt do playground seguindo estas etapas:

  1. Vá para o seu projeto no AI Studio.

  2. Selecione Playgrounds>Chat no painel esquerdo.

  3. Como estamos usando nossos próprios dados, você precisa selecionar Adicionar seus dados. Você já deve ter um índice chamado product-info que você criou anteriormente no playground de bate-papo. Selecione-o na lista suspensa Selecionar índice de projeto disponível. Caso contrário, primeiro crie um índice com os dados do produto e, em seguida, retorne a esta etapa.

  4. Selecione Fluxo de prompt no menu acima do painel de sessão de chat.

  5. Insira um nome de pasta para o fluxo de prompt. Em seguida, selecione Abrir. O AI Studio exporta o ambiente de bate-papo do playground para avisar o fluxo. A exportação inclui as conexões com os dados que você adicionou.

    Captura de tela da caixa de diálogo abrir no fluxo de prompt.

Dentro de um fluxo, os nós ocupam o centro do palco, representando ferramentas específicas com recursos exclusivos. Esses nós lidam com processamento de dados, execução de tarefas e operações algorítmicas, com entradas e saídas. Ao conectar nós, você estabelece uma cadeia contínua de operações que orienta o fluxo de dados através do seu aplicativo. Para obter mais informações, consulte ferramentas de fluxo de prompt.

Para facilitar a configuração e o ajuste fino do nó, uma representação visual da estrutura do fluxo de trabalho é fornecida por meio de um gráfico DAG (Directed Acyclic Graph). Este gráfico mostra a conectividade e as dependências entre nós, fornecendo uma visão geral clara de todo o fluxo de trabalho. Os nós no gráfico mostrado aqui são representativos da experiência de bate-papo do playground que você exportou para avisar o fluxo.

Captura de tela do gráfico padrão exportado do playground para avisar o fluxo.

No fluxo imediato, você também deve ver:

  • Botão Salvar : você pode salvar seu fluxo de prompt a qualquer momento selecionando Salvar no menu superior. Certifique-se de salvar seu fluxo de prompt periodicamente enquanto faz alterações neste tutorial.
  • Botão Iniciar sessão de computação: você precisa iniciar uma sessão de computação para executar o fluxo de prompt. Você pode iniciar a sessão mais tarde no tutorial. Você incorre em custos para instâncias de computação enquanto elas estão em execução. Para obter mais informações, consulte como criar uma sessão de computação.

Captura de tela dos botões salvar e iniciar sessão em seu fluxo.

Você pode retornar ao fluxo de prompt a qualquer momento, selecionando Fluxo de prompt em Ferramentas no menu à esquerda. Em seguida, selecione a pasta de fluxo de prompt que você criou anteriormente.

Captura de tela da lista de seus fluxos de prompt.

Personalize o fluxo de prompt com várias fontes de dados

anteriormente, no playground de bate-papo do AI Studio , você adicionou seus dados para criar um índice de pesquisa que continha dados do produto para o copiloto da Contoso. Até agora, os usuários só podem perguntar sobre produtos com perguntas como "Quanto custam os sapatos de caminhada TrailWalker?". Mas eles não conseguem obter respostas para perguntas como "Quantos sapatos de caminhada TrailWalker Daniel Wilson comprou?" Para habilitar esse cenário, adicionamos outro índice com informações do cliente ao fluxo.

Criar o índice de informações do cliente

Para prosseguir, você precisa de uma cópia local de informações de exemplo do cliente. Para obter mais informações e links para dados de exemplo, consulte os pré-requisitos.

Siga estas instruções sobre como criar um novo índice. Você retornará ao fluxo de prompt mais adiante neste tutorial para adicionar as informações do cliente ao fluxo. Você pode abrir uma nova guia no seu navegador para seguir estas instruções e, em seguida, retornar ao fluxo de prompt.

  1. Vá para o seu projeto no AI Studio.

  2. Selecione Índice no menu à esquerda. Observe que você já tem um índice chamado product-info que você criou anteriormente no playground de bate-papo.

    Captura de ecrã da página de índices com o botão para criar um novo índice.

  3. Selecione + Novo índice. Você será direcionado para o assistente Criar um índice .

  4. Na página Dados de origem , selecione Carregar arquivos na lista suspensa Fonte de dados. Em seguida, selecione Carregar>arquivos para procurar seus arquivos locais.

  5. Selecione os arquivos de informações do cliente que você baixou ou criou anteriormente. Consulte os pré-requisitos. Em seguida, selecione Seguinte.

    Captura de tela das opções de seleção da fonte de dados do cliente.

  6. Selecione a mesma conexão de serviço do Azure AI Search (contosooutdooraisearch) que você usou para o índice de informações do produto. Em seguida, selecione Seguinte.

  7. Insira as informações do cliente para o nome do índice.

    Captura de ecrã do serviço Azure AI Search e do nome do índice.

  8. Selecione uma máquina virtual para executar trabalhos de indexação. A opção padrão é Seleção automática. Em seguida, selecione Seguinte.

  9. Na página Configurações de pesquisa, em Configurações de vetor, desmarque a caixa de seleção Adicionar pesquisa vetorial a este recurso de pesquisa. Essa configuração ajuda a determinar como o modelo responde às solicitações. Em seguida, selecione Seguinte.

    Nota

    Se você adicionar pesquisa vetorial, mais opções estarão disponíveis aqui por um custo adicional.

  10. Reveja os detalhes que introduziu e selecione Criar.

    Captura de ecrã da página de revisão e conclusão da criação do índice.

    Nota

    Você usa o índice de informações do cliente e a conexão contosooutdooraisearch com seu serviço Azure AI Search no fluxo de prompt posteriormente neste tutorial. Se os nomes inseridos forem diferentes dos especificados aqui, certifique-se de usar os nomes inseridos no restante do tutorial.

  11. Você é direcionado para a página de detalhes do índice, onde pode ver o status da criação do índice.

    Captura de ecrã dos detalhes do índice de informações do cliente.

Para obter mais informações sobre como criar um índice, consulte Criar um índice.

Criar uma sessão de computação necessária para o fluxo de prompt

Depois de concluir a criação do índice, retorne ao fluxo de prompt e inicie a sessão de computação. O fluxo de prompt requer uma sessão de computação para ser executado.

  1. Vá para o seu projeto.
  2. Selecione Fluxo de prompt em Ferramentas no menu à esquerda. Em seguida, selecione a pasta de fluxo de prompt que você criou anteriormente.
  3. Selecione Iniciar sessão de computação no menu superior.

Para criar uma instância de computação e uma sessão de computação, você também pode seguir as etapas em como criar uma sessão de computação.

Para concluir o restante do tutorial, verifique se a sessão de computação está em execução.

Importante

Você será cobrado por instâncias de computação enquanto elas estiverem em execução. Para evitar incorrer em custos desnecessários do Azure, pause a instância de computação quando não estiver trabalhando ativamente no fluxo de prompt. Para obter mais informações, consulte como iniciar e parar a computação.

Adicionar informações do cliente ao fluxo

Depois de concluir a criação do índice, retorne ao fluxo de prompt e siga estas etapas para adicionar as informações do cliente ao fluxo:

  1. Certifique-se de que tem uma sessão de computação em execução. Se você não tiver uma, consulte Criar uma sessão de computação na seção anterior.

  2. Selecione + Mais ferramentas no menu superior e, em seguida, selecione Pesquisa de índice na lista de ferramentas.

    Captura de tela da seleção da ferramenta de pesquisa de índice no fluxo de prompt.

  3. Nomeie o novo nó queryCustomerIndex e selecione Adicionar.

  4. Selecione a caixa de texto mlindex_content no nó queryCustomerIndex .

    Captura de ecrã da caixa de texto mlindex_content no nó de pesquisa de índice.

    A caixa de diálogo Gerar é aberta. Use essa caixa de diálogo para configurar o nó queryCustomerIndex para se conectar ao seu índice de informações do cliente.

  5. Para obter o valor index_type , selecione Azure AI Search.

  6. Selecione ou insira os seguintes valores:

    Nome Valor
    acs_index_connection O nome da sua conexão de serviço do Azure AI Search (como contosooutdooraisearch)
    acs_index_name informação do cliente
    acs_content_field Conteúdo
    acs_metadata_field meta_json_string
    semantic_configuration azuremldefault
    embedding_type Nenhuma

  7. Selecione Guardar para guardar as definições.

  8. Selecione ou insira os seguintes valores para o nó queryCustomerIndex :

    Nome Valor
    consultas ${extractSearchIntent.output}
    query_type Palavra-chave
    topK 5

    Você pode ver que o nó queryCustomerIndex está conectado ao nó extractSearchIntent no gráfico.

    Captura de tela do nó de fluxo de prompt para recuperar informações do produto.

  9. Selecione Salvar no menu superior para salvar as alterações. Lembre-se de salvar o fluxo de prompt periodicamente à medida que fizer alterações.

Conecte as informações do cliente ao fluxo

Na próxima seção, você agrega as informações do produto e do cliente para gerá-las em um formato que o modelo de linguagem grande pode usar. Mas primeiro, você precisa conectar as informações do cliente ao fluxo.

  1. Selecione o ícone de reticências ao lado de + Mais ferramentas e, em seguida, selecione Modo de arquivo raw para alternar para o modo de arquivo bruto. Este modo permite copiar e colar nós no gráfico.

    Captura de tela da opção de modo de arquivo bruto no fluxo de prompt.

  2. Substitua todas as instâncias de querySearchResource por queryProductIndex no gráfico. Estamos renomeando o nó para refletir melhor que ele recupera informações do produto e contrasta com o nó queryCustomerIndex que você adicionou ao fluxo.

  3. Renomeie e substitua todas as instâncias de chunkDocuments por chunkProductDocuments no gráfico.

  4. Renomeie e substitua todas as instâncias de selectChunks por selectProductChunks no gráfico.

  5. Copie e cole os nós chunkProductDocuments e selecione ProductChunks para criar nós semelhantes para as informações do cliente. Renomeie os novos nós chunkCustomerDocuments e selectCustomerChunks respectivamente.

  6. No nó chunkCustomerDocuments, substitua a ${queryProductIndex.output} entrada por ${queryCustomerIndex.output}.

  7. No nó selectCustomerChunks, substitua a ${chunkProductDocuments.output} entrada por ${chunkCustomerDocuments.output}.

  8. Selecione Salvar no menu superior para salvar as alterações.

    Captura de tela da opção para salvar o arquivo yaml no modo de arquivo bruto.

    Até agora, o flow.dag.yaml arquivo deve incluir nós (entre outros) que se parecem com o exemplo a seguir:

    - name: chunkProductDocuments
  type: python
  source:
    type: code
    path: chunkProductDocuments.py
  inputs:
    data_source: Azure AI Search
    max_tokens: 1050
    queries: ${extractSearchIntent.output}
    query_type: Keyword
    results: ${queryProductIndex.output}
    top_k: 5
  use_variants: false
- name: selectProductChunks
  type: python
  source:
    type: code
    path: filterChunks.py
  inputs:
    min_score: 0.3
    results: ${chunkProductDocuments.output}
    top_k: 5
  use_variants: false
- name: chunkCustomerDocuments
  type: python
  source:
    type: code
    path: chunkCustomerDocuments.py
  inputs:
    data_source: Azure AI Search
    max_tokens: 1050
    queries: ${extractSearchIntent.output}
    query_type: Keyword
    results: ${queryCustomerIndex.output}
    top_k: 5
  use_variants: false
- name: selectCustomerChunks
  type: python
  source:
    type: code
    path: filterChunks.py
  inputs:
    min_score: 0.3
    results: ${chunkCustomerDocuments.output}
    top_k: 5
  use_variants: false

Agregar informações sobre produtos e clientes

Neste ponto, o fluxo de prompt usa apenas as informações do produto.

  • extractSearchIntent extrai a intenção de pesquisa da pergunta do usuário.
  • queryProductIndex recupera as informações do produto do índice de informações do produto.
  • A ferramenta LLM (para modelos de linguagem grandes) recebe uma resposta formatada por meio dos nós chunkProductDocuments>selectProductChunks>formatGeneratedReplyInputs.

Você precisa conectar e agregar as informações do produto e do cliente para gerá-las em um formato que a ferramenta LLM possa usar. Siga estas etapas para agregar as informações do produto e do cliente:

  1. Selecione Python na lista de ferramentas.

  2. Nomeie a ferramenta aggregateChunks e selecione Adicionar.

  3. Copie e cole o seguinte código Python para substituir todo o conteúdo no bloco de código aggregateChunks .

    from promptflow import tool
from typing import List

@tool
def aggregate_chunks(input1: List, input2: List) -> str:
    interleaved_list = []
    for i in range(max(len(input1), len(input2))):
        if i < len(input1):
            interleaved_list.append(input1[i])
        if i < len(input2):
            interleaved_list.append(input2[i])
    return interleaved_list

  4. Selecione o botão Validar e analisar entrada para validar as entradas para o nó aggregateChunks . Se as entradas forem válidas, o fluxo de prompt analisará as entradas e criará as variáveis necessárias para você usar em seu código.

    Captura de tela do nó de fluxo de prompt para agregar informações do produto e do cliente.

  5. Edite o nó aggregateChunks para conectar o produto e as informações do cliente. Defina as entradas para os seguintes valores:

    Nome Tipo valor
    entrada1 list ${selectProductChunks.output}
    entrada2 list ${selectCustomerChunks.output}

    Captura de tela das entradas a serem editadas no nó de blocos agregados.

  6. Selecione o nó shouldGenerateReply no gráfico. Selecione ou insira ${aggregateChunks.output} para a entrada de blocos.

  7. Selecione o nó formatGenerateReplyInputs no gráfico. Selecione ou insira ${aggregateChunks.output} para a entrada de blocos.

  8. Selecione o nó de saídas no gráfico. Selecione ou insira ${aggregateChunks.output} para a entrada de blocos.

  9. Selecione Salvar no menu superior para salvar as alterações. Lembre-se de salvar o fluxo de prompt periodicamente à medida que fizer alterações.

Agora você pode ver o nó agregadoChunks no gráfico. O nó conecta as informações do produto e do cliente para gerá-las em um formato que a ferramenta LLM pode usar.

Captura de tela das entradas e saídas do nó de blocos agregados no gráfico.

Bate-papo em fluxo imediato com informações do produto e do cliente

Agora você já tem as informações do produto e do cliente no fluxo de prompt. Você pode conversar com o modelo em fluxo imediato e obter respostas para perguntas como "Quantos sapatos de caminhada TrailWalker Daniel Wilson comprou?" Antes de proceder a uma avaliação mais formal, você pode, opcionalmente, conversar com o modelo para ver como ele responde às suas perguntas.

  1. Continue a partir da seção anterior com o nó de saídas selecionado. Verifique se a saída de resposta tem o botão de opção Saída de bate-papo selecionado. Caso contrário, o conjunto completo de documentos é devolvido em resposta à pergunta no chat.

  2. Selecione Bate-papo no menu superior no fluxo de prompt para tentar o bate-papo.

  3. Digite "Quantos sapatos de caminhada TrailWalker Daniel Wilson comprou?" e selecione o ícone de seta para a direita para enviar.

    Nota

    Pode levar alguns segundos para o modelo responder. Você pode esperar que o tempo de resposta seja mais rápido quando você usa um fluxo implantado.

  4. A resposta é a que você espera. O modelo usa as informações do cliente para responder à pergunta.

    Captura de tela da resposta do assistente com dados de aterramento do produto e do cliente.

Avaliar o fluxo usando um conjunto de dados de avaliação de perguntas e respostas

No AI Studio, você deseja avaliar o fluxo antes de implantá-lo para consumo.

Nesta seção, você usa a avaliação interna para avaliar seu fluxo com um conjunto de dados de avaliação de perguntas e respostas. A avaliação integrada usa métricas assistidas por IA para avaliar seu fluxo: fundamentação, relevância e pontuação de recuperação. Para obter mais informações, consulte Métricas de avaliação internas.

Criar uma avaliação

Você precisa de um conjunto de dados de avaliação de perguntas e respostas que contenha perguntas e respostas relevantes para o seu cenário. Crie um novo arquivo localmente chamado qa-evaluation.jsonl. Copie e cole as seguintes perguntas e respostas ("truth") no arquivo.

{"question": "What color is the CozyNights Sleeping Bag?", "truth": "Red", "chat_history": [], }
{"question": "When did Daniel Wilson order the BaseCamp Folding Table?", "truth": "May 7th, 2023", "chat_history": [] }
{"question": "How much does TrailWalker Hiking Shoes cost? ", "truth": "$110", "chat_history": [] }
{"question": "What kind of tent did Sarah Lee buy?", "truth": "SkyView 2 person tent", "chat_history": [] }
{"question": "What is Melissa Davis's phone number?", "truth": "555-333-4444", "chat_history": [] }
{"question": "What is the proper care for trailwalker hiking shoes?", "truth": "After each use, remove any dirt or debris by brushing or wiping the shoes with a damp cloth.", "chat_history": [] }
{"question": "Does TrailMaster Tent come with a warranty?", "truth": "2 years", "chat_history": [] }
{"question": "How much did David Kim spend on the TrailLite Daypack?", "truth": "$240", "chat_history": [] }
{"question": "What items did Amanda Perez purchase?", "truth": "TrailMaster X4 Tent, TrekReady Hiking Boots (quantity 3), CozyNights Sleeping Bag, TrailBlaze Hiking Pants, RainGuard Hiking Jacket, and CompactCook Camping Stove", "chat_history": [] }
{"question": "What is the Brand for TrekReady Hiking Boots", "truth": "TrekReady", "chat_history": [] }
{"question": "How many items did Karen Williams buy?", "truth": "three items of the Summit Breeze Jacket", "chat_history": [] }
{"question": "France is in Europe", "truth": "Sorry, I can only truth questions related to outdoor/camping gear and equipment", "chat_history": [] }

Agora que você tem seu conjunto de dados de avaliação, você pode avaliar seu fluxo seguindo estas etapas:

  1. Selecione Avaliar>avaliação interna no menu superior do fluxo de prompt.

    Captura de tela da opção para criar uma avaliação interna a partir do fluxo de prompt.

    Você será direcionado para o assistente Criar uma nova avaliação .

  2. Insira um nome para sua avaliação e selecione uma sessão de computação.

  3. Selecione Pergunta e resposta sem contexto nas opções de cenário.

  4. Selecione o fluxo a ser avaliado. Neste exemplo, selecione Fluxo externo da Contoso ou o que você nomeou seu fluxo. Em seguida, selecione Seguinte.

    Captura de ecrã a mostrar a seleção de um cenário de avaliação.

  5. Selecione Adicionar seu conjunto de dados na página Configurar dados de teste.

    Captura de tela da opção para usar um conjunto de dados novo ou existente.

  6. Selecione Carregar arquivo, procure arquivos e selecione o arquivo qa-evaluation.jsonl que você criou anteriormente.

  7. Depois que o arquivo é carregado, você precisa configurar suas colunas de dados para corresponder às entradas necessárias para que o fluxo de prompt execute uma execução em lote que gere saída para avaliação. Insira ou selecione os seguintes valores para cada mapeamento de conjunto de dados para fluxo de prompt.

    Captura de tela do mapeamento do conjunto de dados de avaliação de fluxo de prompt.

    Nome Descrição Type Data source
    chat_history O histórico do bate-papo list ${data.chat_history}
    query A consulta string ${data.question}

  8. Selecione Seguinte.

  9. Selecione as métricas que deseja usar para avaliar seu fluxo. Neste exemplo, selecione Coerência, Fluência, Semelhança GPT e Pontuação F1.

  10. Selecione uma conexão e um modelo para usar na avaliação. Neste exemplo, selecione gpt-35-turbo-16k. Em seguida, selecione Seguinte.

    Captura de tela da seleção de métricas de avaliação.

    Nota

    A avaliação com métricas assistidas por IA precisa chamar outro modelo GPT para fazer o cálculo. Para obter o melhor desempenho, use um modelo que suporte pelo menos tokens de 16k, como o modelo gpt-4-32k ou gpt-35-turbo-16k. Se você não implantou esse modelo anteriormente, pode implantar outro modelo seguindo as etapas no início rápido do playground de bate-papo do AI Studio. Em seguida, retorne a esta etapa e selecione o modelo implantado.

  11. Você precisa configurar suas colunas de dados para corresponder às entradas necessárias para gerar métricas de avaliação. Insira os seguintes valores para mapear o conjunto de dados para as propriedades de avaliação:

    Nome Descrição Type Data source
    pergunta Uma consulta em busca de informações específicas. string ${data.question}
    resposta A resposta à pergunta gerada pelo modelo como resposta. string ${run.outputs.reply}
    Documentação String com contexto de documentos recuperados. string ${run.outputs.documents}

  12. Selecione Seguinte.

  13. Reveja os detalhes da avaliação e, em seguida, selecione Submeter. Você será direcionado para a página Avaliações métricas .

Ver o estado e os resultados da avaliação

Agora você pode visualizar o status e os resultados da avaliação seguindo estas etapas:

  1. Depois de criar uma avaliação, se ainda não estiver lá, vá para a Avaliação. Na página Avaliações métricas, você pode ver o status da avaliação e as métricas selecionadas. Talvez seja necessário selecionar Atualizar após alguns minutos para ver o status Concluído .

    Captura de tela da página de avaliações métricas.

  2. Pare sua sessão de computação no fluxo de prompt. Vá para o fluxo de prompt e selecione Sessão de computação executando>Parar sessão de computação no menu superior.

    Captura de tela do botão para interromper uma sessão de computação no fluxo de prompt.

    Gorjeta

    Quando a avaliação estiver no status Concluído , você não precisará de uma sessão de computação para concluir o restante deste tutorial. Você pode interromper sua instância de computação para evitar incorrer em custos desnecessários do Azure. Para obter mais informações, consulte como iniciar e parar a computação.

  3. Selecione o nome da avaliação (como evaluation_evaluate_from_flow_variant_0) para ver as métricas de avaliação.

    Captura de tela da página de resultados detalhados de métricas.

Para obter mais informações, consulte Exibir resultados da avaliação.

Implantar o fluxo

Agora que você criou um fluxo e concluiu uma avaliação baseada em métricas, é hora de criar seu endpoint online para inferência em tempo real. Isso significa que você pode usar o fluxo implantado para responder a perguntas em tempo real.

Siga estas etapas para implantar um fluxo de prompt como um ponto de extremidade online do AI Studio.

  1. Tenha um fluxo de prompt pronto para implantação. Se você não tiver um, consulte as seções anteriores ou como criar um fluxo de prompt.

  2. Opcional: Selecione Chat para testar se o fluxo está funcionando corretamente. Testar seu fluxo antes da implantação é uma prática recomendada recomendada.

  3. Selecione Implantar no editor de fluxo.

    Captura de tela do botão implantar de um editor de fluxo de prompt.

  4. Forneça as informações solicitadas na página Configurações básicas no assistente de implantação. Selecione Avançar para prosseguir para as páginas de configurações avançadas.

    Captura de tela da página de configurações básicas no assistente de implantação.

  5. Na página Configurações avançadas - Ponto final, deixe as configurações padrão e selecione Avançar.

  6. Na página Configurações avançadas - Implantação, deixe as configurações padrão e selecione Avançar.

  7. Na página Configurações avançadas - Saídas & conexões, verifique se todas as saídas estão selecionadas em Incluídas na resposta do ponto final.

    Captura de tela da página de configurações avançadas no assistente de implantação.

  8. Selecione Rever + Criar para rever as definições e criar a implementação.

  9. Selecione Criar para implantar o fluxo de prompt.

    Captura de tela da página de configurações de implantação do fluxo de prompt de revisão.

Para obter mais informações, consulte como implantar um fluxo.

Usar o fluxo implantado

Seu aplicativo copilot pode usar o fluxo de prompt implantado para responder a perguntas em tempo real. Você pode usar o ponto de extremidade REST ou o SDK para usar o fluxo implantado.

  1. Para visualizar o status de sua implantação no AI Studio, selecione Implantações na navegação à esquerda.

    Captura de tela do estado de implantação do fluxo de prompt em andamento.

    Depois que a implantação for criada com êxito, você poderá selecioná-la para exibir os detalhes.

    Nota

    Se você vir uma mensagem dizendo "Atualmente, este ponto de extremidade não tem implantações" ou se o Estado ainda estiver Atualizando, talvez seja necessário selecionar Atualizar após alguns minutos para ver a implantação.

  2. Opcionalmente, a página de detalhes é onde você pode alterar o tipo de autenticação ou habilitar o monitoramento.

    Captura de tela da página de detalhes da implantação do fluxo de prompt.

  3. Selecione a guia Consumir . Você pode ver exemplos de código e o ponto de extremidade REST para seu aplicativo copilot usar o fluxo implantado.

    Captura de tela do ponto de extremidade de implantação de fluxo de prompt e exemplos de código.

Clean up resources (Limpar recursos)

Para evitar incorrer em custos desnecessários do Azure, você deve excluir os recursos criados neste tutorial se eles não forem mais necessários. Para gerenciar recursos, você pode usar o portal do Azure.

Você também pode parar ou excluir sua instância de computação no AI Studio conforme necessário.

Próximos passos