O que é a sumarização de conversas e documentos?
Importante
Nossa região de versão prévia, a Suécia Central, demonstra nossas técnicas de ajuste fino de LLM mais recentes e em constante evolução baseadas em modelos GPT. Você está convidado a experimentá-los com um recurso de idiomas na região da Suécia Central.
O resumo da conversa só está disponível usando:
- API REST
- Python
- C#
A sumarização é um dos recursos oferecidos pela Linguagem de IA do Azure, uma coleção de aprendizado de máquina e algoritmos de IA na nuvem para o desenvolvimento de aplicativos inteligentes que envolvem linguagem escrita. Use este artigo para saber mais sobre esse recurso e como usá-lo nos seus aplicativos.
Embora os serviços sejam rotulados como sumarização de documentos e de conversas, a sumarização de documentos só aceita blocos de texto sem formatação, e a sumarização de conversas aceita vários artefatos de fala para que o modelo saiba mais informações. Se quiser processar uma conversa, mas estiver preocupado apenas com o texto, você pode usar o resumo de documentos para esse cenário.
Esta documentação contém os seguintes tipos de artigos:
- Os guias de início rápido são instruções de introdução que orientam sobre como fazer solicitações ao serviço.
- Os guias de instruções contêm instruções de uso do serviço de maneiras mais específicas ou personalizadas.
A sumarização de documentos usa técnicas de processamento de linguagem natural para gerar um resumo de documentos. Há três abordagens de API com suporte para sumarização automática: extrativa, abstrativa e focada em consulta.
A sumarização extrativa extrai frases que representam coletivamente as informações mais importantes ou relevantes do conteúdo original. A sumarização abstrata gera um resumo com frases ou palavras concisas e coerentes que não são frases extraídas literalmente do documento original. Esses recursos foram projetados para reduzir o conteúdo que possa ser considerado muito longo para ser lido.
Suporte a documentos nativos
Um documento nativo se refere ao formato de arquivo usado para criar o documento original, como Microsoft Word (docx) ou um formato portátil de documento (pdf). O suporte nativo a documentos elimina a necessidade de pré-processamento de texto antes de usar as funcionalidades do recurso de Linguagem de IA do Azure. Atualmente, o suporte a documentos nativos está disponível para as funcionalidades AbstractiveSummarization e ExtractiveSummarization.
Atualmente, a Sumarização de Documentos dá suporte para os seguintes formatos de documentos nativos:
| Tipo de arquivo | Extensão de arquivo | Descrição |
|---|---|---|
| Texto | .txt |
Um documento de texto não formatado. |
| Adobe PDF | .pdf |
Um documento formatado em formato portátil de documento. |
| Microsoft Word | .docx |
Um arquivo de documento do Microsoft Word. |
Para obter mais informações, confiraUsar documentos nativos para processamento de idiomas
Principais recursos
Há dois aspectos de sumarização de documentos que esta API fornece:
Sumarização extrativa: produz um resumo extraindo frases salientes do documento.
- Várias frases extraídas: essas frases transmitem em conjunto a ideia principal do documento. São frases originais extraídas do conteúdo do documento de entrada.
- Pontuação de classificação: a pontuação de classificação indica o quanto uma frase é relevante para o tópico principal de um documento. O resumo de documentos classifica as frases extraídas, e você pode determinar se elas são retornadas na ordem em que aparecem ou de acordo com a classificação delas.
- Várias frases retornadas: determina o número máximo de frases a serem retornadas. Por exemplo, se você solicitar um resumo de três frases, a sumarização extrativa retornará as três frases com maior pontuação.
- Informações posicionais: a posição inicial e o comprimento das frases extraídas.
Resumo abstrato: gera um resumo que não usa as mesmas palavras do documento, mas captura a ideia principal.
- Textos resumidos: a sumarização abstrativa retorna um resumo para cada intervalo de entrada contextual do documento. Um documento longo pode ser segmentado para que vários grupos de textos resumidos possam ser retornados com seu intervalo de entrada contextual.
- Intervalo de entrada contextual: o intervalo dentro do documento de entrada que foi usado para gerar o texto de resumo.
Sumarização focada em consulta: gera um resumo com base em uma consulta
Por exemplo, considere o seguinte parágrafo de texto:
"Na Microsoft, estamos em uma busca para levar a IA além das técnicas existentes, adotando uma abordagem mais holística e centrada no ser humano para o aprendizado e a compreensão. Como Diretor de Tecnologia dos Serviços de IA do Azure, tenho trabalhado para transformar essa busca em realidade com uma equipe de cientistas e engenheiros incríveis. Na minha função, eu adoto uma perspectiva exclusiva para visualizar a relação entre três atributos de cognição humana: texto (X), sinais sensoriais auditivos ou visuais (Y) e multilínge (Z). Na interseção de todos os três, há mágica, o que chamamos de código XYZ, conforme ilustrado na Figura 1, uma representação conjunta para criar uma IA mais poderosa que possa falar, ouvir, ver e entender melhor os seres humanos. Acreditamos que o código XYZ permitirá realizar nossa visão de longo prazo: aprendizado de transferência entre domínios, modalidades e idiomas abrangentes. A meta é ter modelos pré-treinados que possam aprender representações em conjunto para dar suporte a uma ampla variedade de tarefas de IA downstream, de maneira muito similar a como os humanos fazem hoje. Nos últimos cinco anos, alcançamos desempenho humano em parâmetros de comparação em reconhecimento de fala em conversação, tradução automática, resposta às perguntas em conversação, compreensão de leitura por computador e legendas de imagens. Esses cinco avanços nos forneceram fortes sinais em direção à nossa aspiração mais ambiciosa de produzir um salto nas funcionalidades de IA, alcançando um aprendizado multissensorial e multilíngue mais próximo de como os humanos aprendem e entendem. Acredito que o código XYZ conjunto é um componente fundamental dessa aspitação, se fundamentado com fontes de conhecimento externas nas tarefas de IA downstream."
A solicitação da API de sumarização de documentos é processada após o recebimento da solicitação criando um trabalho para o back-end da API. Se o trabalho tiver sido bem-sucedido, a saída da API é retornada. A saída está disponível para recuperação por 24 horas. Após esse período, a saída será limpa. Devido ao suporte multilíngue e a emojis, a resposta pode conter deslocamentos de texto. Para obter mais informações, confira como processar deslocamentos.
Se usarmos o exemplo anterior, a API poderá retornar estas frases resumidas:
Sumarização extrativa:
- "Na Microsoft, estamos em uma busca para levar a IA além das técnicas existentes, adotando uma abordagem mais holística e centrada no ser humano para o aprendizado e a compreensão."
- "Acreditamos que o código XYZ permitirá realizar nossa visão de longo prazo: aprendizado de transferência entre domínios, modalidades e idiomas abrangentes."
- "A meta é ter modelos pré-treinados que possam aprender representações em conjunto para dar suporte a uma ampla variedade de tarefas de IA downstream, de maneira muito similar a como os humanos fazem hoje."
Sumarização abstrativa:
- "A Microsoft está adotando uma abordagem mais holística e centrada no aprendizado e na compreensão das pessoas. Acreditamos que o código XYZ permitirá realizar nossa visão de longo prazo: aprendizado de transferência entre domínios, modalidades e idiomas abrangentes. Nos últimos cinco anos, alcançamos desempenho humano em parâmetros de comparação no reconhecimento de fala em conversação."
Introdução ao resumo
Para usar a compactação, envie para análise e trate a saída da API em seu aplicativo. A análise é realizada no estado em que se encontra, sem nenhuma personalização adicionada para o modelo usado nos seus dados. Há duas maneiras de usar o resumo:
| Opção de desenvolvimento | Descrição |
|---|---|
| Language Studio | O Language Studio é uma plataforma baseada na Web que permite que você experimente a vinculação de entidade com exemplos de texto sem uma conta do Azure, e seus próprios dados quando você se inscreve. Para obter mais informações, confira o site do Language Studio ou o início rápido do Language Studio. |
| API REST ou biblioteca de clientes (SDK do Azure) | Integre a sumarização de documentos em seus aplicativos usando a API REST ou a biblioteca do cliente disponível em vários idiomas. Para obter mais informações, consulte o início rápido da sumarização. |
Requisitos de entrada e limites de serviço
- O resumo leva o texto para análise. Para obter mais informações, confira Limites de dados e serviços no guia de instruções.
- A sumarização funciona com vários idiomas gravados. Veja mais informações em suporte para idioma.
Documentação de referência e exemplos de código
Quando usar o resumo de documentos nos seus aplicativos, confira a seguinte documentação de referência e as amostras de Linguagem de IA do Azure:
| Opção/idioma de desenvolvimento | Documentação de referência | Exemplos |
|---|---|---|
| C# | Documentação do C# | Exemplos do C# |
| Java | Documentação do Java | Exemplos do Java |
| JavaScript | Documentação do JavaScript | Exemplos de JavaScript |
| Python | Documentação do Python | Exemplos em Python |
IA responsável
Um sistema de IA inclui não apenas a tecnologia, mas também as pessoas que a utilizam, as pessoas afetadas por ela e o ambiente de implantação. Leia a nota de transparência para resumo para saber mais sobre o uso e a implantação de IA responsável em seus sistemas. Para obter mais informações, consulte os seguintes artigos: