O que é o resumo de documentos e conversas?
Importante
Nossa região de visualização, Suécia Central, apresenta nossas técnicas de ajuste fino LLM mais recentes e em constante evolução baseadas em modelos GPT. Convidamo-lo a experimentá-los com um recurso linguístico na região central da Suécia.
O resumo da conversa só está disponível usando:
- API REST
- Python
- C#
A sumarização é um dos recursos oferecidos pelo Azure AI Language, uma coleção de algoritmos de aprendizado de máquina e IA na nuvem para desenvolver aplicativos inteligentes que envolvem linguagem escrita. Use este artigo para saber mais sobre esse recurso e como usá-lo em seus aplicativos.
Embora os serviços sejam rotulados como resumo de documentos e conversas, o resumo de documentos só aceita blocos de texto sem formatação e o resumo de conversas aceita vários artefatos de fala para que o modelo aprenda mais. Se você quiser processar uma conversa, mas se preocupar apenas com texto, poderá usar o resumo de documentos para esse cenário.
Esta documentação contém os seguintes tipos de artigo:
- Os guias de início rápido são instruções de introdução para guiá-lo ao fazer solicitações ao serviço.
- Os guias de instruções contêm instruções para usar o serviço de maneiras mais específicas ou personalizadas.
A sumarização de documentos usa técnicas de processamento de linguagem natural para gerar um resumo para documentos. Há três abordagens de API suportadas para sumarização automática: extrativa, abstrata e focada em consulta.
O resumo extrativo extrai frases que representam coletivamente as informações mais importantes ou relevantes dentro do conteúdo original. A sumarização abstrata gera um resumo com frases concisas e coerentes ou palavras que não são literalmente extrair frases do documento original. Esses recursos são projetados para encurtar o conteúdo que pode ser considerado muito longo para ler.
Suporte nativo a documentos
Um documento nativo refere-se ao formato de arquivo usado para criar o documento original, como o Microsoft Word (docx) ou um arquivo de documento portátil (pdf). O suporte nativo a documentos elimina a necessidade de pré-processamento de texto antes de usar os recursos da Linguagem de IA do Azure. Atualmente, o suporte nativo a documentos está disponível para os recursos AbstractiveSummarization e ExtractiveSummarization.
Atualmente, o Resumo de Documentos suporta os seguintes formatos de documentos nativos:
| Tipo de ficheiro | Extensão de nome de ficheiro | Description |
|---|---|---|
| Texto | .txt |
Um documento de texto não formatado. |
| Adobe PDF | .pdf |
Um documento formatado em arquivo de documento portátil. |
| Microsoft Word | .docx |
Um arquivo de documento do Microsoft Word. |
Para obter mais informações, consulteUsar documentos nativos para processamento de idiomas
Funcionalidades principais
Existem os aspetos do resumo de documentos que esta API fornece:
Sumarização extrativa: Produz um resumo extraindo frases salientes dentro do documento.
- Várias frases extraídas: Estas frases transmitem coletivamente a ideia principal do documento. São frases originais extraídas do conteúdo do documento de entrada.
- Pontuação de classificação: a pontuação de classificação indica o quão relevante uma frase é para o tópico principal de um documento. O resumo de documentos classifica as frases extraídas e você pode determinar se elas são retornadas na ordem em que aparecem ou de acordo com sua classificação.
- Várias sentenças devolvidas: Determine o número máximo de sentenças a serem devolvidas. Por exemplo, se você solicitar um resumo extrativo de três frases, o resumo extrativo retornará as três frases com maior pontuação.
- Informação posicional: A posição inicial e o comprimento das frases extraídas.
Sumarização abstrata: Gera um resumo que não usa as mesmas palavras do documento, mas captura a ideia principal.
- Textos resumidos: A sumarização abstrata retorna um resumo para cada intervalo de entrada contextual dentro do documento. Um documento longo pode ser segmentado para que vários grupos de textos resumidos possam ser retornados com seu intervalo de entrada contextual.
- Intervalo de entrada contextual: o intervalo dentro do documento de entrada que foi usado para gerar o texto de resumo.
Resumo focado em consulta: gera um resumo com base em uma consulta
Como exemplo, considere o seguinte parágrafo do texto:
"Na Microsoft, estamos em uma busca para avançar a IA além das técnicas existentes, adotando uma abordagem mais holística e centrada no ser humano para aprender e compreender. Como Diretor de Tecnologia dos serviços de IA do Azure, tenho trabalhado com uma equipe de cientistas e engenheiros incríveis para transformar essa busca em realidade. Na minha função, desfruto de uma perspetiva única na visualização da relação entre três atributos da cognição humana: texto monolingue (X), sinais sensoriais áudio ou visuais (Y) e multilingue (Z). Na interseção de todos os três, há magia — o que chamamos de código XYZ, conforme ilustrado na Figura 1 — uma representação conjunta para criar uma IA mais poderosa que pode falar, ouvir, ver e entender melhor os seres humanos. Acreditamos que o código XYZ nos permite cumprir nossa visão de longo prazo: aprendizagem de transferência entre domínios, abrangendo modalidades e idiomas. O objetivo é ter modelos pré-treinados que possam aprender em conjunto representações para apoiar uma ampla gama de tarefas de IA a jusante, da mesma forma que os humanos fazem hoje. Nos últimos cinco anos, alcançamos o desempenho humano em benchmarks em reconhecimento de fala conversacional, tradução automática, resposta a perguntas conversacionais, compreensão de leitura automática e legendagem de imagem. Esses cinco avanços nos forneceram sinais fortes em direção à nossa aspiração mais ambiciosa de produzir um salto nas capacidades de IA, alcançando uma aprendizagem multissensorial e multilíngue que está mais próxima de como os humanos aprendem e entendem. Acredito que o código XYZ conjunto é um componente fundamental dessa aspiração, se fundamentado com fontes de conhecimento externas nas tarefas de IA a jusante."
A solicitação da API de resumo de documentos é processada após o recebimento da solicitação, criando um trabalho para o back-end da API. Se o trabalho for bem-sucedido, a saída da API será retornada. A saída está disponível para recuperação por 24 horas. Após esse tempo, a saída é limpa. Devido ao suporte multilíngue e a emojis, a resposta pode conter deslocamentos de texto. Para obter mais informações, consulte como processar deslocamentos.
Se usarmos o exemplo acima, a API pode retornar estas frases resumidas:
Resumo extrativo:
- "Na Microsoft, estamos em uma busca para avançar a IA além das técnicas existentes, adotando uma abordagem mais holística e centrada no ser humano para aprender e compreender."
- "Acreditamos que o código XYZ nos permite cumprir nossa visão de longo prazo: aprendizagem de transferência entre domínios, abrangendo modalidades e idiomas."
- "O objetivo é ter modelos pré-treinados que possam aprender conjuntamente representações para apoiar uma ampla gama de tarefas de IA a jusante, da mesma forma que os humanos fazem hoje."
Resumo abstrato:
- "A Microsoft está adotando uma abordagem mais holística e centrada no ser humano para aprender e compreender. Acreditamos que o código XYZ nos permite cumprir nossa visão de longo prazo: aprendizagem de transferência entre domínios, abrangendo modalidades e idiomas. Nos últimos cinco anos, atingimos o desempenho humano em benchmarks em reconhecimento de fala conversacional."
Introdução à sumarização
Para usar o resumo, envie para análise e manipule a saída da API em seu aplicativo. A análise é realizada no estado em que se encontra, sem personalização adicional ao modelo usado em seus dados. Há duas maneiras de usar o resumo:
| Opção de desenvolvimento | Description |
|---|---|
| Estúdio de linguagem | O Language Studio é uma plataforma baseada na Web que permite que você tente vincular entidades com exemplos de texto sem uma conta do Azure e seus próprios dados quando você se inscreve. Para obter mais informações, consulte o site do Language Studio ou o início rápido do language studio. |
| API REST ou biblioteca de cliente (SDK do Azure) | Integre o resumo de documentos em seus aplicativos usando a API REST ou a biblioteca de cliente disponível em vários idiomas. Para obter mais informações, consulte o guia de início rápido de resumo. |
Requisitos de entrada e limites de serviço
Documentação de referência e exemplos de código
À medida que você usa o resumo de documentos em seus aplicativos, consulte a seguinte documentação de referência e exemplos para o Azure AI Language:
| Opção de desenvolvimento / linguagem | Documentação de referência | Exemplos |
|---|---|---|
| C# | Documentação em C# | Exemplos de C# |
| Java | Documentação Java | Amostras Java |
| JavaScript | Documentação do JavaScript | Exemplos de JavaScript |
| Python | Documentação Python | Amostras de Python |
IA responsável
Um sistema de IA inclui não apenas a tecnologia, mas também as pessoas que a usam, as pessoas afetadas por ela e o ambiente de implantação. Leia a nota de transparência para resumir para saber mais sobre o uso e a implantação responsáveis de IA em seus sistemas. Para obter mais informações, consulte os seguintes artigos que podem estar em inglês: