Legendas de imagens (versão 4.0)

As legendas de imagem no Image Analysis 4.0 estão disponíveis através das funcionalidades Caption e Dense Captions .

A legenda gera uma descrição de uma frase para todo o conteúdo da imagem. As legendas densas fornecem mais detalhes, gerando descrições de uma frase de até 10 regiões da imagem, além de descrever a imagem inteira. As legendas densas também retornam as coordenadas da caixa delimitadora das regiões de imagem descritas. Ambos os recursos usam os mais recentes modelos de IA inovadores baseados em Florença.

Neste momento, a legenda das imagens está disponível apenas em inglês.

Importante

As legendas de imagem no Image Analysis 4.0 só estão disponíveis nas seguintes regiões do centro de dados do Azure: Leste dos EUA, França Central, Coreia Central, Europa do Norte, Sudeste Asiático, Europa Ocidental, Oeste dos EUA, Ásia Oriental. Você deve usar um recurso Visão localizado em uma dessas regiões para obter resultados dos recursos Legenda e Legendas Densas.

Se você precisar usar um recurso de Visão fora dessas regiões para gerar legendas de imagem, use a Análise de Imagem 3.2 , que está disponível em todas as regiões do Azure AI Vision.

Experimente os recursos de legendagem de imagens de forma rápida e fácil em seu navegador usando o Vision Studio.

Experimente o Vision Studio

Legendas neutras em termos de género

As legendas contêm termos de género ("homem", "mulher", "rapaz" e "rapariga") por defeito. Você tem a opção de substituir esses termos por "pessoa" em seus resultados e receber legendas neutras em termos de gênero. Você pode fazer isso definindo o parâmetro opcional de solicitação de API, legenda neutra de gênero como true na URL da solicitação.

Exemplos de legendas e legendas densas

Legenda

A resposta JSON a seguir ilustra o que a API do Analysis 4.0 retorna ao descrever a imagem de exemplo com base em seus recursos visuais.

"captions": [
    {
        "text": "a man pointing at a screen",
        "confidence": 0.4891590476036072
    }
]

Legendas densas

A resposta JSON a seguir ilustra o que a API do Analysis 4.0 retorna ao gerar legendas densas para a imagem de exemplo.

{
  "denseCaptionsResult": {
    "values": [
      {
        "text": "a man driving a tractor in a farm",
        "confidence": 0.535620927810669,
        "boundingBox": {
          "x": 0,
          "y": 0,
          "w": 850,
          "h": 567
        }
      },
      {
        "text": "a man driving a tractor in a field",
        "confidence": 0.5428450107574463,
        "boundingBox": {
          "x": 132,
          "y": 266,
          "w": 209,
          "h": 219
        }
      },
      {
        "text": "a blurry image of a tree",
        "confidence": 0.5139822363853455,
        "boundingBox": {
          "x": 147,
          "y": 126,
          "w": 76,
          "h": 131
        }
      },
      {
        "text": "a man riding a tractor",
        "confidence": 0.4799223840236664,
        "boundingBox": {
          "x": 206,
          "y": 264,
          "w": 64,
          "h": 97
        }
      },
      {
        "text": "a blue sky above a hill",
        "confidence": 0.35495415329933167,
        "boundingBox": {
          "x": 0,
          "y": 0,
          "w": 837,
          "h": 166
        }
      },
      {
        "text": "a tractor in a field",
        "confidence": 0.47338250279426575,
        "boundingBox": {
          "x": 0,
          "y": 243,
          "w": 838,
          "h": 311
        }
      }
    ]
  },
  "modelVersion": "2024-02-01",
  "metadata": {
    "width": 850,
    "height": 567
  }
}

Utilizar a API

Legendas das imagens

O recurso de legendagem de imagem faz parte da API Analyze Image . Inclua Caption no parâmetro de consulta de recursos . Em seguida, quando você obtiver a resposta JSON completa, analise a cadeia de caracteres para o conteúdo da "captionResult" seção.

Legendas densas

O recurso de legendagem densa faz parte da API Analyze Image . Inclua denseCaptions no parâmetro de consulta de recursos . Em seguida, quando você obtiver a resposta JSON completa, analise a cadeia de caracteres para o conteúdo da "denseCaptionsResult" seção.

Próximos passos

• Aprenda o conceito relacionado de deteção de objetos.
• Guia de início rápido: API REST de análise de imagem ou bibliotecas de cliente
• Chamar a API de análise de imagem