Detecção de conteúdo específico do domínio

Além de marcação e categorização de alto nível, a Pesquisa Visual Computacional também suporta uma análise específica de domínio mais detalhada usando modelos treinados em dados especializados.

Há duas maneiras de usar os modelos de domínio específico: por si só (análise com escopo) ou como um aprimoramento do recurso de categorização de imagens.

Análise de escopo

Você pode analisar uma imagem usando apenas o modelo de domínio específico escolhido, chamando a API Modelos/<modelo>/Analisar.

A seguir está um exemplo de resposta JSON retornada pela API modelos/celebridades/analisar para determinada imagem:

Satya Nadella standing, smiling

{
  "result": {
    "celebrities": [{
      "faceRectangle": {
        "top": 391,
        "left": 318,
        "width": 184,
        "height": 184
      },
      "name": "Satya Nadella",
      "confidence": 0.99999856948852539
    }]
  },
  "requestId": "8217262a-1a90-4498-a242-68376a4b956b",
  "metadata": {
    "width": 800,
    "height": 1200,
    "format": "Jpeg"
  }
}

Análise aprimorada de categorização

Você também pode usar modelos de domínio específico para complementar a análise de imagem geral. Isso é feito como parte da categorização de alto nível através da especificação de modelos de domínio específico no parâmetro details da chamada à API Analisar.

Neste caso, o classificador da taxonomia de 86 categorias é chamado primeiro. Se qualquer uma das categorias detectadas tiver um modelo de domínio específico correspondente, a imagem é passada por meio deste modelo também e os resultados são adicionados.

A resposta JSON a seguir mostra como a análise de domínio específico pode ser incluída como o nó detail em uma análise mais abrangente de categorização.

"categories":[
  {
    "name":"abstract_",
    "score":0.00390625
  },
  {
    "name":"people_",
    "score":0.83984375,
    "detail":{
      "celebrities":[
        {
          "name":"Satya Nadella",
          "faceRectangle":{
            "left":597,
            "top":162,
            "width":248,
            "height":248
          },
          "confidence":0.999028444
        }
      ],
      "landmarks":[
        {
          "name":"Forbidden City",
          "confidence":0.9978346
        }
      ]
    }
  }
]

Lista de modelos de domínio específico

Atualmente, a Pesquisa Visual Computacional suporta os seguintes modelos de domínio específico para detectar conteúdo de domínio específico:

Nome Descrição
Celebridades Reconhecimento de celebridades, compatível com imagens classificadas na categoria people_
Pontos de referência Reconhecimento de pontos de referência, com suporte para imagens classificado na outdoor_ ou building_ categorias

Chamar a API Modelos retornará essa informação junto com as categorias para as quais cada modelo é aplicável:

{
  "models":[
    {
      "name":"celebrities",
      "categories":[
        "people_",
        "人_",
        "pessoas_",
        "gente_"
      ]
    },
    {
      "name":"landmarks",
      "categories":[
        "outdoor_",
        "户外_",
        "屋外_",
        "aoarlivre_",
        "alairelibre_",
        "building_",
        "建筑_",
        "建物_",
        "edifício_"
      ]
    }
  ]
}

Usar a API

Esse recurso está disponível por meio da API3.2 da Análise de Imagem. Você pode chamar essa API por meio de um SDK nativo ou por meio de chamadas REST. Incluir Celebrities ou Landmarks no parâmetro de consulta detalhes. Em seguida, quando receber a resposta JSON completa, basta analisar a cadeia de caracteres para o conteúdo da seção "details".