Domänspecifik innehållsidentifiering

  • Artikel

Förutom taggning och kategorisering på hög nivå stöder Azure AI Vision även ytterligare domänspecifik analys med hjälp av modeller som har tränats på specialiserade data.

Det finns två sätt att använda de domänspecifika modellerna: själva (begränsad analys) eller som en förbättring av bildkategoriseringsfunktionen.

Begränsad analys

Du kan bara analysera en bild med hjälp av den valda domänspecifika modellen genom att anropa API:et Models/<model>/Analyze .

Följande är ett JSON-exempelsvar som returneras av api:et models/celebrities/analyze för den angivna bilden:

Satya Nadella standing, smiling

{
  "result": {
    "celebrities": [{
      "faceRectangle": {
        "top": 391,
        "left": 318,
        "width": 184,
        "height": 184
      },
      "name": "Satya Nadella",
      "confidence": 0.99999856948852539
    }]
  },
  "requestId": "8217262a-1a90-4498-a242-68376a4b956b",
  "metadata": {
    "width": 800,
    "height": 1200,
    "format": "Jpeg"
  }
}

Förbättrad kategoriseringsanalys

Du kan också använda domänspecifika modeller för att komplettera allmän bildanalys. Du gör detta som en del av kategorisering på hög nivå genom att ange domänspecifika modeller i informationsparametern för anropet Analysera API.

I det här fallet kallas taxonomiklassificeraren i 86-kategorin först. Om någon av de identifierade kategorierna har en matchande domänspecifik modell skickas även avbildningen genom modellen och resultaten läggs till.

Följande JSON-svar visar hur domänspecifik analys kan inkluderas som detail nod i en bredare kategoriseringsanalys.

"categories":[
  {
    "name":"abstract_",
    "score":0.00390625
  },
  {
    "name":"people_",
    "score":0.83984375,
    "detail":{
      "celebrities":[
        {
          "name":"Satya Nadella",
          "faceRectangle":{
            "left":597,
            "top":162,
            "width":248,
            "height":248
          },
          "confidence":0.999028444
        }
      ],
      "landmarks":[
        {
          "name":"Forbidden City",
          "confidence":0.9978346
        }
      ]
    }
  }
]

Visa en lista över domänspecifika modeller

För närvarande stöder Azure AI Vision följande domänspecifika modeller:

Name beskrivning
Kändisar Kändisigenkänning, stöds för bilder som klassificeras people_ i kategorin
Landmärken Landmärkesigenkänning som stöds för bilder som klassificerats outdoor_ i kategorierna eller building_

Om du anropar MODELL-API:et returneras den här informationen tillsammans med de kategorier som varje modell kan tillämpas på:

{
  "models":[
    {
      "name":"celebrities",
      "categories":[
        "people_",
        "人_",
        "pessoas_",
        "gente_"
      ]
    },
    {
      "name":"landmarks",
      "categories":[
        "outdoor_",
        "户外_",
        "屋外_",
        "aoarlivre_",
        "alairelibre_",
        "building_",
        "建筑_",
        "建物_",
        "edifício_"
      ]
    }
  ]
}

Använda API:et

Den här funktionen är tillgänglig via API:et Analysera bild 3.2. Du kan anropa det här API:et via ett inbyggt SDK eller via REST-anrop. Inkludera Celebrities eller Landmarks i frågeparametern information . När du sedan får det fullständiga JSON-svaret parsar du bara strängen för innehållet i "details" avsnittet.