Scény, snímky a klíčové snímky

Důležité

Vzhledem k oznámení o vyřazení služby Azure Media Services vám Azure AI Video Indexer oznámí úpravy funkcí Azure AI Video Indexeru. Informace o tom, co to znamená pro váš účet Azure AI Video Indexer, najdete v tématu Změny související s vyřazením služby Azure Media Service (AMS). Podívejte se na průvodce přípravou na vyřazení AMS: Průvodce aktualizací VI a migrací.

Azure AI Video Indexer podporuje segmentování videí do dočasných jednotek na základě strukturálních a sémantických vlastností. Tato funkce umožňuje zákazníkům snadno procházet, spravovat a upravovat obsah videa na základě různých podrobností. Například na základě scén, snímků a klíčových snímků popsaných v tomto tématu.

Detekce scén

Azure AI Video Indexer určuje, kdy se scéna ve videu změní na základě vizuálních upozornění. Scéna znázorňuje jednu událost a skládá se z řady po sobě jdoucích snímků, které jsou sémanticky související. Miniatura scény je první klíčový snímek podkladového snímku. Azure AI Video Indexer segmentuje video do scén na základě barevné soudržnosti napříč po sobě jdoucími snímky a načte počáteční a koncový čas každé scény. Detekce scén se považuje za náročný úkol, protože zahrnuje kvantifikující sémantické aspekty videí.

Poznámka:

Platí pro videa, která obsahují aspoň 3 scény.

Detekce snímků

Azure AI Video Indexer určuje, kdy se snímek ve videu změní na základě vizuálních upozornění, sledováním náhlého i postupného přechodu v barevném schématu sousedních snímků. Metadata snímku zahrnují počáteční a koncový čas a také seznam klíčových snímků zahrnutých v daném snímku. Snímky jsou po sobě jdoucí snímky pořízené ze stejné kamery najednou.

Detekce klíčových snímků

Azure AI Video Indexer vybere snímky, které nejlépe představují každý snímek. Klíčové snímky jsou reprezentativní snímky vybrané z celého videa na základě estetických vlastností (například kontrast a stabilní). Azure AI Video Indexer načte seznam ID klíčových snímků jako součást metadat snímku na základě toho, na základě kterých zákazníci můžou klíčový snímek extrahovat jako obrázek s vysokým rozlišením.

Extrahování klíčových snímků

Pokud chcete extrahovat klíčové rámce s vysokým rozlišením pro video, musíte video nejprve nahrát a indexovat.

S webem Azure AI Video Indexer

Pokud chcete extrahovat klíčové rámce pomocí webu Azure AI Video Indexer, nahrajte a indexujte video. Po dokončení úlohy indexování klikněte na tlačítko Stáhnout a vyberte Artefakty (ZIP). Tím stáhnete složku artefaktů do počítače (nezapomeňte zobrazit upozornění týkající se artefaktů níže). Rozbalte a otevřete složku. Ve složce _KeyframeThumbnail najdete všechny klíčové snímky, které byly extrahovány z videa.

Upozorňující

Nedoporučujeme používat data přímo ze složky artefaktů pro produkční účely. Artefakty jsou přechodné výstupy procesu indexování. Jsou to v podstatě nezpracované výstupy různých modulů umělé inteligence, které analyzují videa; schéma artefaktů se může v průběhu času měnit. Doporučujeme použít rozhraní API Get Video Index , jak je popsáno v tématu Získání přehledů a artefaktů vytvořených rozhraním API.

S využitím rozhraní API služby Azure AI Video Indexer

Pokud chcete získat klíčové rámce pomocí rozhraní API Video Indexeru, nahrajte a indexujte video pomocí volání Nahrát video . Po dokončení úlohy indexování zavolejte Get Video Index. Tím získáte všechny přehledy, které Video Indexer extrahoval z vašeho obsahu v souboru JSON.

Jako součást metadat každého snímku získáte seznam ID klíčových snímků.

"shots":[  
    {  
      "id":0,
      "keyFrames":[  
          {  
            "id":0,
            "instances":[  
                {  
                  "thumbnailId":"00000000-0000-0000-0000-000000000000",
                  "start":"0:00:00.209",
                  "end":"0:00:00.251",
                  "duration":"0:00:00.042"
                }
            ]
          },
          {  
            "id":1,
            "instances":[  
                {  
                  "thumbnailId":"00000000-0000-0000-0000-000000000000",
                  "start":"0:00:04.755",
                  "end":"0:00:04.797",
                  "duration":"0:00:00.042"
                }
            ]
          }
      ],
      "instances":[  
          {  
            "start":"0:00:00",
            "end":"0:00:06.34",
            "duration":"0:00:06.34"
          }
      ]
    },

]

Teď budete muset spustit každou z těchto ID klíčových snímků ve volání Získat miniatury . Tím stáhnete všechny image klíčových snímků do počítače.

Detekce typu redakčního snímku

Klíčové snímky jsou přidružené k snímkům ve výstupním formátu JSON.

Typ snímku přidružený k jednotlivým snímkům ve formátu JSON přehledů představuje jeho redakční typ. Tyto charakteristiky typů snímků můžou být užitečné při úpravách videí do klipů, přívěsů nebo při hledání určitého stylu klíčového rámce pro umělecké účely. Různé typy se určují na základě analýzy prvního klíčového snímku každého snímku. Snímky jsou identifikovány měřítkem, velikostí a umístěním tváří, které se zobrazují v prvním klíčovém snímku.

Velikost snímku a měřítko se určují na základě vzdálenosti mezi fotoaparátem a tvářemi, které se zobrazují v rámečku. Pomocí těchto vlastností azure AI Video Indexer zjistí následující typy snímků:

• Široké: ukazuje tělo celé osoby.
• Střední: zobrazuje horní tělo a tvář osoby.
• Zblízka: ukazuje hlavně tvář člověka.
• Extrémní detail: zobrazuje obličej osoby vyplňující obrazovku.

Typy snímků lze určit také umístěním znaků předmětu vzhledem ke středu rámce. Tato vlastnost definuje následující typy snímků ve službě Azure AI Video Indexer:

• Levý obličej: Na levé straně rámečku se zobrazí osoba.
• Středová tvář: Osoba se zobrazí v centrální oblasti rámce.
• Pravý obličej: osoba se zobrazí na pravé straně rámečku.
• Venkovní: osoba se zobrazí ve venkovním prostředí.
• Vnitřní: osoba se zobrazí v interiérovém nastavení.

Další vlastnosti:

• Dva snímky: ukazuje tváře dvou osob střední velikosti.
• Více tváří: více než dvě osoby.