Co je Analyzátor videa pro média?

Azure Video Analyzer pro média (dříve Video Indexer) je cloudová aplikace, která je součástí Azure Applied AI Services a je postavená na službách Azure Media Services a Azure Cognitive Services (například Rozpoznávání tváře, Translator, Počítačové zpracování obrazu a Speech). Umožňuje extrahovat přehledy z videí pomocí Analyzátoru videa pro mediální video a zvukové modely.

Pokud chcete začít extrahovat přehledy pomocí Analyzátoru videa pro média, musíte si vytvořit účet a nahrát videa. Když nahrajete videa do Analyzátoru videa pro média, analyzuje vizuály i zvuk spuštěním různých modelů AI. Jak Video Analyzer pro média analyzuje vaše video, jsou přehledy extrahované modely AI.

Když vytvoříte video analyzer pro účet Media a připojíte ho k Media Services, uloží se médium a soubory metadat v účtu úložiště Azure přidruženém k tomuto Media Services účtu. Další informace najdete v tématu Vytvoření analyzátoru videa pro účet Media Připojený k Azure.

Následující diagram znázorňuje obrázek, nikoli technické vysvětlení toho, jak Analyzátor videa pro média funguje v back-endu.

Dodržování předpisů, ochrana osobních údajů a zabezpečení

Připomínáme, že při používání Analyzátoru videa pro média musíte dodržovat všechny platné zákony a analyzátor videa pro média používat nesmíte způsobem, který by porušoval práva jiných uživatelů, nebo který by mohl být škodlivý pro ostatní.

Před nahrání jakéhokoli videa nebo obrázku do Analyzátoru videa pro média musíte mít všechna správná práva k používání videa nebo obrázku, včetně všech nezbytných souhlasů jednotlivců (pokud jsou k dispozici) ve videu nebo obrázku, pro použití, zpracování a ukládání svých dat ve Video Analyzeru pro média a Azure. Některé jurisdikce mohou pro shromažďování, online zpracování a ukládání určitých kategorií dat, jako jsou biometrické údaje, zavést zvláštní zákonné požadavky. Před použitím Analyzátoru videa pro média a Azure ke zpracování a uložení jakýchkoli údajů, na které se vztahují zvláštní právní požadavky, musíte zajistit dodržování všech takových právních požadavků, které se na vás mohou vztahovat.

Další informace o dodržování předpisů, ochraně osobních údajů a zabezpečení ve Video Analyzeru pro média najdete v Centru zabezpečení Microsoftu. Informace o povinnostech společnosti Microsoft v oblasti ochrany osobních údajů, zpracování a uchovávání dat, včetně toho, jak odstranit vaše data, najdete v prohlášení společnosti Microsoft o zásadách ochrany osobních údajů,prohlášení Podmínky pro služby online ("OST") a dodatku ke zpracování dat ("DPA"). Používáním Analyzátoru videa pro média souhlasíte s tím, že budete vázáni zásadami OST, DPA a Prohlášením o zásadách ochrany osobních údajů.

Co můžu dělat s Analyzátorem videa pro média?

Analyzátor videa pro přehledy médií lze použít v mnoha scénářích, mezi které patří:

• Hloubkové prohledávání: Pomocí přehledů extrahovaných z videa vylepšete možnosti vyhledávání v knihovně videí. Například indexování mluvených slov a tváří může umožnit hledání okamžiků hledání ve videu, kdy osoba vyslovuje určitá slova nebo kdy byli dva lidé vidět společně. Vyhledávání založené na těchto přehledech z videí se vztahuje na zpravodajské agentury, vzdělávací instituce, vysílání, vlastníky zábavného obsahu, podnikové obchodní aplikace a obecně pro libovolné odvětví, které má knihovnu videí, kterou uživatelé potřebují prohledávat.
• Vytváření obsahu: Vytvářejte upoutávky, zvýrazňujte mimáčky, obsah sociálních médií nebo zpravodajské klipy založené na analyzátoru videa s přehledy pro extrahování médií z vašeho obsahu. Klíčové snímky, značky scén a časová razítka pro osoby a vzhled popisků usnadňují proces vytváření a usnadňují proces vytváření a umožňují dostat se k částem videa, které potřebujete pro obsah, který vytváříte.
• Přístupnost: Bez ohledu na to, jestli chcete obsah zprostředkovat osobám s postižením nebo jestli chcete obsah distribuovat do různých oblastí pomocí různých jazyků, můžete použít přepis a překlad poskytovaný Analyzátorem videa pro média ve více jazycích.
• Monetizace: Analyzátor videa pro média může pomoct zvýšit hodnotu videí. Například odvětví, která spoléhají na výnosy z reklam (zpravodajské média, sociální média atd.), mohou dodávat relevantní reklamy pomocí extrahovaných přehledů jako dalších signálů pro ad server.
• Moderování obsahu: Pomocí modelů moderování textového a vizuálního obsahu můžete uživatele udržovat v bezpečí před nevhodným obsahem a ověřovat, že obsah, který publikujete, odpovídá hodnotám vaší organizace. Můžete automaticky blokovat určitá videa nebo upozornit uživatele na obsah.
• Recommendations: Video insights je možné použít ke zlepšení zapojení uživatelů tím, že uživatelům zvýrazníte relevantní video momenty. Když každé video označíte dalšími metadaty, můžete uživatelům doporučit nejvhodnější videa a zvýraznit části videa, které budou odpovídat jejich potřebám.

Funkce

Následující seznam obsahuje přehledy, které můžete načíst z videí pomocí Analyzátoru videa pro modely videa a zvuku médií:

Přehledy videa

• Detekce tváří: Detekuje a seskupí tváře, které jsou ve videu zobrazené.
• Identifikace celebrit: Video Analyzer pro média automaticky identifikuje více než 1 milion celebrit, jako jsou světoví vůdci, herci, sportovci, sportovci, výzkumníci, obchodní a techničtí vůdci po celém světě. Data o těchto celebritách najdete také na různých webech (IMDB, Wikipedia atd.).
• Identifikace tváří na základě účtu: Analyzátor videa pro média trénuje model pro konkrétní účet. Pak rozpoznává tváře ve videu na základě vytrénovaných modelů. Další informace naleznete v části Customize a Person model from the Video Analyzer for Media website a Customize a Person model with the Video Analyzer for Media API.
• Extrakce miniatur tváří ("nejlepší tvář"): Automaticky identifikuje nejlepší zachycenou tvář v každé skupině tváří (na základě kvality, velikosti a přední pozice) a extrahuje ji jako prostředek obrázku.
• Rozpoznávání vizuálního textu (OCR): Extrahuje text, který se vizuálně zobrazí ve videu.
• Zmírnění vizuálního obsahu: Detekuje vizuální obsah jen pro dospělé nebo nevhodný obsah.
• Identifikace popisků: Identifikuje vizuální objekty a zobrazené akce.
• Segmentace scény: Určuje, kdy se ve videu na základě vizuálních podnětů změní scéna. Scéna znázorňuje jednu událost a skládá se z řady po sobě jdoucích snímků, které sémanticky souvisejí.
• Detekce snímek: Určuje, kdy se ve videu na základě vizuálních podnětů změní snímek. Snímek obrazovky je řada snímků pořízených ze stejné kamery s pohybovým obrazem. Další informace najdete v tématu Scény, snímky a klíčové snímky.
• Detekce černých snímků: Identifikuje černé snímky ve videu.
• Extrakce klíčových snímků: Zjistí stabilní klíčové snímky ve videu.
• Průběžné kredity: Identifikuje začátek a konec průběžného kreditu na konci televizních pořadů a filmů.
• Detekce animovaných znaků (Preview): Detekce, seskupování a rozpoznávání znaků v animovaném obsahu prostřednictvím integrace Cognitive Services vlastním zpracování obrazu. Další informace najdete v tématu Detekce animovaných znaků.
• Detekce typů redakčních snímků: Označování snímků na základě jejich typu (jako je široký snímek, střední snímek, zblízka, extrémní zblízka, dva snímky, více lidí, venkovní a vnitřní prostředí atd.). Další informace najdete v tématu Detekce typu Redakční snímek.
• Observed People Tracking (Preview): detekuje pozorované lidi ve videích a poskytuje informace, jako je umístění osoby v snímku videa (pomocí ohraničující rámečky) a přesné časové razítko (počáteční, koncové) a spolehlivost, když se osoba objeví. Další informace najdete v tématu Trasování pozorovaných osob ve videu.
  • Detekované oblečení od lidí: detekuje typy oblečení, které se ve videu objevují, a poskytuje informace, jako jsou dlouhé nebo krátké obaly, dlouhé nebo krátké dechy a oděvy nebo dech. Detekované oblečení je přidružené k lidem, kteří ho mají, a k přesnému časovému razítku (start,end) a k detekci je k dispozici úroveň spolehlivosti.

Přehledy zvuku

• Přepis zvuku: Převede řeč na text ve více než 50 jazycích a umožňuje rozšíření. Mezi podporované jazyky patří angličtina USA, Spojené království, angličtina Austrálie, španělština (Mexiko), francouzština, francouzština (Kanada), němčina, italština, mandarínština, čínština (tradiční), čínština (zjednodušená), japonština, ruština, portugalština, hindština, čeština, nizozemština, polština, dánština, finština, finština, turečtina, korejština, arabština (arabština, arabština a arabština), arabština (arabština), arabština (Oman), arabština (arabština), arabština (Oman), arabština (arabština), arabština (oman), arabština (Oman), arabština (arabština) Arabština (Kaskádština), arabština (Saúdská Arábie), arabština (Spojené arabské emiráty) a arabština (Moderní standard) (
• Automatické rozpoznávání jazyka: Automaticky identifikuje převládající mluvený jazyk. Mezi podporované jazyky patří angličtina, španělština, francouzština, němčina, italština, mandarínština, japonština, ruština a portugalština. Pokud jazyk nelze s jistotou identifikovat, Video Analyzer pro média předpokládá, že mluvený jazyk je angličtina. Další informace najdete v tématu Model identifikace jazyka.
• Identifikace a přepis řeči ve více jazycích: Automaticky identifikuje mluvený jazyk v různých segmentech zvuku. Jednotlivé části mediálního souboru se odešlou k přepisu a tyto části přepisu se pak znovu spojí v jeden ucelený přepis. Další informace najdete v tématu Automatická identifikace a přepis vícejazyčného obsahu.
• Tvorba titulků: Vytvoří titulky ve třech formátech: VTT, TTML, SRT.
• Dvoukanálové zpracování: Automaticky detekuje samostatný přepis a slučuje se s jednou časovou osou.
• Snížení šumu: Vymaže telefonní zvuk nebo hlučné nahrávky (na základě Skype filtrů).
• Přizpůsobení přepisu (CRIS): Trénuje vlastní modely převodu řeči na text a vytváří přepisy specifické pro odvětví. Další informace najdete v tématu Přizpůsobení jazykového modelu z webu Analyzátor videa pro média a Přizpůsobení jazykového modelu pomocí Analyzátoru videa pro rozhraní API médií.
• Výčet mluvčího: Mapy a rozumí tomu, který mluvčí mluví kterým slovy a kdy. V jednom zvukovém souboru je možné detekovat 16 mluvčích.
• Statistika mluvčího: Poskytuje statistiky poměrů řeči mluvčích.
• Zmírnění textového obsahu: Detekuje explicitní text v přepisu zvuku.
• Zvukové efekty (Preview): Detekuje následující zvukové efekty v nemluvných segmentech obsahu: Gunshot , Glass shatter , Alarm, Siren, Explosion, Dog Sixing, Singter, Crowdsomie (řev, tleskání a booing) a Ticha. Poznámka: Úplná sada událostí je dostupná jenom v případě, že v předvolbě nahrávání zvolíte Advanced Audio Analysis (Pokročilá analýza zvuku), jinak budou k dispozici pouze tichá a crowdakční reakce.
• Rozpoznávání emocí: Identifikuje emoce na základě řeči (co se říká) a hlasové tonality (jak se říká). Emoce mohou být radost, smutek, štěstí nebo strach.
• Překlad: Vytvoří překlady přepisu zvuku do 54 různých jazyků.
• Detekce zvukových efektů (Preview): Detekuje různé akustiky a klasifikuje je do různých akustických kategorií (jako je Gunshot, Připalování, Crowdomie a další). Zjištěné akustické události jsou v souboru skrytých titulků. Soubor si můžete stáhnout z portálu Analyzátor videa pro média. Další informace najdete v tématu Detekce zvukových efektů.

Přehledy zvuku a videa (více kanálů)

Při indexování jedním kanálem bude pro tyto modely k dispozici částečný výsledek.

• Extrakce klíčových slov: Extrahuje klíčová slova z řeči a vizuálního textu.
• Extrakce pojmenovaných entit: Extrahuje značky, místa a lidi z řeči a vizuálního textu prostřednictvím zpracování přirozeného jazyka (NLP).
• Dedukce témat: Dedukuje hlavní témata z přepisů. Zahrnuje taxonomii IPTC druhé úrovně.
• Artefakty: Extrahuje bohatou sadu artefaktů s „další úrovní podrobností“ pro každý z modelů.
• Analýza citového zabarvení: Identifikuje kladná, záporná a neutrální zabarvení řeči a vizuálního textu.

Jak začít s Analyzátorem videa pro média?

K Analyzátoru videa pro možnosti médií můžete přistupovat třemi způsoby:

• Video Analyzer pro portál pro média: Snadno použitelný řešení, které umožňuje vyhodnotit produkt, spravovat účet a přizpůsobit modely.

  Další informace o portálu najdete v tématu Začínáme s webem video Analyzer for Media.

• Integrace rozhraní API: všechny funkce nástroje video Analyzer pro média jsou k dispozici prostřednictvím REST API, což umožňuje integrovat řešení do aplikací a infrastruktury.

  Pokud chcete začít jako vývojář, přečtěte si téma použití analyzátoru videa pro Media REST API.

• Upravitelný widget: umožňuje vložit analyzátor videa pro prostředí Media Insights, přehrávač a Editor do vaší aplikace.

  Další informace najdete v tématu vkládání vizuálních pomůcek do aplikace.

Pokud web používáte, přehledy se přidávají jako metadata a zobrazují se na portálu. Pokud používáte rozhraní API, přehledy jsou dostupné jako soubor JSON.

Podporované prohlížeče

Následující seznam obsahuje podporované prohlížeče, které můžete použít pro web video Analyzer pro multimédia a pro vaše aplikace, které tyto widgety vkládají. V seznamu se zobrazí také minimální podporovaná verze prohlížeče:

• Edge, verze: 16
• Firefox, verze: 54
• Chrome, verze: 58
• Safari, verze: 11
• Opera, verze: 44
• Opera Mobile, verze: 59
• Prohlížeč Android verze: 81
• Prohlížeč Samsung, verze: 7
• Chrome pro Android, verze: 87
• Firefox pro Android, verze: 83

Další kroky

Jste připraveni začít s nástrojem video Analyzer pro média. Další informace najdete v následujících článcích:

• Začněte používat web video Analyzer pro multimédia.
• Zpracování obsahu pomocí analyzátoru videa pro Media REST API.
• Do své aplikace vložte vizuální widgety.