Medya için Video Analyzer nedir?

Medya için Azure Video Çözümleyicisi (eski adı Video Indexer), Azure Media Services ve Azure Bilişsel Hizmetler (Yüz Tanıma, Çeviri, Görüntü İşleme ve Konuşma gibi) üzerine inşa edilmiş Azure Uygulamalı AI Services'in bir parçası olan bir bulut uygulamasıdır. Medya video ve ses modelleri için Video Analyzer'ı kullanarak videolarınız ile ilgili içgörüleri ayıklamanıza olanak sağlar.

Medya için Video Analyzer ile içgörü ayıklamaya başlamak için bir hesap oluşturmanız ve videoları karşıya yüklemelisiniz. Videolarınızı Medya için Video Çözümleyicisi'ne yüklerken, farklı AI modellerini çalıştırarak hem görselleri hem de sesi analiz ediyor. Medya için Video Çözümleyicisi videolarınızı analiz etti olarak, AI modelleri tarafından ayıklanan içgörüler.

Medya için Video Çözümleyicisi hesabı bilgisayarınızda Media Services, medya ve meta veri dosyaları bu hesapla ilişkilendirilmiş Azure depolama hesabında Media Services depolanır. Daha fazla bilgi için bkz. Azure'a bağlı Medya hesabı için Video Çözümleyicisi oluşturma.

Aşağıdaki diyagram, Medya için Video Analyzer'ın arka uçta nasıl çalıştığının teknik bir açıklaması değil bir çizimdir.

Uyumluluk, Gizlilik ve Güvenlik

Önemli bir anımsatıcı olarak, Medya için Video Analyzer kullanımınız ile ilgili tüm yasalara uymanız gerekir ve Medya için Video Analyzer'ı veya herhangi bir Azure hizmetini başkalarının haklarını ihlal eden ya da başkalarına zararlı olabilecek şekilde kullanmayabilirsiniz.

Medya için Video Analyzer'a video/görüntü yüklemeden önce, medya ve Azure için Video Çözümleyicisi'nin kullanımı, işlemesi ve depolanması için yasalar gereğince kişilere (varsa) ait tüm gerekli onaylar dahil olmak üzere, videoyu/görüntüyü kullanmak için tüm uygun haklara sahipsiniz. Bazı yargı yetkileri, biyometrik veriler gibi belirli veri kategorilerinin toplanması, çevrimiçi işlemesi ve depolanması için özel yasal gereksinimlere neden olabilir. Özel yasal gereksinimlere tabi verilerin işlanması ve depolanması için Medya ve Azure için Video Analyzer'ı kullanmadan önce, Sizin için geçerli olan bu tür yasal gereksinimlerle uyumluluğun sağlanması gerekir.

Medya için Video Analyzer'da uyumluluk, gizlilik ve güvenlik hakkında bilgi edinmek için lütfen Microsoft Güven Merkezi'ne bakın. Verilerinizi silme dahil olmak üzere Microsoft'un gizlilik yükümlülükleri, veri işleme ve saklama uygulamaları için lütfen Microsoft'un Gizlilik Bildirimini,Çevrimiçi Hizmet Şartları ("OST") ve Veri İşleme Ekini ("DPA") gözden geçirebilirsiniz. Medya için Video Analyzer'ı kullanarak OST, DPA ve Gizlilik Bildirimine bağlı olduğunu kabul etmiş oluruz.

Medya için Video Analyzer ile ne yapabilirim?

Medya içgörüleri için Video Analyzer birçok senaryoya uygulanabilir, bunların arasında:

• Ayrıntılı arama: Video kitaplığında arama deneyimini geliştirmek için videodan ayıklanan içgörüleri kullanın. Örneğin, konuşulan sözcüklerin ve yüzlerin dizin oluşturması, videoda bir kişinin belirli sözcüklerin veya iki kişinin birlikte görüldüklerinin anlarını bulma deneyimine olanak sağlar. Videolardan gelen bu içgörüleri temel alan arama, haber ajansları, eğitim kurumları, yayıncılar, eğlence içeriği sahipleri, kurumsal LOB uygulamaları ve genel olarak kullanıcıların arama yapmak zorunda olduğu bir video kitaplığına sahip olan tüm sektörler için geçerlidir.
• İçerik oluşturma: İçeriğiniz üzerinden ayıklanan Medya için Video Çözümleyicisi içgörülerini temel alan tanıtımlar, vurgular, sosyal medya içeriği veya haber klipleri oluşturun. Kişiler ve etiket görünümlerine göre ana kareler, sahne işaretçileri ve zaman damgası, oluşturma işlemini çok daha sorunsuz ve kolay hale getirir ve oluşturmakta olduğu içerik için ihtiyacınız olan video bölümlerine varmanizi sağlar.
• Erişilebilirlik: İster içeriğinizi engelli kişiler için kullanılabilir hale ister içeriğinizin farklı diller kullanılarak farklı bölgelere dağıtılmasını sağlamak istemeniz fark olsun, Medya için Video Çözümleyicisi tarafından sağlanan transkripsiyon ve çeviriyi birden çok dilde kullanabilirsiniz.
• Para kazanma: Medya için Video Çözümleyicisi, videoların değerini artırmaya yardımcı olabilir. Örneğin, reklam gelirini (haber medyası, sosyal medya gibi) kullanan sektörler, ayıklanan içgörüleri reklam sunucusuna ek sinyaller olarak kullanarak ilgili reklamları sunabilirsiniz.
• İçerik moderliği: Kullanıcılarınızı uygunsuz içeriklerden uzak tutmak ve yayımlayışınız içeriğinin kuruluş değerleriyle eş değerlerle eş olduğunu doğrulamak için metin ve görsel içerik moderliği modellerini kullanın. Belirli videoları otomatik olarak engelleyebilir veya kullanıcılarınızı içerik hakkında uyarabilirsiniz.
• Öneriler: Video içgörüleri, kullanıcılara uygun video anlarını vurgulayan kullanıcı etkileşimlerini geliştirmek için kullanılabilir. Her videoyu ek meta verilerle etiketlediğiniz kullanıcılara en ilgili videoları önererek videonun ihtiyaçlarına uygun bölümlerini vurgulayın.

Özellikler

Aşağıdaki listede, Medya video ve ses modelleri için Video Çözümleyicisi'ne kullanarak videolardan edinebilirsiniz içgörüler gösterilir:

Video içgörüleri

• Yüz algılama: Videoda görünen yüzleri algılar ve gruplandırır.
• Ünlü belirleme: Medya için Video Analyzer dünya liderleri, aktörler, atletler, araştırmacılar, işletme ve teknoloji liderleri gibi 1 milyondan fazla ünlünün kimliğini otomatik olarak tanımlar. Bu ünlüler hakkında veriler çeşitli web sitelerinde de bulunabilir (IMDB, Wikipedia vb.).
• Hesap tabanlı yüz tanımlama: Medya için Video Analyzer belirli bir hesap için bir model eğitiyor. Ardından eğitilen modeli temel alarak videoda yer alan yüzleri tanır. Daha fazla bilgi için bkz. Medya için Video Çözümleyicisi web sitesinden Kişi modelini özelleştirme ve Medya API'si için Video Çözümleyicisi ile Kişi modelini özelleştirme.
• Yüzler için küçük resim ayıklama ("en iyi yüz"): Her yüz grubunda en iyi yakalanan yüzü otomatik olarak tanımlar (kaliteye, boyuta ve ön konuma göre) ve bir görüntü varlığı olarak ayıklar.
• Görsel metin tanıma (OCR): Videoda görsel olarak görüntülenen metni ayıklar.
• Görsel içerik moderasyonu: Yetişkinlere yönelik ve/veya müstehcen görselleri algılar.
• Etiket belirleme: Görüntülenen görsel nesneleri ve eylemleri belirler.
• Sahne segmentasyonu: Görsel ipuçlarına göre videoda sahnenin ne zaman değiştigini belirler. Bir sahne, tek bir olayı görüntüler ve bu olay, birbirine benzer bir dizi ardışık çekimle oluşur.
• Görüntü algılama: Görsel ipuçlarına göre videoda bir çekim ne zaman değişirse bunu belirler. Çekim, aynı hareket resmi kameradan alınan bir dizi karedir. Daha fazla bilgi için bkz. Sahneler, çekimler ve ana kareler.
• Siyah kare algılama: Videoda yer alan siyah kareleri belirler.
• Ana kare ayıklama: Videodaki kararlı ana kareleri algılar.
• Haddeleme kredileri: TV programlarının ve filmlerin sonundaki rolling kredilerinin başlangıcını ve sonunu tanımlar.
• Animasyonlu karakter algılama (önizleme): Bilişsel Hizmetler özel görüntü ile tümleştirme yoluyla animasyonlu içerikte yer alan karakterleri algılama, gruplama ve tanıma. Daha fazla bilgi için bkz. Animasyonlu karakter algılama.
• Editoryal çekim türü algılama: Çekimleri türüne göre etiketleme (geniş çekim, orta çekim, yakın çekim, aşırı yakın, iki atış, birden çok kişi, dış mekan ve iç mekan gibi). Daha fazla bilgi için bkz. Editoryal çekim türü algılama.
• Gözlemlenen Kişi İzleme (önizleme): videolarda gözlemlenen insanları algılar ve video çerçevesindeki kişinin konumu (sınırlayıcı kutuları kullanarak) ve bir kişinin görüntülendiğinde tam zaman damgası (başlangıç, bitiş) ve güven gibi bilgiler sağlar. Daha fazla bilgi için bkz. Videoda gözlemlenen kişilerin izlemesi.
  • Kişilerin algılayan giysisi: Videoda görünen kişilerin giysi türlerini algılar ve uzun veya kısa kollar, uzun veya kısa ayakkabı, ayakkabı veya giysi gibi bilgiler sağlar. Algılanan giysi, takan kişilerle ve tam zaman damgasıyla (başlangıç,bitiş) ilişkilendirilerek algılamaya yönelik bir güven düzeyi sağlanır.

Ses içgörüleri

• Ses transkripsiyonu: Konuşmayı 50'den fazla dile dönüştürür ve uzantılara izin verir. Desteklenen diller İngilizce ABD, İngilizce Birleşik Krallık, İngilizce Avustralya, İspanyolca, İspanyolca(Meksika), Fransızca, Fransızca(Kanada), Almanca, İtalyanca, Mandarin Çincesi, Çince (Kantonca, Geleneksel), Çince (Basitleştirilmiş), Japonca, Rusça, Portekizce, Hintçe, Çekçe, Felemenkçe, Lehçe, Danca, Norveççe, Son, İsveççe, Tayca, Türkçe, Korece, Arapça(Leşçe), Arapça(Arapça), Arapça(Oman), Arapça(Arapça), Arapça(Oman), Arapça(Arapça), Arapça(Suudi Arabistan), Arapça(Birleşik Arapça Arak), Arapça(Yetkili Yetkili) ve Arapça Modern Standart (Katar) .
• Otomatik dil algılama: En baskın olarak konuşulan dili otomatik olarak belirler. Desteklenen diller İngilizce, İspanyolca, Fransızca, Almanca, İtalyanca, Mandarin Çincesi, Japonca, Rusça ve Portekizce'dir. Dil güvenle belirlenenene kadar Medya için Video Analyzer konuşulan dilin İngilizce olduğunu varsaymaktadır. Daha fazla bilgi için bkz. Dil tanımlama modeli.
• Çok dilli konuşma tanımlama ve transkripsiyon: Konuşulan dili sesten farklı segmentlerde otomatik olarak tanımlar. Medya dosyasının transkripsiyonu alınacak her bölümünü gönderir ve sonra transkripsiyonu yeniden tek bir transkripsiyon olarak birleştirir. Daha fazla bilgi için bkz. Çok dilli içeriği tanımlama ve transkripsiyonunu alma.
• Açıklamalı altyazı: Üç biçimde açıklamalı altyazı oluşturur: VTT, TTML, SRT.
• İki kanallı işleme: Ayrı transkriptleri otomatik olarak algılar ve tek bir zaman çizelgesine birleştirmeler.
• Gürültü azaltma: Telefon seslerini veya gürültülü kayıtları (Skype temizler.
• Transkript özelleştirme (CRIS): Sektöre özgü transkriptler oluşturmak için özel konuşmayı metne göre eğitin. Daha fazla bilgi için bkz. Medya için Video Analyzer web sitesinden Dil modelini özelleştirme ve Medya API'leri için Video Çözümleyicisi ile Dil modelini özelleştirme.
• Konuşmacı numaralandırma: Haritalar ve hangi konuşmacının hangi sözcükleri ve ne zaman mızrı olduğunu anlar. Tek bir ses dosyasında on altı konuşmacı algılanır.
• Konuşmacı istatistikleri: Konuşmacıların konuşma oranları için istatistikler sağlar.
• Metinsel içerik moderasyonu: Ses transkriptlerindeki müstehcen metinleri algılar.
• Ses etkileri (önizleme): İçeriğin konuşma dışı segmentlerinde şu ses etkilerini algılar: Ürkme, Cam dilimleri, Alarm, Sesli, Patlama, Köpek Köpeği,Gerek, Kitle tepkileri (dilimleme, kırpma ve booing) ve Sessizlik. Not: Olayların tam kümesi yalnızca karşıya yükleme ön ayarında 'Gelişmiş Ses Analizi' seçerken kullanılabilir, aksi takdirde yalnızca 'Sessizlik' ve 'Kitle tepkisi' kullanılabilir.
• Duygu algılama: Konuşmayı (ne söylensin) ve ses tonlu olduğunu (nasıl söylensin) temel alarak duyguları tanımlar. Bu duygu çok büyük, hınz, sinir veya korku olabilir.
• Çeviri: Ses transkriptinin 54 farklı dile çevirisini oluşturur.
• Ses etkisi algılama (önizleme): Çeşitli akustik olayları algılar ve bunları farklı akustik kategorilere (Örneğin, Tarih, Kitle Tepkisi ve daha fazlası) sınıflandırır. Algılanan akustik olaylar kapalı açıklamalı alt yazı dosyasındadır. Dosya, Medya için Video Çözümleyicisi portalında indirilebilir. Daha fazla bilgi için bkz. Ses etkileri algılama.

Ses ve video içgörüleri (çok kanallı)

Bir kanala göre dizin oluşturmada bu modeller için kısmi sonuç kullanılabilir.

• Anahtar sözcük ayıklama: Konuşma ve görsel metinden anahtar sözcükleri ayıklar.
• Adlandırılmış varlık ayıklama: Doğal dil işleme (NLP) aracılığıyla konuşma ve görsel metinlerden markaları, konumları ve insanları ayıklar.
• Konu çıkarımı: Transkriptlerdeki ana konuların çıkarımını yapar. 2. düzey IPTC sınıflandırması dahil edilir.
• Yapıtlar: Modellerin her biri için "daha üst düzeyde ayrıntıya sahip" zengin bir yapıt kümesini ayıklar.
• Yaklaşım analizi: Konuşmalardaki ve görsel metinlerdeki olumlu, olumsuz ve nötr yaklaşımları belirler.

Medya için Video Analyzer'ı nasıl başlat istiyorum?

Medya için Video Analyzer özelliklerine üç şekilde erişebilirsiniz:

• Medya portalı için Video Analyzer: Ürünü değerlendirmenize, hesabı yönetmenize ve modelleri özelleştirmenize olanak sağlayan kullanımı kolay bir çözüm.

  Portal hakkında daha fazla bilgi için bkz. medya Için video Çözümleyicisi Web sitesi ile çalışmaya başlama.

• API Tümleştirmesi: medya özelliklerine yönelik tüm video Çözümleyicisi, çözümü Uygulamalarınız ve altyapınızla tümleştirmenize olanak tanıyan bir REST API aracılığıyla sunulmaktadır.

  Bir geliştirici olarak başlamak için bkz. Media REST API Için video Çözümleyicisi kullanma.

• Katıştırılabilir pencere öğesi: Media Insights, Player ve düzenleyici deneyimlerini yönelik video Çözümleyicisi 'ni uygulamanıza eklemenizi sağlar.

  Daha fazla bilgi için bkz. uygulamanıza görsel pencere öğeleri ekleme.

Web sitesini kullanıyorsanız, Öngörüler meta veriler olarak eklenir ve portalda görünür. API 'Leri kullanıyorsanız, Öngörüler bir JSON dosyası olarak kullanılabilir.

Desteklenen tarayıcılar

Aşağıdaki listede, medya için video Çözümleyicisi Web sitesinde ve pencere öğelerini katıştırabilmeniz için kullanabileceğiniz desteklenen tarayıcılar gösterilmektedir. Listede ayrıca desteklenen en düşük tarayıcı sürümü gösterilmektedir:

• Kenar, sürüm: 16
• Firefox, sürüm: 54
• Chrome, sürüm: 58
• Safari, sürüm: 11
• Opera, sürüm: 44
• Opera Mobile, sürüm: 59
• Android tarayıcısı, sürüm: 81
• Samsung Browser, sürüm: 7
• Android için Chrome, sürüm: 87
• Android için Firefox, sürüm: 83

Sonraki adımlar

Medya için video Çözümleyicisi 'ni kullanmaya başlamak için hazırsınız. Daha fazla bilgi için aşağıdaki makaleleri inceleyin:

• Medya Için video Çözümleyicisi Web sitesini kullanmayabaşlayın.
• Medya REST API Için video Çözümleyicisi ile Içerik işleme.
• Uygulamanıza görsel pencere öğeleri ekleyin.