Coba Azure AI Video Indexer yang diaktifkan oleh Arc

Artikel
04/01/2024

Azure AI Video Indexer yang diaktifkan oleh Arc adalah layanan yang diaktifkan ekstensi Azure Arc yang menjalankan analisis video dan audio di perangkat edge. Solusi ini dirancang untuk berjalan pada Kubernetes dengan dukungan Azure Arc dan mendukung banyak format video, termasuk MP4 dan format umum lainnya. Ini mendukung beberapa bahasa di semua model dasar terkait audio. Ini mengasumsikan bahwa satu sumber daya Video Indexer dipetakan ke satu ekstensi.

Artikel ini memanding Anda melalui langkah-langkah yang diperlukan untuk mengaktifkan Video Indexer sebagai ekstensi Arc pada infrastruktur Anda saat ini.

Contoh penyebaran

Berikut adalah diagram blok yang menunjukkan Pengindeks Video Azure AI yang berjalan di Azure Arc. Ada tiga jenis:

Simpan tipe A menggunakan preset visi dan audio.
Jenis penyimpanan B hanya menggunakan prasetel penglihatan. Ini juga memiliki model kustom. Untuk informasi selengkapnya tentang menggunakan model kustom dengan Azure AI Video Indexer yang diaktifkan oleh Arc, lihat Membawa model AI Anda Sendiri.
Store C hanya menggunakan preset audio.

Ekstensi disimpan di setiap perangkat edge dan setiap perangkat dikaitkan dengan satu akun AI Video Indexer yang berinteraksi dengan Azure Arc dan cloud.

Prasyarat

Penting

Agar berhasil menyebarkan ekstensi Azure AI Video Indexer, wajib bahwa id langganan Azure Anda disetujui terlebih dahulu. Anda harus terlebih dahulu mendaftar menggunakan formulir ini.

Buat langganan Azure dengan izin untuk membuat sumber daya Azure.
Buat Akun Azure AI Video Indexer. Gunakan tutorial Buat akun Video Indexer.
Buat kluster Kubernetes dengan dukungan Arc.
Unduh contoh video.

Untuk menggunakan ekstensi Video Indexer, Anda harus memiliki titik akhir yang menghadap eksternal, yang dapat berupa nama DNS atau IP. Titik akhir harus ditetapkan sebagai protokol transfer aman (https:\\) dan digunakan sebagai titik akhir API ekstensi, diformat sebagai https:\\{endpointUri}/swagger/index.html. Ini juga digunakan oleh portal web Video Indexer untuk berkomunikasi dengan ekstensi. Disarankan agar Anda menggunakan kontrol ingress untuk mengelola titik akhir.

Catatan

Jika titik akhir tidak dapat diakses publik, Anda tidak akan dapat melakukan tindakan pada ekstensi dari portal web.

Penting

Kluster AKS berisi ekstensi Video Indexer harus berada di wilayah US Timur.

Persyaratan perangkat keras minimum untuk mulai cepat ini

Mulai cepat ini dirancang untuk memungkinkan Anda melihat ekstensi beraksi, sehingga ukuran sumber daya yang lebih kecil telah dipilih untuk Anda kerjakan di lingkungan pengujian . Untuk mulai cepat ini, persyaratan perangkat keras minimum adalah:

CPU: 16 core
Memori: 16 GB

Untuk persyaratan perangkat keras minimum di lingkungan produksi , lihat artikel Persyaratan perangkat keras minimum di gambaran umum.

Persyaratan perangkat lunak minimum

Komponen	Persyaratan minimum
Sistem Operasi	Ubuntu 22.04 LTS atau OS kompatibel Linux apa pun
Kubernetes	1,26
Azure CLI	2.48.0

Definisi parameter

Parameter	Default	Deskripsi
namespace rilis	yes	Namespace Layanan Kubernetes tempat ekstensi diinstal
nama kluster		Nama instans Kubernetes Azure Arc
grup sumber daya		Nama grup sumber daya Kubernetes Azure Arc
versi	yes	Versi Ekstensi Video Indexer, biarkan kosong untuk yang terbaru
speech.endpointUri		Titik Akhir Url Layanan Ucapan (tautan)
speech.secret		Rahasia Instans Ucapan (tautan)
translate.endpointUri		Titik Akhir Url Layanan Terjemahan (tautan)
translate.secret		Rahasia Layanan Terjemahan (tautan)
ocr.endpointUri		Titik Akhir Url Layanan OCR (tautan)
ocr.secret		Rahasia Layanan OCR (tautan)
videoIndexer.accountId		ID Akun Video Indexer
videoIndexer.endpointUri		Nama Dns atau IP yang akan digunakan sebagai titik akhir eksternal ekstensi.

Bersiap untuk penyebaran

Selama penyebaran, skrip meminta nilai spesifik lingkungan. Siapkan nilai-nilai ini sehingga Anda dapat menyalin dan menempelkannya saat skrip memintanya.

Pertanyaan	Nilai	Detail
Apa ID akun Video Indexer selama penyebaran?	GUID	ID Akun Video Indexer Anda
Apa ITU ID langganan Azure selama penyebaran?	GUID	ID Langganan Azure Anda
Apa nama grup sumber daya Video Indexer selama penyebaran?	string	Nama Grup Sumber Daya Akun Video Indexer Anda
Apa nama akun Video Indexer selama penyebaran?	string	Nama Akun Video Indexer Anda

Di portal Azure, navigasi ke kluster yang terhubung dengan Azure Arc.
Dari menu, pilih Ekstensi>+ Tambahkan>Ekstensi Azure AI Video Indexer Arc.
Pilih Buat. Layar Buat ekstensi Pengindeks Video AI akan muncul.
Konfigurasikan ekstensi dalam Detail instans:
1. Pilih grup langganan dan sumber daya untuk ekstensi Anda.
2. Pilih wilayah dan kluster k8 yang tersambung.
3. Masukkan nama untuk ekstensi Anda.
4. Pilih Akun Pengindeks Video Azure AI yang akan disambungkan oleh ekstensi.
5. Masukkan titik akhir kluster, baik IP atau Nama DNS yang akan digunakan sebagai titik akhir API.
6. Berikan kelas penyimpanan yang ingin Anda gunakan untuk ekstensi yang didukung oleh distribusi Kubernetes Anda. Misalnya, jika Anda menggunakan AKS, Anda dapat menggunakan azurefile-cli. Untuk informasi selengkapnya tentang kelas penyimpanan yang telah ditentukan sebelumnya yang didukung oleh AKS, lihat Kelas Penyimpanan di AKS. Jika Anda menggunakan distribusi Kubernetes lain, lihat dokumentasi distribusi Kubernetes Anda untuk kelas penyimpanan standar yang didukung atau cara Anda dapat menyediakannya sendiri.
Pilih Ulas + buat, lalu pilih Buat.

Penyebaran manual

Ikuti langkah-langkah ini untuk menyebarkan Ekstensi Arc Pengindeks Video ke kluster Yang Diaktifkan Arc K8S Anda. Sebelum Anda memulai di sini adalah beberapa hal yang perlu diingat:

Kelas penyimpanan - Ekstensi Video Indexer mengharuskan volume penyimpanan harus tersedia di kluster Kubernetes. Kelas penyimpanan perlu mendukung ReadWriteMany. Penting untuk dicatat bahwa proses pengindeksan intensif IO, sehingga IOPS (operasi input/output per detik) volume penyimpanan akan berdampak signifikan pada durasi proses.
Sumber daya AI terkelola - Beberapa sumber daya Azure AI (Penerjemah, Transkripsi, dan OCR) akan dibuat pada penyewa Microsoft. Sumber daya ini hanya untuk langganan Anda dan berada di bawah model bayar sesuai penggunaan. Jika Anda sudah memiliki sumber daya yang mendukung AI Video Indexer Arc di langganan Anda, sumber daya tersebut akan dikaitkan dengan sumber daya Azure AI yang ada.

Langkah 1 - Buat Kluster Azure Arc Kubernetes dan sambungkan ke kluster Anda

Catatan

Perintah berikut mengasumsikan Anda memiliki kluster Kubernetes dan bahwa konteks saat ini pada file ./kube/config menunjuk ke kluster tersebut.

Jalankan perintah berikut untuk menyambungkan kluster Anda. Perintah ini menyebarkan agen Azure Arc ke kluster dan menginstal Helm v. 3.6.3 ke folder .azure dari komputer penyebaran. Penginstalan Helm 3 ini hanya digunakan untuk Azure Arc, dan tidak menghapus atau mengubah versi Helm yang diinstal sebelumnya pada komputer.

az connectedk8s connect --name myAKSCluster --resource-group myResourceGroup

Tip

Ikuti artikel cara menyambungkan kluster Anda ke Azure Arc di Azure Docs untuk panduan lengkap proses ini.

Langkah 2 - Membuat Ekstensi Pengindeks Video Azure Arc

az k8s-extension create --name videoindexer \
    --extension-type Microsoft.videoindexer \
    --scope cluster \
    --release-namespace ${namespace} \
    --cluster-name ${connectedClusterName} \
    --resource-group ${connectedClusterRg} \
    --cluster-type connectedClusters \
    --version ${version} \
    --auto-upgrade-minor-version false \
    --config-protected-settings "speech.endpointUri=${speechUri}" \
    --config-protected-settings "speech.secret=${speechSecret}" \
    --config-protected-settings "translate.endpointUri=${translateUri}" \
    --config-protected-settings "translate.secret=${translateSecret}" \
    --config-protected-settings "ocr.endpointUri=$($csResourcesData.ocrCognitiveServicesEndpoint)" `
    --config-protected-settings "ocr.secret=$($csResourcesData.ocrCognitiveServicesPrimaryKey)" `
    --config "videoIndexer.accountId=${viAccountId}" \
    --config "frontend.endpointUri=${dnsName}" \
    --config "storage.storageClass=azurefile-csi"

Langkah 3 - Membuat dan mendapatkan kunci sumber daya

Membuat kunci sumber daya AI

$Subscription="<your subscription ID>"
$ResourceGroup="<your resource group name"
$AccountName="<your account name>"

az rest --method post --verbose --uri https://management.azure.com/subscriptions/${Subscription}/resourceGroups/${ResourceGroup}/providers/Microsoft.VideoIndexer/accounts/${AccountName}/CreateExtensionDependencies?api-version=2023-06-02-preview

Ketika respons terhadap permintaan "diterima" (202), itu berarti bahwa sumber daya saat ini sedang dibuat. Untuk melacak status provisi sumber daya ini, Anda dapat melakukan polling header lokasi yang dikembalikan dalam respons dari panggilan sebelumnya. Biasanya, proses ini memerlukan penantian selama sekitar satu menit.

Respons jenis "konflik" (409) berarti sumber daya sudah ada untuk langganan, gunakan perintah dapatkan untuk mengambil kunci.

Mendapatkan kunci sumber daya AI

$Subscription="<your subscription ID>"
$ResourceGroup="<your resource group name"
$AccountName="<your account name>" 

az rest --method post --uri  https://management.azure.com/subscriptions/${Subscription}/resourceGroups/${ResourceGroup}/providers/Microsoft.VideoIndexer/accounts/${AccountName}/ListExtensionDependenciesData?api-version=2023-06-02-preview

Format respons:

{
    "speechCognitiveServicesPrimaryKey": "<key>",
    "speechCognitiveServicesSecondaryKey": "<key>",
    "translatorCognitiveServicesPrimaryKey": "<key>",
    "translatorCognitiveServicesSecondaryKey": "<key>",
    "speechCognitiveServicesEndpoint": "<uri>",
    "translatorCognitiveServicesEndpoint": "<uri>",
    "ocrCognitiveServicesPrimaryKey": "<key>",
    "ocrCognitiveServicesSecondaryKey": "<key>",
    "ocrCognitiveServicesEndpoint": "<uri>"
}

Konfigurasi Opsional

Pengaturan default ekstensi diatur untuk menangani beban kerja umum, untuk kasus tertentu, parameter berikut dapat digunakan untuk mengonfigurasi alokasi sumber daya:

Parameter	Default	Deskripsi
AI.nodeSelector	-	Label Pemilih simpul tempat Pod AI (ucapan dan terjemahan) ditetapkan ke
speech.resource.requests.cpu	1	Jumlah inti yang diminta untuk pod ucapan
speech.resource.requests.mem	2Gi	Kapasitas memori yang diminta untuk pod ucapan
speech.resource.limits.cpu	2	Batas jumlah inti untuk pod ucapan. harus speech.resource.requests.cpu >
speech.resource.limits.mem	3Gi	Membatasi kapasitas memori untuk pod ucapan. harus speech.resource.requests.mem >
translate.resource.requests.cpu	1	Jumlah inti yang diminta untuk pod terjemahkan
translate.resource.requests.mem	16Gi	Kapasitas memori yang diminta untuk pod terjemahkan
translate.resource.limits.cpu	--	Batas jumlah inti untuk pod terjemahan. harus translate.resource.requests.cpu >
translate.resource.limits.mem	--	Batas kapasitas memori untuk pod terjemahkan. harus translate.resource.requests.mem >
videoIndexer.webapi.resources.requests.cpu	0,5	Jumlah permintaan inti untuk pod API web
videoIndexer.webapi.resources.requests.mem	4Gi	Kapasitas memori permintaan untuk pod API web
videoIndexer.webapi.resources.limits.cpu	1	Batas jumlah inti untuk pod API web
videoIndexer.webapi.resources.limits.mem	6Gi	Batas kapasitas memori untuk pod API web
videoIndexer.webapi.resources.limits.mem	6Gi	Batas kapasitas memori untuk pod API web
storage.storageClass	""	Kelas penyimpanan yang akan digunakan
storage.useExternalPvc	salah	menentukan apakah PVC eksternal digunakan. jika true, VideoIndexer PVC tidak diinstal

Contoh skrip penyebaran

Berikut adalah contoh skrip penyebaran:

az k8s-extension create --name videoindexer \
    --extension-type Microsoft.videoindexer \
    .......
    --config AI.nodeSelector."beta\\.kubernetes\\.io/os"=linux
    --config "speech.resource.requests.cpu=500m" \
    --config "speech.resource.requests.mem=2Gi" \
    --config "speech.resource.limits.cpu=1" \
    --config "speech.resource.limits.mem=4Gi" \
    --config "videoIndexer.webapi.resources.requests.mem=4Gi"\
    --config "videoIndexer.webapi.resources.limits.mem=8Gi"\
    --config "videoIndexer.webapi.resources.limits.cpu=1"\

Langkah 4 - Verifikasi Penyebaran

kubectl get pods -n video-indexer

Memperbarui ekstensi

Perintah berikut dapat digunakan untuk memperbarui ekstensi dengan versi lain atau dengan parameter konfigurasi yang berbeda, jika diperlukan. Anda harus menentukan nama kluster dan nama grup sumber daya.

az k8s-extension update --name videoindexer \
    --cluster-name ${connectedClusterName} \
    --resource-group ${connectedClusterRg} \
    --cluster-type connectedClusters \
    --version ${version} \

Sampel

Contoh skrip untuk menyebarkan kluster AKS dengan dukungan Arc dengan ekstensi Video Indexer