Wypróbuj usługę Azure AI Video Indexer włączoną przez usługę Arc

Artykuł
04/01/2024

Usługa Azure AI Video Indexer włączona przez usługę Arc to usługa z obsługą rozszerzeń usługi Azure Arc, która uruchamia analizę wideo i audio na urządzeniach brzegowych. Rozwiązanie jest przeznaczone do uruchamiania na platformie Kubernetes z obsługą usługi Azure Arc i obsługuje wiele formatów wideo, w tym MP4 i innych typowych formatów. Obsługuje kilka języków we wszystkich podstawowych modelach związanych z dźwiękiem. Przyjęto założenie, że jeden zasób usługi Video Indexer jest mapowany na jedno rozszerzenie.

W tym artykule przedstawiono kroki wymagane do włączenia usługi Video Indexer jako rozszerzenia usługi Arc w bieżącej infrastrukturze.

Przykładowe wdrożenie

Oto diagram blokowy przedstawiający usługę Azure AI Video Indexer działającą w usłudze Azure Arc. Istnieją trzy typy:

Typ sklepu A używa ustawień wstępnych obrazów i dźwięku.
Typ magazynu B używa tylko ustawień wstępnych obrazów. Ma również model niestandardowy. Aby uzyskać więcej informacji na temat używania modelu niestandardowego z usługą Azure AI Video Indexer włączonego przez usługę Arc, zobacz Bring Your Own AI model (Model Bring Your Own AI).
Magazyn C używa tylko ustawień wstępnych dźwięku.

Rozszerzenie jest przechowywane na każdym urządzeniu brzegowym, a każde urządzenie jest skojarzone z pojedynczym kontem usługi AI Video Indexer, które interfejsy z usługą Azure Arc i chmurą.

Wymagania wstępne

Ważne

Aby pomyślnie wdrożyć rozszerzenie usługi Azure AI Video Indexer, wymagane jest wcześniejsze zatwierdzenie identyfikatora subskrypcji platformy Azure. Musisz najpierw zarejestrować się przy użyciu tego formularza.

Utwórz subskrypcję platformy Azure z uprawnieniami do tworzenia zasobów platformy Azure.
Utwórz konto usługi Azure AI Video Indexer. Skorzystaj z samouczka Tworzenie konta usługi Video Indexer.
Utwórz klaster Kubernetes z obsługą usługi Arc.
Pobierz przykładowy film wideo.

Aby użyć rozszerzenia usługi Video Indexer, musisz mieć zewnętrzny punkt końcowy, który może być nazwą DNS lub adresem IP. Punkt końcowy należy ustawić jako protokół bezpiecznego transferu (https:\\) i jest używany jako punkt końcowy interfejsu API rozszerzenia, sformatowany jako https:\\{endpointUri}/swagger/index.html. Jest on również używany przez portal internetowy usługi Video Indexer do komunikowania się z rozszerzeniem. Zaleca się użycie kontrolki ruchu przychodzącego do zarządzania punktem końcowym.

Uwaga

Jeśli punkt końcowy nie jest publicznie dostępny, nie będzie można wykonywać akcji w rozszerzeniu z portalu internetowego.

Ważne

Klaster AKS zawiera rozszerzenie usługi Video Indexer musi znajdować się w regionie Wschodnie stany USA.

Minimalne wymagania sprzętowe dla tego przewodnika Szybki start

Ten przewodnik Szybki start został zaprojektowany tak, aby umożliwić wyświetlanie rozszerzenia w działaniu, dlatego do pracy w środowisku testowym wybrano mniejsze rozmiary zasobów. W tym przewodniku Szybki start minimalne wymagania sprzętowe to:

Procesor CPU: 16 rdzeni
Pamięć: 16 GB

Aby uzyskać minimalne wymagania sprzętowe w środowisku produkcyjnym , zobacz Minimalne wymagania sprzętowe w artykule przeglądu.

Minimalne wymagania dotyczące oprogramowania

Składnik	Wymagania minimalne
System operacyjny	Ubuntu 22.04 LTS lub dowolny system operacyjny zgodny z systemem Linux
Kubernetes	1,26
Interfejs wiersza polecenia platformy Azure	2.48.0

Definicje parametrów

Parametr	Domyślny	opis
przestrzeń nazw release-name	tak	Przestrzeń nazw Kubernetes zainstalowana w rozszerzeniu
cluster-name		Nazwa wystąpienia usługi Azure Arc platformy Kubernetes
resource-group		Nazwa grupy zasobów usługi Azure Arc platformy Kubernetes
version	tak	Wersja rozszerzenia usługi Video Indexer pozostaw wartość pustą dla najnowszej wersji
speech.endpointUri		Punkt końcowy adresu URL usługi Mowa (link)
speech.secret		Wpis tajny wystąpienia usługi Mowa (link)
translate.endpointUri		Punkt końcowy adresu URL usługi tłumaczenia (link)
translate.secret		Wpis tajny usługi tłumaczenia (link)
ocr.endpointUri		Punkt końcowy adresu URL usługi OCR (link)
ocr.secret		Wpis tajny usługi OCR (link)
videoIndexer.accountId		Identyfikator konta usługi Video Indexer
videoIndexer.endpointUri		Nazwa dns lub adres IP, który ma być używany jako zewnętrzny punkt końcowy rozszerzenia.

Przygotowanie do wdrożenia

Podczas wdrażania skrypt prosi o określone wartości środowiska. Przygotuj te wartości, aby można je było skopiować i wkleić, gdy skrypt poprosi o nie.

Pytanie	Wartość	Szczegóły
Jaki jest identyfikator konta usługi Video Indexer podczas wdrażania?	Identyfikator GUID	Identyfikator konta usługi Video Indexer
Jaki jest identyfikator subskrypcji platformy Azure podczas wdrażania?	Identyfikator GUID	Identyfikator subskrypcji platformy Azure
Jaka jest nazwa grupy zasobów usługi Video Indexer podczas wdrażania?	string	Nazwa grupy zasobów konta usługi Video Indexer
Jaka jest nazwa konta usługi Video Indexer podczas wdrażania?	string	Nazwa konta usługi Video Indexer

W witrynie Azure Portal przejdź do klastra połączonego z usługą Azure Arc.
Z menu wybierz pozycję Rozszerzenia>+ Dodaj>rozszerzenie usługi Azure AI Video Indexer Arc.
Wybierz pozycję Utwórz. Zostanie wyświetlony ekran Tworzenie rozszerzenia usługi Video Indexer AI.
Skonfiguruj rozszerzenie w obszarze Szczegóły wystąpienia:
1. Wybierz subskrypcję i grupę zasobów dla rozszerzenia.
2. Wybierz region i połączony klaster k8.
3. Wprowadź nazwę rozszerzenia.
4. Wybierz konto usługi Azure AI Video Indexer, z którymi zostanie połączone rozszerzenie.
5. Wprowadź punkt końcowy klastra — adres IP lub nazwę DNS, która ma być używana jako punkt końcowy interfejsu API.
6. Podaj klasę magazynu, której chcesz użyć dla rozszerzenia obsługiwanego przez dystrybucję platformy Kubernetes. Jeśli na przykład używasz usługi AKS, możesz użyć polecenia azurefile-cli. Aby uzyskać więcej informacji na temat wstępnie zdefiniowanych klas magazynu obsługiwanych przez usługę AKS, zobacz Klasy magazynu w usłudze AKS. Jeśli używasz innych dystrybucji Platformy Kubernetes, zapoznaj się z dokumentacją dystrybucji kubernetes dotyczącą wstępnie zdefiniowanych klas magazynu obsługiwanych lub sposobu, w jaki możesz udostępnić własne.
Wybierz pozycję Przejrzyj i utwórz , a następnie pozycję Utwórz.

Wdrożenie ręczne

Wykonaj następujące kroki, aby wdrożyć rozszerzenie usługi Video Indexer Arc w klastrze z obsługą usługi Arc K8S. Przed rozpoczęciem pracy należy pamiętać o kilku kwestiach:

Klasa magazynu — rozszerzenie usługi Video Indexer wymaga, aby wolumin magazynu był dostępny w klastrze Kubernetes. Klasa magazynu musi obsługiwać klasę ReadWriteMany. Należy pamiętać, że proces indeksowania jest intensywnie korzystający z operacji we/wy, dlatego operacje we/wy na sekundę (operacje wejścia/wyjścia na sekundę) woluminu magazynu będą miały znaczący wpływ na czas trwania procesu.
Zarządzane zasoby sztucznej inteligencji — niektóre zasoby sztucznej inteligencji platformy Azure (translator, transkrypcja i OCR) zostaną utworzone w dzierżawie firmy Microsoft. Te zasoby są przeznaczone tylko dla Twojej subskrypcji i są objęte modelem płatności zgodnie z rzeczywistym użyciem. Jeśli masz już zasób usługi AI Video Indexer z obsługą usługi Arc w subskrypcji, zostanie on skojarzony z istniejącymi zasobami usługi Azure AI.

Krok 1. Tworzenie klastra Kubernetes usługi Azure Arc i łączenie go z klastrem

Uwaga

Poniższe polecenie zakłada, że masz klaster Kubernetes i że bieżący kontekst w pliku ./kube/config wskazuje na niego.

Uruchom następujące polecenie, aby połączyć klaster. To polecenie wdraża agentów usługi Azure Arc w klastrze i instaluje program Helm w wersji 3.6.3 w folderze .azure maszyny wdrożeniowej. Ta instalacja programu Helm 3 jest używana tylko dla usługi Azure Arc i nie usuwa ani nie zmienia żadnych wcześniej zainstalowanych wersji programu Helm na maszynie.

az connectedk8s connect --name myAKSCluster --resource-group myResourceGroup

Napiwek

Postępuj zgodnie z artykułem , jak połączyć klaster z usługą Azure Arc w witrynie Azure Docs, aby zapoznać się z kompletnym przewodnikiem dotyczącym tego procesu.

Krok 2. Tworzenie rozszerzenia usługi Azure Arc Video Indexer

az k8s-extension create --name videoindexer \
    --extension-type Microsoft.videoindexer \
    --scope cluster \
    --release-namespace ${namespace} \
    --cluster-name ${connectedClusterName} \
    --resource-group ${connectedClusterRg} \
    --cluster-type connectedClusters \
    --version ${version} \
    --auto-upgrade-minor-version false \
    --config-protected-settings "speech.endpointUri=${speechUri}" \
    --config-protected-settings "speech.secret=${speechSecret}" \
    --config-protected-settings "translate.endpointUri=${translateUri}" \
    --config-protected-settings "translate.secret=${translateSecret}" \
    --config-protected-settings "ocr.endpointUri=$($csResourcesData.ocrCognitiveServicesEndpoint)" `
    --config-protected-settings "ocr.secret=$($csResourcesData.ocrCognitiveServicesPrimaryKey)" `
    --config "videoIndexer.accountId=${viAccountId}" \
    --config "frontend.endpointUri=${dnsName}" \
    --config "storage.storageClass=azurefile-csi"

Krok 3. Tworzenie i pobieranie kluczy zasobów

Tworzenie kluczy zasobów sztucznej inteligencji

$Subscription="<your subscription ID>"
$ResourceGroup="<your resource group name"
$AccountName="<your account name>"

az rest --method post --verbose --uri https://management.azure.com/subscriptions/${Subscription}/resourceGroups/${ResourceGroup}/providers/Microsoft.VideoIndexer/accounts/${AccountName}/CreateExtensionDependencies?api-version=2023-06-02-preview

Gdy odpowiedź na żądanie jest "zaakceptowana" (202), oznacza to, że zasoby są obecnie tworzone. Aby śledzić stan aprowizacji tych zasobów, możesz sondować nagłówek lokalizacji zwrócony w odpowiedzi z poprzedniego wywołania. Zazwyczaj ten proces wymaga odczekać około minuty.

Odpowiedź typu "konflikt" (409) oznacza, że zasoby już istnieją dla subskrypcji, użyj polecenia get, aby pobrać klucze.

Uzyskiwanie kluczy zasobów sztucznej inteligencji

$Subscription="<your subscription ID>"
$ResourceGroup="<your resource group name"
$AccountName="<your account name>" 

az rest --method post --uri  https://management.azure.com/subscriptions/${Subscription}/resourceGroups/${ResourceGroup}/providers/Microsoft.VideoIndexer/accounts/${AccountName}/ListExtensionDependenciesData?api-version=2023-06-02-preview

Format odpowiedzi:

{
    "speechCognitiveServicesPrimaryKey": "<key>",
    "speechCognitiveServicesSecondaryKey": "<key>",
    "translatorCognitiveServicesPrimaryKey": "<key>",
    "translatorCognitiveServicesSecondaryKey": "<key>",
    "speechCognitiveServicesEndpoint": "<uri>",
    "translatorCognitiveServicesEndpoint": "<uri>",
    "ocrCognitiveServicesPrimaryKey": "<key>",
    "ocrCognitiveServicesSecondaryKey": "<key>",
    "ocrCognitiveServicesEndpoint": "<uri>"
}

Opcjonalna konfiguracja

Ustawienia domyślne rozszerzenia są ustawione tak, aby obsługiwały typowe obciążenia, w określonych przypadkach można użyć następujących parametrów do skonfigurowania alokacji zasobów:

Parametr	Domyślny	opis
AI.nodeSelector	-	Etykieta selektora węzła, do której są przypisane zasobniki sztucznej inteligencji (mowa i tłumaczenie)
speech.resource.requests.cpu	1	Żądana liczba rdzeni dla zasobnika mowy
speech.resource.requests.mem	2Gi	Żądana pojemność pamięci dla zasobnika mowy
speech.resource.limits.cpu	2	Limity liczby rdzeni zasobnika mowy. musi mieć wartość > speech.resource.requests.cpu
speech.resource.limits.mem	3Gi	Ogranicza pojemność pamięci dla zasobnika mowy. musi mieć wartość > speech.resource.requests.mem
translate.resource.requests.cpu	1	Żądana liczba rdzeni dla zasobnika translate
translate.resource.requests.mem	16Gi	Żądana pojemność pamięci dla zasobnika translate
translate.resource.limits.cpu	--	Limity liczby rdzeni dla zasobnika translate. musi mieć wartość > translate.resource.requests.cpu
translate.resource.limits.mem	--	Limity pojemności pamięci dla zasobnika translate. musi być > translate.resource.requests.mem
videoIndexer.webapi.resources.requests.cpu	0.5	Liczba rdzeni żądania dla zasobnika internetowego interfejsu API
videoIndexer.webapi.resources.requests.mem	4Gi	Pojemność pamięci żądania dla zasobnika internetowego interfejsu API
videoIndexer.webapi.resources.limits.cpu	1	Limity liczby rdzeni dla zasobnika internetowego interfejsu API
videoIndexer.webapi.resources.limits.mem	6Gi	Limity pojemności pamięci dla zasobnika internetowego interfejsu API
videoIndexer.webapi.resources.limits.mem	6Gi	Limity pojemności pamięci dla zasobnika internetowego interfejsu API
storage.storageClass	""	Klasa magazynu do użycia
storage.useExternalPvc	fałsz	określa, czy jest używany zewnętrzny PVC. jeśli ma wartość true, nie zainstalowano elementu VideoIndexer PVC

Przykładowy skrypt wdrażania

Oto przykładowy skrypt wdrażania:

az k8s-extension create --name videoindexer \
    --extension-type Microsoft.videoindexer \
    .......
    --config AI.nodeSelector."beta\\.kubernetes\\.io/os"=linux
    --config "speech.resource.requests.cpu=500m" \
    --config "speech.resource.requests.mem=2Gi" \
    --config "speech.resource.limits.cpu=1" \
    --config "speech.resource.limits.mem=4Gi" \
    --config "videoIndexer.webapi.resources.requests.mem=4Gi"\
    --config "videoIndexer.webapi.resources.limits.mem=8Gi"\
    --config "videoIndexer.webapi.resources.limits.cpu=1"\

Krok 4. Weryfikowanie wdrożenia

kubectl get pods -n video-indexer

Aktualizowanie rozszerzenia

Następujące polecenie może służyć do aktualizowania rozszerzenia przy użyciu innej wersji lub różnych parametrów konfiguracji, jeśli jest to konieczne. Należy określić nazwę klastra i nazwę grupy zasobów.

az k8s-extension update --name videoindexer \
    --cluster-name ${connectedClusterName} \
    --resource-group ${connectedClusterRg} \
    --cluster-type connectedClusters \
    --version ${version} \

Przykład

Przykładowy skrypt do wdrażania klastra usługi AKS z obsługą usługi Arc z rozszerzeniem usługi Video Indexer

Share via