Share via

¿Qué es Azure AI Video Indexer habilitado por Arc? (Versión preliminar)

  • Artículo

Video Indexer de Azure AI habilitado por Arc es un servicio habilitado para la extensión de Azure Arc que ejecuta análisis de vídeo y audio en dispositivos perimetrales. La solución está diseñada para ejecutarse en Kubernetes habilitado para Azure Arc y admite muchos formatos de vídeo, incluidos MP4 y otros formatos comunes. Admite varios lenguajes en todos los modelos básicos relacionados con audio. Se supone que una cuenta de Video Indexer se asigna a una extensión.

Si aún no está familiarizado con Video Indexer de Azure AI, se recomienda familiarizarse primero con el servicio en la nube.

Además, antes de empezar a trabajar con Azure AI Video Indexer habilitado por Arc, revise la nota de transparencia para comprender las restricciones de uso.

Importante

Para implementar correctamente la extensión Video Indexer de Azure AI, es obligatorio que el identificador de suscripción de Azure se apruebe con antelación. Primero debe registrarse con este formulario.

¿Qué es Kubernetes habilitado para Azure Arc y Azure Arc?

Azure Arc simplifica la gobernanza y la administración de entornos complejos que se extienden a través de centros de datos, varias nubes y perímetros al ofrecer una plataforma de administración local y multinube coherente.

Kubernetes habilitado para Azure Arc permite asociar clústeres de Kubernetes que se ejecutan en cualquier lugar para que pueda administrarlos y configurarlos en Azure. Al administrar todos los recursos de Kubernetes en un único plano de control, puede habilitar una experiencia de desarrollo y operación más coherente para ejecutar aplicaciones nativas de nube en cualquier lugar y en cualquier plataforma de Kubernetes.

Cuando los agentes de Azure Arc se implementan en el clúster, se inicia una conexión saliente a Azure mediante SSL estándar del sector para proteger los datos en tránsito.

Una vez que los clústeres están conectados a Azure, se representan como sus propios recursos en Azure Resource Manager (ARM) y se pueden organizar mediante grupos de recursos y etiquetado.

Consulte estos artículos para obtener más información sobre Azure Arc y Kubernetes habilitado para Azure Arc.

¿Qué es una extensión de Azure Arc?

Las extensiones de máquina virtual (VM) son pequeñas aplicaciones que realizan tareas de automatización y configuración posteriores a la implementación en máquinas virtuales de Azure. Por ejemplo, si una máquina virtual necesita que se instale software, protección antivirus o ejecutar un script en ella, se puede usar una extensión de máquina virtual. Para más información sobre las extensiones, consulte Administración de extensiones de máquina virtual con servidores habilitados para Azure Arc.

La extensión Azure AI Video Indexer instala e implementa azure AI Video indexer en el clúster de Kubernetes.

Todas las cuentas de Azure AI Video Indexer habilitadas por Arc solo admiten cuentas de Azure Resource Manager (ARM). Las operaciones de ARM se desacoplan de las operaciones de información de vídeo. Este diseño le permite realizar análisis en los dispositivos perimetrales sin necesidad de cargar los recursos multimedia en Azure.

Video Indexer de Azure AI habilitado por Arc no admite cuentas clásicas. Para obtener más información sobre la retirada de cuentas clásicas, consulte Preparación para la retirada de AMS: Guía de migración y actualización de VI

La extensión solo se admite en escenarios de modo de conexión directa. La información del plano de control se envía a la nube, por ejemplo, la supervisión, el uso. Las nuevas versiones de extensión se descargan desde la nube. No se envían datos de clientes, como los vídeos que se indexaron, desde la ubicación perimetral a la nube.

Casos de uso

  • Gobernanza de datos: puede llevar la inteligencia artificial al contenido en lugar de viceversa. Use Video Indexer de Azure AI habilitado por Arc cuando no pueda mover contenido indexado desde el entorno local a la nube debido a lo siguiente:
    • Regulación.
    • decisiones de arquitectura.
    • el almacén de datos es demasiado grande, lo que hace que lift-and-shift sea un esfuerzo significativo.
  • Flujo de trabajo local: el proceso de indexación forma parte de un flujo de trabajo local y quiere reducir la latencia de duración de la indexación que afecta al flujo.
  • Indexación previa: quiere indexar antes de cargar el contenido en la nube. Para crear claridad, puede organizar previamente el archivo de audio o vídeo local y, a continuación, cargarlo solo para la indexación estándar o avanzada en la nube.

Implementación de ejemplo

En el diagrama de bloques siguiente se muestra la extensión Video Indexer de Azure AI que se ejecuta en Azure Arc. Hay tres tipos:

  1. El tipo de almacén A usa valores preestablecidos de visión y audio.
  2. El tipo de almacén B solo usa valores preestablecidos de visión. También tiene un modelo personalizado. Para más información sobre el uso de un modelo personalizado con Azure AI Video Indexer habilitado por Arc, consulte Bring Your Own AI model (Traiga su propio modelo de IA).
  3. Almacenar C solo usa valores preestablecidos de audio.

La extensión se almacena en cada dispositivo perimetral y cada dispositivo está asociado a una única cuenta de Azure AI Video Indexer que interactúa con Azure Arc y la nube.

Diagrama de bloques de VI Arc

Valores preestablecidos de IA admitidos

Video Indexer de Azure AI habilitado por Arc admite los siguientes valores preestablecidos de indexación:

Modelo Vídeo básico Audio básico Vídeo y audio básicos
Transcripción ✔️ ✔️
Traducción ✔️ ✔️
Subtitulación ✔️ ✔️
Detección de fotogramas clave ✔️ ✔️
OCR ✔️ ✔️
Detección de objetos ✔️ ✔️
Detección de escenas ✔️ ✔️
Detección de capturas ✔️ ✔️

Gráfico azure AI Video Indexer habilitado por los valores preestablecidos disponibles de Arc ya enumerados

Requisitos mínimos de hardware

Video Indexer habilitado por Arc está diseñado para ejecutarse en cualquier entorno de Kubernetes habilitado para Arc.

La siguiente lista es los requisitos mínimos y recomendados si la extensión contiene compatibilidad con un solo idioma. Si instala varios contenedores de voz y traducción con varios idiomas, aumente los requisitos de hardware en consecuencia.

Nota:

Estos son requisitos mínimos para un entorno de producción . Se recomienda al menos un clúster de 2 nodos para lograr alta disponibilidad y escalabilidad. La configuración recomendada hace referencia a la configuración de todo el clúster, por lo que, por ejemplo, si tiene 2 nodos, cada nodo debe tener 16 núcleos y 32 GB de RAM. Se recomienda crear un grupo de nodos dedicado o grupos de escalado automático para hospedar la solución VI.

Configuración Recuento de VM Recuento de núcleos de CPU de nodo Ram de nodo Almacenamiento de nodos Comentarios
Mínima 1 32 núcleos 64 GB 50 GB El almacenamiento debe admitir ReadWriteMany la clase de almacenamiento
Recomendado 2 48-64 núcleos 256 GB 100 GB El almacenamiento debe admitir ReadWriteMany la clase de almacenamiento

Requisitos mínimos de software

Componente Requisitos mínimos
Sistema operativo Ubuntu 22.04 LTS o cualquier sistema operativo compatible con Linux
Kubernetes 1,26
CLI de Azure 2.48.0

Códecs y formatos de entrada admitidos

Formatos de vídeo

  • AVI (.avi)
  • FLV (con códecs H.264 y AAC) (.flv)
  • ISMV (.isma, .ismv)
  • Matroska/WebM (.mkv)
  • MP4 (.mp4, .m4a, .m4v)
  • MXF (.mxf)
  • MPEG2-TS
  • QuickTime (.mov)
  • WAVE/WAV (.wav)
  • Webm
  • Windows Media Video (WMV)/ASF (.wmv, .asf)

Códecs de vídeo

Esta es la lista alfabética:

  • AVC 8 bits/10 bits, hasta 4:2:2, incluido AVCIntra
  • Vídeo digital (DV) (en archivos AVI)
  • DVCPro/DVCProHD (en el contenedor MXF)
  • HEVC/H.265
  • MPEG-1
  • MPEG-2 (hasta 422 Perfil y Nivel alto; incluidas variantes como Sony XDCAM, Sony XDCAM HD, Sony XDCAM IMX, CableLabs® y D10)
  • MPEG-4, parte 2
  • VC-1/WMV9

Códecs de audio de hasta dos pistas

  • AAC (AAC-LC, AAC-HE y AAC-HEv2)
  • FLAC
  • MPEG Layer 2
  • MP3 (MPEG-1 Audio Layer 3)
  • VORBIS
  • WAV/PCM
  • Windows Media Audio

Idiomas compatibles

  • Árabe (Arabia Saudí)
  • Árabe (Egipto)
  • Chino (simplificado)
  • Inglés (EE. UU.)
  • Francés
  • Alemán
  • Italiano
  • Español

Traiga su propio modelo

Video Indexer de Azure AI habilitado por Arc también admite la incorporación de su propio modelo. Consulte el artículo Bring Your Own Model (BYO) para obtener más información.

Limitaciones

  • El tamaño de archivo admitido para la indexación es de hasta 2 GB.
  • Actualización de la extensión:
    • La compatibilidad con extensiones solo se aplica a la versión más reciente.
    • Se recomienda establecer esa auto-upgrade propiedad trueen . Esta configuración mantiene actualizada la extensión.
    • Si la configuración de actualización automática está establecida en false, la actualización de la versión se debe realizar de forma incremental. El salto entre versiones puede provocar un error en los procesos de indexación.
  • Después de la instalación o actualización de la extensión, espere que la primera duración del proceso de index\translation sea más larga. La duración más larga se debe a la descarga de imágenes del modelo de IA. La duración varía en función de la velocidad de red.
  • Solo se puede implementar una extensión de Video Indexer por clúster de Kubernetes habilitado para Arc.
  • El rendimiento del volumen del clúster (basado en la clase de almacenamiento) tiene una influencia significativa en la duración de la rotación del trabajo de indexación, especialmente porque la extracción de fotogramas está escribiendo todos los fotogramas en el volumen.
  • Solo puede usar tokens de acceso de cuenta en la nube obtenidos a través de Azure Portal. No se admiten tokens de acceso de vídeo en la nube, pero con la API, los tokens de acceso de extensión están disponibles y se admiten todos los tipos.
  • Los mensajes de error de vídeo no se almacenan debido a limitaciones de memoria.