Transferencia de datos para grandes conjuntos de datos con ancho de banda de red moderado a elevado

  • Artículo

En este artículo encontrará información general sobre las soluciones para la transferencia de datos cuando tiene un ancho de banda de red moderado a elevado en su entorno y va a transferir grandes conjuntos de datos. En el artículo también se describen las opciones recomendadas de transferencia de datos y la matriz de funcionalidades clave para este escenario.

Para una visión general de todas las opciones de transferencia de datos disponibles, vaya a Choose an Azure data transfer solution (Elección de una solución de transferencia de datos de Azure).

Descripción del escenario

Los conjuntos de datos grandes hacen referencia a tamaños de datos en el orden de TB a PB. El ancho de banda de moderado a elevado comprende de 100 Mbps a 10 Gbps.

Las opciones recomendadas en este escenario dependen de si tiene un ancho de banda de red moderado o elevado.

Ancho de banda de red moderado (100 Mbps - 1 Gbps)

Con un ancho de banda de red moderado, necesita planear el tiempo para la transferencia de datos a través de la red.

Use la siguiente tabla para estimar el tiempo y, en base a eso, elija entre una transferencia sin conexión o una transferencia de red. La tabla muestra el tiempo previsto para la transferencia de datos de red, teniendo en cuenta los diversos anchos de banda disponibles (suponiendo un uso del 90 %).

Transferencia de red o transferencia sin conexión

  • Si está previsto que la transferencia de red sea demasiado lenta, debe usar un dispositivo físico. Las opciones recomendadas en este caso son los dispositivos de transferencia sin conexión de la familia de Azure Data Box o Azure Import/Export que usan sus propios discos.

    • Familia Azure Data Box para transferencias sin conexión: use los dispositivos Data Box que proporciona Microsoft para mover grandes volúmenes de datos a Azure cuando tenga limitación de tiempo, disponibilidad de red o costes. Copie los datos locales con herramientas como Robocopy. Según el tamaño de los datos previstos para la transferencia, puede elegir entre Data Box Disk, Data Box o Data Box Heavy.
    • Azure Import/Export: use el servicio Azure Import/Export para enviar sus propias unidades de disco y así importar de forma segura grandes cantidades de datos a Azure Blob Storage y Azure Files. También se puede usar este servicio para transferir datos desde Azure Blob Storage hasta las unidades de disco y enviarlas al sitio local.

  • Si se prevé que la transferencia de red sea razonable, entonces puede usar cualquiera de las siguientes herramientas detalladas en Ancho de banda de red elevado.

Ancho de banda de red elevado (1 Gbps - 100 Gbps)

Si el ancho de banda de red disponible es elevado, use una de las siguientes herramientas.

  • AzCopy: use esta herramienta de la línea de comandos para copiar fácilmente datos desde y hacia Azure Blobs, Files y Table Storage con un rendimiento óptimo. AzCopy admite la simultaneidad y el paralelismo, y permite reanudar operaciones de copia cuando si se interrumpen.
  • API REST/SDK de Azure Storage: al compilar una aplicación, puede desarrollar las API REST de Azure Storage y usar los SDK de Azure que se ofrecen en varios lenguajes.
  • Familia de Azure Data Box para transferencias en línea: Azure Stack Edge y Data Box Gateway son dispositivos de red en línea que pueden mover datos dentro y fuera de Azure. Use el dispositivo físico Azure Stack Edge cuando exista la necesidad simultánea de ingerir y procesar de forma previa los datos antes de cargarlos. Data Box Gateway es una versión virtual del dispositivo con las mismas funcionalidades de transferencia de datos. En cada caso, es el dispositivo quien se encarga de administrar la transferencia de datos.
  • Azure Data Factory: se debe usar Data Factory para escalar horizontalmente una operación de transferencia y saber si existe la necesidad de tener funcionalidades de orquestación y supervisión a nivel empresarial. Use Data Factory para transferir archivos regularmente entre varios servicios de Azure, en las instalaciones o mediante una combinación de ambos. Con Data Factory puede crear y programar flujos de trabajo basados en datos (llamados canalizaciones) que ingieren datos de distintos almacenes de datos y automatizar el movimiento de datos y la transformación de datos.

Comparación de funcionalidades clave

En las siguientes tablas se resumen las diferencias de las funcionalidades clave para las opciones recomendadas.

Ancho de banda de red moderado

Si usa la transferencia de datos sin conexión, use la siguiente tabla para comprender las diferencias de las funcionalidades clave.

Data Box Disk Data Box Data Box Heavy Import/Export
Tamaño de los datos Hasta 35 TB Hasta 80 TB por dispositivo Hasta 800 TB por dispositivo Variable
Tipo de datos Azure Blobs
Azure Files*		 Azure Blobs
Azure Files		 Azure Blobs
Azure Files		 Azure Blobs
Azure Files
Factor de forma 5 SSD por pedido 1 x 50 libras dispositivo de tamaño de escritorio por pedido 1 x ~500 libras dispositivo grande por pedido Hasta 10 HDD/SSD por pedido
Tiempo de instalación inicial Bajo
(15 min)		 De bajo a moderado
(<30 minutos)		 Moderado
(De 1 a 2 horas)		 De moderado a difícil
(variable)
Envío de datos a Azure Sí Sí Sí Sí
Exportación de datos de Azure No No No Sí
Cifrado AES de 128 bits AES de 256 bits AES de 256 bits AES de 128 bits
Hardware Proporcionado por Microsoft Proporcionado por Microsoft Proporcionado por Microsoft Proporcionado por el cliente
Interfaz de red USB 3.1/SATA RJ 45, SFP+ RJ45, QSFP+ SATA II/SATA III
Integración de asociados Algunos Elevado Elevado Algunos
Envío Administrado por Microsoft Administrado por Microsoft Administrado por Microsoft Administrado por el cliente
Uso cuando se mueven los datos Dentro de un límite de comercio Dentro de un límite de comercio Dentro de un límite de comercio Traspasando fronteras geográficas; por ejemplo, de EE. UU. a la UE
Precios Precios Precios Precios Precios

* Data Box Disk no admite recursos compartidos de archivos grandes y no conserva los metadatos de archivos

Si usa la transferencia de datos en línea, use la tabla en la sección siguiente para el ancho de banda de red elevado.

Ancho de banda de red elevado

Herramientas de AzCopy,
Azure PowerShell,
Azure CLI		 API REST y SDK de Azure Storage Data Box Gateway o Azure Stack Edge Azure Data Factory
Tipo de datos Azure Blobs, Azure Files, Azure Tables Azure Blobs, Azure Files, Azure Tables Azure Blobs, Azure Files Admite más de 70 conectores de datos para almacenes y formatos de datos
Factor de forma Herramientas de línea de comandos Interfaz programática Microsoft proporciona un dispositivo
virtual o físico		 Servicio en Azure Portal
Instalación única inicial Fácil Moderado Fácil (<30 minutos) a moderada (entre 1 y 2 horas) Amplia
Procesamiento previo de los datos No No Sí (con proceso perimetral) Sí
Transferencia desde otras nubes No No No Sí
Tipo de usuario Profesional de TI o desarrollador Desarrollo Profesional de TI Profesional de TI
Precios Gratis, se aplican los cargos de salida Gratis, se aplican los cargos de salida Precios de Azure Stack Edge
Precios de Data Box Gateway		 Precios

Pasos siguientes