Creación de un sistema escalable para datos masivos
El sistema de almacenamiento de datos es fundamental para el éxito de las aplicaciones y, por tanto, para el éxito de su empresa. Cuando el sistema de almacenamiento está bien diseñado, la respuesta es rápida, la capacidad de almacenamiento de datos se ajusta fácilmente según sea necesario y el sistema es resistente a errores además de asequible.
Una consideración fundamental es saber si el diseño se escala bien a medida que crecen los datos. Como ejemplo de crecimiento de datos, digamos que tiene una aplicación que genera 6 terabytes (TB) de datos en su primer mes, y que la cantidad aumenta cada mes a una tasa anual del 10 %. Este es un gráfico que muestra cómo se acumulan los datos con el tiempo:
Después de tres años, hay 249 TB de datos. Si el sistema está bien diseñado, podrá controlar este crecimiento de datos correctamente, tendrá capacidad de respuesta y será resistente además de asequible.
Tenga en cuenta que este ejemplo no es extremo. Si sus clientes son empresas, los datos crecen a medida que agrega clientes y a medida que los clientes agregan datos. También puede crecer debido a las mejoras de la aplicación.
Por ello, controlar el crecimiento de los datos puede requerir una combinación de productos de almacenamiento. Por ejemplo, es posible que tenga que mantener los datos a los que rara vez accede en servicios de bajo costo y los datos a los que accede con frecuencia en servicios de mayor costo, pero con mejores tiempos de acceso.
Para diseñar un sistema de este tipo en Azure, debe estar familiarizado con los muchos servicios que le ofrece Azure y debe saber cómo usarlos para administrar varios tipos de aplicaciones y diversos objetivos. Los artículos de esta sección le proporcionan siete arquitecturas de sistema para aplicaciones web que usan grandes cantidades de datos y que son resistentes a errores del sistema. Sirven como ejemplos que pueden ayudarle a diseñar un sistema de almacenamiento que se ajuste correctamente a las aplicaciones.
Estas son las arquitecturas muestran el uso de estos productos de Azure: Azure Table Storage, Azure Cosmos DB, Azure Data Factory y Azure Data Lake.
Esta matriz de funcionalidades le proporciona los vínculos a los artículos y resume las ventajas y riesgos de cada arquitectura:
| Arquitectura | Ventajas | Riesgos |
|---|---|---|
| Aplicación web de dos regiones con conmutación por error de Table Storage | Implementación sencilla y de bajo costo | Resistencia limitada: solo dos regiones de Azure |
| Aplicación web de varias regiones con replicación personalizada de Table Storage | Resistencia | Tiempo de implementación y dificultad |
| Aplicación web de varias regiones con replicación de Cosmos DB | Resistencia, rendimiento, escalabilidad | Costos de almacenamiento |
| Almacenamiento optimizado con clasificación de datos lógicos | Resistencia, rendimiento, escalabilidad, costos de almacenamiento | Tiempo de implementación, es necesario diseñar la clasificación de datos lógicos |
| Almacenamiento optimizado: basado en tiempo; escrituras múltiples | Costos de almacenamiento | Resistencia limitada, rendimiento, escalabilidad limitada, tiempo de implementación, necesidad de diseñar la retención de datos basada en el tiempo |
| Almacenamiento optimizado: basado en tiempo con el lago de datos | Resistencia, rendimiento, escalabilidad | Tiempo de implementación, necesidad de diseñar la retención de datos basada en el tiempo |
| Almacenamiento mínimo: fuente de cambios para replicar datos | Resistencia, rendimiento, retención de datos basada en el tiempo | Escalabilidad limitada, tiempo de implementación |
Pasos siguientes
Estos son los recursos que le ayudarán a diseñar la solución de almacenamiento e investigar sus aspectos empresariales, incluidos los costos y los contratos de nivel de servicio.
Diseño de soluciones de almacenamiento
- Creación de soluciones fantásticas con el marco de buena arquitectura de Microsoft Azure
- Descripción de los modelos de almacén de datos
- Selección de un almacén de datos de Azure para la aplicación
- Criterios para elegir un almacén de datos
- Selección de un enfoque de almacenamiento de datos en Azure
- Implementación con Table API de Azure Cosmos DB y Azure Table Storage