Idea de solución
Si le gustaría que expandamos este artículo con más información, como posibles casos de uso, servicios alternativos, consideraciones de implementación o una guía de precios, comuníquese a través de los Comentarios de GitHub.
Transforme los datos en información útil con las mejores herramientas de aprendizaje automático de su clase. Esta solución le permite combinar cualquier dato en cualquier escala y crear e implementar modelos de aprendizaje automático personalizados a gran escala.
Architecture
Descargue un SVG de esta arquitectura.
Flujo de datos
- Reúna todos los datos estructurados, no estructurados y semiestructurados (registros, archivos y elementos multimedia) mediante canalizaciones de Synapse en Azure Data Lake Storage.
- Use grupos de Apache Spark para limpiar y transformar los conjuntos de datos sin estructura y combinarlos con datos estructurados de bases de datos o almacenamientos de datos de operaciones.
- Use técnicas de aprendizaje profundo y aprendizaje automático escalables para obtener información más detallada de estos datos mediante Python, Scala o .NET, con las experiencias de cuadernos en un grupo de Apache Spark.
- Aplique los grupos de Apache Spark y las canalizaciones de Synapse en Azure Synapse Analytics para acceder a los datos y mover los datos a gran escala.
- Consulte los datos e informe sobre ellos en Power BI.
- Traslade la información de los grupos de Apache Spark a Cosmos DB para que sea accesible mediante aplicaciones web y para dispositivos móviles.
Componentes
- Azure Synapse Analytics es un almacenamiento de datos en la nube rápido, flexible y de confianza que le permite escalar, procesar y almacenar de forma elástica e independiente, con una arquitectura de procesamiento en paralelo masivo.
- La documentación de canalizaciones de Synapse le permiten crear, programar y organizar los flujos de trabajo de ETL/ELT.
- Azure Blob Storage es un almacenamiento de objetos escalable de forma masiva para cualquier tipo de datos e imágenes no estructurados (imágenes, vídeos, audio, documentos, etc.) de forma más sencilla y rentable.
- Los grupos de Spark de Azure Synapse Analytics son una plataforma de análisis rápida, sencilla y colaborativa basada en Apache Spark.
- Azure Cosmos DB es un servicio de base de datos multimodelo distribuido globalmente. Aprenda a replicar los datos en varias regiones de Azure y a escalar el rendimiento independientemente del almacenamiento.
- Azure Synapse Link para Azure Cosmos DB permite ejecutar análisis casi en tiempo real de datos operativos en Azure Cosmos DB, sin que ello afecte al rendimiento o al costo en la carga de trabajo transaccional, mediante los dos motores de análisis disponibles en el área de trabajo de Azure Synapse: SQL sin servidor y grupos de Spark.
- Azure Analysis Services es un análisis de nivel empresarial como servicio que le permite gobernar, implementar, probar y proporcionar su solución de BI con confianza.
- Power BI es un conjunto de herramientas de análisis empresarial que proporciona información detallada acerca de toda la organización. Conéctese a cientos de orígenes de datos, simplifique la preparación de los datos y realice análisis no planeados. Cree informes atractivos y publíquelos en la organización para que se usen en la web y en los dispositivos móviles.
Alternativas
- Synapse Link es la solución de Microsoft preferida para el análisis de datos de Cosmos DB.