O que é o Azure Synapse Analytics?
O Azure Synapse é um serviço de análise empresarial que acelera o tempo de descoberta de insights entre data warehouses e sistemas de Big Data. O Azure Synapse reúne o melhor das tecnologias de SQL usadas em data warehousing corporativo, tecnologias Spark usadas para Big Data, Data Explorer para análise de logs e série temporal, Pipelines para integração de dados e ETL/ELT e integração profunda com outros serviços do Azure, como Power BI, CosmosDB e AzureML.
SQL líder do setor
O SQL do Synapse é um sistema de consulta distribuída para o T-SQL que permite cenários de data warehouse e virtualização de dados e estende o T-SQL para lidar com cenários de streaming e machine learning.
- O SQL do Synapse fornece modelos de recursos sem servidor e dedicados. Para obter desempenho e custo previsíveis, crie pools de SQL dedicados para reservar a capacidade de processamento para os dados armazenados em tabelas SQL. Para cargas de trabalho não planejadas ou intermitentes, use o ponto de extremidade SQL sem servidor e sempre disponível.
- Use funcionalidades internas de streaming para enviar dados de fontes de dados na nuvem para tabelas SQL
- Integrar a IA ao SQL usando modelos de machine learning para pontuar dados empregando a função T-SQL PREDICT
Apache Spark padrão do setor
O Apache Spark para Azure Synapse integra-se total e perfeitamente ao Apache Spark, o mecanismo de Big Data de software livre mais popular usado para preparação de dados, engenharia de dados, ETL e aprendizado de máquina.
- Modelos de ML com algoritmos do SparkML e a integração do AzureML para Apache Spark 3.1 com suporte interno para o Linux Foundation Delta Lake.
- Modelo de recursos simplificado que libera você das preocupações com o gerenciamento de clusters.
- Inicialização rápida do Spark e dimensionamento automático agressivo.
- Suporte interno para .NET para Spark, permitindo que você reutilize sua experiência com C# e o código .NET existente em um aplicativo Spark.
Como trabalhar com o Data Lake
O Azure Synapse remove as barreiras de tecnologia tradicionais entre o uso do SQL e do Spark juntos. Você pode fazer combinações e correspondências perfeitas de acordo com as suas necessidades e a sua experiência.
- As tabelas definidas em arquivos no data lake são consumidas continuamente pelo Spark ou pelo Hive.
- O SQL e o Spark podem explorar e analisar diretamente arquivos Parquet, CSV, TSV e JSON armazenados no data lake.
- Carregamento de dados rápido e escalonável entre bancos de dados SQL e do Spark
Integração de dados interna
O Azure Synapse contém o mesmo mecanismo de Integração de Dados e as mesmas experiências do Azure Data Factory, permitindo que você crie pipelines de ETL avançados em escala sem sair do Azure Synapse Analytics.
- Ingira dados de mais de 90 fontes de dados
- ETL sem código com atividades de fluxo de dados
- Orquestre notebooks, trabalhos do Spark, procedimentos armazenados, scripts SQL, entre outros
Data Explorer (versão prévia)
O Azure Synapse Data Explorer proporciona aos clientes uma experiência de consulta interativa para desbloquear insights dos dados telemétricos e de log. Para complementar os mecanismos de runtime de análise do SQL e do Apache Spark, o runtime de análise do Data Explorer é otimizado para uma análise de log eficiente usando a tecnologia de indexação avançada para indexar automaticamente os dados de texto livre e semiestruturados encontrados normalmente nos dados telemétricos.
Use o Data Explorer como plataforma de dados para criar soluções de análise de log e análise de IoT quase em tempo real para:
- Consolidar e correlacionar os dados de eventos e de logs entre as fontes de dados locais, de nuvem e de terceiros.
- Estimular a jornada de operações de IA (reconhecimento de padrões, detecção de anomalias, previsão e muito mais)
- Substituir soluções de pesquisa de log baseadas em infraestrutura para poupar custos e aumentar a produtividade.
- Crie a solução de análise de IoT para os dados de IoT.
- Crie as soluções de análise de SaaS para oferecer serviços aos clientes internos e externos.
Experiência unificada
O Synapse Studio fornece um só modo para que as empresas criem soluções, mantenham e protejam tudo em uma só experiência de usuário
- Executar as principais tarefas: ingerir, explorar, preparar, orquestrar e visualizar
- Monitorar recursos, uso e usuários no SQL, Spark e Data Explorer
- Usar o controle de acesso baseado em função para simplificar o acesso aos recursos de análise
- Gravar código do SQL, Spark ou KQL e integrá-lo aos processos empresariais da CI/CD
Interaja com a comunidade do Azure Synapse
- Microsoft Q&A: faça perguntas técnicas.
- Stack Overflow: Faça perguntas sobre desenvolvimento.