O que é o Azure Synapse Analytics?

O Azure Synapse é um serviço de análise empresarial que acelera o tempo de descoberta de insights entre data warehouses e sistemas de Big Data. O Azure Synapse reúne o melhor das tecnologias de SQL usadas em data warehousing corporativo, tecnologias Spark usadas para Big Data, Data Explorer para análise de logs e série temporal, Pipelines para integração de dados e ETL/ELT e integração profunda com outros serviços do Azure, como Power BI, CosmosDB e AzureML.

Diagram of Azure Synapse Analytics architecture.

SQL líder do setor

O SQL do Synapse é um sistema de consulta distribuída para o T-SQL que permite cenários de data warehouse e virtualização de dados e estende o T-SQL para lidar com cenários de streaming e machine learning.

  • O SQL do Synapse fornece modelos de recursos sem servidor e dedicados. Para obter desempenho e custo previsíveis, crie pools de SQL dedicados para reservar a capacidade de processamento para os dados armazenados em tabelas SQL. Para cargas de trabalho não planejadas ou intermitentes, use o ponto de extremidade SQL sem servidor e sempre disponível.
  • Use funcionalidades internas de streaming para enviar dados de fontes de dados na nuvem para tabelas SQL
  • Integrar a IA ao SQL usando modelos de machine learning para pontuar dados empregando a função T-SQL PREDICT

Apache Spark padrão do setor

O Apache Spark para Azure Synapse integra-se total e perfeitamente ao Apache Spark, o mecanismo de Big Data de software livre mais popular usado para preparação de dados, engenharia de dados, ETL e aprendizado de máquina.

  • Os modelos de ML com algoritmos do SparkML e integração do AzureML para Apache Spark 2.4 com suporte interno para o Linux Foundation Delta Lake.
  • Modelo de recursos simplificado que libera você das preocupações com o gerenciamento de clusters.
  • Inicialização rápida do Spark e dimensionamento automático agressivo.
  • Suporte interno para .NET para Spark, permitindo que você reutilize sua experiência com C# e o código .NET existente em um aplicativo Spark.

Como trabalhar com o Data Lake

O Azure Synapse remove as barreiras de tecnologia tradicionais entre o uso do SQL e do Spark juntos. Você pode fazer combinações e correspondências perfeitas de acordo com as suas necessidades e a sua experiência.

  • As tabelas definidas em arquivos no data lake são consumidas continuamente pelo Spark ou pelo Hive.
  • O SQL e o Spark podem explorar e analisar diretamente arquivos Parquet, CSV, TSV e JSON armazenados no data lake.
  • Carregamento de dados rápido e escalonável entre bancos de dados SQL e do Spark

Integração de dados interna

O Azure Synapse contém o mesmo mecanismo de Integração de Dados e as mesmas experiências do Azure Data Factory, permitindo que você crie pipelines de ETL avançados em escala sem sair do Azure Synapse Analytics.

  • Ingira dados de mais de 90 fontes de dados
  • ETL sem código com atividades de fluxo de dados
  • Orquestre notebooks, trabalhos do Spark, procedimentos armazenados, scripts SQL, entre outros

Data Explorer (versão prévia)

O Azure Synapse Data Explorer proporciona aos clientes uma experiência de consulta interativa para desbloquear insights dos dados telemétricos e de log. Para complementar os mecanismos de runtime de análise do SQL e do Apache Spark, o runtime de análise do Data Explorer é otimizado para uma análise de log eficiente usando a tecnologia de indexação avançada para indexar automaticamente os dados de texto livre e semiestruturados encontrados normalmente nos dados telemétricos.

Use o Data Explorer como plataforma de dados para criar soluções de análise de log e análise de IoT quase em tempo real para:

  • Consolidar e correlacionar os dados de eventos e de logs entre as fontes de dados locais, de nuvem e de terceiros.
  • Estimular a jornada de operações de IA (reconhecimento de padrões, detecção de anomalias, previsão e muito mais)
  • Substituir soluções de pesquisa de log baseadas em infraestrutura para poupar custos e aumentar a produtividade.
  • Crie a solução de análise de IoT para os dados de IoT.
  • Crie as soluções de análise de SaaS para oferecer serviços aos clientes internos e externos.

Experiência unificada

O Synapse Studio fornece um só modo para que as empresas criem soluções, mantenham e protejam tudo em uma só experiência de usuário

  • Executar as principais tarefas: ingerir, explorar, preparar, orquestrar e visualizar
  • Monitorar recursos, uso e usuários no SQL, Spark e Data Explorer
  • Usar o controle de acesso baseado em função para simplificar o acesso aos recursos de análise
  • Gravar código do SQL, Spark ou KQL e integrá-lo aos processos empresariais da CI/CD

Interaja com a comunidade do Azure Synapse

Próximas etapas