Что такое Azure Synapse Analytics?

  • Статья

Azure Synapse — это корпоративная служба аналитики, которая ускоряет извлечение аналитических сведений в разных хранилищах данных и системах больших данных. Azure Synapse сочетает в себе лучшие технологии SQL, используемые в корпоративных хранилищах данных, технологии Spark, используемые при работе с большими данными, Data Explorer для аналитики журналов и временных рядов, конвейеры для интеграции данных и их извлечения, преобразования и загрузки, а также возможности глубокой интеграции с другими службами Azure, такими как Power BI, CosmosDB и AzureML.

Diagram of Azure Synapse Analytics architecture.

Ведущая в отрасли система SQL

Synapse SQL — это система распределенных запросов для T-SQL, которая поддерживает сценарии хранения и виртуализации данных, а также расширяет возможности T-SQL для реализации сценариев потовокой передачи и машинного обучения.

  • Synapse SQL предлагает бессерверные модели и модели выделенных ресурсов. Для прогнозируемой производительности и затрат можно создавать выделенные пулы SQL, чтобы резервировать вычислительные мощности для данных, хранящихся в таблицах SQL. Для незапланированных или пакетных рабочих нагрузок используйте бессерверную конечную точку SQL, которая всегда доступна.
  • Используйте встроенные возможности потоковой передачи для передачи данных из облачных источников данных в таблицы SQL.
  • Объедините возможности искусственного интеллекта с SQL с помощью моделей машинного обучения для оценки данных с использованием функции T-SQL PREDICT.

Подсистема Apache Spark, являющаяся отраслевым стандартом

Решение Apache Spark для Azure Synapse плотно интегрировано с Apache Spark — самой популярной подсистемой обработки больших данных с открытым кодом. Она обеспечивает подготовку, инжиниринг, извлечение, преобразование и загрузку данных, а также машинное обучение.

  • Модели машинного обучения с алгоритмами SparkML и интеграцией AzureML для Apache Spark 3.1 со встроенной поддержкой Linux Foundation Delta Lake.
  • Упрощенная модель ресурсов, которая освобождает вас от необходимости заниматься управлением кластерами.
  • Быстрый запуск подсистемы Spark и быстрое автомасштабирование.
  • Встроенная поддержка .NET для Spark, позволяющая использовать опыт работы с языком C# и существующий код .NET в приложении Spark.

Работа с Data Lake

Azure Synapse устраняет традиционные технологические барьеры, препятствующие совместному использованию SQL и Spark. Вы можете легко сочетать их в соответствии со своими потребностями и опытом.

  • Таблицы, созданные на основе файлов в озере данных, поглощаются Spark или Hive.
  • SQL и Spark могут напрямую изучать и анализировать файлы Parquet, CSV, TSV и JSON, хранящиеся в озере данных.
  • Быстрая масштабируемая передача данных между базами данных SQL и Spark

Встроенная интеграция данных

Azure Synapse включает тот же механизм интеграции данных и возможности, что и Фабрика данных Azure. Это позволяет создавать многофункциональные конвейеры для извлечения, преобразования и загрузки данных в большом масштабе в самой службе Azure Synapse Analytics.

  • Прием данных из более чем 90 источников.
  • Извлечение, преобразование и загрузка без кода с помощью действий потока данных.
  • Управление записными книжками, заданиями Spark, хранимыми процедурами, скриптами SQL и т. д.

Обозреватель данных (предварительная версия)

Azure Synapse Data Explorer предоставляет клиентам интерфейс для извлечения ценной информации из данных журнала и телеметрии. Чтобы дополнить возможности существующих обработчиков среды выполнения аналитики SQL и Apache Spark, среда выполнения аналитики Data Explorer оптимизирована для эффективной работы с Log Analytics с помощью эффективной технологии индексирования для автоматического индексирования полнотекстовых и частично структурированных данных, часто встречающихся в данных телеметрии.

Используйте Data Explorer как платформу данных для создания решений Log Analytics почти в реальном времени и аналитики IoT, чтобы получить следующие преимущества:

  • Объединение и коррелирование данные журналов и событий в локальных, облачных и сторонних источниках данных.
  • Ускорение AI Ops (распознавание шаблонов, обнаружение аномалий, прогнозирование и многое другое).
  • Замена решений для поиска по журналам на основе инфраструктуры для снижения затрат и повышения производительности.
  • Создание решения аналитики Интернет вещей для данных Интернета вещей.
  • Создание аналитических решений SaaS для предоставления услуг внутренним и внешним клиентам.

Единая среда

Служба Synapse Studio предоставляет предприятиям единый способ создавать решения, поддерживать и обеспечивать безопасность в едином интерфейсе пользователя

  • Выполнение ключевых задач: прием, исследование, подготовка, координация, визуализация
  • Мониторинг ресурсов, использования и пользователей в SQL, Spark и Data Explorer
  • Использование функции контроля доступа на основе ролей для упрощения доступа к ресурсам аналитики
  • Написание кода SQL, Spark или KQL и интеграция с корпоративными процессами CI/CD

Присоединяйтесь к сообществу Synapse

Следующие шаги