Что такое проектирование данных в Microsoft Fabric?

Проектирование данных в Microsoft Fabric позволяет пользователям разрабатывать, создавать и поддерживать инфраструктуру и системы, которые позволяют организациям собирать, хранить, обрабатывать и анализировать большие объемы данных.

Microsoft Fabric предоставляет различные возможности проектирования данных, чтобы обеспечить доступность данных, хорошо организованную и высококачественную. На домашней странице проектирования данных можно:

• Создание данных и управление ими с помощью lakehouse

• Проектирование конвейеров для копирования данных в lakehouse

• Использование определений заданий Spark для отправки задания пакетной или потоковой передачи в кластер Spark

• Использование записных книжек для записи кода для приема данных, подготовки и преобразования

  

Гибридное решение "хранилище и озеро данных"

Lakehouse — это архитектуры данных, которые позволяют организациям хранить структурированные и неструктурированные данные в одном расположении, используя различные инструменты и платформы для обработки и анализа данных. Эти средства и платформы могут включать запросы и аналитику на основе SQL, а также машинное обучение и другие методы расширенной аналитики.

Определение задания Apache Spark

Определения заданий Spark представляют собой набор инструкций, определяющих выполнение задания в кластере Spark. Она содержит такие сведения, как источники входных и выходных данных, преобразования и параметры конфигурации для приложения Spark. Определение задания Spark позволяет отправлять пакетное или потоковое задание в кластер Spark, применять другую логику преобразования к данным, размещенным в lakehouse, вместе со многими другими вещами.

Записная книжка

Записные книжки — это интерактивная среда вычислений, которая позволяет пользователям создавать и совместно использовать документы, содержащие динамический код, уравнения, визуализации и текст повествования. Они позволяют пользователям писать и выполнять код на различных языках программирования, включая Python, R и Scala. Записные книжки можно использовать для приема данных, подготовки, анализа и других задач, связанных с данными.

Конвейер данных

Конвейеры данных — это ряд шагов, которые могут собирать, обрабатывать и преобразовывать данные из необработанной формы в формат, который можно использовать для анализа и принятия решений. Они являются критически важным компонентом проектирования данных, так как они предоставляют способ перемещения данных из источника в его назначение в надежный, масштабируемый и эффективный способ.

Вы можете использовать Инжиниринг данных в Microsoft Fabric бесплатно при регистрации пробной версии Fabric. Вы также можете приобрести емкость Microsoft Fabric или зарезервированную емкость Fabric.

Связанный контент

Начало работы с интерфейсом Инжиниринг данных:

• Дополнительные сведения о озерах см. в статье "Что такое lakehouse в Microsoft Fabric?
• Чтобы приступить к работе с lakehouse, см. статью "Создание озера" в Microsoft Fabric.
• Дополнительные сведения об определениях заданий Apache Spark см. в статье "Что такое определение задания Apache Spark?"
• Сведения о начале работы с определением задания Apache Spark см. в статье "Создание определения задания Apache Spark в Fabric".
• Дополнительные сведения о записных книжках см. в статье "Создание и выполнение записной книжки".
• Сведения о начале работы с действием копирования конвейера см. в статье "Копирование данных с помощью действия копирования".