什么是 Microsoft Fabric 中的数据工程？

Microsoft Fabric 中的数据工程使用户能够设计、构建和维护基础结构和系统，使组织能够收集、存储、处理和分析大量数据。

Microsoft Fabric 提供各种数据工程功能，以确保数据易于访问、有条不紊且质量高。 在数据工程主页中，可以：

• 使用湖屋创建和管理数据

• 设计将数据复制到湖屋的管道

• 使用 Spark 作业定义将批处理/流式处理作业提交到 Spark 群集

• 使用笔记本编写用于数据引入、准备和转换的代码

  

Lakehouse

Lakehouse 是一种数据体系结构，它使组织可以在统一的位置存储和管理结构化和非结构化数据，并使用各种工具和框架来处理和分析这些数据。 这些工具和框架可以包括基于 SQL 的查询和分析，以及机器学习和其他高级分析技术。

Apache Spark 作业定义

Spark 作业定义是定义如何在 Spark 群集上执行作业的指令集。 它包括诸如输入和输出数据源、转换以及 Spark 应用程序的配置设置等信息。 Spark 作业定义允许将批处理/流式处理作业提交到 Spark 群集，将不同的转换逻辑应用于在湖屋上托管的数据以及许多其他功能。

笔记本

Notebooks 是一种交互式计算环境，它使用户能够创建和共享包含实时代码、公式、可视化效果和叙述性文本的文档。 它们允许用户以各种编程语言编写和执行代码，包括 Python、R 和 Scala。 可以使用笔记本执行数据引入、准备、分析和其他与数据相关的任务。

数据管道

数据管道是一系列步骤，可以收集、处理数据并将其从原始形式转换为可用于分析和决策的格式。 它们是数据工程的关键组件，因为它们提供了一种以可靠、可缩放且高效的方式将数据从源移动到目标的方法。

注册 Fabric 试用版时，可以免费使用 Microsoft Fabric 中的数据工程。 还可以购买 Microsoft Fabric 容量 或 Fabric 预留容量

相关内容

数据工程体验入门：

• 要了解有关湖屋的详细信息，请参阅什么是 Microsoft Fabric 中的湖屋？
• 要开始使用湖屋，请参阅在 Microsoft Fabric 中创建湖屋。
• 要详细了解 Apache Spark 作业定义，请参阅什么是 Apache Spark 作业定义？
• 要开始使用 Apache Spark 作业定义，请参阅如何在 Fabric 中创建 Apache Spark 作业定义。
• 要详细了解笔记本，请参阅创作和执行笔记本。
• 要开始使用管道复制活动，请参阅如何使用复制活动复制数据。