你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
Azure Synapse Analytics 的新增功能
本文列出了 2022 年 3 月发布的 Azure Synapse Analytics 的更新。 每个更新都链接到 Azure Synapse Analytics 博客和一篇文章,用于提供更多信息。 对于前几个月的版本,请查看 Azure Synapse Analytics - 更新存档。
以下更新是 Azure Synapse Analytics 的本月新增功能。
开发人员体验
Synapse 笔记本中导致异常的代码单元格现在将显示标准输出以及异常消息。 此功能支持 Python 和 Scala 语言。 有关详细信息,请参阅代码语句失败时的示例输出。
Synapse 笔记本现在支持运行代码单元格时的部分输出。 有关详细信息,请参阅此博客文章中的示例
现在可以使用管道参数动态控制笔记本活动的 Spark 会话配置。 有关详细信息,请参阅 Synapse 笔记本的变量资源管理器功能。
现在可以重复使用和管理笔记本会话,而无需启动新会话。 你可以轻松地将所选笔记本连接到从另一个笔记本启动的列表中的活动会话。 可以将会话与笔记本分离、停止会话并监视会话。 有关详细信息,请参阅如何管理活动笔记本会话。
除了驱动程序日志以外,Synapse 笔记本现在还捕获通过 Python 日志记录模块写入的任何内容。 有关详细信息,请参阅对 Python 日志记录的支持。
SQL
Azure Synapse 专用 SQL 池的列级加密现已正式发布。 使用列级加密,可以对每个列使用不同的保护密钥,其中每个密钥都有其自己的访问权限。 已强制执行 CLE 的列中的数据在磁盘上加密,并在内存中保持加密状态,直到使用 DECRYPTBYKEY 函数对其进行解密。 有关详细信息,请参阅如何加密数据列。
无服务器 SQL 池现在支持更好的 CETAS (Create External Table as Select) 性能和后续 SELECT 查询。 性能改进包括并行执行计划,从而加快 CETAS 执行速度并输出多个文件。 有关详细信息,请参阅 Synapse SQL 提供的 CETAS 一文和博客文章
Apache Spark for Synapse
Synapse Spark Common Data Model (CDM) 连接器现已正式发布。 CDM 格式读取器/写入器使 Spark 程序能够通过 Spark 数据帧在 CDM 文件夹中读取和写入 CDM 实体。 有关详细信息,请参阅 CDM 连接器如何支持读取、写入数据,示例和已知问题。
Synapse Spark 专用 SQL 池 (DW) 连接器现在支持改进的性能。 新的体系结构消除了冗余数据移动,并使用 COPY-INTO 而不是 PolyBase。 可以通过 SQL 基本身份验证进行身份验证,或选择使用基于 Azure Active Directory/Azure AD 的身份验证方法。 与以前的版本相比,现在提供约 5 倍的性能。 有关详细信息,请参阅用于 Apache Spark 的 Azure Synapse 专用 SQL 池连接器
Synapse Spark 专用 SQL 池 (DW) 连接器现在支持所有 Spark 数据帧 SaveMode 选项。 它支持 Append、Overwrite、ErrorIfExists 和 Ignore 模式。 Append 和 Overwrite 对于大规模管理数据引入至关重要。 有关详细信息,请参阅数据帧写入 SaveMode 支持
使用新的智能缓存功能加快 Spark 执行速度。 此功能目前处于公开预览状态。 智能缓存功能会自动将每个读取存储在已分配的缓存存储空间中,检测基础文件更改并刷新文件以提供最新数据。 有关详细信息,请参阅如何为 Apache Spark 池启用/禁用缓存,或参阅博客文章
安全性
Azure Synapse Analytics 现在支持 Azure Active Directory (Azure AD) 身份验证。 可以在创建工作区期间或在创建工作区后启用 Azure AD 身份验证。 有关详细信息,请参阅如何将 Azure AD 身份验证与 Synapse SQL 配合使用。
API 支持为工作区托管 SQL Server 专用 SQL 提高或降低最低 TLS 版本。 有关详细信息,请参阅如何更新最低 TLS 设置,或阅读博客文章以获取更多详细信息。
数据集成
Flowlet 和 CDC 连接器现已正式发布。 Synapse 数据流中的 Flowlet 实现了可重用且可组合的 ETL 逻辑。 有关详细信息,请参阅映射数据流中的 Flowlet,或参阅博客文章。
Synapse 数据流的 SFTP 连接器。 当你使用 Synapse 中的可视化低代码数据流界面从 SFTP 转换数据时,可以读取和写入数据。 有关详细信息,请参阅源转换
对数据预览的数据流改进。 有关详细信息,请参阅映射数据流中的数据预览和调试改进
管道脚本活动。 通过脚本活动,数据工程师可以生成功能强大的数据集成管道,这些管道可以从 Synapse 数据库和其他数据库类型进行读取和写入。 有关详细信息,请参阅在 Azure 数据工厂或 Synapse Analytics 中使用脚本活动转换数据