函数

  • 项目

Spark SQL 提供了两个函数功能来满足各种需求：内置函数和用户定义函数 (UDF)。

内置函数

本文介绍了用于聚合、数组和映射、日期和时间戳以及 JSON 数据的常用内置函数类别的用法和说明。

SQL 用户定义的函数

SQL 用户定义的函数 (UDF) 是可以自行定义的函数，可以返回标量值或结果集。

有关详细信息，请参阅 CREATE FUNCTION (SQL)。

用户定义的函数

利用 UDF 可以在系统内置函数不足以执行所需任务时定义自己的函数。 若要使用 UDF，请先定义函数，然后将函数注册到 Spark 中，最后调用已注册的函数。 UDF 可以对单个行执行操作，也可以一次对多个行执行操作。 Spark SQL 还支持与 UDF、用户定义的聚合函数 (UDAF) 和用户定义的表函数 (UDTF) 的现有 Hive 实现集成。