高階関数
Azure Databricks は、Apache Spark SQL で配列を操作するための専用のプリミティブを提供します。これにより、配列の操作がはるかに簡単で簡潔になり、通常必要な大量の定型コードが不要になります。 プリミティブは、上位関数と匿名 (ラムダ) 関数の 2 つの関数型プログラミング コンストラクトを中心に展開されます。 これらを組み合わせて使用すると、SQL 関数内の配列を操作する関数を定義できます。 上位の関数は配列を受け取り、配列の処理方法と計算の結果を実装します。 配列内の各項目を処理する方法をラムダ関数に委任します。
上位の関数ノートブックの概要
上位の関数のチュートリアル Python ノートブック
Apache Spark 組み込み関数
Apache Sparkには、上位の関数を含む複合型 (配列型など) を操作するための関数が組み込まれています。
次のノートブックは、Apache Spark 組み込み関数を示しています。