Fonctions d’ordre supérieur
Azure Databricks fournit des primitives dédiées pour la manipulation de tableaux dans Apache Spark SQL ; celles-ci rendent l’utilisation des tableaux beaucoup plus simple et plus concise, et éliminent la grande quantité de code réutilisable généralement requise. Les primitives tournent autour de deux constructions de programmation fonctionnelle : les fonctions d’ordre supérieur et les fonctions anonymes (lambda). Elles collaborent afin de vous permettre de définir des fonctions qui manipulent des tableaux dans SQL. Une fonction d’ordre supérieur prend un tableau, et implémente la manière dont le tableau est traité et ce que sera le résultat du calcul. Elle délègue à une fonction lambda comment traiter chaque élément dans le tableau.
Notebook d’introduction aux fonctions d’ordre supérieur
Notebook Python de tutoriel sur les fonctions d’ordre supérieur
Fonctions intégrées Apache Spark
Apache Spark a des fonctions intégrées pour manipuler des types complexes (par exemple les types tableau), notamment les fonctions d’ordre supérieur.
Le notebook suivant offre une illustration des fonctions intégrées Apache Spark.