Functions

Spark SQL innehåller två funktions funktioner som uppfyller olika behov: inbyggda funktioner och användardefinierade funktioner (UDF: er).

Inbyggda funktioner

Den här artikeln visar användning och beskrivningar av kategorier med vanliga inbyggda funktioner för agg regering, matriser och kartor, datum och tidsstämpel och JSON-data.

Användardefinierade funktioner

Med användardefinierade funktioner (UDF: er) kan du definiera egna funktioner när systemets inbyggda funktioner inte räcker för att utföra önskad uppgift. Om du vill använda UDF: er definierar du först funktionen och registrerar sedan funktionen med Spark och slutligen anropar du den registrerade funktionen. Användardefinierade funktioner kan fungera på en enskild rad eller agera på flera rader samtidigt. Spark SQL stöder även integrering av befintliga Hive-implementeringar av UDF: er, UDAFs och UDTFs.