Işlev
Şunun için geçerlidir:
databricks Runtime denetimi
Spark SQL, çok çeşitli gereksinimleri karşılamak için iki işlev özelliği sağlar: yerleşik işlevler ve kullanıcı tanımlı işlevler (UDF).
İşlev çözümlemesi ve işlev çağrısı hakkında bilgi edinmek için bkz. İşlev çağırma.
Yerleşik işlevler
Bu makalede toplama, diziler ve haritalar, tarihler ve zaman damgaları ve JSON verileri için sık kullanılan yerleşik işlevlerin kategorilerinin kullanımları ve açıklamaları sunulur.
SQL ve Python kullanıcı tanımlı işlevleri
SQL ve Python kullanıcı tanımlı işlevler (UDF' ler), skaler değerler veya sonuç kümeleri döndürebilen, kendinizi tanımlayabileceğiniz işlevlerdir.
Daha fazla bilgi için bkz. CREATE FUNCTION (SQL, Python).
Dış kullanıcı tanımlı işlevler
UDF'ler, sistemin yerleşik işlevleri istenen görevi gerçekleştirmek için yeterli olmadığında kendi işlevlerinizi tanımlamanıza olanak sağlar. UDF'leri kullanmak için önce işlevi tanımlarsınız, ardından işlevi Spark'a kaydeder ve son olarak kayıtlı işlevi çağırırsınız. UDF tek bir satır üzerinde işlem yapabilir veya aynı anda birden çok satır üzerinde işlem yapabilir. Spark SQL ayrıca UDF'lerin mevcut Hive uygulamalarının, kullanıcı tanımlı toplama işlevlerinin (UDAF) ve kullanıcı tanımlı tablo işlevlerinin (UDTF) tümleştirilmesini de destekler.