Bagikan melalui

Batasan mode akses komputasi untuk Katalog Unity

  • Artikel

Databricks merekomendasikan penggunaan Unity Catalog dan mode akses bersama untuk sebagian besar beban kerja. Artikel ini menguraikan berbagai batasan untuk setiap mode akses dengan Unity Catalog. Untuk detail tentang mode akses, lihat Mode akses.

Databricks merekomendasikan penggunaan kebijakan komputasi untuk menyederhanakan opsi konfigurasi bagi sebagian besar pengguna. Lihat Membuat dan mengelola kebijakan komputasi.

Catatan

Tidak ada isolasi yang dibagikan adalah mode akses lama yang tidak mendukung Katalog Unity.

Penting

Skrip dan pustaka init memiliki dukungan yang berbeda di seluruh mode akses dan versi Databricks Runtime. Lihat Di mana skrip init dapat diinstal? dan Pustaka cakupan kluster.

Batasan mode akses pengguna tunggal pada Unity Catalog

Mode akses pengguna tunggal pada Unity Catalog memiliki batasan berikut. Ini selain batasan umum untuk semua mode akses Katalog Unity. Lihat Batasan umum untuk Katalog Unity.

Batasan kontrol akses menenangkan untuk mode akses pengguna tunggal Katalog Unity

  • Tampilan dinamis tidak didukung.

  • Untuk membaca dari tampilan, Anda harus memiliki SELECT semua tabel dan tampilan yang dirujuk.

  • Anda tidak dapat mengakses tabel yang memiliki filter baris atau masker kolom.

  • Anda tidak dapat menggunakan satu komputasi pengguna untuk mengkueri tabel yang dibuat oleh alur Tabel Langsung Delta yang didukung Katalog Unity, termasuk tabel streaming dan tampilan materialisasi yang dibuat di Databricks SQL. Untuk mengkueri tabel yang dibuat oleh alur Tabel Langsung Delta, Anda harus menggunakan komputasi bersama menggunakan Databricks Runtime 13.3 LTS ke atas.

Batasan streaming untuk mode akses pengguna tunggal Katalog Unity

  • Titik pemeriksaan asinkron tidak didukung di Databricks Runtime 11.3 LTS dan di bawahnya.

Batasan mode akses bersama pada Unity Catalog

Mode akses bersama pada Unity Catalog memiliki batasan berikut. Ini selain batasan umum untuk semua mode akses Katalog Unity. Lihat Batasan umum untuk Katalog Unity.

  • Databricks Runtime ML dan Spark Pembelajaran Mesin Library (MLlib) tidak didukung.

  • Pekerjaan Spark-submit tidak didukung.

  • Pada Databricks Runtime 13.3 ke atas, baris individual tidak boleh melebihi ukuran maksimum 128MB.

  • Saat digunakan dengan passthrough kredensial, fitur Katalog Unity dinonaktifkan.

  • Kontainer kustom tidak didukung.

Dukungan bahasa untuk mode akses bersama Katalog Unity

  • R tidak didukung.
  • Scala didukung pada Databricks Runtime 13.3 ke atas.

Batasan API Spark untuk mode akses bersama Katalog Unity

  • API RDD tidak didukung.
  • DBUtils dan klien lain yang langsung membaca data dari penyimpanan cloud hanya didukung saat Anda menggunakan lokasi eksternal untuk mengakses lokasi penyimpanan. Lihat Membuat lokasi eksternal untuk menyambungkan penyimpanan cloud ke Azure Databricks.
  • Konteks Spark (sc),spark.sparkContext, dan sqlContext tidak didukung untuk Scala dalam Databricks Runtime apa pun dan tidak didukung untuk Python di Databricks Runtime 14.0 ke atas.
    • Databricks merekomendasikan penggunaan spark variabel untuk berinteraksi dengan SparkSession instans.
    • Fungsi berikut juga sc tidak didukung: emptyRDD, init_batched_serializertextFilenewAPIHadoopFileparallelizenewAPIHadoopRDDbinaryFileswholeTextFilesbinaryRecordsrangepickleFilesequenceFile, runJobsetSystemPropertyhadoopFilehadoopRDDunion, , uiWebUrlstop, , , setJobGroup, , setLocalProperty, . getConf

Batasan UDF untuk mode akses bersama Unity Catalog

Penting

Dukungan untuk UDF Scala pada komputasi yang mendukung Katalog Unity dengan mode akses bersama ada di Pratinjau Umum.

Fungsi yang ditentukan pengguna (UDF) memiliki batasan berikut dengan mode akses bersama:

  • UDF Apache Hive tidak didukung.

  • applyInPandas dan mapInPandas tidak didukung di Databricks Runtime 14.2 ke bawah.

  • Di Databricks Runtime 14.2 ke atas, UDF skalar Scala didukung. UDF dan UDAF Scala lainnya tidak didukung.

  • Dalam Databricks Runtime 13.3 LTS ke atas, UDF skalar Python dan UDF Pandas didukung. UDF Python lainnya, termasuk UDAF, UDTF, dan Panda di Spark tidak didukung.

Lihat Fungsi yang ditentukan pengguna (UDF) di Unity Catalog.

Batasan streaming untuk mode akses bersama Unity Catalog

Catatan

Beberapa opsi Kafka yang tercantum memiliki dukungan terbatas saat digunakan untuk konfigurasi yang didukung di Azure Databricks. Lihat Pemrosesan aliran dengan Apache Kafka dan Azure Databricks.

  • Untuk Scala, foreach dan foreachBatch tidak didukung.
  • Untuk Python, foreachBatch memiliki perilaku baru di Databricks Runtime 14.0 ke atas. Lihat Perubahan perilaku untuk foreachBatch di Databricks Runtime 14.0.
  • Untuk Scala, from_avro memerlukan Databricks Runtime 14.2 atau lebih tinggi.
  • applyInPandasWithState tidak didukung.
  • Bekerja dengan sumber soket tidak didukung.
  • sourceArchiveDir harus berada di lokasi eksternal yang sama dengan sumber saat Anda menggunakan option("cleanSource", "archive") sumber data yang dikelola oleh Katalog Unity.
  • Untuk sumber dan sink Kafka, opsi berikut tidak didukung:
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • Opsi Kafka berikut didukung di Databricks Runtime 13.3 LTS ke atas tetapi tidak didukung di Databricks Runtime 12.2 LTS. Anda hanya dapat menentukan lokasi eksternal yang dikelola oleh Unity Catalog untuk opsi berikut:
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location

Batasan akses jaringan dan sistem file untuk mode akses bersama Katalog Unity

  • Harus menjalankan perintah pada simpul komputasi sebagai pengguna dengan hak istimewa rendah yang dilarang mengakses bagian sensitif sistem file.

  • Di Databricks Runtime 11.3 LTS dan di bawahnya, Anda hanya dapat membuat koneksi jaringan ke port 80 dan 443.

  • Tidak dapat tersambung ke layanan metadata instans atau Azure WireServer.

Batasan umum untuk Unity Catalog

Batasan berikut berlaku untuk semua mode akses yang diaktifkan Katalog Unity.

Batasan streaming untuk Unity Catalog

  • Mode pemrosesan berkelanjutan Apache Spark tidak didukung. Lihat Pemrosesan Berkelanjutan di Panduan Pemrograman Streaming Terstruktur Spark.
  • StreamingQueryListener tidak dapat menggunakan kredensial atau berinteraksi dengan objek yang dikelola oleh Katalog Unity.

Lihat juga Batasan streaming untuk mode akses pengguna tunggal Katalog Unity dan Batasan streaming untuk mode akses bersama Katalog Unity.

Untuk informasi selengkapnya tentang streaming dengan Katalog Unity, lihat Menggunakan Katalog Unity dengan Streaming Terstruktur.