A Unity Catalog számítási hozzáférési módra vonatkozó korlátozásai
A Databricks a Unity Catalog és a megosztott hozzáférési mód használatát javasolja a legtöbb számítási feladathoz. Ez a cikk a Unity Catalog egyes hozzáférési módjaira vonatkozó különböző korlátozásokat ismerteti. A hozzáférési módokról további információt az Access módokat ismertető cikkben talál.
A Databricks számítási szabályzatok használatát javasolja a legtöbb felhasználó konfigurációs beállításainak egyszerűsítése érdekében. Lásd: Számítási szabályzatok létrehozása és kezelése.
Feljegyzés
A megosztott elkülönítés nélküli mód egy örökölt hozzáférési mód, amely nem támogatja a Unity Katalógust.
Fontos
Az Init-szkriptek és -kódtárak különböző támogatással rendelkeznek a hozzáférési módok és a Databricks Runtime-verziók között. Lásd: Hol telepíthetők init-szkriptek? és fürt hatókörű kódtárak.
Az egyfelhasználós hozzáférési mód korlátozásai a Unity-katalógusban
A Unity Catalog egyfelhasználós hozzáférési módja az alábbi korlátozásokkal rendelkezik. Ezek a Unity Catalog összes hozzáférési módjára vonatkozó általános korlátozásokon kívül vannak. Lásd a Unity Catalog általános korlátozásait.
A Unity Catalog egyfelhasználós hozzáférési módjának részletes hozzáférés-vezérlési korlátozásai
A dinamikus nézetek nem támogatottak.
A nézetből való olvasáshoz minden hivatkozott táblán és nézeten rendelkeznie
SELECT
kell.Sorszűrővel vagy oszlopmaszkpal rendelkező táblázat nem érhető el.
Egyetlen felhasználói számítással nem kérdezhet le egy Unity Catalog-kompatibilis Delta Live Tables-folyamat által létrehozott táblákat, beleértve a Databricks SQL-ben létrehozott streamelési táblákat és materializált nézeteket . A Delta Live Tables-folyamat által létrehozott táblák lekérdezéséhez közös számítást kell használnia a Databricks Runtime 13.3 LTS és újabb használatával.
Streamelési korlátozások a Unity Catalog egyfelhasználós hozzáférési módjához
- Az aszinkron ellenőrzőpont-készítés nem támogatott a Databricks Runtime 11.3 LTS-ben és alább.
Megosztott hozzáférési mód korlátozásai a Unity-katalógusban
A Unity Catalog megosztott hozzáférési módja az alábbi korlátozásokkal rendelkezik. Ezek a Unity Catalog összes hozzáférési módjára vonatkozó általános korlátozásokon kívül vannak. Lásd a Unity Catalog általános korlátozásait.
A Databricks Runtime ML és a Spark Machine Tanulás Library (MLlib) nem támogatott.
A Spark küldési feladatok nem támogatottak.
A Databricks Runtime 13.3-nál vagy újabb verzióiban az egyes sorok mérete nem haladhatja meg a 128 MB maximális méretet.
Hitelesítő adatok átengedésekor a Unity Catalog funkciói le vannak tiltva.
Az egyéni tárolók nem támogatottak.
A Unity Catalog megosztott hozzáférési módjának nyelvi támogatása
- Az R nem támogatott.
- A Scala a Databricks Runtime 13.3-at és újabb verzióját támogatja.
A Spark API korlátozásai a Unity Catalog megosztott hozzáférési módjához
- Az RDD API-k nem támogatottak.
- A DBUtils és más ügyfelek, amelyek közvetlenül olvassák az adatokat a felhőbeli tárolóból, csak akkor támogatottak, ha külső helyet használ a tárolási hely eléréséhez. Lásd: Külső hely létrehozása a felhőbeli tároló Azure Databrickshez való csatlakoztatásához.
- Spark-környezet (
sc
),spark.sparkContext
, éssqlContext
a Scala nem támogatott egyetlen Databricks-futtatókörnyezetben sem, és a Python nem támogatott a Databricks Runtime 14.0-s vagy újabb verziókban.- A Databricks azt javasolja, hogy használja a
spark
változót aSparkSession
példány kezeléséhez. - A következő
sc
függvények szintén nem támogatottak:emptyRDD
,range
, ,init_batched_serializer
,pickleFile
parallelize
,textFile
binaryFiles
wholeTextFiles
,binaryRecords
,sequenceFile
,newAPIHadoopFile
,hadoopFile
newAPIHadoopRDD
, .hadoopRDD
union
runJob
setSystemProperty
uiWebUrl
stop
setJobGroup
setLocalProperty
getConf
- A Databricks azt javasolja, hogy használja a
A Unity Catalog megosztott hozzáférési módjának UDF-korlátozásai
Fontos
A Scala UDF-ek támogatása a Unity katalógusbarát számítási verziójában megosztott hozzáférési módban nyilvános előzetes verzióban érhető el.
A felhasználó által definiált függvények (UDF-ek) a következő korlátozásokkal rendelkeznek a megosztott hozzáférési móddal:
A Hive UDF-ek nem támogatottak.
applyInPandas
ésmapInPandas
nem támogatottak a Databricks Runtime 14.2-ben és alatta.A Databricks Runtime 14.2 és újabb verziókban a Scala skaláris UDF-ek támogatottak. Más Scala UDF-ek és UDAF-ek nem támogatottak.
A Databricks Runtime 13.3 LTS és újabb verziókban a Python skaláris UDF-ek és a Pandas UDF-ek támogatottak. Más Python-UDF-ek, köztük az UDAF-ek, az UDTF-ek és a Sparkon lévő Pandas nem támogatottak.
Lásd a felhasználó által definiált függvényeket (UDF-eket) a Unity Catalogban.
Streamelési korlátozások a Unity Catalog megosztott hozzáférési módjához
Feljegyzés
A felsorolt Kafka-beállítások némelyike korlátozottan támogatott az Azure Databricks támogatott konfigurációihoz. Tekintse meg az Apache Kafka és az Azure Databricks streamfeldolgozását.
- Scala esetén,
foreach
ésforeachBatch
nem támogatottak. - Python
foreachBatch
esetén a Databricks Runtime 14.0-s vagy újabb verziója új viselkedést vált ki. Tekintse meg a ForeachBatch viselkedési változásait a Databricks Runtime 14.0-ban. - A Scala
from_avro
esetében a Databricks Runtime 14.2-s vagy újabb verziójára van szükség. applyInPandasWithState
nem támogatott.- A szoftvercsatorna-források használata nem támogatott.
- A
sourceArchiveDir
Unity Catalog által felügyelt adatforrás használatakor a forrássaloption("cleanSource", "archive")
azonos külső helyen kell lennie. - A Kafka-források és -fogadók esetében a következő lehetőségek nem támogatottak:
kafka.sasl.client.callback.handler.class
kafka.sasl.login.callback.handler.class
kafka.sasl.login.class
kafka.partition.assignment.strategy
- A Következő Kafka-beállítások támogatottak a Databricks Runtime 13.3 LTS és újabb verziókban, de a Databricks Runtime 12.2 LTS-ben nem támogatottak. Ezekhez a beállításokhoz csak a Unity Catalog által felügyelt külső helyeket adhatja meg:
kafka.ssl.truststore.location
kafka.ssl.keystore.location
Hálózati és fájlrendszer-hozzáférési korlátozások a Unity Catalog megosztott hozzáférési módjához
A parancsokat a számítási csomópontokon olyan alacsony jogosultságú felhasználóként kell futtatnia, aki nem fér hozzá a fájlrendszer bizalmas részeihez.
A Databricks Runtime 11.3 LTS-ben és az alábbi verziókban csak a 80-443-as portokhoz hozhat létre hálózati kapcsolatokat.
Nem lehet csatlakozni a példány metaadat-szolgáltatásához vagy az Azure WireServerhez.
A Unity Catalog általános korlátozásai
Az alábbi korlátozások az összes Unity Catalog-kompatibilis hozzáférési módra vonatkoznak.
A Unity Catalog streamelési korlátozásai
- Az Apache Spark folyamatos feldolgozási módja nem támogatott. Tekintse meg a folyamatos feldolgozást a Spark strukturált streamelési programozási útmutatójában.
StreamingQueryListener
nem használhat hitelesítő adatokat, és nem kezelheti a Unity Catalog által felügyelt objektumokat.
Lásd még a Unity Catalog egyfelhasználós hozzáférési módjára és a Streamelési korlátozásokra vonatkozó korlátozásokat a Unity Catalog megosztott hozzáférési módjára vonatkozóan.
A Unity Catalog használatával történő streamelésről további információt a Unity Katalógus strukturált streameléssel való használatával kapcsolatban talál.
Visszajelzés
https://aka.ms/ContentUserFeedback.
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ:Visszajelzés küldése és megtekintése a következőhöz: