De Databricks-connector gebruiken om verbinding te maken met een andere Databricks-werkruimte
Dit artikel bevat syntaxisvoorbeelden van het gebruik van de Databricks-connector om verbinding te maken met een andere Databricks-werkruimte. Deze connector maakt gebruik van het Databricks JDBC-stuurprogramma, dat is opgenomen in Databricks Runtime 13.3 LTS en hoger.
Belangrijk
Voor de meeste bewerkingen voor het delen van gegevens raadt Databricks Delta Sharing aan. Zie Gegevens en AI-assets veilig delen met Delta Sharing. U kunt ook de voorkeur geven aan Lakehouse Federation voor het beheren van query's op gegevens in andere Databricks-werkruimten. Zie Wat is Lakehouse Federation.
Verbinding maken naar een andere Databricks-werkruimte
Met de Databricks Spark-connector kunt u verbinding maken met rekenresources die zijn geconfigureerd in een andere Databricks-werkruimte en resultaten retourneren naar uw huidige Azure Databricks-werkruimte. U moet toegang hebben tot actieve berekeningen in beide werkruimten om query's te laten slagen.
Het JDBC-stuurprogramma is geregistreerd voor jdbc:databricks://
URL's. U moet een persoonlijk toegangstoken configureren en gebruiken waarmee u machtigingen verleent voor de werkruimtebronnen die extern worden geopend. Zie de tokenbeheer-API.
Notitie
Als u een Databricks JDBC-bibliotheek hebt gekoppeld aan uw cluster, wordt de bibliotheekversie die aan uw cluster is gekoppeld, gebruikt in plaats van de versie die is opgenomen in Databricks Runtime.
Gegevens lezen uit een andere Databricks-werkruimte
U kunt de indeling databricks
opgeven voor het gebruik van de Databricks Spark-connector wanneer u gegevens leest, zoals in het volgende voorbeeld:
df = (spark.read
.format("databricks")
.option("host", "adb-<workspace-id>.<random-number>.azuredatabricks.net")
.option("httpPath", "/sql/1.0/warehouses/<warehouse-id>")
.option("personalAccessToken", "<auth-token>")
.option("dbtable", "<table-name>")
.load()
)
Een externe tabel maken voor een andere Databricks-werkruimte
U kunt een externe tabel registreren in een Azure Databricks-werkruimte die is gekoppeld aan een afzonderlijke Databricks-werkruimte.
In het volgende voorbeeld ziet u deze syntaxis met behulp van de secret
functie om referenties op te halen die zijn opgeslagen met Databricks-geheimen:
Notitie
Zie de geheime functie voor meer informatie over Databricks-geheimen.
CREATE TABLE databricks_external_table
USING databricks
OPTIONS (
host 'adb-<workspace-id>.<random-number>.azuredatabricks.net',
httpPath '/sql/1.0/warehouses/<warehouse-id>',
personalAccessToken secret('<scope>', '<token>'),
dbtable '<table-name>'
);