Adatok másolása az Azure Databricks Delta Lake-be és onnan a Azure Data Factory vagy Azure Synapse Analytics használatával

Cikk
04/21/2022
12 perc alatt elolvasható

A KÖVETKEZŐKRE VONATKOZIK: Azure Data Factory Azure Synapse Analytics

Ez a cikk azt ismerteti, hogyan használhatja a Copy tevékenység Azure Data Factory és Azure Synapse az Adatok másolása az Azure Databricks Delta Lake-be és onnan. A Copy tevékenység cikkre épül, amely általános áttekintést nyújt a másolási tevékenységről.

Támogatott képességek

Ez az Azure Databricks Delta Lake-összekötő a következő tevékenységekhez támogatott:

A szolgáltatás általában az alábbi képességekkel támogatja a Delta Lake-t a különböző igények kielégítéséhez.

Copy tevékenység támogatja az Azure Databricks Delta Lake-összekötőt, hogy adatokat másoljon bármely támogatott forrásadattárból az Azure Databricks delta lake-táblájába, valamint a Delta Lake-táblából bármely támogatott fogadóadattárba. A Databricks-fürtöt használja az adatáthelyezés végrehajtásához, lásd az Előfeltételek szakaszban található részleteket.
A leképezési Adatfolyam az Azure Storage általános Delta formátumát támogatja forrásként és fogadóként a Delta-fájlok kód nélküli ETL-hez való olvasásához és írásához, valamint felügyelt Azure-Integration Runtime fut.
A Databricks-tevékenységek támogatják a kódközpontú ETL- vagy gépi tanulási számítási feladatok vezénylését a Delta Lake-en.

Előfeltételek

Az Azure Databricks Delta Lake-összekötő használatához be kell állítania egy fürtöt az Azure Databricksben.

Ha adatokat szeretne másolni a Delta Lake-be, Copy tevékenység meghívja az Azure Databricks-fürtöt, hogy adatokat olvasson be egy Azure-Storage, amely vagy az eredeti forrás, vagy egy átmeneti terület, ahová a szolgáltatás először a beépített szakaszos másolaton keresztül írja a forrásadatokat. Tudjon meg többet a Delta-tóról, mint fogadóról.
Hasonlóképpen, ha adatokat szeretne másolni a Delta Lake-ből, Copy tevékenység meghívja az Azure Databricks-fürtöt, hogy adatokat írjon egy Azure-Storage, amely vagy az eredeti fogadó, vagy egy átmeneti terület, ahonnan a szolgáltatás továbbra is adatokat ír a végső fogadóba beépített szakaszos másolaton keresztül. További információ a Delta-tóról, mint forrásról.

A Databricks-fürtnek hozzáféréssel kell rendelkeznie az Azure Blob- vagy Azure Data Lake Storage Gen2-fiókhoz, mind a forráshoz/fogadóhoz/előkészítéshez használt tárolóhoz/fájlrendszerhez, mind pedig ahhoz a tárolóhoz/fájlrendszerhez, ahová a Delta Lake-táblákat meg szeretné írni.

A Azure Data Lake Storage Gen2 használatához konfigurálhat egy szolgáltatásnevet a Databricks-fürtön az Apache Spark-konfiguráció részeként. Kövesse az Accessben található lépéseket közvetlenül a szolgáltatásnévvel.
Az Azure Blob Storage használatához konfigurálhat egy tárfiók hozzáférési kulcsát vagy SAS-jogkivonatát a Databricks-fürtön az Apache Spark-konfiguráció részeként. Kövesse az Azure Blob Storage RDD API-val történő elérésének lépéseit.

A másolási tevékenység végrehajtása során, ha a konfigurált fürt leállt, a szolgáltatás automatikusan elindítja azt. Ha szerzői felhasználói felületen hoz létre folyamatot, az adatelőnézethez hasonló műveletekhez élő fürtre van szüksége, a szolgáltatás nem indítja el a fürtöt az Ön nevében.

A fürtkonfiguráció megadása

A Fürt mód legördülő listában válassza a Standard lehetőséget.
A Databricks Futtatókörnyezet verziójának legördülő menüben válassza ki a Databricks-futtatókörnyezet verzióját.
Az automatikus optimalizálás bekapcsolásához adja hozzá a következő tulajdonságokat a Spark-konfigurációhoz:
```
spark.databricks.delta.optimizeWrite.enabled true
spark.databricks.delta.autoCompact.enabled true
```
Konfigurálja a fürtöt az integrációs és skálázási igényeknek megfelelően.

A fürtkonfiguráció részleteiért lásd a fürtök konfigurálását ismertető cikket.

Bevezetés

A Copy tevékenység folyamattal való végrehajtásához az alábbi eszközök vagy SDK-k egyikét használhatja:

Társított szolgáltatás létrehozása az Azure Databricks Delta Lake-hez felhasználói felület használatával

Az alábbi lépésekkel hozhat létre társított szolgáltatást az Azure Databricks Delta Lake-hez a Azure Portal felhasználói felületén.

Tallózással keresse meg a Kezelés lapot a Azure Data Factory vagy a Synapse-munkaterületen, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:
- Azure Data Factory
- Azure Synapse
Keresse meg a Delta-t, és válassza ki az Azure Databricks Delta Lake-összekötőt.
Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

Összekötő konfigurációjának részletei

A következő szakaszok az Azure Databricks Delta Lake-összekötőre jellemző entitásokat definiáló tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

Ez az Azure Databricks Delta Lake-összekötő a következő hitelesítési típusokat támogatja. Részletekért tekintse meg a megfelelő szakaszokat.

Hozzáférési jogkivonat
Rendszer által hozzárendelt felügyelt identitás hitelesítése
Felhasználó által hozzárendelt felügyelt identitás hitelesítése

Hozzáférési jogkivonat

Az Azure Databricks Delta Lake társított szolgáltatása az alábbi tulajdonságokat támogatja:

Tulajdonság	Leírás	Kötelező
típus	A típustulajdonságot AzureDatabricksDeltaLake értékre kell állítani.	Yes
domain	Adja meg például az Azure Databricks-munkaterület URL-címét. `https://adb-xxxxxxxxx.xx.azuredatabricks.net`
clusterId	Adja meg egy meglévő fürt fürtazonosítóját. Ennek már létrehozott interaktív fürtnek kell lennie. A Databricks-munkaterületen található interaktív fürt fürtazonosítója –> Fürtök –> Interaktív fürt neve –> Konfiguráció –> Címkék. További információ.
accessToken	Hozzáférési jogkivonatra van szükség ahhoz, hogy a szolgáltatás hitelesítse magát az Azure Databricksben. A hozzáférési jogkivonatot a Databricks-munkaterületről kell létrehozni. A hozzáférési jogkivonat megkeresésének részletes lépéseit itt találja.
connectVia	Az adattárhoz való csatlakozáshoz használt integrációs modul . Használhatja az Azure integrációs modult vagy egy saját üzemeltetésű integrációs modult (ha az adattár privát hálózaton található). Ha nincs megadva, az alapértelmezett Azure-integrációs modult használja.	No

Példa

{
    "name": "AzureDatabricksDeltaLakeLinkedService",
    "properties": {
        "type": "AzureDatabricksDeltaLake",
        "typeProperties": {
            "domain": "https://adb-xxxxxxxxx.xx.azuredatabricks.net",
            "clusterId": "<cluster id>",
            "accessToken": {
                "type": "SecureString", 
                "value": "<access token>"
          	}
        }
    }
}

Rendszer által hozzárendelt felügyelt identitás hitelesítése

Az Azure-erőforrások rendszer által hozzárendelt felügyelt identitásairól további információt az Azure-erőforrások rendszer által hozzárendelt felügyelt identitásai között talál.

A rendszer által hozzárendelt felügyelt identitás hitelesítésének használatához kövesse az alábbi lépéseket az engedélyek megadásához:

A felügyelt identitás adatainak lekéréséhez másolja a létrehozott felügyelt identitásobjektum-azonosító értékét az adat-előállítóval vagy a Synapse-munkaterülettel együtt.
Adja meg a felügyelt identitásnak a megfelelő engedélyeket az Azure Databricksben. Általánosságban elmondható, hogy legalább a Közreműködő szerepkört meg kell adnia a rendszer által hozzárendelt felügyelt identitásnak az Azure Databricks hozzáférés-vezérlési (IAM) szolgáltatásában.

Az Azure Databricks Delta Lake társított szolgáltatása az alábbi tulajdonságokat támogatja:

Tulajdonság	Leírás	Kötelező
típus	A típustulajdonságot AzureDatabricksDeltaLake értékre kell állítani.	Yes
domain	Adja meg például az Azure Databricks-munkaterület URL-címét. `https://adb-xxxxxxxxx.xx.azuredatabricks.net`	Yes
clusterId	Adja meg egy meglévő fürt fürtazonosítóját. Ennek már létrehozott interaktív fürtnek kell lennie. A Databricks-munkaterületen található interaktív fürt fürtazonosítója –> Fürtök –> Interaktív fürt neve –> Konfiguráció –> Címkék. További információk.	Yes
workspaceResourceId	Adja meg az Azure Databricks munkaterületi erőforrás-azonosítóját.	Yes
connectVia	Az adattárhoz való csatlakozáshoz használt integrációs modul . Használhatja az Azure integrációs modult vagy egy saját üzemeltetésű integrációs modult (ha az adattár privát hálózaton található). Ha nincs megadva, az alapértelmezett Azure-integrációs modult használja.	No

Példa

{
    "name": "AzureDatabricksDeltaLakeLinkedService",
    "properties": {
        "type": "AzureDatabricksDeltaLake",
        "typeProperties": {
            "domain": "https://adb-xxxxxxxxx.xx.azuredatabricks.net",
            "clusterId": "<cluster id>",
            "workspaceResourceId": "<workspace resource id>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Felhasználó által hozzárendelt felügyelt identitás hitelesítése

További információ az Azure-erőforrások felhasználó által hozzárendelt felügyelt identitásairól: felhasználó által hozzárendelt felügyelt identitások

A felhasználó által hozzárendelt felügyelt identitás hitelesítésének használatához kövesse az alábbi lépéseket:

Hozzon létre egy vagy több felhasználó által hozzárendelt felügyelt identitást , és adjon engedélyt az Azure Databricksben. Általánosságban elmondható, hogy legalább a Közreműködő szerepkört meg kell adnia a felhasználó által hozzárendelt felügyelt identitásnak az Azure Databricks hozzáférés-vezérlési (IAM) szolgáltatásában.
Rendeljen hozzá egy vagy több felhasználó által hozzárendelt felügyelt identitást az adat-előállítóhoz vagy a Synapse-munkaterülethez, és hozzon létre hitelesítő adatokat minden felhasználó által hozzárendelt felügyelt identitáshoz.

Az Azure Databricks Delta Lake társított szolgáltatása az alábbi tulajdonságokat támogatja:

Tulajdonság	Leírás	Kötelező
típus	A típustulajdonságot AzureDatabricksDeltaLake értékre kell állítani.	Yes
domain	Adja meg például az Azure Databricks-munkaterület URL-címét. `https://adb-xxxxxxxxx.xx.azuredatabricks.net`	Yes
clusterId	Adja meg egy meglévő fürt fürtazonosítóját. Ennek már létrehozott interaktív fürtnek kell lennie. A Databricks-munkaterületen található interaktív fürt fürtazonosítója –> Fürtök –> Interaktív fürt neve –> Konfiguráció –> Címkék. További információk.	Yes
hitelesítő adatok	Adja meg a felhasználó által hozzárendelt felügyelt identitást hitelesítőadat-objektumként.	Yes
workspaceResourceId	Adja meg az Azure Databricks munkaterületi erőforrás-azonosítóját.	Yes
connectVia	Az adattárhoz való csatlakozáshoz használt integrációs modul . Használhatja az Azure integrációs modult vagy egy saját üzemeltetésű integrációs modult (ha az adattár privát hálózaton található). Ha nincs megadva, az alapértelmezett Azure-integrációs modult használja.	No

Példa

{
    "name": "AzureDatabricksDeltaLakeLinkedService",
    "properties": {
        "type": "AzureDatabricksDeltaLake",
        "typeProperties": {
            "domain": "https://adb-xxxxxxxxx.xx.azuredatabricks.net",
            "clusterId": "<cluster id>",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            },
            "workspaceResourceId": "<workspace resource id>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adatkészlet tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című cikkben találja.

Az Azure Databricks Delta Lake-adathalmaz esetében az alábbi tulajdonságok támogatottak.

Tulajdonság	Leírás	Kötelező
típus	Az adathalmaz típustulajdonságának AzureDatabricksDeltaLakeDataset értékre kell állítania.	Yes
adatbázis	Az adatbázis neve.	Nem a forráshoz, igen a fogadóhoz
tábla	A deltatábla neve.	Nem a forráshoz, igen a fogadóhoz

Példa

{
    "name": "AzureDatabricksDeltaLakeDataset",
    "properties": {
        "type": "AzureDatabricksDeltaLakeDataset",
        "typeProperties": {
            "database": "<database name>",
            "table": "<delta table name>"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "linkedServiceName": {
            "referenceName": "<name of linked service>",
            "type": "LinkedServiceReference"
        }
    }
}

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz az Azure Databricks Delta Lake-forrás és -fogadó által támogatott tulajdonságok listáját tartalmazza.

Delta-tó forrásként

Az Azure Databricks Delta Lake adatainak másolásához a következő tulajdonságok támogatottak a Copy tevékenység forrásszakaszban.

Tulajdonság	Leírás	Kötelező
típus	A Copy tevékenység forrás típustulajdonságának azureDatabricksDeltaLakeSource értékre kell állítania.	Yes
lekérdezés	Adja meg az adatok olvasásához SQL lekérdezést. Az időutazás szabályozásához kövesse az alábbi mintát: - `SELECT * FROM events TIMESTAMP AS OF timestamp_expression` - `SELECT * FROM events VERSION AS OF version`	No
exportSettings	Speciális beállítások az adatok deltatáblából való lekéréséhez.	No
Alatta `exportSettings`:
típus	Az exportálási parancs típusa az AzureDatabricksDeltaLakeExportCommand értékre állítva.	Yes
dateFormat	Dátumtípus formázása dátumformátumú sztringre. Az egyéni dátumformátumok a dátum/idő minta formátumát követik. Ha nincs megadva, az alapértelmezett értéket `yyyy-MM-dd`használja.	No
timestampFormat	Időbélyeg-típus formázása sztringre időbélyeg formátummal. Az egyéni dátumformátumok a dátum/idő minta formátumát követik. Ha nincs megadva, az alapértelmezett értéket `yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]`használja.	No

Közvetlen másolat a Delta Lake-ről

Ha a fogadó adattára és formátuma megfelel az ebben a szakaszban ismertetett feltételeknek, a Copy tevékenység használatával közvetlenül másolhat az Azure Databricks Delta-táblából a fogadóba. A szolgáltatás ellenőrzi a beállításokat, és meghiúsul a Copy tevékenység futtatása, ha a következő feltételek nem teljesülnek:

A fogadó társított szolgáltatása az Azure Blob Storage vagy Azure Data Lake Storage Gen2. A fiók hitelesítő adatait előre konfigurálni kell az Azure Databricks-fürt konfigurációjában. További információ az előfeltételekről.
A fogadó adatformátumaParquet, tagolt szöveg vagy Avro , amely az alábbi konfigurációkkal rendelkezik, és fájl helyett egy mappára mutat.
- Parquet formátum esetén a tömörítési kodek nincs, snappy vagy gzip.
- Tagolt szövegformátum esetén:
  - rowDelimiter A bármely egyetlen karakterből áll.
  - compression nem lehet ,bzip2, gzip.
  - encodingName Az UTF-7 nem támogatott.
- Avro formátum esetén a tömörítési kodek nincs, deflátum vagy snappy.
A Copy tevékenység forrásban additionalColumns nincs megadva.
Ha az adatokat tagolt szövegre másolja, a másolási tevékenység fogadójában fileExtension ".csv" kell lennie.
A Copy tevékenység leképezésben a típuskonverzió nincs engedélyezve.

Példa

"activities":[
    {
        "name": "CopyFromDeltaLake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delta lake input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzureDatabricksDeltaLakeSource",
                "sqlReaderQuery": "SELECT * FROM events TIMESTAMP AS OF timestamp_expression"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Szakaszos másolat a Delta Lake-ből

Ha a fogadó adattára vagy formátuma nem felel meg a közvetlen másolási feltételeknek, ahogyan azt az előző szakaszban említettük, engedélyezze a beépített szakaszos másolatot egy köztes Azure Storage-példány használatával. A szakaszos másolási funkció jobb átviteli sebességet is biztosít. A szolgáltatás adatokat exportál az Azure Databricks Delta Lake-ből az átmeneti tárolóba, majd átmásolja az adatokat a fogadóba, és végül törli az ideiglenes adatokat az átmeneti tárolóból. Az adatok átmeneti másolással történő másolásával kapcsolatos részletekért lásd a szakaszos másolást .

A szolgáltatás használatához hozzon létre egy Azure Blob Storage társított szolgáltatást vagy Azure Data Lake Storage Gen2 társított szolgáltatást, amely átmeneti átmenetiként hivatkozik a tárfiókra. Ezután adja meg a enableStaging tulajdonságokat a stagingSettings Copy tevékenység.

Megjegyzés

Az átmeneti tárfiók hitelesítő adatait előre konfigurálni kell az Azure Databricks-fürtkonfigurációban. További információ az előfeltételekről.

Példa

"activities":[
    {
        "name": "CopyFromDeltaLake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delta lake input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzureDatabricksDeltaLakeSource",
                "sqlReaderQuery": "SELECT * FROM events TIMESTAMP AS OF timestamp_expression"
            },
            "sink": {
                "type": "<sink type>"
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingStorage",
                    "type": "LinkedServiceReference"
                },
                "path": "mystagingpath"
            }
        }
    }
]

Delta-tó mint fogadó

Ha adatokat szeretne az Azure Databricks Delta Lake-be másolni, az alábbi tulajdonságok támogatottak a Copy tevékenység fogadó szakaszban.

Tulajdonság	Leírás	Kötelező
típus	A Copy tevékenység fogadó típustulajdonsága, amely az AzureDatabricksDeltaLakeSink értékre van állítva.	Yes
preCopyScript	Adjon meg egy SQL lekérdezést a Copy tevékenység számára, mielőtt adatokat írna a Databricks delta táblájába minden futtatáskor. Példa: `VACUUM eventsTable DRY RUN` Ezzel a tulajdonságkal törölheti az előre betöltött adatokat, vagy hozzáadhat egy csonkolási táblát vagy vacuum utasítást.	No
importSettings	Speciális beállítások az adatok Delta-táblába való írásához.	No
A következő alatt `importSettings`:
típus	Az importálási parancs típusa, amely az AzureDatabricksDeltaLakeImportCommand értékre van állítva.	Yes
dateFormat	Sztring formázása dátumtípusra dátumformátummal. Az egyéni dátumformátumok a dátum/idő minta formátumát követik. Ha nincs megadva, az alapértelmezett értéket `yyyy-MM-dd`használja.	No
timestampFormat	Sztring formázása időbélyeg-típusra időbélyeg formátummal. Az egyéni dátumformátumok a dátum/idő minta formátumát követik. Ha nincs megadva, az alapértelmezett értéket `yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]`használja.	No

Közvetlen másolat a Delta Lake-be

Ha a forrásadattár és -formátum megfelel az ebben a szakaszban ismertetett feltételeknek, a Copy tevékenység használatával közvetlenül másolhat a forrásból az Azure Databricks Delta Lake-be. A szolgáltatás ellenőrzi a beállításokat, és meghiúsul a Copy tevékenység futtatása, ha a következő feltételek nem teljesülnek:

A forrás társított szolgáltatás az Azure Blob Storage vagy Azure Data Lake Storage Gen2. A fiók hitelesítő adatait előre konfigurálni kell az Azure Databricks-fürt konfigurációjában. További információ az előfeltételekről.
A forrásadat formátumaParquet, tagolt szöveg vagy Avro , amely az alábbi konfigurációkkal rendelkezik, és fájl helyett egy mappára mutat.
- Parquet formátum esetén a tömörítési kodek nincs, snappy vagy gzip.
- Tagolt szövegformátum esetén:
  - rowDelimiter A az alapértelmezett érték, vagy bármely egyetlen karakter.
  - compression nem lehet ,bzip2, gzip.
  - encodingName Az UTF-7 nem támogatott.
- Avro formátum esetén a tömörítési kodek nincs, deflátum vagy snappy.
A Copy tevékenység forrásban:
- wildcardFileName csak helyettesítő karaktert * tartalmaz, de nem ?, és wildcardFolderName nincs megadva.
- prefix, modifiedDateTimeStart, modifiedDateTimeEndés enablePartitionDiscovery nincs megadva.
- additionalColumns nincs megadva.
A Copy tevékenység leképezésben a típuskonverzió nincs engedélyezve.

Példa

"activities":[
    {
        "name": "CopyToDeltaLake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Delta lake output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDatabricksDeltaLakeSink",
                "sqlReadrQuery": "VACUUM eventsTable DRY RUN"
            }
        }
    }
]

Szakaszos másolat a Delta Lake-be

Ha a forrásadattár vagy -formátum nem felel meg a közvetlen másolási feltételeknek, ahogy azt az előző szakaszban említettük, engedélyezze a beépített szakaszos másolatot egy köztes Azure Storage-példány használatával. A szakaszos másolási funkció jobb átviteli sebességet is biztosít. A szolgáltatás automatikusan átalakítja az adatokat, hogy megfeleljen az adatformátum követelményeinek, átmeneti tárolóvá, majd onnan betölti az adatokat a Delta Lake-be. Végül megtisztítja az ideiglenes adatokat a tárolóból. Az adatok átmeneti másolással történő másolásával kapcsolatos részletekért lásd a szakaszos másolást .

Megjegyzés

Az átmeneti tárfiók hitelesítő adatait előre konfigurálni kell az Azure Databricks-fürtkonfigurációban. További információ az előfeltételekről.

Példa

"activities":[
    {
        "name": "CopyToDeltaLake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Delta lake output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDatabricksDeltaLakeSink"
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingBlob",
                    "type": "LinkedServiceReference"
                },
                "path": "mystagingpath"
            }
        }
    }
]

Figyelés

A másolási tevékenység figyelésének élménye ugyanaz, mint a többi összekötő esetében. Emellett mivel az Adatok betöltése a Delta Lake-ből vagy a Delta Lake-be fut az Azure Databricks-fürtön, további részletes fürtnaplókat tekinthet meg és figyelheti a teljesítményt.

Keresési tevékenység tulajdonságai

A tulajdonságokról további információt a Keresési tevékenység című témakörben talál.

Következő lépések

Az Copy tevékenység által forrásként és fogadóként támogatott adattárak listáját a támogatott adattárak és formátumok között találja.

Adatok másolása az Azure Databricks Delta Lake-be és onnan a Azure Data Factory vagy Azure Synapse Analytics használatával

Hasznosnak találja ezt az oldalt?

Támogatott képességek

Előfeltételek

A fürtkonfiguráció megadása

Bevezetés

Társított szolgáltatás létrehozása az Azure Databricks Delta Lake-hez felhasználói felület használatával

Összekötő konfigurációjának részletei

Társított szolgáltatás tulajdonságai

Hozzáférési jogkivonat

Rendszer által hozzárendelt felügyelt identitás hitelesítése

Felhasználó által hozzárendelt felügyelt identitás hitelesítése

Adatkészlet tulajdonságai

Másolási tevékenység tulajdonságai

Delta-tó forrásként

Közvetlen másolat a Delta Lake-ről

Szakaszos másolat a Delta Lake-ből

Delta-tó mint fogadó

Közvetlen másolat a Delta Lake-be

Szakaszos másolat a Delta Lake-be

Figyelés

Keresési tevékenység tulajdonságai

Következő lépések