Adatok másolása és átalakítása a Microsoft Fabric Lakehouse-ban az Azure Data Factory vagy az Azure Synapse Analytics használatával

Cikk
03/07/2024

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

A Microsoft Fabric Lakehouse egy adatarchitektúra-platform a strukturált és strukturálatlan adatok egyetlen helyen történő tárolására, kezelésére és elemzésére. Ha zökkenőmentes adathozzáférést szeretne elérni a Microsoft Fabric összes számítási motorjához, lépjen a Lakehouse és a Delta Tables webhelyre. Alapértelmezés szerint az adatok a Lakehouse Table in V-Order fájlba vannak írva, és további információért lépjen a Delta Lake-táblaoptimalizálásra és a V-Orderre .

Ez a cikk azt ismerteti, hogyan másolhat Copy tevékenység adatokat a Microsoft Fabric Lakehouse-ból és a Microsoft Fabric Lakehouse-ba, és hogyan használhatja Adatfolyam az adatok átalakítására a Microsoft Fabric Lakehouse-ban. További információért olvassa el az Azure Data Factory vagy az Azure Synapse Analytics bevezető cikkét.

Támogatott képességek

Ez a Microsoft Fabric Lakehouse-összekötő a következő képességeket támogatja:

Támogatott képességek	IR
Copy tevékenység (forrás/fogadó)	(1) (2)
Adatfolyam leképezése (forrás/fogadó)	(1)
Keresési tevékenység	(1) (2)
GetMetadata-tevékenység	(1) (2)
Tevékenység törlése	(1) (2)

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

Első lépések

A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:

Microsoft Fabric Lakehouse társított szolgáltatás létrehozása felhasználói felületen

Az alábbi lépésekkel microsoft Fabric Lakehouse társított szolgáltatást hozhat létre az Azure Portal felhasználói felületén.

Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd válassza az Új lehetőséget:
- Azure Data Factory
- Azure Synapse
Keresse meg a Microsoft Fabric Lakehouse-t, és válassza ki az összekötőt.
Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

Csatlakozás or konfigurációjának részletei

A következő szakaszok a Microsoft Fabric Lakehouse-ra jellemző Data Factory-entitások meghatározásához használt tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

A Microsoft Fabric Lakehouse-összekötő a következő hitelesítési típusokat támogatja. Részletekért tekintse meg a megfelelő szakaszokat:

Egyszerű szolgáltatás hitelesítése

Egyszerű szolgáltatás hitelesítése

A szolgáltatásnév-hitelesítés használatához kövesse az alábbi lépéseket.

Regisztráljon egy alkalmazást a Microsoft Identity platformon , és adjon hozzá egy titkos ügyfélkulcsot. Ezután jegyezze fel ezeket az értékeket, amelyeket a társított szolgáltatás definiálásához használ:
- Az alkalmazás (ügyfél) azonosítója, amely a társított szolgáltatás egyszerű szolgáltatásának azonosítója.
- Az ügyfél titkos kódja, amely a társított szolgáltatás egyszerű szolgáltatáskulcsa.
- Bérlőazonosító
Adjon legalább közreműködői szerepkört a szolgáltatásnévnek a Microsoft Fabric-munkaterületen. Tegye a következők egyikét:
1. Nyissa meg a Microsoft Fabric-munkaterületet, és válassza a felső sávon a Hozzáférés kezelése lehetőséget. Ezután válassza a Személyek vagy csoportok hozzáadása lehetőséget.
2. A Személyek hozzáadása panelen adja meg a szolgáltatásnév nevét, és válassza ki a szolgáltatásnevet a legördülő listából.
3. Adja meg a közreműködői vagy annál magasabb szerepkört (Rendszergazda, tag), majd válassza a Hozzáadás lehetőséget.
4. A szolgáltatásnév megjelenik a Hozzáférés kezelése panelen.

Ezek a tulajdonságok támogatottak a társított szolgáltatásban:

Tulajdonság	Leírás	Kötelező
típus	A típustulajdonságot Lakehouse értékre kell állítani.	Igen
workspaceId	A Microsoft Fabric-munkaterület azonosítója.	Igen
artifactId	A Microsoft Fabric Lakehouse objektumazonosítója.	Igen
bérlő	Adja meg azt a bérlői információt (tartománynevet vagy bérlőazonosítót), amely alatt az alkalmazás található. Kérje le az egérmutatót az Azure Portal jobb felső sarkában.	Igen
servicePrincipalId	Adja meg az alkalmazás ügyfél-azonosítóját.	Igen
servicePrincipalCredentialType	A szolgáltatásnév-hitelesítéshez használandó hitelesítőadat-típus. Az engedélyezett értékek a ServicePrincipalKey és a ServicePrincipalCert.	Igen
servicePrincipalCredential	A szolgáltatásnév hitelesítő adatai. Ha a ServicePrincipalKey-t használja hitelesítő adattípusként, adja meg az alkalmazás titkos ügyfélkulcs-értékét. Jelölje meg ezt a mezőt SecureStringként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vaultban tárolt titkos kódra. Ha a ServicePrincipalCertet használja hitelesítő adatként, hivatkozzon egy tanúsítványra az Azure Key Vaultban, és győződjön meg arról, hogy a tanúsítvány tartalomtípusa PKCS #12.	Igen
connectVia	Az adattárhoz való csatlakozáshoz használandó integrációs modul . Használhatja az Azure integrációs modult vagy egy saját üzemeltetésű integrációs modult, ha az adattár magánhálózaton található. Ha nincs megadva, a rendszer az alapértelmezett Azure-integrációs modult használja.	Nem

Példa: egyszerű szolgáltatáskulcs-hitelesítés használata

A szolgáltatásnévkulcsot az Azure Key Vaultban is tárolhatja.

{
    "name": "MicrosoftFabricLakehouseLinkedService",
    "properties": {
        "type": "Lakehouse",
        "typeProperties": {
            "workspaceId": "<Microsoft Fabric workspace ID>",
            "artifactId": "<Microsoft Fabric Lakehouse object ID>",
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalCredentialType": "ServicePrincipalKey",
            "servicePrincipalCredential": {
                "type": "SecureString",
                "value": "<service principal key>"
            }   
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adathalmaz tulajdonságai

A Microsoft Fabric Lakehouse-összekötő két adathalmaztípust támogat: a Microsoft Fabric Lakehouse Files adatkészletet és a Microsoft Fabric Lakehouse Table adatkészletet. Részletekért tekintse meg a megfelelő szakaszokat.

Microsoft Fabric Lakehouse Files-adatkészlet
Microsoft Fabric Lakehouse table dataset

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című témakörben találja.

Microsoft Fabric Lakehouse Files-adatkészlet

A Microsoft Fabric Lakehouse-összekötő a következő fájlformátumokat támogatja. A formátumalapú beállításokat az egyes cikkekben találja.

A formátumalapú Microsoft Fabric Lakehouse Files-adatkészlet beállításai a következő tulajdonságokat támogatják location :

Tulajdonság	Leírás	Kötelező
típus	Az adathalmaz típustulajdonságának `location` LakehouseLocation értékre kell állítania.	Igen
folderPath	A mappa elérési útja. Ha helyettesítő karakterrel szeretné szűrni a mappákat, hagyja ki ezt a beállítást, és adja meg a tevékenység forrásbeállításaiban.	Nem
fileName	A fájl neve az adott folderPath mappában. Ha helyettesítő karakterrel szeretné szűrni a fájlokat, hagyja ki ezt a beállítást, és adja meg a tevékenység forrásbeállításaiban.	Nem

Példa:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Microsoft Fabric Lakehouse linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "location": {
                "type": "LakehouseLocation",
                "fileName": "<file name>",
                "folderPath": "<folder name>"
            },
            "columnDelimiter": ",",
            "compressionCodec": "gzip",
            "escapeChar": "\\",
            "firstRowAsHeader": true,
            "quoteChar": "\""
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ]
    }
}

Microsoft Fabric Lakehouse table dataset

A Microsoft Fabric Lakehouse Table adatkészlethez a következő tulajdonságok támogatottak:

Tulajdonság	Leírás	Kötelező
típus	Az adathalmaz típustulajdonságának LakehouseTable értékre kell állítania.	Igen
table	A tábla neve.	Igen

Példa:

{ 
    "name": "LakehouseTableDataset", 
    "properties": {
        "type": "LakehouseTable",
        "linkedServiceName": { 
            "referenceName": "<Microsoft Fabric Lakehouse linked service name>", 
            "type": "LinkedServiceReference" 
        }, 
        "typeProperties": { 
            "table": "<table_name>"   
        }, 
        "schema": [< physical schema, optional, retrievable during authoring >] 
    } 
}

Másolási tevékenység tulajdonságai

A Microsoft Fabric Lakehouse Files és a Microsoft Fabric Lakehouse Table adatkészlet másolási tevékenységének tulajdonságai eltérőek. Részletekért tekintse meg a megfelelő szakaszokat.

Microsoft Fabric Lakehouse Files a Copy tevékenység
Microsoft Fabric Lakehouse table in Copy tevékenység

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listájáért tekintse meg Copy tevékenység konfigurációkat, valamint a folyamatokat és tevékenységeket.

Microsoft Fabric Lakehouse Files a Copy tevékenység

Ha a Microsoft Fabric Lakehouse Files adathalmaztípust forrásként vagy fogadóként szeretné használni a Copy tevékenység, a részletes konfigurációkért tekintse meg a következő szakaszokat.

Microsoft Fabric Lakehouse Files forrástípusként

A Microsoft Fabric Lakehouse-összekötő a következő fájlformátumokat támogatja. A formátumalapú beállításokat az egyes cikkekben találja.

A Microsoft Fabric Lakehouse-ból a Microsoft Fabric Lakehouse Files adatkészlet használatával több lehetősége is van az adatok másolására:

Másolja ki az adathalmazban megadott elérési útból.
Helyettesítő karakterek szűrője a mappa elérési útjára vagy a fájlnévre, lásd wildcardFolderPath és wildcardFileName.
Másolja az adott szövegfájlban definiált fájlokat fájlkészletként, lásd: fileListPath.

A Microsoft Fabric Lakehouse Files-adatkészlet használatakor a következő tulajdonságok a formátumalapú másolási forrás beállításai között storeSettings találhatók:

Tulajdonság	Leírás	Kötelező
típus	Az alatta lévő `storeSettings` típustulajdonságnak a LakehouseRead Gépház értékre kell állítania.	Igen
Keresse meg a másolandó fájlokat:
1. LEHETŐSÉG: statikus elérési út	Másolja az adathalmazban megadott mappából/fájl elérési útból. Ha az összes fájlt egy mappából szeretné másolni, adja meg `wildcardFileName` a következőt `*`is: .
2. LEHETŐSÉG: helyettesítő karakter - helyettesítő karakterekFolderPath	A mappa elérési útja helyettesítő karakterekkel a forrásmappák szűréséhez. Az engedélyezett helyettesítő karakterek a következők: `*` (nulla vagy több karakternek felel meg) és `?` (nulla vagy egyetlen karakternek felel meg); akkor használható `^` a feloldáshoz, ha a mappa tényleges neve helyettesítő karaktert tartalmaz, vagy ez a feloldó karakter található benne. További példák a mappa- és fájlszűrő példákban.	Nem
2. LEHETŐSÉG: helyettesítő karakter - wildcardFileName	A forrásfájlok szűréséhez használt fájlnév helyettesítő karaktereket tartalmaz az adott mappaPath/helyettesítő karaktermappájában. Az engedélyezett helyettesítő karakterek a következők: `*` (nulla vagy több karakternek felel meg) és `?` (nulla vagy egyetlen karakternek felel meg); akkor használható `^` a feloldásra, ha a tényleges fájlnév helyettesítő karaktert tartalmaz, vagy ez a feloldó karakter található benne. További példák a mappa- és fájlszűrő példákban.	Igen
3. LEHETŐSÉG: a fájlok listája - fileListPath	Egy adott fájlkészlet másolását jelzi. Mutasson egy szövegfájlra, amely tartalmazza a másolandó fájlok listáját, soronként egy fájlt, amely az adathalmazban konfigurált elérési út relatív elérési útja. Ha ezt a lehetőséget használja, ne adjon meg fájlnevet az adathalmazban. További példák a Fájllista példákban.	Nem
További beállítások:
Rekurzív	Azt jelzi, hogy az adatok rekurzív módon vannak-e beolvasva az almappákból vagy csak a megadott mappából. Ha a rekurzív érték igaz, és a fogadó fájlalapú tároló, a rendszer nem másol vagy hoz létre üres mappát vagy almappát a fogadóban. Az engedélyezett értékek értéke igaz (alapértelmezett) és hamis. Ez a tulajdonság nem érvényes a konfiguráláskor `fileListPath`.	Nem
deleteFilesAfterCompletion	Azt jelzi, hogy a bináris fájlok törölve lesznek-e a forrástárból a céltárolóba való sikeres áthelyezés után. A fájltörlés fájlonként történik, ezért ha a másolási tevékenység meghiúsul, láthatja, hogy egyes fájlok már át lettek másolva a célhelyre, és törölve lettek a forrásból, míg mások továbbra is a forrástárban maradnak. Ez a tulajdonság csak bináris fájlok másolási forgatókönyvében érvényes. Az alapértelmezett érték: hamis.	Nem
modifiedDatetimeStart	A fájlok szűrése a következő attribútum alapján történik: Utolsó módosítás. A fájlok akkor lesznek kijelölve, ha az utolsó módosításuk időpontja nagyobb vagy egyenlő, `modifiedDatetimeStart` mint `modifiedDatetimeEnd`a . Az idő az UTC időzónára "2018-12-01T05:00:00Z" formátumban lesz alkalmazva. A tulajdonságok null értékűek lehetnek, ami azt jelenti, hogy az adathalmazra nincs fájlattribútum-szűrő alkalmazva. Ha `modifiedDatetimeStart` dátum/idő érték van megadva, de `modifiedDatetimeEnd` NULL, az azt jelenti, hogy a program kijelöli azokat a fájlokat, amelyek utolsó módosított attribútuma nagyobb vagy egyenlő a datetime értékkel. Ha `modifiedDatetimeEnd` dátum/idő érték van megadva, de `modifiedDatetimeStart` NULL, az azt jelenti, hogy azok a fájlok lesznek kiválasztva, amelyeknek az utolsó módosított attribútuma kisebb, mint a datetime érték. Ez a tulajdonság nem érvényes a konfiguráláskor `fileListPath`.	Nem
modifiedDatetimeEnd	Lásd fentebb.	Nem
enablePartitionDiscovery	A particionált fájlok esetében adja meg, hogy elemezni szeretné-e a partíciókat a fájl elérési útján, és hozzáadja-e őket egy másik forrásoszlopként. Az engedélyezett értékek hamisak (alapértelmezett) és igazak.	Nem
partitionRootPath	Ha a partíciófelderítés engedélyezve van, adja meg az abszolút gyökér elérési utat a particionált mappák adatoszlopként való olvasásához. Ha nincs megadva, alapértelmezés szerint – Ha fájlelérési utat használ az adathalmazban vagy a forrásban lévő fájlok listájában, a partíció gyökérútvonala az adathalmazban konfigurált elérési út. – Helyettesítő karakteres mappaszűrő használata esetén a partíció gyökérútvonala az első helyettesítő karakter előtti alútvonal. Tegyük fel például, hogy az adathalmaz elérési útját "root/folder/year=2020/month=08/day=27" értékre konfigurálja: - Ha a partíció gyökér elérési útját "root/folder/year=2020" értékként adja meg, a másolási tevékenység két további oszlopot `month` hoz létre, és `day` a fájlokon belüli oszlopok mellett a "08" és a "27" értéket is tartalmazza. – Ha nincs megadva a partíció gyökérútvonala, a rendszer nem hoz létre további oszlopot.	Nem
maxConcurrent Csatlakozás ions	Az adattárhoz a tevékenység futtatása során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat.	Nem

Példa:

"activities": [
    {
        "name": "CopyFromLakehouseFiles",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "storeSettings": {
                    "type": "LakehouseReadSettings",
                    "recursive": true,
                    "enablePartitionDiscovery": false
                },
                "formatSettings": {
                    "type": "DelimitedTextReadSettings"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Microsoft Fabric Lakehouse Files fogadótípusként

A Microsoft Fabric Lakehouse-összekötő a következő fájlformátumokat támogatja. A formátumalapú beállításokat az egyes cikkekben találja.

A Microsoft Fabric Lakehouse Files adatkészlet használatakor a formátumalapú másolási fogadó beállításai között storeSettings az alábbi tulajdonságok találhatók:

Tulajdonság	Leírás	Kötelező
típus	Az alatta lévő `storeSettings` típustulajdonságnak a LakehouseWrite Gépház értékre kell állítania.	Igen
copyBehavior	Meghatározza a másolási viselkedést, ha a forrás fájlalapú adattárból származó fájlok. Az engedélyezett értékek a következők: - PreserveHierarchy (alapértelmezett): Megőrzi a fájlhierarchiát a célmappában. A forrásfájlnak a forrásmappához viszonyított elérési útja megegyezik a célfájl célmappához viszonyított elérési útával. - FlattenHierarchy: A forrásmappából származó összes fájl a célmappa első szintjén található. A célfájlok automatikusan létrehozott névvel rendelkeznek. - MergeFiles: A forrásmappából származó összes fájlt egyetlen fájlba egyesíti. Ha a fájlnév meg van adva, az egyesített fájlnév a megadott név. Ellenkező esetben ez egy automatikusan létrehozott fájlnév.	Nem
blockSizeInMB	Adja meg az adatok Microsoft Fabric Lakehouse-ba való írásához használt MB-ban megadott blokkméretet. További információ a blokkblobokról. Az engedélyezett érték 4 MB és 100 MB között van. Alapértelmezés szerint az ADF automatikusan meghatározza a blokk méretét a forrástár típusa és adatai alapján. A Microsoft Fabric Lakehouse-ba való nem kötéses másolás esetén az alapértelmezett blokkméret 100 MB, hogy legfeljebb 4,75 TB-os adatokba férjen el. Előfordulhat, hogy nem optimális, ha az adatok nem nagyok, különösen akkor, ha önkiszolgáló integrációs modult használ gyenge hálózattal, ami működési időtúllépést vagy teljesítményproblémát eredményez. Explicit módon megadhatja a blokkméretet, miközben biztosíthatja, hogy a blockSizeInMB*50000 elég nagy legyen az adatok tárolásához, ellenkező esetben a másolási tevékenység futtatása meghiúsul.	Nem
maxConcurrent Csatlakozás ions	Az adattárhoz a tevékenység futtatása során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat.	Nem
metaadatok	Egyéni metaadatok beállítása fogadóba másoláskor. A tömb alatti `metadata` objektumok egy további oszlopot jelölnek. Ez `name` határozza meg a metaadatkulcs nevét, és a `value` kulcs adatértékét. Ha az attribútumok megőrzése funkciót használja, a megadott metaadatok egyesülnek/felülírják a forrásfájl metaadatait. Az engedélyezett adatértékek a következők: - `$$LASTMODIFIED`: a fenntartott változó azt jelzi, hogy a forrásfájlok utolsó módosítási ideje tárolható. Csak bináris formátumú fájlalapú forrásra alkalmazható. -Kifejezés - Statikus érték	Nem

Példa:

"activities": [
    {
        "name": "CopyToLakehouseFiles",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings": {
                    "type": "LakehouseWriteSettings",
                    "copyBehavior": "PreserveHierarchy",
                    "metadata": [
                        {
                            "name": "testKey1",
                            "value": "value1"
                        },
                        {
                            "name": "testKey2",
                            "value": "value2"
                        }
                    ]
                },
                "formatSettings": {
                    "type": "ParquetWriteSettings"
                }
            }
        }
    }
]

Mappa- és fájlszűrő példák

Ez a szakasz a mappa elérési útjának és a fájlnévnek helyettesítő karaktereket tartalmazó viselkedését ismerteti.

folderPath	fileName	Rekurzív	A forrásmappa struktúrája és a szűrés eredménye (a félkövér fájlokat a rendszer lekéri)
`Folder*`	(Üres, alapértelmezett beállítás)	false	FolderA File1.csv File2.json Almappák1 File3.csv File4.json File5.csv MásikFolderB File6.csv
`Folder*`	(Üres, alapértelmezett beállítás)	true	FolderA File1.csv File2.json Almappák1 File3.csv File4.json File5.csv MásikFolderB File6.csv
`Folder*`	`*.csv`	false	FolderA File1.csv File2.json Almappák1 File3.csv File4.json File5.csv MásikFolderB File6.csv
`Folder*`	`*.csv`	true	FolderA File1.csv File2.json Almappák1 File3.csv File4.json File5.csv MásikFolderB File6.csv

Példák fájllistára

Ez a szakasz a fájllista elérési útjának másolási tevékenység forrásában való használatát ismerteti.

Feltéve, hogy a következő forrásmappa-struktúrával rendelkezik, és félkövér formátumban szeretné másolni a fájlokat:

Minta forrásstruktúra	Tartalom a FileListToCopy.txt	ADF-konfiguráció
fájlrendszer FolderA File1.csv File2.json Almappák1 File3.csv File4.json File5.csv Metaadatok FileListToCopy.txt	File1.csv Almappák1/File3.csv Almappák1/File5.csv	Adatkészletben: - Mappa elérési útja: `FolderA` Másolási tevékenység forrása: - Fájllista elérési útja: `Metadata/FileListToCopy.txt` A fájllista elérési útja egy szövegfájlra mutat ugyanabban az adattárban, amely tartalmazza a másolni kívánt fájlok listáját, soronként egy fájlt az adathalmazban konfigurált elérési út relatív elérési útjával.

Néhány rekurzív és copyBehavior példa

Ez a szakasz a másolási művelet eredményül kapott viselkedését ismerteti a rekurzív és a copyBehavior értékek különböző kombinációihoz.

Rekurzív	copyBehavior	Forrásmappa-struktúra	Eredményként kapott cél
true	preserveHierarchy	Mappa1 Fájl1 Fájl2 Almappák1 Fájl3 Fájl4 Fájl5	A célmappa1 ugyanazzal a struktúrával jön létre, mint a forrás: Mappa1 Fájl1 Fájl2 Almappák1 Fájl3 Fájl4 Fájl5
true	flattenHierarchy	Mappa1 Fájl1 Fájl2 Almappák1 Fájl3 Fájl4 Fájl5	A célmappa1 a következő struktúrával jön létre: Mappa1 a Fájl1 automatikusan létrehozott neve a Fájl2 automatikusan létrehozott neve a Fájl3 automatikusan létrehozott neve a Fájl4 automatikusan létrehozott neve a Fájl5 automatikusan létrehozott neve
true	mergeFiles	Mappa1 Fájl1 Fájl2 Almappák1 Fájl3 Fájl4 Fájl5	A célmappa1 a következő struktúrával jön létre: Mappa1 File1 + File2 + File3 + File4 + File5 tartalom egyesítése egy fájlba egy automatikusan létrehozott fájlnévvel.
false	preserveHierarchy	Mappa1 Fájl1 Fájl2 Almappák1 Fájl3 Fájl4 Fájl5	A célmappa1 a következő struktúrával jön létre: Mappa1 Fájl1 Fájl2 A Fájl3, a File4 és a File5 almappája nem lesz felvéve.
false	flattenHierarchy	Mappa1 Fájl1 Fájl2 Almappák1 Fájl3 Fájl4 Fájl5	A célmappa1 a következő struktúrával jön létre: Mappa1 a Fájl1 automatikusan létrehozott neve a Fájl2 automatikusan létrehozott neve A Fájl3, a File4 és a File5 almappája nem lesz felvéve.
false	mergeFiles	Mappa1 Fájl1 Fájl2 Almappák1 Fájl3 Fájl4 Fájl5	A célmappa1 a következő struktúrával jön létre: Mappa1 Az 1. és a 2. fájl tartalma egy automatikusan létrehozott fájlnévvel rendelkező fájlba egyesül. a Fájl1 automatikusan létrehozott neve A Fájl3, a File4 és a File5 almappája nem lesz felvéve.

Microsoft Fabric Lakehouse table in Copy tevékenység

Ha a Microsoft Fabric Lakehouse Table adatkészletet forrás- vagy fogadóadatkészletként szeretné használni Copy tevékenység, a részletes konfigurációkért tekintse meg a következő szakaszokat.

Microsoft Fabric Lakehouse table mint forrástípus

Ha adatokat szeretne másolni a Microsoft Fabric Lakehouse-ból a Microsoft Fabric Lakehouse Table adatkészlettel, állítsa a Copy tevékenység forrás típustulajdonságát a LakehouseTableSource-ra. A Copy tevékenység forrásszakasz a következő tulajdonságokat támogatja:

Tulajdonság	Leírás	Kötelező
típus	A Másolási tevékenység forrás típustulajdonságának a LakehouseTableSource értékre kell állítania.	Igen
timestampAsOf	Egy régebbi pillanatkép lekérdezésének időbélyege.	Nem
versionAsOf	A régebbi pillanatkép lekérdezésére szolgáló verzió.	Nem

Példa:

"activities":[
    {
        "name": "CopyFromLakehouseTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft Fabric Lakehouse Table input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "LakehouseTableSource",
                "timestampAsOf": "2023-09-23T00:00:00.000Z",
                "versionAsOf": 2
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Microsoft Fabric Lakehouse Table mint fogadótípus

Ha adatokat szeretne átmásolni a Microsoft Fabric Lakehouse-ba a Microsoft Fabric Lakehouse Tábla adatkészlettel, állítsa a Tevékenység másolása fogadó típustulajdonságát LakehouseTableSink értékre. Az Copy tevékenység fogadó szakaszban a következő tulajdonságok támogatottak:

Tulajdonság	Leírás	Kötelező
típus	A másolási tevékenység forrásának típustulajdonságát LakehouseTableSink értékre kell állítani.	Igen

Feljegyzés

Az adatok alapértelmezés szerint v-order formátumban vannak megírva a Lakehouse-táblába. További információ: Delta Lake table optimization and V-Order.

Példa:

"activities":[
    {
        "name": "CopyToLakehouseTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Microsoft Fabric Lakehouse Table output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "LakehouseTableSink",
                "tableActionOption ": "Append"
            }
        }
    }
]

Adatfolyam-tulajdonságok leképezése

A leképezési adatfolyam adatainak átalakításakor a Microsoft Fabric Lakehouse-ban olvashat és írhat fájlokat vagy táblákat. Részletekért tekintse meg a megfelelő szakaszokat.

Microsoft Fabric Lakehouse Files az adatfolyam leképezésében
Microsoft Fabric Lakehouse table in mapping data flow

További információkért tekintse meg a forrásátalakítást és a fogadóátalakítást a leképezési adatfolyamokban.

Microsoft Fabric Lakehouse Files az adatfolyam leképezésében

Ha a Microsoft Fabric Lakehouse Files adathalmazt forrás- vagy fogadóadatkészletként szeretné használni a leképezési adatfolyamban, a részletes konfigurációkért tekintse meg a következő szakaszokat.

Microsoft Fabric Lakehouse Files mint forrás- vagy fogadótípus

A Microsoft Fabric Lakehouse-összekötő a következő fájlformátumokat támogatja. A formátumalapú beállításokat az egyes cikkekben találja.

Ha a Fabric Lakehouse fájlalapú összekötőt beágyazott adathalmaz-típusban szeretné használni, ki kell választania az adatoknak megfelelő beágyazott adatkészlettípust. Az adatformátumtól függően használhatja a DelimitedText, az Avro, a JSON, az ORC vagy a Parquet függvényt.

Microsoft Fabric Lakehouse table in mapping data flow

Ha forrás- vagy fogadóadatkészletként szeretné használni a Microsoft Fabric Lakehouse Table adathalmazt a leképezési adatfolyamban, a részletes konfigurációkért tekintse meg a következő szakaszokat.

Microsoft Fabric Lakehouse table mint forrástípus

A forrásbeállítások között nincsenek konfigurálható tulajdonságok.

Feljegyzés

A Lakehouse táblaforrás CDC-támogatása jelenleg nem érhető el.

Microsoft Fabric Lakehouse Table mint fogadótípus

A Leképezési Adatfolyam fogadó szakasz a következő tulajdonságokat támogatja:

Név	Leírás	Kötelező	Megengedett értékek	Adatfolyam-szkript tulajdonság
Frissítési módszer	Ha a "Beszúrás engedélyezése" lehetőséget választja, vagy amikor új deltatáblába ír, a cél az összes bejövő sort megkapja a sorszabályzatoktól függetlenül. Ha az adatok más sorszabályzatok sorait tartalmazzák, azokat ki kell zárni egy korábbi szűrőátalakítással. Amikor az összes frissítési módszer ki van választva, a rendszer egyesítést hajt végre, ahol a sorok beszúrása/törlése/feltöltése/frissítése a sorszabályzatoknak megfelelően történik az előző Alter Row átalakítással.	igen	`true` vagy `false`	beszúrható törölhető upsertable Frissíthető
Optimalizált írás	A Spark-végrehajtók belső shuffle-jának optimalizálásával nagyobb átviteli sebességet érhet el az írási műveletekhez. Ennek eredményeképpen kevesebb partíció és fájl jelenhet meg, amelyek nagyobb méretűek	nem	`true` vagy `false`	optimizedWrite: true
Automatikus tömörítés	Miután az írási művelet befejeződött, a Spark automatikusan végrehajtja a parancsot az `OPTIMIZE` adatok átrendezéséhez, ami szükség esetén több partíciót eredményez a jobb olvasási teljesítmény érdekében a jövőben	nem	`true` vagy `false`	automatikus kiegészítés: igaz
Séma egyesítése	Az egyesítési séma beállítás lehetővé teszi a sémafejlődést, vagyis a rendszer automatikusan hozzáadja a sémához az aktuális bejövő adatfolyamban található, de a cél Delta táblában nem szereplő oszlopokat. Ez a beállítás minden frissítési módszerben támogatott.	nem	`true` vagy `false`	mergeSchema: true

Példa: Microsoft Fabric Lakehouse table sink

sink(allowSchemaDrift: true, 
    validateSchema: false, 
    input( 
        CustomerID as string,
        NameStyle as string, 
        Title as string, 
        FirstName as string, 
        MiddleName as string,
        LastName as string, 
        Suffix as string, 
        CompanyName as string,
        SalesPerson as string, 
        EmailAddress as string, 
        Phone as string, 
        PasswordHash as string, 
        PasswordSalt as string, 
        rowguid as string, 
        ModifiedDate as string 
    ), 
    deletable:false, 
    insertable:true, 
    updateable:false, 
    upsertable:false, 
    optimizedWrite: true, 
    mergeSchema: true, 
    autoCompact: true, 
    skipDuplicateMapInputs: true, 
    skipDuplicateMapOutputs: true) ~> CustomerTable

A Fabric Lakehouse táblaalapú összekötőhöz beágyazott adathalmaztípusban csak a Delta adathalmaztípust kell használnia. Ez lehetővé teszi adatok olvasását és írását Fabric Lakehouse-táblákból.

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

GetMetadata tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez ellenőrizze a GetMetadata-tevékenységet

Tevékenységtulajdonságok törlése

A tulajdonságok részleteinek megismeréséhez ellenőrizze a Törlési tevékenységet

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját lásd : Támogatott adattárak.

Adatok másolása és átalakítása a Microsoft Fabric Lakehouse-ban az Azure Data Factory vagy az Azure Synapse Analytics használatával

Támogatott képességek

Első lépések

Microsoft Fabric Lakehouse társított szolgáltatás létrehozása felhasználói felületen

Csatlakozás or konfigurációjának részletei

Társított szolgáltatás tulajdonságai

Egyszerű szolgáltatás hitelesítése

Adathalmaz tulajdonságai

Microsoft Fabric Lakehouse Files-adatkészlet

Microsoft Fabric Lakehouse table dataset

Másolási tevékenység tulajdonságai

Microsoft Fabric Lakehouse Files a Copy tevékenység

Microsoft Fabric Lakehouse Files forrástípusként

Microsoft Fabric Lakehouse Files fogadótípusként

Mappa- és fájlszűrő példák

Példák fájllistára

Néhány rekurzív és copyBehavior példa

Microsoft Fabric Lakehouse table in Copy tevékenység

Microsoft Fabric Lakehouse table mint forrástípus

Microsoft Fabric Lakehouse Table mint fogadótípus

Adatfolyam-tulajdonságok leképezése

Microsoft Fabric Lakehouse Files az adatfolyam leképezésében

Microsoft Fabric Lakehouse Files mint forrás- vagy fogadótípus

Microsoft Fabric Lakehouse table in mapping data flow

Microsoft Fabric Lakehouse table mint forrástípus

Microsoft Fabric Lakehouse Table mint fogadótípus

Keresési tevékenység tulajdonságai

GetMetadata tevékenység tulajdonságai

Tevékenységtulajdonságok törlése

Kapcsolódó tartalom

További források