Adatok másolása fájlrendszerbe vagy fájlrendszerből Azure Data Factory vagy Azure Synapse Analytics használatával

  • Cikk
  • 16 perc alatt elolvasható

A KÖVETKEZŐKRE VONATKOZIK: Azure Data Factory Azure Synapse Analytics

Ez a cikk azt ismerteti, hogyan másolhat adatokat a fájlrendszerbe és a fájlrendszerből. További információért olvassa el a Azure Data Factory vagy Azure Synapse Analytics bevezető cikkét.

Támogatott képességek

Ez a fájlrendszer-összekötő a következő tevékenységekhez támogatott:

Ez a fájlrendszer-összekötő a következőket támogatja:

  • Fájlok másolása helyi gépről vagy hálózati fájlmegosztásra. Linux-fájlmegosztás használatához telepítse a Samba-t a Linux-kiszolgálóra.
  • Fájlok másolása Windows hitelesítéssel.
  • Fájlok másolása meglévő formátumban, illetve fájlok elemzése/generálása a támogatott fájlformátumokkal és tömörítési kodekkel.

Megjegyzés

A leképezett hálózati meghajtó nem támogatott, ha adatokat tölt be egy hálózati fájlmegosztásból. Használja inkább a tényleges elérési utat, például: \\server\share.

Előfeltételek

Ha az adattár egy helyszíni hálózaton, egy Azure-beli virtuális hálózaton vagy az Amazon Virtual Private Cloudban található, konfigurálnia kell egy saját üzemeltetésű integrációs modult a csatlakozáshoz.

Ha az adattár felügyelt felhőalapú adatszolgáltatás, használhatja az Azure Integration Runtime. Ha a hozzáférés a tűzfalszabályokban jóváhagyott IP-címekre korlátozódik, felveheti az Azure Integration Runtime IP-címeket az engedélyezési listára.

Az Azure Data Factory felügyelt virtuális hálózati integrációs modul funkciójával is hozzáférhet a helyszíni hálózathoz anélkül, hogy saját üzemeltetésű integrációs modult telepítene és konfigurálna.

A Data Factory által támogatott hálózati biztonsági mechanizmusokkal és lehetőségekkel kapcsolatos további információkért lásd az adathozzáférési stratégiákat.

Első lépések

A Copy tevékenység folyamattal való végrehajtásához az alábbi eszközök vagy SDK-k egyikét használhatja:

Fájlrendszerhez társított szolgáltatás létrehozása felhasználói felületen

Az alábbi lépésekkel hozhat létre fájlrendszerhez társított szolgáltatást a Azure Portal felhasználói felületén.

  1. Tallózással lépjen a Azure Data Factory vagy Synapse-munkaterület Kezelés lapjára, válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:

  2. Keressen rá a fájlra, és válassza ki a fájlrendszer-összekötőt.

    Screenshot of the File System connector.

  3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

    Screenshot of configuration for File System linked service.

Összekötő konfigurációjának részletei

A következő szakaszok a Data Factory és a Synapse-folyamat fájlrendszerre jellemző entitásainak meghatározásához használt tulajdonságokat ismertetik.

Társított szolgáltatás tulajdonságai

A fájlrendszerhez társított szolgáltatás esetében a következő tulajdonságok támogatottak:

Tulajdonság Leírás Kötelező
típus A típustulajdonságnak a következőre kell állítania: FileServer. Yes
gazda Megadja a másolni kívánt mappa gyökérútvonalát. Használja a "" feloldó karaktert a sztring speciális karaktereihez. Példákért tekintse meg a társított szolgáltatás mintáját és az adathalmaz-definíciókat . Yes
userId Adja meg a kiszolgálóhoz hozzáféréssel rendelkező felhasználó azonosítóját. Yes
jelszó Adja meg a felhasználó jelszavát (userId). Jelölje meg ezt a mezőt SecureString-ként, hogy biztonságosan tárolja, vagy hivatkozzon egy Azure-Key Vault tárolt titkos kódra. Yes
connectVia Az adattárhoz való csatlakozáshoz használandó Integration Runtime. További információ az Előfeltételek szakaszból. Ha nincs megadva, az alapértelmezett Azure-Integration Runtime használja. No

Társított szolgáltatás és adathalmaz definícióinak mintája

Eset "gazdagép" a társított szolgáltatás definíciójában "folderPath" az adathalmaz definíciójában
Helyi mappa Integration Runtime számítógépen:

Példák: D:\* vagy D:\folder\subfolder\*		 JSON-ban: D:\\
Felhasználói felületen: D:\		 JSON-ban: .\\ vagy folder\\subfolder
A felhasználói felületen: .\ vagy folder\subfolder
Távoli megosztott mappa:

Példák: \\myserver\share\* vagy \\myserver\share\folder\subfolder\*		 JSON-ban: \\\\myserver\\share
Felhasználói felületen: \\myserver\share		 JSON-ban: .\\ vagy folder\\subfolder
A felhasználói felületen: .\ vagy folder\subfolder

Megjegyzés

A felhasználói felületen történő létrehozáskor nem kell dupla fordított perjelet (\\) megadnia ahhoz, hogy feloldódjon, mint a JSON-fájlban, egyetlen fordított perjelet kell megadnia.

Példa

{
    "name": "FileLinkedService",
    "properties": {
        "type": "FileServer",
        "typeProperties": {
            "host": "<host>",
            "userId": "<domain>\\<user>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adatkészlet tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című cikkben találja.

Azure Data Factory a következő fájlformátumokat támogatja. A formátumalapú beállításokról az egyes cikkekben talál további információt.

A fájlrendszer a következő tulajdonságokat támogatja a formátumalapú adathalmaz beállításainál location :

Tulajdonság Leírás Kötelező
típus Az adathalmaz típustulajdonságának locationFileServerLocation értékre kell állítania. Yes
folderPath A mappa elérési útja. Ha helyettesítő karaktert szeretne használni a mappa szűréséhez, hagyja ki ezt a beállítást, és adja meg a tevékenység forrásbeállításaiban. Vegye figyelembe, hogy a megosztási mappa megosztásához be kell állítania a fájlmegosztás helyét a Windows vagy Linux-környezetben. No
fileName A megadott folderPath alatti fájlnév. Ha helyettesítő karaktert szeretne használni a fájlok szűréséhez, hagyja ki ezt a beállítást, és adja meg a tevékenység forrásbeállításaiban. No

Példa

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<File system linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "FileServerLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz a fájlrendszerforrás és -fogadó által támogatott tulajdonságok listáját tartalmazza.

Fájlrendszer mint forrás

Azure Data Factory a következő fájlformátumokat támogatja. A formátumalapú beállításokról az egyes cikkekben talál további információt.

A fájlrendszerben a következő tulajdonságok támogatottak a formátumalapú másolási forrás beállításainál storeSettings :

Tulajdonság Leírás Kötelező
típus Az alábbi storeSettings típustulajdonságnak FileServerReadSettings értékre kell állítania. Yes
Keresse meg a másolni kívánt fájlokat:
1. LEHETŐSÉG: statikus elérési út
 Másolja a vágólapra az adathalmazban megadott mappa/fájl elérési útját. Ha az összes fájlt egy mappából szeretné másolni, adja meg wildcardFileName*azt is.
2. LEHETŐSÉG: kiszolgálóoldali szűrő
- fileFilter		 Fájlkiszolgálói oldali natív szűrő, amely jobb teljesítményt nyújt, mint az OPTION 3 helyettesítő karakteres szűrő. Nulla vagy több karakter egyeztetésére, valamint ? nulla vagy egyetlen karakter egyeztetésére használható*. Az ebben a szakaszban található megjegyzések szintaxisával és megjegyzéseivel kapcsolatos további információk. No
3. LEHETŐSÉG: ügyféloldali szűrő
- helyettesítő karakterFolderPath		 A mappa elérési útja helyettesítő karakterekkel a forrásmappák szűréséhez. Az ilyen szűrő a szolgáltatáson belül történik, amely számba adja az adott elérési út alatt található mappákat/fájlokat, majd alkalmazza a helyettesítő karakteres szűrőt.
Az engedélyezett helyettesítő karakterek a következők: * (nulla vagy több karakternek felel meg) és ? (nulla vagy egyetlen karakternek felel meg); feloldó ^ karakter, ha a mappa tényleges neve helyettesítő karaktert tartalmaz, vagy ez a feloldókarakterek vannak benne.
További példákat a mappa- és fájlszűrő példákban talál.		 No
3. LEHETŐSÉG: ügyféloldali szűrő
- wildcardFileName		 A forrásfájlok szűréséhez az adott folderPath/wildcardFolderPath mappában helyettesítő karaktereket tartalmazó fájlnév. Az ilyen szűrő a szolgáltatáson belül történik, amely számba adja az adott elérési út alatt található fájlokat, majd alkalmazza a helyettesítő karakteres szűrőt.
Az engedélyezett helyettesítő karakterek a következők: * (nulla vagy több karakternek felel meg) és ? (nulla vagy egyetlen karakternek felel meg); feloldó ^ karakter, ha a tényleges fájlnév helyettesítő karaktert tartalmaz, vagy ez a feloldókarakterek vannak benne.
További példákat a mappa- és fájlszűrő példákban talál.		 Yes
3. LEHETŐSÉG: fájlok listája
- fileListPath		 Egy adott fájlkészlet másolását jelzi. Mutasson egy szövegfájlra, amely tartalmazza a másolni kívánt fájlok listáját, soronként egy fájlt, amely az adathalmazban konfigurált elérési út relatív elérési útja.
Ha ezt a beállítást használja, ne adjon meg fájlnevet az adathalmazban. További példákat a Fájllista példákban talál.		 No
További beállítások:
Rekurzív Azt jelzi, hogy az adatok rekurzív módon vannak-e beolvasva az almappákból vagy csak a megadott mappából. Vegye figyelembe, hogy ha a rekurzív értéke igaz, és a fogadó fájlalapú tároló, akkor a fogadóban nem másol vagy hoz létre üres mappát vagy almappát.
Az engedélyezett értékek igaz (alapértelmezett) és hamisak.
Ez a tulajdonság nem érvényes a konfiguráláskor fileListPath.		 No
deleteFilesAfterCompletion Azt jelzi, hogy a bináris fájlok törölve lesznek-e a forrástárból a céltárolóba való sikeres áthelyezés után. A fájltörlés fájlonként történik, így ha a másolási tevékenység meghiúsul, látni fogja, hogy egyes fájlok már át lettek másolva a célhelyre, és törölve lettek a forrásból, míg mások továbbra is a forrástárban maradnak.
Ez a tulajdonság csak bináris fájlok másolási forgatókönyvében érvényes. Az alapértelmezett érték: hamis.		 No
modifiedDatetimeStart A fájlok a következő attribútum alapján szűrnek: Utoljára módosítva.
A fájlok akkor lesznek kiválasztva, ha az utolsó módosításuk időpontja nagyobb vagy egyenlő modifiedDatetimeStart , mint és kisebb, mint modifiedDatetimeEnd. Az idő az UTC időzónára lesz alkalmazva a következő formátumban: "2018-12-01T05:00:00Z".
A tulajdonságok null értékűek lehetnek, ami azt jelenti, hogy az adathalmazra nem lesz alkalmazva fájlattribútum-szűrő. Ha modifiedDatetimeStart a dátum/idő érték modifiedDatetimeEnd null értékű, az azt jelenti, hogy azok a fájlok lesznek kiválasztva, amelyek utoljára módosított attribútuma nagyobb vagy egyenlő a datetime értékkel. Ha modifiedDatetimeEnd dátum/idő érték van megadva, de modifiedDatetimeStart null értékű, akkor a program azokat a fájlokat jelöli ki, amelyek utoljára módosított attribútuma kisebb, mint a datetime érték.
Ez a tulajdonság nem érvényes a konfiguráláskor fileListPath.		 No
modifiedDatetimeEnd Lásd fentebb. No
enablePartitionDiscovery Particionált fájlok esetén adja meg, hogy a partíciókat elemezni szeretné-e a fájl elérési útjából, és adja hozzá őket további forrásoszlopokként.
Az engedélyezett értékek hamisak (alapértelmezett) és igazak.		 No
partitionRootPath Ha a partíciófelderítés engedélyezve van, adja meg az abszolút gyökérelérési utat a particionált mappák adatoszlopként való olvasásához.

Ha nincs megadva, alapértelmezés szerint
– Ha fájlelérési utat használ az adathalmazban vagy a forrásban lévő fájlok listájában, a partíció gyökérútvonala az adathalmazban konfigurált elérési út.
– Helyettesítő karakteres mappaszűrő használatakor a partíció gyökérútvonala az első helyettesítő karakter előtti alútvonal.

Tegyük fel például, hogy az adathalmaz elérési útját a következőképpen konfigurálja: "root/folder/year=2020/month=08/day=27":
- Ha a partíció gyökérútvonalát "root/folder/year=2020" értékként adja meg, a másolási tevékenység két további oszlopot monthday hoz létre, és a fájlokon belüli oszlopok mellett a "08" és a "27" értéket is megadja.
– Ha a partíció gyökérútvonala nincs megadva, nem jön létre további oszlop.		 No
maxConcurrentConnections Az adattárhoz a tevékenységfuttatás során létesített egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat. No

Példa

"activities":[
    {
        "name": "CopyFromFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "FileServerReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Fájlrendszer fogadóként

Azure Data Factory a következő fájlformátumokat támogatja. A formátumalapú beállításokról az egyes cikkekben talál további információt.

A fájlrendszerben a következő tulajdonságok támogatottak a formátumalapú másolási fogadó beállításainál storeSettings :

Tulajdonság Leírás Kötelező
típus Az alábbi storeSettings típustulajdonságnak FileServerWriteSettings értékre kell állítania. Yes
copyBehavior Meghatározza a másolási viselkedést, ha a forrás fájlalapú adattárból származó fájlok.

Az engedélyezett értékek a következők:
- PreserveHierarchy (alapértelmezett): Megőrzi a fájlhierarchiát a célmappában. A forrásfájl és a forrásmappa relatív elérési útja megegyezik a célfájl és a célmappa relatív elérési útjának elérési útjára vonatkozóval.
- FlattenHierarchy: A forrásmappa összes fájlja a célmappa első szintjén található. A célfájlok neve automatikusan létre lett hozva.
- MergeFiles: A forrásmappából származó összes fájlt egyetlen fájlba egyesíti. Ha a fájlnév meg van adva, az egyesített fájlnév a megadott név. Ellenkező esetben ez egy automatikusan létrehozott fájlnév.		 No
maxConcurrentConnections Az adattárhoz a tevékenységfuttatás során létesített egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat. No

Példa

"activities":[
    {
        "name": "CopyToFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings":{
                    "type": "FileServerWriteSettings",
                    "copyBehavior": "PreserveHierarchy"
                }
            }
        }
    }
]

Példák mappa- és fájlszűrőre

Ez a szakasz a mappa elérési útjának és a fájlnévnek a helyettesítő karakterekkel történő viselkedését ismerteti.

folderPath fileName Rekurzív A forrásmappa struktúrája és a szűrés eredménye (a félkövér betűvel szedett fájlok lekérése)
Folder* (üres, használja az alapértelmezettet) hamis FolderA
    File1.csv
    File2.json
    Almappák1
        File3.csv
        File4.json
        File5.csv
AnotherFolderB
    File6.csv
Folder* (üres, használja az alapértelmezettet) true FolderA
    File1.csv
    File2.json
    Almappák1
        File3.csv
        File4.json
        File5.csv
AnotherFolderB
    File6.csv
Folder* *.csv hamis FolderA
    File1.csv
    File2.json
    Almappák1
        File3.csv
        File4.json
        File5.csv
AnotherFolderB
    File6.csv
Folder* *.csv true FolderA
    File1.csv
    File2.json
    Almappák1
        File3.csv
        File4.json
        File5.csv
AnotherFolderB
    File6.csv

Példák fájllistára

Ez a szakasz a fájllista elérési útjának másolási tevékenységforrásban való használatát ismerteti.

Feltéve, hogy a következő forrásmappa-struktúrával rendelkezik, és félkövérre szeretné másolni a fájlokat:

Minta forrásstruktúra A FileListToCopy.txt tartalma Folyamatkonfiguráció
Gyökér
    FolderA
        File1.csv
        File2.json
        Almappák1
            File3.csv
            File4.json
            File5.csv
    Metaadatok
        FileListToCopy.txt		 File1.csv
Almappák1/File3.csv
Almappák1/File5.csv		 Adatkészletben:
- Mappa elérési útja: root/FolderA

Másolási tevékenység forrása:
- Fájllista elérési útja: root/Metadata/FileListToCopy.txt

A fájllista elérési útja egy szövegfájlra mutat ugyanabban az adattárban, amely tartalmazza a másolni kívánt fájlok listáját, soronként egy fájlt az adathalmazban konfigurált elérési út relatív elérési útjával.

rekurzív és copyBehavior példák

Ez a szakasz a másolási művelet eredő viselkedését ismerteti a rekurzív és a copyBehavior értékek különböző kombinációi esetében.

Rekurzív copyBehavior Forrásmappa-struktúra Eredményként kapott cél
true preserveHierarchy Mappa1
    Fájl1
    Fájl2
    Almappák1
        Fájl3
        Fájl4
        Fájl5		 A Mappa1 célmappa ugyanazzal a struktúrával jön létre, mint a forrás:

Mappa1
    Fájl1
    Fájl2
    Almappák1
        Fájl3
        Fájl4
        5. fájl.
true flattenHierarchy Mappa1
    Fájl1
    Fájl2
    Almappák1
        Fájl3
        Fájl4
        Fájl5		 A célmappa1 a következő struktúrával jön létre:

Mappa1
    automatikusan létrehozott fájlnév1
    a File2 automatikusan létrehozott neve
    A Fájl3 automatikusan létrehozott neve
    a File4 automatikusan létrehozott neve
    automatikusan létrehozott fájlnév5
true mergeFiles Mappa1
    Fájl1
    Fájl2
    Almappák1
        Fájl3
        Fájl4
        Fájl5		 A célmappa1 a következő struktúrával jön létre:

Mappa1
    File1 + File2 + File3 + File4 + File 5 contents is egyesítve egy fájlba automatikusan generált fájlnév
hamis preserveHierarchy Mappa1
    Fájl1
    Fájl2
    Almappák1
        Fájl3
        Fájl4
        Fájl5		 A Mappa1 célmappa a következő struktúrával jön létre

Mappa1
    Fájl1
    Fájl2

A Fájl3, a File4 és a File5 almappát nem veszi fel a rendszer.
hamis flattenHierarchy Mappa1
    Fájl1
    Fájl2
    Almappák1
        Fájl3
        Fájl4
        Fájl5		 A Mappa1 célmappa a következő struktúrával jön létre

Mappa1
    automatikusan létrehozott fájlnév1
    a File2 automatikusan létrehozott neve

A Fájl3, a File4 és a File5 almappát nem veszi fel a rendszer.
hamis mergeFiles Mappa1
    1. fájl
    Fájl2
    Almappák1
        3. fájl
        4. fájl
        5. fájl		 A Mappa1 célmappa a következő struktúrával jön létre

Mappa1
    Az 1. és a 2. fájl tartalma egyetlen, automatikusan létrehozott fájlnévvel rendelkező fájlba lesz egyesítve. autogenerated name for File1

A Fájl3, a Fájl4 és a Fájl5 almappát nem veszi fel a rendszer.

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

AMetadata-tevékenység tulajdonságainak lekérése

A tulajdonságok részleteinek megismeréséhez tekintse meg a Metaadata beolvasása tevékenységet

Tevékenységtulajdonságok törlése

A tulajdonságok részleteinek megismeréséhez ellenőrizze a Törlés tevékenységet

Örökölt modellek

Megjegyzés

Az alábbi modellek továbbra is támogatottak a visszamenőleges kompatibilitás érdekében. Javasoljuk, hogy a fenti szakaszokban említett új modellt használja, és a szerzői felhasználói felület átváltott az új modell létrehozására.

Örökölt adathalmazmodell

Tulajdonság Leírás Kötelező
típus Az adathalmaz típustulajdonságának a következőnek kell lennie: FileShare Yes
folderPath A mappa elérési útja. A helyettesítő karakteres szűrő támogatott, az engedélyezett helyettesítő karakterek a következők: * (nulla vagy több karakternek felel meg) és ? (nulla vagy egyetlen karakternek felel meg); feloldó ^ karakter, ha a mappa tényleges neve helyettesítő karaktert tartalmaz, vagy ez a feloldókarakterek vannak benne.

Példák: rootfolder/subfolder/, lásd további példákat a társított szolgáltatás mintáiban és az adathalmaz-definíciókban , valamint a mappa- és fájlszűrő példákban.		 No
fileName A megadott "folderPath" alatt található fájl(ok) neve vagy helyettesítő karakteres szűrője. Ha nem ad meg értéket ehhez a tulajdonsághoz, az adatkészlet a mappában lévő összes fájlra mutat.

Szűrő esetén az engedélyezett helyettesítő karakterek a következők: * (nulla vagy több karakternek felel meg) és ? (nulla vagy egyetlen karakternek felel meg).
– 1. példa: "fileName": "*.csv"
– 2. példa: "fileName": "???20180427.txt"
A feloldás akkor használható ^ , ha a tényleges fájlnévben helyettesítő karakter van, vagy ez a feloldókaraktere van benne.

Ha a fileName nincs megadva egy kimeneti adatkészlethez, és a preserveHierarchy nincs megadva a tevékenységfogadóban, a másolási tevékenység automatikusan létrehozza a fájlnevet a következő mintával: "Data.[ tevékenységfuttatás guid azonosítója]. [GUID, ha a FlattenHierarchy]. [format if configured]. [tömörítés, ha konfigurálva van]", például "Data.0a405f8a-93ff-4c6f-b3be-f69616f1df7a.txt.gz"; Ha lekérdezés helyett táblázatos forrásból másol, a névminta a következő: "[táblanév].[ format]. [tömörítés, ha konfigurálva van]", például "MyTable.csv".		 No
modifiedDatetimeStart A fájlok a következő attribútum alapján szűrnek: Utoljára módosítva. A fájlok akkor lesznek kiválasztva, ha az utolsó módosításuk időpontja nagyobb vagy egyenlő modifiedDatetimeStart , mint és kisebb, mint modifiedDatetimeEnd. Az idő az UTC időzónára lesz alkalmazva a következő formátumban: "2018-12-01T05:00:00Z".

Vegye figyelembe, hogy az adatáthelyezés általános teljesítménye hatással lesz erre a beállításra, ha nagy mennyiségű fájlból szeretne fájlszűrőt végezni.

A tulajdonságok null értékűek lehetnek, ami azt jelenti, hogy az adathalmazra nem lesz alkalmazva fájlattribútum-szűrő. Ha modifiedDatetimeStart a dátum/idő érték modifiedDatetimeEnd null értékű, az azt jelenti, hogy azok a fájlok lesznek kiválasztva, amelyek utoljára módosított attribútuma nagyobb vagy egyenlő a datetime értékkel. Ha modifiedDatetimeEnd dátum/idő érték van megadva, de modifiedDatetimeStart null értékű, akkor a program azokat a fájlokat jelöli ki, amelyek utoljára módosított attribútuma kisebb, mint a datetime érték.		 No
modifiedDatetimeEnd A fájlok a következő attribútum alapján szűrnek: Utoljára módosítva. A fájlok akkor lesznek kiválasztva, ha az utolsó módosításuk időpontja nagyobb vagy egyenlő modifiedDatetimeStart , mint és kisebb, mint modifiedDatetimeEnd. Az idő az UTC időzónára lesz alkalmazva a következő formátumban: "2018-12-01T05:00:00Z".

Vegye figyelembe, hogy az adatáthelyezés általános teljesítménye hatással lesz erre a beállításra, ha nagy mennyiségű fájlból szeretne fájlszűrőt végezni.

A tulajdonságok null értékűek lehetnek, ami azt jelenti, hogy az adathalmazra nem lesz alkalmazva fájlattribútum-szűrő. Ha modifiedDatetimeStart a dátum/idő érték modifiedDatetimeEnd null értékű, az azt jelenti, hogy azok a fájlok lesznek kiválasztva, amelyek utoljára módosított attribútuma nagyobb vagy egyenlő a datetime értékkel. Ha modifiedDatetimeEnd dátum/idő érték van megadva, de modifiedDatetimeStart null értékű, akkor a program azokat a fájlokat jelöli ki, amelyek utoljára módosított attribútuma kisebb, mint a datetime érték.		 No
Formátum Ha fájlokat szeretne fájlalapú tárolók közötti formátumban másolni (bináris másolat), hagyja ki a bemeneti és kimeneti adatkészlet-definíciók formátumszakaszát.

Ha adott formátumú fájlokat szeretne elemezni vagy létrehozni, a következő fájlformátumtípusok támogatottak: TextFormat, JsonFormat, AvroFormat, OrcFormat, ParquetFormat. Állítsa a formátum alatti típustulajdonságot az alábbi értékek egyikére. További információt a Szövegformátum, a Json Formátum, az Avro formátum, az Orc formátum és a Parquet formátum szakaszában talál.		 Nem (csak bináris másolási forgatókönyv esetén)
tömörítés Adja meg az adatok tömörítési típusát és szintjét. További információ: Támogatott fájlformátumok és tömörítési kodekek.
Támogatott típusok: GZip, Deflate, BZip2 és ZipDeflate.
A támogatott szintek a következők: Optimális és leggyorsabb.		 No

Tipp

Ha egy mappában lévő összes fájlt át szeretné másolni, csak a folderPath értéket adja meg.
Ha egy adott nevű fájlt szeretne másolni, adja meg a folderPath elemet a mapparészlel, a fileName tulajdonságot pedig fájlnévvel.
Ha egy mappában lévő fájlok egy részhalmazát szeretné másolni, adja meg a folderPath tulajdonságot a mapparészlel és a fileName helyettesítő karakteres szűrővel.

Megjegyzés

Ha a "fileFilter" tulajdonságot használta a fájlszűrőhöz, az továbbra is támogatott, miközben a rendszer azt javasolja, hogy a továbbiakban a "fileName" elemhez hozzáadott új szűrőképességet használja.

Példa

{
    "name": "FileSystemDataset",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<file system linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Örökölt másolási tevékenység forrásmodellje

Tulajdonság Leírás Kötelező
típus A másolási tevékenység forrásának típustulajdonságát a következőre kell állítani: FileSystemSource Yes
Rekurzív Azt jelzi, hogy az adatok rekurzív módon vannak-e beolvasva az almappákból vagy csak a megadott mappából. Vegye figyelembe, hogy ha a rekurzív értéke igaz, és a fogadó fájlalapú tároló, az üres mappa/almappa nem lesz átmásolva/létrehozva a fogadóban.
Az engedélyezett értékek a következők: igaz (alapértelmezett), hamis		 No
maxConcurrentConnections Az adattárhoz a tevékenységfuttatás során létesített egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat. No

Példa

"activities":[
    {
        "name": "CopyFromFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<file system input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "FileSystemSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Örökölt másolási tevékenység fogadómodellje

Tulajdonság Leírás Kötelező
típus A másolási tevékenység fogadójának típustulajdonságát a következőre kell állítani: FileSystemSink Yes
copyBehavior Meghatározza a másolási viselkedést, ha a forrás fájlalapú adattárból származó fájlok.

Az engedélyezett értékek a következők:
- PreserveHierarchy (alapértelmezett): megőrzi a fájlhierarchiát a célmappában. A forrásfájl forrásmappába való relatív elérési útja megegyezik a célfájl célmappához viszonyított elérési útjának relatív elérési útjára.
- FlattenHierarchy: a forrásmappa összes fájlja a célmappa első szintjén található. A célfájlok neve automatikusan létre lett hozva.
- MergeFiles: a forrásmappából származó összes fájlt egyetlen fájlba egyesíti. Az egyesítés során nem történik rekorddeduplikáció. Ha a fájlnév meg van adva, az egyesített fájlnév lesz a megadott név; ellenkező esetben automatikusan létrejönne a fájl neve.		 No
maxConcurrentConnections Az adattárban a tevékenységfuttatás során létesített egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat. No

Példa

"activities":[
    {
        "name": "CopyToFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<file system output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "FileSystemSink",
                "copyBehavior": "PreserveHierarchy"
            }
        }
    }
]

Következő lépések

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját a támogatott adattárakban találja.