Adatok másolása és átalakítása a Microsoft Fabric Warehouse-ban az Azure Data Factory vagy az Azure Synapse Analytics használatával

  • Cikk

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk bemutatja, hogyan másolhat adatokat a Microsoft Fabric Warehouse-ból és a Microsoft Fabric Warehouse-ba másolási tevékenység használatával. További információért olvassa el az Azure Data Factory vagy az Azure Synapse Analytics bevezető cikkét.

Támogatott képességek

Ez a Microsoft Fabric Warehouse-összekötő a következő képességeket támogatja:

Támogatott képességek IR Felügyelt privát végpont
Copy tevékenység (forrás/fogadó) (1) (2) ✓
Keresési tevékenység (1) (2) ✓
GetMetadata-tevékenység (1) (2) ✓
Szkripttevékenység (1) (2) ✓
Tárolt eljárástevékenység (1) (2) ✓

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

Első lépések

A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:

Microsoft Fabric Warehouse társított szolgáltatás létrehozása felhasználói felületen

Az alábbi lépésekkel microsoft fabric warehouse-beli társított szolgáltatást hozhat létre az Azure Portal felhasználói felületén.

  1. Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd válassza az Új lehetőséget:

  2. Keresse meg a Warehouse-t, és válassza ki az összekötőt.

    Képernyőkép a Microsoft Fabric Warehouse-összekötő kiválasztásáról.

  3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

    Képernyőkép a Microsoft Fabric Warehouse társított szolgáltatás konfigurációjáról.

Csatlakozás or konfigurációjának részletei

Az alábbi szakaszok a Microsoft Fabric Warehouse-ra jellemző Data Factory-entitások meghatározásához használt tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

A Microsoft Fabric Warehouse-összekötő a következő hitelesítési típusokat támogatja. Részletekért tekintse meg a megfelelő szakaszokat:

Egyszerű szolgáltatás hitelesítése

A szolgáltatásnév-hitelesítés használatához kövesse az alábbi lépéseket.

  1. Regisztráljon egy alkalmazást a Microsoft Identity platformon , és adjon hozzá egy titkos ügyfélkulcsot. Ezután jegyezze fel ezeket az értékeket, amelyeket a társított szolgáltatás definiálásához használ:

    • Az alkalmazás (ügyfél) azonosítója, amely a társított szolgáltatás egyszerű szolgáltatásának azonosítója.
    • Az ügyfél titkos kódja, amely a társított szolgáltatás egyszerű szolgáltatáskulcsa.
    • Bérlőazonosító

  2. Adjon legalább közreműködői szerepkört a szolgáltatásnévnek a Microsoft Fabric-munkaterületen. Tegye a következők egyikét:

    1. Nyissa meg a Microsoft Fabric-munkaterületet, és válassza a felső sávon a Hozzáférés kezelése lehetőséget. Ezután válassza a Személyek vagy csoportok hozzáadása lehetőséget.

      Képernyőkép a Háló munkaterület Hozzáférés kezelése lehetőség kiválasztásáról.

      Képernyőkép a Háló munkaterület Hozzáférés kezelése panelről.

    2. A Személyek hozzáadása panelen adja meg a szolgáltatásnév nevét, és válassza ki a szolgáltatásnevet a legördülő listából.

    3. Adja meg a közreműködői vagy annál magasabb szerepkört (Rendszergazda, tag), majd válassza a Hozzáadás lehetőséget.

      Képernyőkép a Háló munkaterületi szerepkör hozzáadásáról.

    4. A szolgáltatásnév megjelenik a Hozzáférés kezelése panelen.

Ezek a tulajdonságok támogatottak a társított szolgáltatásban:

Tulajdonság Leírás Kötelező
típus A típustulajdonságot raktárra kell állítani. Igen
endpoint A Microsoft Fabric Warehouse-kiszolgáló végpontja. Igen
workspaceId A Microsoft Fabric-munkaterület azonosítója. Igen
artifactId A Microsoft Fabric Warehouse objektumazonosítója. Igen
bérlő Adja meg azt a bérlői információt (tartománynevet vagy bérlőazonosítót), amely alatt az alkalmazás található. Kérje le az egérmutatót az Azure Portal jobb felső sarkában. Igen
servicePrincipalId Adja meg az alkalmazás ügyfél-azonosítóját. Igen
servicePrincipalCredentialType A szolgáltatásnév-hitelesítéshez használandó hitelesítőadat-típus. Az engedélyezett értékek a ServicePrincipalKey és a ServicePrincipalCert. Igen
servicePrincipalCredential A szolgáltatásnév hitelesítő adatai.
Ha a ServicePrincipalKey-t használja hitelesítő adattípusként, adja meg az alkalmazás titkos ügyfélkulcs-értékét. Jelölje meg ezt a mezőt SecureStringként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vaultban tárolt titkos kódra.
Ha a ServicePrincipalCertet használja hitelesítő adatként, hivatkozzon egy tanúsítványra az Azure Key Vaultban, és győződjön meg arról, hogy a tanúsítvány tartalomtípusa PKCS #12.		 Igen
connectVia Az adattárhoz való csatlakozáshoz használandó integrációs modul . Használhatja az Azure integrációs modult vagy egy saját üzemeltetésű integrációs modult, ha az adattár magánhálózaton található. Ha nincs megadva, a rendszer az alapértelmezett Azure-integrációs modult használja. Nem

Példa: egyszerű szolgáltatáskulcs-hitelesítés használata

A szolgáltatásnévkulcsot az Azure Key Vaultban is tárolhatja.

{
    "name": "MicrosoftFabricWarehouseLinkedService",
    "properties": {
        "type": "Warehouse",
        "typeProperties": {
            "endpoint": "<Microsoft Fabric Warehouse server endpoint>",
            "workspaceId": "<Microsoft Fabric workspace ID>",
            "artifactId": "<Microsoft Fabric Warehouse object ID>",
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalCredentialType": "ServicePrincipalKey",
            "servicePrincipalCredential": {
                "type": "SecureString",
                "value": "<service principal key>"
            }   
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adathalmaz tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című cikkben találja.

A Microsoft Fabric Warehouse-adatkészlethez a következő tulajdonságok támogatottak:

Tulajdonság Leírás Kötelező
típus Az adathalmaz típustulajdonságának WarehouseTable értékre kell állítania. Igen
schema A séma neve. Nem a forráshoz, igen a fogadóhoz
table A tábla/nézet neve. Nem a forráshoz, igen a fogadóhoz

Példa adathalmaztulajdonságokra

{
    "name": "FabricWarehouseTableDataset",
    "properties": {
        "type": "WarehouseTable",
        "linkedServiceName": {
            "referenceName": "<Microsoft Fabric Warehouse linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring >
        ],
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        }
    }
}

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listájáért tekintse meg Copy tevékenység konfigurációkat, valamint a folyamatokat és tevékenységeket. Ez a szakasz a Microsoft Fabric Warehouse forrás és fogadó által támogatott tulajdonságok listáját tartalmazza.

Forrásként a Microsoft Fabric Warehouse-t

Tipp.

Ha hatékonyan szeretne adatokat betölteni a Microsoft Fabric Warehouse-ból az adatparticionálás használatával, további információt a Microsoft Fabric Warehouse párhuzamos másolásáról tudhat meg.

Ha adatokat szeretne másolni a Microsoft Fabric Warehouse-ból, állítsa be a másolási tevékenység forrásának típustulajdonságát a WarehouseSource-ra. A Másolási tevékenység forrás szakasza a következő tulajdonságokat támogatja:

Tulajdonság Leírás Kötelező
típus A Másolási tevékenység forrás típustulajdonságának WarehouseSource értékre kell állítania. Igen
sqlReaderQuery Az adatok olvasásához használja az egyéni SQL-lekérdezést. Példa: select * from MyTable Nem
sqlReaderStoredProcedureName Annak a tárolt eljárásnak a neve, amely adatokat olvas be a forrástáblából. Az utolsó SQL-utasításnak egy Standard kiadás LECT utasításnak kell lennie a tárolt eljárásban. Nem
storedProcedureParameters A tárolt eljárás paraméterei.
Az engedélyezett értékek név- vagy értékpárok. A paraméterek nevének és burkolatának meg kell egyeznie a tárolt eljárásparaméterek nevével és burkolatával.		 Nem
queryTimeout A lekérdezési parancs végrehajtásának időtúllépését adja meg. Az alapértelmezett érték 120 perc. Nem
isolationLevel Az SQL-forrás tranzakciózárolási viselkedését adja meg. Az engedélyezett érték a Pillanatkép. Ha nincs megadva, a rendszer az adatbázis alapértelmezett elkülönítési szintjét használja. További információ: system.data.isolationlevel. Nem
partitionOptions Megadja a Microsoft Fabric Warehouse-ból való adatok betöltéséhez használt adatparticionálási beállításokat.
Az engedélyezett értékek a következők: Nincs (alapértelmezett) és DynamicRange.
Ha egy partíciós beállítás engedélyezve van (azaz nem None), a másolási tevékenység beállítása szabályozza parallelCopies , hogy a Microsoft Fabric Warehouse-ból egyidejűleg milyen mértékű párhuzamosság történik az adatok egyidejű betöltéséhez.		 Nem
partíció Gépház Adja meg az adatparticionálás beállításainak csoportját.
Akkor alkalmazható, ha a partíciós beállítás nem None.		 Nem
A következő alatt partitionSettings:
partitionColumnName Adja meg annak a forrásoszlopnak a nevét egész számban vagy dátum/dátum/idő típusban (int, smallint, bigint, date), datetime2amelyet a tartomány particionálása használ a párhuzamos másoláshoz. Ha nincs megadva, a rendszer automatikusan észleli a tábla indexét vagy elsődleges kulcsát, és partícióoszlopként használja.
Akkor alkalmazható, ha a partíció beállítás.DynamicRange Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?DfDynamicRangePartitionCondition be. Példaként tekintse meg a Microsoft Fabric Warehouse párhuzamos másolatát.		 Nem
partitionUpperBound A partíciótartományok felosztásához használt partícióoszlop maximális értéke. Ez az érték határozza meg a partíciós léptetést, nem pedig a tábla sorainak szűrésére. A tábla vagy lekérdezés eredményének összes sora particionálásra és másolásra kerül. Ha nincs megadva, a másolási tevékenység automatikusan észleli az értéket.
Akkor alkalmazható, ha a partíció beállítás.DynamicRange Példaként tekintse meg a Microsoft Fabric Warehouse párhuzamos másolatát.		 Nem
partitionLowerBound A partíciótartományok felosztásához használt partícióoszlop minimális értéke. Ez az érték határozza meg a partíciós léptetést, nem pedig a tábla sorainak szűrésére. A tábla vagy lekérdezés eredményének összes sora particionálásra és másolásra kerül. Ha nincs megadva, a másolási tevékenység automatikusan észleli az értéket.
Akkor alkalmazható, ha a partíció beállítás.DynamicRange Példaként tekintse meg a Microsoft Fabric Warehouse párhuzamos másolatát.		 Nem

Feljegyzés

Ha tárolt eljárást használ a forrásban az adatok lekéréséhez, vegye figyelembe, hogy a tárolt eljárás más sémát ad vissza, amikor eltérő paraméterértéket ad át, hiba vagy váratlan eredmény jelenhet meg a séma felhasználói felületről történő importálásakor vagy az adatok Microsoft Fabric Warehouse-ba való automatikus létrehozásakor.

Példa: SQL-lekérdezés használata

"activities":[
    {
        "name": "CopyFromMicrosoftFabricWarehouse",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft Fabric Warehouse input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "WarehouseSource",
                "sqlReaderQuery": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Példa: tárolt eljárás használata

"activities":[
    {
        "name": "CopyFromMicrosoftFabricWarehouse",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft Fabric Warehouse input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "WarehouseSource",
                "sqlReaderStoredProcedureName": "CopyTestSrcStoredProcedureWithParameters",
                "storedProcedureParameters": {
                    "stringData": { "value": "str3" },
                    "identifier": { "value": "$$Text.Format('{0:yyyy}', <datetime parameter>)", "type": "Int"}
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Minta tárolt eljárás:

CREATE PROCEDURE CopyTestSrcStoredProcedureWithParameters
(
    @stringData varchar(20),
    @identifier int
)
AS
SET NOCOUNT ON;
BEGIN
    select *
    from dbo.UnitTestSrcTable
    where dbo.UnitTestSrcTable.stringData != stringData
    and dbo.UnitTestSrcTable.identifier != identifier
END
GO

A Microsoft Fabric Warehouse mint fogadótípus

Az Azure Data Factory és a Synapse-folyamatok támogatják a COPY utasítás használatát az adatok Microsoft Fabric Warehouse-ba való betöltéséhez.

Ha adatokat szeretne átmásolni a Microsoft Fabric Warehouse-ba, állítsa be a fogadó típusát a Másolási tevékenységben a WarehouseSink értékre. A Másolási tevékenység fogadó szakasz a következő tulajdonságokat támogatja:

Tulajdonság Leírás Kötelező
típus A Másolási tevékenység fogadó típustulajdonságának WarehouseSink értékre kell állítania. Igen
allowCopyCommand Azt jelzi, hogy a COPY utasítás használatával tölt-e be adatokat a Microsoft Fabric Warehouse-ba.

A korlátozásokról és a részletekről a Copy utasítás használata az adatok Microsoft Fabric Warehouse-ba való betöltéséhez című szakaszban olvashat.

Az engedélyezett érték Igaz.		 Igen
copyCommand Gépház Tulajdonságcsoport, amely akkor adható meg, ha allowCopyCommand a tulajdonság értéke IGAZ. Nem
writeBatchTimeout Ez a tulajdonság megadja a beszúrási, upsert- és tárolt eljárás végrehajtásának várakozási idejét, mielőtt túllépi az időkorlátot.

Az engedélyezett értékek az időbélyeghez tartoznak. Ilyen például a "00:30:00" 30 percig. Ha nincs megadva érték, az időtúllépés alapértelmezés szerint "00:30:00"		 Nem
preCopyScript Adjon meg egy SQL-lekérdezést a másolási tevékenység futtatásához, mielőtt adatokat írna a Microsoft Fabric Warehouse-ba minden futtatás során. Ezzel a tulajdonságkal törölheti az előre betöltött adatokat. Nem
tableOption Megadja, hogy automatikusan létre kívánja-e hozni a fogadótáblát , ha nem létezik a forrásséma alapján. Az engedélyezett értékek a következők: none (alapértelmezett), autoCreate. Nem
disableMetricsCollection A szolgáltatás metrikákat gyűjt a másolási teljesítmény optimalizálásához és a javaslatokhoz, amelyek további főadatbázis-hozzáférést vezetnek be. Ha ezzel a viselkedéssel foglalkozik, adja meg true , hogy kikapcsolja azt. Nem (alapértelmezett érték false)

Példa: Microsoft Fabric Warehouse fogadó

"activities":[
    {
        "name": "CopyToMicrosoftFabricWarehouse",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Microsoft Fabric Warehouse output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "WarehouseSink",
                "allowCopyCommand": true,
                "tableOption": "autoCreate",
                "disableMetricsCollection": false
            }
        }
    }
]

Párhuzamos másolat a Microsoft Fabric Warehouse-ból

A másolási tevékenységben lévő Microsoft Fabric Warehouse-összekötő beépített adatparticionálást biztosít az adatok párhuzamos másolásához. Az adatparticionálási beállításokat a másolási tevékenység Forrás lapján találja.

Képernyőkép a partícióbeállításokról

Ha engedélyezi a particionált másolást, a másolási tevékenység párhuzamos lekérdezéseket futtat a Microsoft Fabric Warehouse-forráson az adatok partíciók szerinti betöltéséhez. A párhuzamos fokot a másolási parallelCopies tevékenység beállításai vezérlik. Ha például négyre van állítva parallelCopies , a szolgáltatás egyszerre négy lekérdezést hoz létre és futtat a megadott partícióbeállítás és beállítások alapján, és mindegyik lekérdezés lekéri az adatok egy részét a Microsoft Fabric Warehouse-ból.

Javasoljuk, hogy engedélyezze a párhuzamos másolást adatparticionálással, különösen akkor, ha nagy mennyiségű adatot tölt be a Microsoft Fabric Warehouse-ból. A következő javasolt konfigurációk különböző forgatókönyvekhez. Ha fájlalapú adattárba másol adatokat, ajánlott több fájlként írni egy mappába (csak a mappa nevét kell megadni), ebben az esetben a teljesítmény jobb, mint egyetlen fájlba írni.

Eset Javasolt beállítások
Teljes terhelés nagy táblából, egész számmal vagy datetime oszlopmal az adatparticionáláshoz. Partícióbeállítások: Dinamikus tartomány partíciója.
Partícióoszlop (nem kötelező): Adja meg az adatok particionálásához használt oszlopot. Ha nincs megadva, a rendszer az indexet vagy az elsődleges kulcs oszlopot használja.
A partíció felső határa és a partíció alsó határa (nem kötelező): Adja meg, hogy meg szeretné-e határozni a partíciós lépést. Ez nem a táblázat sorainak szűrésére használható, és a tábla összes sora particionálásra és másolásra kerül. Ha nincs megadva, a másolási tevékenység automatikusan észleli az értékeket.

Ha például az "ID" partícióoszlop értéke 1 és 100 között van, és az alsó kötést 20-ra, a felső kötést pedig 80-ra állítja be, a párhuzamos másolás 4-zel történik, a szolgáltatás 4 partícióval kéri le az adatokat – azonosítók az =20, [21, 50], [51, 80] és >=81 tartományban<.
Nagy mennyiségű adat betöltése egyéni lekérdezéssel, az adatparticionáláshoz pedig egész számmal vagy dátum/dátum/idő oszlopmal. Partícióbeállítások: Dinamikus tartomány partíciója.
Lekérdezés: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>.
Partícióoszlop: Adja meg az adatok particionálásához használt oszlopot.
A partíció felső határa és a partíció alsó határa (nem kötelező): Adja meg, hogy meg szeretné-e határozni a partíciós lépést. Ez nem a tábla sorainak szűrésére használható, és a lekérdezés eredményének összes sora particionálásra és másolásra kerül. Ha nincs megadva, a másolási tevékenység automatikusan észleli az értéket.

Ha például az "ID" partícióoszlop értéke 1 és 100 között van, és az alsó kötést 20-ra, a felső kötést pedig 80-ra állítja be, a párhuzamos másolás 4-zel, akkor a szolgáltatás 4 partícióazonosítóval kéri le az adatokat az =20, [21, 50], [51, 80] és >=81 tartományban<.

Az alábbiakban további minta lekérdezéseket talál a különböző forgatókönyvekhez:
1. A teljes tábla lekérdezése:
SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition
2. Lekérdezés oszlopkijelöléssel és további where-clause szűrőkkel rendelkező táblából:
SELECT <column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>
3. Lekérdezés al lekérdezésekkel:
SELECT <column_list> FROM (<your_sub_query>) AS T WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>
4. Lekérdezés a partícióval az alkérdezésben:
SELECT <column_list> FROM (SELECT <your_sub_query_column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition) AS T

Ajánlott eljárások az adatok partíciós beállítással való betöltéséhez:

  • Válassza a megkülönböztető oszlopot partícióoszlopként (például elsődleges kulcs vagy egyedi kulcs) az adateltérés elkerülése érdekében.
  • Ha az Azure Integration Runtime-t használja az adatok másolásához, nagyobb "adatintegráció egységeket (DIU)" (>4) állíthat be a nagyobb számítási erőforrások használatához. Ellenőrizze a vonatkozó forgatókönyveket.
  • A "másolási párhuzamosság foka" szabályozza a partíciószámokat, a túl nagy szám beállítása néha rontja a teljesítményt, javasoljuk, hogy állítsa be ezt a számot (DIU vagy a saját üzemeltetésű INTEGRÁCIÓs csomópontok száma) * (2–4).
  • Vegye figyelembe, hogy a Microsoft Fabric Warehouse egyszerre legfeljebb 32 lekérdezést hajthat végre, a "Másolási párhuzamosság mértéke" túl nagy beállításával a Raktár szabályozásával kapcsolatos problémák léphetnek fel.

Példa: lekérdezés dinamikus tartománypartícióval

"source": {
    "type": "WarehouseSource",
    "query": "SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column (optional) to decide the partition stride, not as data filter>",
        "partitionLowerBound": "<lower_value_of_partition_column (optional) to decide the partition stride, not as data filter>"
    }
}

Adatok betöltése a Microsoft Fabric Warehouse-ba a COPY utasítás használatával

A COPY utasítás használatával egyszerűen és rugalmasan tölthet be adatokat a Microsoft Fabric Warehouse-ba nagy átviteli sebességgel. További részletekért ellenőrizze az adatok tömeges betöltését a COPY utasítással

  • Ha a forrásadatok az Azure Blobban vagy az Azure Data Lake Storage Gen2-ben vannak, és a formátum COPY utasítással kompatibilis, a másolási tevékenység használatával közvetlenül meghívhatja a COPY utasítást, hogy a Microsoft Fabric Warehouse lekérje az adatokat a forrásból. További részletekért lásd : Közvetlen másolás COPY utasítással.
  • Ha a forrásadattárat és a formátumot eredetileg nem támogatja a COPY utasítás, használja inkább a szakaszos másolást a COPY utasítás funkcióval. A szakaszos másolási funkció jobb átviteli sebességet is biztosít. Automatikusan COPY utasítással kompatibilis formátumba alakítja át az adatokat, az adatokat az Azure Blob Storage-ban tárolja, majd meghívja a COPY utasítást az adatok Microsoft Fabric Warehouse-ba való betöltésére.

Tipp.

Ha COPY utasítást használ az Azure Integration Runtime használatával, a hatékony adatintegráció egységek (DIU) mindig 2. A DIU finomhangolása nem befolyásolja a teljesítményt.

Közvetlen másolás COPY utasítással

A Microsoft Fabric Warehouse COPY utasítás közvetlenül támogatja az Azure Blob, az Azure Data Lake Storage Gen1 és az Azure Data Lake Storage Gen2 használatát. Ha a forrásadatok megfelelnek az ebben a szakaszban leírt feltételeknek, a COPY utasítás használatával másolja közvetlenül a forrásadattárból a Microsoft Fabric Warehouse-ba. Ellenkező esetben használja a szakaszos másolást a COPY utasítással. A szolgáltatás ellenőrzi a beállításokat, és sikertelen a másolási tevékenység futtatása, ha a feltételek nem teljesülnek.

  • A forráshoz társított szolgáltatás és formátum a következő típusokkal és hitelesítési módszerekkel érhető el:

    Támogatott forrásadattár-típus Támogatott formátum Támogatott forráshitelesítés típusa
    Azure Blob Tagolt szöveg Fiókkulcs-hitelesítés, közös hozzáférésű jogosultságkód-hitelesítés
      Parketta Fiókkulcs-hitelesítés, közös hozzáférésű jogosultságkód-hitelesítés
    Azure Data Lake Storage Gen2 Tagolt szöveg
    Parketta    		 Fiókkulcs-hitelesítés, közös hozzáférésű jogosultságkód-hitelesítés

  • A formátumbeállítások a következők:

    • Parquet esetén: compression nem lehet tömörítés, Snappy vagy GZip.
    • Tagolt szöveg esetén:
      • rowDelimiterexplicit módon egyetlen karakterként vagy "\r\n" értékként van beállítva, az alapértelmezett érték nem támogatott.
      • nullValuealapértelmezettként marad, vagy üres sztringre ("").
      • encodingName alapértelmezettként marad, vagy utf-8 vagy utf-16 értékre van állítva.
      • escapeChar meg kell egyeznie a quoteChar, és nem üres.
      • skipLineCount alapértelmezett értékként van megadva, vagy 0 értékre van állítva.
      • compression nem lehet tömörítés vagy GZip.

  • Ha a forrás egy mappa, recursive akkor a másolási tevékenységnek true (igaz) értékre kell állítania, és wildcardFilename meg kell vagy kell lennie **.*.

  • wildcardFolderPath , wildcardFilename (nem *vagy *.*), modifiedDateTimeStart, modifiedDateTimeEnd, prefix, és enablePartitionDiscoveryadditionalColumns nincs megadva.

A másolási tevékenység az allowCopyCommand alábbi COPY utasításbeállításokat támogatja:

Tulajdonság Leírás Kötelező
defaultValues A Microsoft Fabric Warehouse minden céloszlopának alapértelmezett értékeit adja meg. A tulajdonság alapértelmezett értékei felülírják az adattárházban beállított ALAPÉRTELMEZETT kényszert, és az identitásoszlop nem rendelkezhet alapértelmezett értékkel. Nem
additionalOptions A Microsoft Fabric Warehouse COPY utasításnak közvetlenül a COPY utasítás "With" záradékában átadott további lehetőségek. A COPY utasítás követelményeinek való megfeleléshez szükség szerint adja meg az értéket. Nem 
"activities":[
    {
        "name": "CopyFromAzureBlobToMicrosoftFabricWarehouseViaCOPY",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "ParquetDataset",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "MicrosoftFabricWarehouseDataset",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "ParquetSource",
                "storeSettings":{
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true
                }
            },
            "sink": {
                "type": "WarehouseSink",
                "allowCopyCommand": true,
                "copyCommandSettings": {
                    "defaultValues": [
                        {
                            "columnName": "col_string",
                            "defaultValue": "DefaultStringValue"
                        }
                    ],
                    "additionalOptions": {
                        "MAXERRORS": "10000",
                        "DATEFORMAT": "'ymd'"
                    }
                }
            },
            "enableSkipIncompatibleRow": true
        }
    }
]

Szakaszos másolás COPY utasítással

Ha a forrásadatok natív módon nem kompatibilisek a COPY utasítással, engedélyezze az adatok másolását egy átmeneti Azure Blob vagy Azure Data Lake Storage Gen2 használatával (ez nem lehet Az Azure Premium Storage). Ebben az esetben a szolgáltatás automatikusan átalakítja az adatokat a COPY utasítás adatformátum-követelményeinek megfelelően. Ezután meghívja a COPY utasítást az adatok Microsoft Fabric Warehouse-ba való betöltéséhez. Végül megtisztítja az ideiglenes adatokat a tárból. Az adatok átmeneti másolással történő másolásával kapcsolatos részletekért tekintse meg a szakaszos másolást .

A szolgáltatás használatához hozzon létre egy Azure Blob Storage társított szolgáltatást vagy az Azure Data Lake Storage Gen2 társított szolgáltatást fiókkulcs vagy rendszer által felügyelt identitáshitelesítéssel, amely az Azure Storage-fiókra hivatkozik köztes tárolóként.

Fontos

  • Ha felügyelt identitáshitelesítést használ az átmeneti társított szolgáltatáshoz, ismerje meg az Azure Blobhoz és az Azure Data Lake Storage Gen2-hez szükséges konfigurációkat.
  • Ha az átmeneti Azure Storage virtuális hálózati szolgáltatásvégponttal van konfigurálva, akkor a felügyelt identitáshitelesítést a tárfiókon engedélyezett "megbízható Microsoft-szolgáltatás engedélyezése" beállítással kell használnia, tekintse meg a VNet-szolgáltatásvégpontok Azure Storage-beli használatának hatását.

Fontos

Ha az átmeneti Azure Storage felügyelt privát végponttal van konfigurálva, és engedélyezve van a tárolási tűzfal, felügyelt identitáshitelesítést kell használnia, és engedélyeznie kell a Storage Blob Data Reader-engedélyeket a Synapse SQL Server számára, hogy hozzáférhessen a szakaszos fájlokhoz a COPY utasítás betöltése során.

"activities":[
    {
        "name": "CopyFromSQLServerToMicrosoftFabricWarehouseViaCOPYstatement",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "SQLServerDataset",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "MicrosoftFabricWarehouseDataset",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SqlSource",
            },
            "sink": {
                "type": "WarehouseSink",
                "allowCopyCommand": true
            },
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingStorage",
                    "type": "LinkedServiceReference"
                }
            }
        }
    }
]

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

GetMetadata tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez ellenőrizze a GetMetadata-tevékenységet

Adattípus-leképezés a Microsoft Fabric Warehouse-hoz

Amikor adatokat másol a Microsoft Fabric Warehouse-ból, a Microsoft Fabric Warehouse adattípusai az alábbi leképezéseket használják a szolgáltatás belső köztes adattípusaihoz. Ha tudni szeretné, hogy a másolási tevékenység hogyan képezi le a forrássémát és az adattípust a fogadóhoz, tekintse meg a séma- és adattípus-leképezéseket.

Microsoft Fabric Warehouse adattípus A Data Factory köztes adattípusa
bigint Int64
Bináris Bájt[]
Kicsit Logikai
Char Sztring, Karakter[]
dátum: Dátum/idő
datetime2 Dátum/idő
Decimális Decimális
FILESTREAM attribútum (varbinary(max)) Bájt[]
Lebegőpontos értékek Dupla
egész Int32
Numerikus Decimális
valós szám Egyszeres
smallint Int16
time időtartam
uniqueidentifier GUID
varbinary Bájt[]
varchar Sztring, Karakter[]

Következő lépések

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját lásd : Támogatott adattárak.