Adatok másolása OData-forrásból a Azure Data Factory vagy a Synapse Analytics használatával

  • Cikk
  • 7 perc alatt elolvasható

A KÖVETKEZŐKRE VONATKOZIK: Azure Data Factory Azure Synapse Analytics

Ez a cikk azt ismerteti, hogyan másolhat adatokat OData-forrásból egy Azure Data Factory vagy Synapse Analytics-folyamatban a másolási tevékenységgel. A cikk a másolási tevékenységre épül, amely általános áttekintést nyújt a másolási tevékenységről.

Támogatott képességek

Ez az OData-összekötő a következő tevékenységekhez támogatott:

Az OData-forrásból bármilyen támogatott fogadóadattárba másolhat adatokat. A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját a támogatott adattárak és formátumok című témakörben találja.

Ez az OData-összekötő a következőket támogatja:

  • OData 3.0-s és 4.0-s verzió.
  • Adatok másolása a következő hitelesítések egyikével: Névtelen, Alapszintű, Windows és Azure Active Directory szolgáltatásnév.

Előfeltételek

Ha az adattár egy helyszíni hálózaton, egy Azure-beli virtuális hálózaton vagy az Amazon Virtual Private Cloudban található, konfigurálnia kell egy saját üzemeltetésű integrációs modult a csatlakozáshoz.

Ha az adattár felügyelt felhőalapú adatszolgáltatás, használhatja az Azure Integration Runtime. Ha a hozzáférés a tűzfalszabályokban jóváhagyott IP-címekre korlátozódik, felveheti az Azure Integration Runtime IP-címeket az engedélyezési listára.

Az Azure Data Factory felügyelt virtuális hálózati integrációs modul funkciójával is hozzáférhet a helyszíni hálózathoz anélkül, hogy saját üzemeltetésű integrációs modult telepítene és konfigurálna.

A Data Factory által támogatott hálózati biztonsági mechanizmusokkal és lehetőségekkel kapcsolatos további információkért lásd az adathozzáférési stratégiákat.

Bevezetés

A Copy tevékenység folyamattal való végrehajtásához az alábbi eszközök vagy SDK-k egyikét használhatja:

Társított szolgáltatás létrehozása OData-tárolóhoz felhasználói felületen

Az alábbi lépésekkel hozhat létre társított szolgáltatást egy OData-tárolóhoz a Azure Portal felhasználói felületén.

  1. Lépjen a kezelés lapra a Azure Data Factory vagy Synapse-munkaterületen, és válassza a Társított szolgáltatások lehetőséget, majd válassza az Új lehetőséget:

  2. Keresse meg az OData-t, és válassza ki az OData-összekötőt.

    Screenshot of the OData connector.

  3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

    Screenshot of linked service configuration for an OData store.

Összekötő konfigurációjának részletei

Az alábbi szakaszokban az OData-összekötőkre jellemző Data Factory-entitások meghatározásához használható tulajdonságokat ismertetjük.

Társított szolgáltatás tulajdonságai

OData társított szolgáltatás esetén a következő tulajdonságok támogatottak:

Tulajdonság Leírás Kötelező
típus A típustulajdonságotOData értékre kell állítani. Yes
url Az OData szolgáltatás gyökér URL-címe. Yes
authenticationType Az OData-forráshoz való csatlakozáshoz használt hitelesítés típusa. Az engedélyezett értékek: Névtelen, Alapszintű, Windows és AadServicePrincipal. A felhasználóalapú OAuth nem támogatott. Emellett hitelesítési fejléceket is konfigurálhat a tulajdonságban authHeader . Yes
authHeaders További HTTP-kérésfejlécek a hitelesítéshez.
Az API-kulcsos hitelesítés használatához például kiválaszthatja a "Névtelen" hitelesítési típust, és megadhatja az API-kulcsot a fejlécben.		 No
userName (Felhasználónév) Adja meg a userName értéket, ha alapszintű vagy Windows hitelesítést használ. No
jelszó Adja meg a felhasználónévhez megadott felhasználói fiók jelszavát. A mező biztonságos tárolásához jelölje meg Ezt a mezőt SecureString típusúként. Hivatkozhat az Azure Key Vault tárolt titkos kódra is. No
servicePrincipalId Adja meg a Azure Active Directory alkalmazás ügyfél-azonosítóját. No
aadServicePrincipalCredentialType Adja meg a szolgáltatásnév hitelesítéséhez használandó hitelesítőadat-típust. Az engedélyezett értékek a következők: ServicePrincipalKey vagy ServicePrincipalCert. No
servicePrincipalKey Adja meg a Azure Active Directory alkalmazás kulcsát. Jelölje meg ezt a mezőt SecureString-ként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vault tárolt titkos kódra. No
servicePrincipalEmbeddedCert Adja meg a Azure Active Directory regisztrált alkalmazás base64 kódolású tanúsítványát. Jelölje meg ezt a mezőt SecureString-ként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vault tárolt titkos kódra. No
servicePrincipalEmbeddedCertPassword Adja meg a tanúsítvány jelszavát, ha a tanúsítványt jelszó védi. Jelölje meg ezt a mezőt SecureString-ként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vault tárolt titkos kódra. No
bérlő Adja meg a bérlői adatokat (tartománynevet vagy bérlőazonosítót), amelyek alatt az alkalmazás található. A lekéréshez vigye az egérmutatót a Azure Portal jobb felső sarkában. No
aadResourceId Adja meg az engedélyezéshez kért Azure AD-erőforrást. No
azureCloudType A szolgáltatásnév hitelesítéséhez adja meg azt az Azure-felhőkörnyezetet, amelyben a Azure Active Directory alkalmazás regisztrálva van.
Az engedélyezett értékek: AzurePublic, AzureChina, AzureUsGovernment és AzureGermany. Alapértelmezés szerint a szolgáltatás felhőkörnyezetét használja a rendszer.		 No
connectVia Az adattárhoz való csatlakozáshoz használandó Integration Runtime. További információ az Előfeltételek szakaszból. Ha nincs megadva, a rendszer az alapértelmezett Azure Integration Runtime használja. No

1. példa: Névtelen hitelesítés használata

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "https://services.odata.org/OData/OData.svc",
            "authenticationType": "Anonymous"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

2. példa: Alapszintű hitelesítés használata

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "<endpoint of OData source>",
            "authenticationType": "Basic",
            "userName": "<user name>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

3. példa: Windows hitelesítés használata

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "<endpoint of OData source>",
            "authenticationType": "Windows",
            "userName": "<domain>\\<user>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

4. példa: Egyszerű szolgáltatáskulcs-hitelesítés használata

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "<endpoint of OData source>",
            "authenticationType": "AadServicePrincipal",
            "servicePrincipalId": "<service principal id>",
            "aadServicePrincipalCredentialType": "ServicePrincipalKey",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "aadResourceId": "<AAD resource URL>"
        }
    },
    "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
    }
}

5. példa: Szolgáltatásnév tanúsítványhitelesítésének használata

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "<endpoint of OData source>",
            "authenticationType": "AadServicePrincipal",
            "servicePrincipalId": "<service principal id>",
            "aadServicePrincipalCredentialType": "ServicePrincipalCert",
            "servicePrincipalEmbeddedCert": { 
                "type": "SecureString", 
                "value": "<base64 encoded string of (.pfx) certificate data>"
            },
            "servicePrincipalEmbeddedCertPassword": { 
                "type": "SecureString", 
                "value": "<password of your certificate>"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "aadResourceId": "<AAD resource e.g. https://tenant.sharepoint.com>"
        }
    },
    "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
    }
}

6. példa: API-kulcsos hitelesítés használata

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "<endpoint of OData source>",
            "authenticationType": "Anonymous",
            "authHeader": {
                "APIKey": {
                    "type": "SecureString",
                    "value": "<API key>"
                }
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adatkészlet tulajdonságai

Ez a szakasz az OData-adatkészlet által támogatott tulajdonságok listáját tartalmazza.

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok és a társított szolgáltatások című témakörben találja.

Az adatok OData-ból való másolásához állítsa az adathalmaz típustulajdonságát ODataResource értékre. A következő tulajdonságok támogatottak:

Tulajdonság Leírás Kötelező
típus Az adathalmaz típustulajdonságának ODataResource értékre kell állítania. Yes
path Az OData-erőforrás elérési útja. Yes

Példa

{
    "name": "ODataDataset",
    "properties":
    {
        "type": "ODataResource",
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<OData linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties":
        {
            "path": "Products"
        }
    }
}

Másolási tevékenység tulajdonságai

Ez a szakasz az OData-forrás által támogatott tulajdonságok listáját tartalmazza.

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című témakörben találja.

OData forrásként

Az adatok OData-ból való másolásához a másolási tevékenység forrás szakaszában a következő tulajdonságok támogatottak:

Tulajdonság Leírás Kötelező
típus A másolási tevékenység forrásának típustulajdonságát ODataSource értékre kell állítani. Yes
lekérdezés OData-lekérdezési lehetőségek az adatok szűréséhez. Példa: "$select=Name,Description&$top=5".

Megjegyzés: Az OData-összekötő adatokat másol a kombinált URL-címről: [URL specified in linked service]/[path specified in dataset]?[query specified in copy activity source]. További információ: OData URL-összetevők.		 No
httpRequestTimeout A HTTP-kérés időtúllépése ( TimeSpan értéke) a válasz lekéréséhez. Ez az érték a válasz lekéréséhez szükséges időtúllépés, nem pedig a válaszadatok olvasásának időtúllépése. Ha nincs megadva, az alapértelmezett érték 00:30:00 (30 perc). No

Példa

"activities":[
    {
        "name": "CopyFromOData",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<OData input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "ODataSource",
                "query": "$select=Name,Description&$top=5"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Ha gépelt forrást használt RelationalSource , az továbbra is támogatott, miközben a rendszer azt javasolja, hogy az újat használja.

OData adattípus-leképezése

Amikor adatokat másol az OData-ból, a rendszer a következő leképezéseket használja az OData-adattípusok és a szolgáltatásban belsőleg használt köztes adattípusok között. Ha meg szeretné tudni, hogy a Másolási tevékenység hogyan képezi le a forrássémát és az adattípust a fogadóra, tekintse meg a séma- és adattípus-leképezéseket.

OData-adattípus Köztes szolgáltatás adattípusa
Edm.Binary Bájt[]
Edm.Boolean Logikai
Edm.Byte Bájt[]
Edm.DateTime DateTime
Edm.Decimal Tizedesjegy
Edm.Double Dupla
Edm.Single Egyirányú
Edm.Guid Guid
Edm.Int16 Int16
Edm.Int32 Int32
Edm.Int64 Int64
Edm.SByte Int16
Edm.String Sztring
Edm.Time időtartam
Edm.DateTimeOffset DateTimeOffset

Megjegyzés

Az OData összetett adattípusai (például az Objektum) nem támogatottak.

Adatok másolása Project Online

Project Online felhasználói OAuth-ra van szükség, amelyet a Azure Data Factory nem támogat. Az adatok Project Online történő másolásához használhatja az OData-összekötőt és egy olyan eszközökből beszerzett hozzáférési jogkivonatot, mint a Postman.

Figyelemfelhívás

A hozzáférési jogkivonat alapértelmezés szerint 1 óra múlva lejár. A lejáratkor új hozzáférési jogkivonatot kell beszereznie.

  1. Használja a Postmant a hozzáférési jogkivonat lekéréséhez:

    1. Lépjen az Engedélyezés lapra a Postman webhelyén.

    2. A Típus mezőben válassza az OAuth 2.0 elemet, majd az Engedélyezési adatok hozzáadása mezőben válassza a Kérelemfejlécek lehetőséget.

    3. Új hozzáférési jogkivonat beszerzéséhez töltse ki az alábbi információkat az Új jogkivonat konfigurálása lapon:

      • Engedélyezés típusa: Válassza ki az engedélyezési kódot.
      • Visszahívási URL-cím: Enter https://www.localhost.com/. 
      • Hitelesítési URL-cím: Adja meg https://login.microsoftonline.com/common/oauth2/authorize?resource=https://<your tenant name>.sharepoint.com. Cserélje le <your tenant name> a saját bérlői nevére.
      • Hozzáférési jogkivonat URL-címe: Írja be https://login.microsoftonline.com/common/oauth2/token.
      • Ügyfél-azonosító: Adja meg Azure Active Directory szolgáltatásnév-azonosítóját.
      • Titkos ügyfélkód: Adja meg a szolgáltatásnév titkos kódját.
      • Ügyfél-hitelesítés: Válassza a Küldés egyszerű hitelesítési fejlécként lehetőséget.

    4. A rendszer kérni fogja, hogy jelentkezzen be a felhasználónevével és jelszavával.

    5. Miután beszerezte a hozzáférési jogkivonatot, másolja és mentse a következő lépéshez.

    Screenshot of using Postman to get the access token.

  2. Hozza létre az OData társított szolgáltatást:

    • Szolgáltatás URL-címe: Adja meg https://<your tenant name>.sharepoint.com/sites/pwa/_api/Projectdata. Cserélje le <your tenant name> a saját bérlői nevére.
    • Hitelesítés típusa: Válassza a Névtelen lehetőséget.
    • Hitelesítési fejlécek:
      • Tulajdonság neve: Válassza az Engedélyezés lehetőséget.
      • Érték: Enter Bearer <access token from step 1>.
    • Tesztelje a társított szolgáltatást.

    Create OData linked service

  3. Hozza létre az OData-adatkészletet:

    1. Hozza létre az adatkészletet a 2. lépésben létrehozott OData társított szolgáltatással.
    2. Adatok előnézete.

    Preview data

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

Következő lépések

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját a támogatott adattárak és formátumok című témakörben találja.