Kopírování dat ze zdroje OData pomocí služby Azure Data Factory nebo Synapse Analytics

  • Článek

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Tento článek popisuje, jak pomocí aktivity kopírování v kanálu Azure Data Factory nebo Synapse Analytics kopírovat data ze zdroje OData. Článek vychází z aktivity kopírování, která představuje obecný přehled aktivity kopírování.

Podporované funkce

Tento konektor OData je podporovaný pro následující funkce:

Podporované funkce IR
aktivita Copy (zdroj/-) ① ②
Aktivita Lookup ① ②

(1) Prostředí Azure Integration Runtime (2) Místní prostředí Integration Runtime

Seznam úložišť dat podporovaných jako zdroje nebo jímky najdete v tématu Podporované úložiště dat.

Konkrétně tento konektor OData podporuje:

  • OData verze 2.0, 3.0 a 4.0.
  • Kopírování dat pomocí jednoho z následujících ověřování: Anonymní, Základní, Windows a Instanční objekt Microsoft Entra.

Požadavky

Pokud se vaše úložiště dat nachází uvnitř místní sítě, virtuální sítě Azure nebo amazonového privátního cloudu, musíte nakonfigurovat místní prostředí Integration Runtime pro připojení k němu.

Pokud je vaše úložiště dat spravovanou cloudovou datovou službou, můžete použít Azure Integration Runtime. Pokud je přístup omezený na IP adresy schválené v pravidlech brány firewall, můžete do seznamu povolených přidat IP adresy prostředí Azure Integration Runtime.

K přístupu k místní síti bez nutnosti instalace a konfigurace místního prostředí Integration Runtime můžete také použít funkci Runtime integrace spravované virtuální sítě ve službě Azure Data Factory.

Další informace o mechanismech zabezpečení sítě a možnostech podporovaných službou Data Factory najdete v tématu Strategie přístupu k datům.

Začínáme

K provedení aktivita Copy s kanálem můžete použít jeden z následujících nástrojů nebo sad SDK:

Vytvoření propojené služby do úložiště OData pomocí uživatelského rozhraní

Pomocí následujícího postupu vytvořte propojenou službu do úložiště OData v uživatelském rozhraní webu Azure Portal.

  1. Přejděte na kartu Správa v pracovním prostoru Azure Data Factory nebo Synapse a vyberte Propojené služby a pak vyberte Nový:

  2. Vyhledejte OData a vyberte konektor OData.

    Screenshot of the OData connector.

  3. Nakonfigurujte podrobnosti o službě, otestujte připojení a vytvořte novou propojenou službu.

    Screenshot of linked service configuration for an OData store.

podrobnosti o konfiguraci Připojení oru

Následující části obsahují podrobnosti o vlastnostech, které můžete použít k definování entit služby Data Factory, které jsou specifické pro konektor OData.

Vlastnosti propojené služby

Pro propojenou službu OData jsou podporovány následující vlastnosti:

Vlastnost Popis Povinní účastníci
type Vlastnost typu musí být nastavena na hodnotu OData. Ano
url Kořenová adresa URL služby OData. Ano
authenticationType Typ ověřování sloužící k připojení ke zdroji OData. Povolené hodnoty jsou Anonymní, Basic, Windows a AadServicePrincipal. Ověřování OAuth založené na uživatelích se nepodporuje. Můžete také nakonfigurovat hlavičky ověřování ve authHeader vlastnosti. Ano
authHeaders Další hlavičky požadavku HTTP pro ověřování.
Pokud například chcete použít ověřování pomocí klíče rozhraní API, můžete vybrat typ ověřování jako Anonymní a zadat klíč rozhraní API v hlavičce.		 No
userName Zadejte uživatelské jméno , pokud používáte základní ověřování nebo ověřování systému Windows. No
Heslo Zadejte heslo pro uživatelský účet, který jste zadali pro userName. Označte toto pole jako typ SecureString , abyste ho bezpečně uložili. Můžete také odkazovat na tajný klíč uložený ve službě Azure Key Vault. No
servicePrincipalId Zadejte ID klienta aplikace Microsoft Entra. No
aadServicePrincipalCredentialType Zadejte typ přihlašovacích údajů, který se má použít pro ověřování instančního objektu. Povolené hodnoty jsou: ServicePrincipalKey nebo ServicePrincipalCert. No
servicePrincipalKey Zadejte klíč aplikace Microsoft Entra. Označte toto pole jako securestring , abyste ho mohli bezpečně uložit, nebo odkazovat na tajný klíč uložený ve službě Azure Key Vault. No
servicePrincipalEmbeddedCert Zadejte certifikát s kódováním base64 vaší aplikace zaregistrovaný v Microsoft Entra ID a ujistěte se, že typ obsahu certifikátu je PKCS #12. Označte toto pole jako securestring , abyste ho mohli bezpečně uložit, nebo odkazovat na tajný klíč uložený ve službě Azure Key Vault. No
servicePrincipalEmbeddedCertPassword Zadejte heslo certifikátu, pokud je certifikát zabezpečený heslem. Označte toto pole jako securestring , abyste ho mohli bezpečně uložit, nebo odkazovat na tajný klíč uložený ve službě Azure Key Vault. No
tenant Zadejte informace o tenantovi (název domény nebo ID tenanta), pod kterým se vaše aplikace nachází. Načtěte ho tak, že nainstalujete myší v pravém horním rohu webu Azure Portal. No
aadResourceId Zadejte prostředek Microsoft Entra, který požadujete k autorizaci. No
azureCloudType Pro ověřování instančního objektu zadejte typ cloudového prostředí Azure, ke kterému je zaregistrovaná vaše aplikace Microsoft Entra.
Povolené hodnoty jsou AzurePublic, AzureChina, AzureUsGovernment a AzureGermany. Ve výchozím nastavení se používá cloudové prostředí služby.		 No
connectVia Prostředí Integration Runtime , které se má použít pro připojení k úložišti dat. Další informace najdete v části Požadavky . Pokud není zadaný, použije se výchozí prostředí Azure Integration Runtime. No

Příklad 1: Použití anonymního ověřování

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "https://services.odata.org/OData/OData.svc",
            "authenticationType": "Anonymous"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Příklad 2: Použití základního ověřování

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "<endpoint of OData source>",
            "authenticationType": "Basic",
            "userName": "<user name>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Příklad 3: Použití ověřování systému Windows

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "<endpoint of OData source>",
            "authenticationType": "Windows",
            "userName": "<domain>\\<user>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Příklad 4: Použití ověřování instančního klíče

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "<endpoint of OData source>",
            "authenticationType": "AadServicePrincipal",
            "servicePrincipalId": "<service principal id>",
            "aadServicePrincipalCredentialType": "ServicePrincipalKey",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "aadResourceId": "<AAD resource URL>"
        }
    },
    "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
    }
}

Příklad 5: Použití ověřování certifikátu instančního objektu

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "<endpoint of OData source>",
            "authenticationType": "AadServicePrincipal",
            "servicePrincipalId": "<service principal id>",
            "aadServicePrincipalCredentialType": "ServicePrincipalCert",
            "servicePrincipalEmbeddedCert": { 
                "type": "SecureString", 
                "value": "<base64 encoded string of (.pfx) certificate data>"
            },
            "servicePrincipalEmbeddedCertPassword": { 
                "type": "SecureString", 
                "value": "<password of your certificate>"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "aadResourceId": "<AAD resource e.g. https://tenant.sharepoint.com>"
        }
    },
    "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
    }
}

Příklad 6: Použití ověřování pomocí klíče rozhraní API

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "<endpoint of OData source>",
            "authenticationType": "Anonymous",
            "authHeader": {
                "APIKey": {
                    "type": "SecureString",
                    "value": "<API key>"
                }
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Vlastnosti datové sady

Tato část obsahuje seznam vlastností, které datová sada OData podporuje.

Úplný seznam oddílů a vlastností, které jsou k dispozici pro definování datových sad, najdete v tématu Datové sady a propojené služby.

Pokud chcete kopírovat data z OData, nastavte vlastnost typu datové sady na ODataResource. Podporují se následující vlastnosti:

Vlastnost Popis Povinní účastníci
type Vlastnost typu datové sady musí být nastavena na ODataResource. Ano
path Cesta k prostředku OData. Ano

Příklad

{
    "name": "ODataDataset",
    "properties":
    {
        "type": "ODataResource",
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<OData linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties":
        {
            "path": "Products"
        }
    }
}

Vlastnosti aktivity kopírování

Tato část obsahuje seznam vlastností, které zdroj OData podporuje.

Úplný seznam oddílů a vlastností, které jsou k dispozici pro definování aktivit, najdete v tématu Kanály.

OData jako zdroj

Pokud chcete kopírovat data z OData, podporují se v části Zdroj aktivity kopírování následující vlastnosti:

Vlastnost Popis Povinní účastníci
type Vlastnost typu zdroje aktivity kopírování musí být nastavena na ODataSource. Ano
query Možnosti dotazu OData pro filtrování dat Příklad: "$select=Name,Description&$top=5".

Poznámka: Konektor OData kopíruje data z kombinované adresy URL: [URL specified in linked service]/[path specified in dataset]?[query specified in copy activity source]. Další informace najdete v tématu Komponenty adresy URL OData.		 No
httpRequestTimeout Časový limit ( hodnota TimeSpan ) požadavku HTTP pro získání odpovědi. Tato hodnota je časový limit pro získání odpovědi, nikoli časový limit pro čtení dat odpovědi. Pokud není zadána, výchozí hodnota je 00:30:00 (30 minut). No

Příklad

"activities":[
    {
        "name": "CopyFromOData",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<OData input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "ODataSource",
                "query": "$select=Name,Description&$top=5"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Pokud jste používali RelationalSource typovaný zdroj, je stále podporovaný tak, jak je, zatímco se navrhuje používat nový zdroj.

Mapování datových typů pro OData

Při kopírování dat z OData se mezi datovými typy OData a dočasnými datovými typy používanými v rámci služby interně používají následující mapování. Informace o mapování zdrojového schématu a datového typu na jímku najdete v tématu Mapování schématu a datového typu.

Datový typ OData Dočasný datový typ služby
Edm.Binary Bajt[]
Edm.Boolean Bool
Edm.Byte Bajt[]
Edm.DateTime DateTime
Edm.Decimal Desetinné číslo
Edm.Double Hodnota s dvojitou přesností
Edm.Single Jeden
Edm.Guid Guid
Edm.Int16 Int16
Edm.Int32 Int32
Edm.Int64 Int64
Edm.SByte Int16
Edm.String String
Edm.Time TimeSpan
Edm.DateTimeOffset DateTimeOffset

Poznámka:

Komplexní datové typy OData (například Objekt) se nepodporují.

Kopírování dat z Projectu Online

Project Online vyžaduje uživatelem založené ověřování OAuth, které azure Data Factory nepodporuje. Ke kopírování dat z Projectu Online můžete použít konektor OData a přístupový token získaný z nástrojů, jako je Postman.

Upozornění

Platnost přístupového tokenu vyprší ve výchozím nastavení 1 hodinu. Když vyprší jeho platnost, musíte získat nový přístupový token.

  1. Získání přístupového tokenu pomocí nástroje Postman :

    1. Na webu Postman přejděte na kartu Autorizace .

    2. V poli Typ vyberte OAuth 2.0 a v poli Přidat autorizační data vyberte Hlavičky požadavku.

    3. Na stránce Konfigurovat nový token zadejte následující informace, abyste získali nový přístupový token:

      • Typ udělení: Vyberte autorizační kód.
      • Adresa URL zpětného volání: Zadejte https://www.localhost.com/. 
      • Ověřovací adresa URL: Zadejte https://login.microsoftonline.com/common/oauth2/authorize?resource=https://<your tenant name>.sharepoint.com. Nahraďte <your tenant name> vlastním názvem tenanta.
      • Adresa URL přístupového tokenu: Zadejte https://login.microsoftonline.com/common/oauth2/token.
      • ID klienta: Zadejte ID instančního objektu Microsoft Entra.
      • Tajný klíč klienta: Zadejte tajný klíč instančního objektu.
      • Ověřování klienta: Vyberte hlavičku Odeslat jako základní ověřování.

    4. Zobrazí se výzva k přihlášení pomocí uživatelského jména a hesla.

    5. Jakmile získáte přístupový token, zkopírujte ho a uložte ho pro další krok.

    Screenshot of using Postman to get the access token.

  2. Vytvořte propojenou službu OData:

    • Adresa URL služby: Zadejte https://<your tenant name>.sharepoint.com/sites/pwa/_api/Projectdata. Nahraďte <your tenant name> vlastním názvem tenanta.
    • Typ ověřování: Vyberte anonymní.
    • Hlavičky ověřování:
      • Název vlastnosti: Zvolte autorizaci.
      • Hodnota: Zadejte Bearer <access token from step 1>.
    • Otestujte propojenou službu.

    Create OData linked service

  3. Vytvořte datovou sadu OData:

    1. Vytvořte datovou sadu s propojenou službou OData vytvořenou v kroku 2.
    2. Náhled dat

    Preview data

Vlastnosti aktivity vyhledávání

Podrobnosti o vlastnostech najdete v aktivitě Vyhledávání.

Související obsah

Seznam úložišť dat, která aktivita kopírování podporuje jako zdroje a jímky, najdete v tématu Podporované úložiště a formáty dat.