Gegevens kopiëren van en naar ODBC-gegevensarchieven met behulp van Azure Data Factory of Synapse Analytics

Artikel
11/16/2023

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

In dit artikel wordt beschreven hoe u de kopieeractiviteit in Azure Data Factory gebruikt om gegevens van en naar een ODBC-gegevensarchief te kopiëren. Het is gebaseerd op het artikel over het overzicht van kopieeractiviteiten met een algemeen overzicht van de kopieeractiviteit.

Ondersteunde mogelijkheden

Deze ODBC-connector wordt ondersteund voor de volgende mogelijkheden:

Ondersteunde mogelijkheden	IR
Copy-activiteit (bron/sink)	②
Activiteit Lookup	②

(1) Azure Integration Runtime (2) Zelf-hostende Integration Runtime

Zie de tabel Ondersteunde gegevensarchieven voor een lijst met gegevensarchieven die worden ondersteund als bronnen/sinks.

Deze ODBC-connector ondersteunt het kopiëren van gegevens van/naar alle ODBC-compatibele gegevensarchieven met behulp van Basis - of Anonieme verificatie. Er is een 64-bits ODBC-stuurprogramma vereist. Voor ODBC-sink ondersteunt de service ODBC versie 2.0 standard.

Vereisten

Als u deze ODBC-connector wilt gebruiken, moet u het volgende doen:

Stel een zelf-hostende Integration Runtime in. Zie het artikel over zelf-hostende Integration Runtime voor meer informatie.
Installeer het 64-bits ODBC-stuurprogramma voor het gegevensarchief op de Integration Runtime-computer.

Aan de slag

Als u de kopieeractiviteit wilt uitvoeren met een pijplijn, kunt u een van de volgende hulpprogramma's of SDK's gebruiken:

Een gekoppelde service maken voor een ODBC-gegevensarchief met behulp van de gebruikersinterface

Gebruik de volgende stappen om een gekoppelde service te maken voor een ODBC-gegevensarchief in de gebruikersinterface van Azure Portal.

Blader naar het tabblad Beheren in uw Azure Data Factory- of Synapse-werkruimte en selecteer Gekoppelde services en klik vervolgens op Nieuw:
- Azure Data Factory
- Azure Synapse
Zoek naar ODBC en selecteer de ODBC-connector.
Configureer de servicedetails, test de verbinding en maak de nieuwe gekoppelde service.

configuratiedetails Verbinding maken or

De volgende secties bevatten details over eigenschappen die worden gebruikt voor het definiëren van Data Factory-entiteiten die specifiek zijn voor ODBC-connector.

Eigenschappen van gekoppelde service

De volgende eigenschappen worden ondersteund voor de gekoppelde ODBC-service:

Eigenschappen	Beschrijving	Vereist
type	De typeeigenschap moet worden ingesteld op: Odbc	Ja
connectionString	De verbindingsreeks exclusief het referentiegedeelte. U kunt het verbindingsreeks opgeven met een patroon zoals `Driver={SQL Server};Server=Server.database.windows.net; Database=TestDatabase;`, of het systeem-DSN (naam van gegevensbron) gebruiken waarmee u op de Integration Runtime-machine `DSN=<name of the DSN on IR machine>;` hebt ingesteld (u moet het referentiegedeelte in de gekoppelde service dienovereenkomstig opgeven). U kunt ook een wachtwoord in Azure Key Vault plaatsen en de `password` configuratie uit de verbindingsreeks halen. Raadpleeg De referenties van de Store in Azure Key Vault met meer informatie.	Ja
authenticationType	Type verificatie dat wordt gebruikt om verbinding te maken met het ODBC-gegevensarchief. Toegestane waarden zijn: Basis en Anoniem.	Ja
gebruikersnaam	Geef de gebruikersnaam op als u basisverificatie gebruikt.	Nee
password	Geef het wachtwoord op voor het gebruikersaccount dat u hebt opgegeven voor de gebruikersnaam. Markeer dit veld als SecureString om het veilig op te slaan of verwijs naar een geheim dat is opgeslagen in Azure Key Vault.	Nee
referenties	Het toegangsreferentiegedeelte van de verbindingsreeks opgegeven in de indeling van de eigenschapswaarde van het stuurprogramma. Voorbeeld: `"RefreshToken=<secret refresh token>;"`. Markeer dit veld als securestring.	Nee
connectVia	De Integration Runtime die moet worden gebruikt om verbinding te maken met het gegevensarchief. Een zelf-hostende Integration Runtime is vereist, zoals vermeld in vereisten.	Ja

Voorbeeld 1: basisverificatie gebruiken

{
    "name": "ODBCLinkedService",
    "properties": {
        "type": "Odbc",
        "typeProperties": {
            "connectionString": "<connection string>",
            "authenticationType": "Basic",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Voorbeeld 2: anonieme verificatie gebruiken

{
    "name": "ODBCLinkedService",
    "properties": {
        "type": "Odbc",
        "typeProperties": {
            "connectionString": "<connection string>",
            "authenticationType": "Anonymous",
            "credential": {
                "type": "SecureString",
                "value": "RefreshToken=<secret refresh token>;"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Eigenschappen van gegevensset

Zie het artikel gegevenssets voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van gegevenssets . Deze sectie bevat een lijst met eigenschappen die worden ondersteund door de ODBC-gegevensset.

Als u gegevens wilt kopiëren van/naar odbc-compatibel gegevensarchief, worden de volgende eigenschappen ondersteund:

Eigenschappen	Beschrijving	Vereist
type	De typeeigenschap van de gegevensset moet worden ingesteld op: OdbcTable	Ja
tableName	Naam van de tabel in het ODBC-gegevensarchief.	Nee voor bron (als 'query' in de activiteitsbron is opgegeven); Ja voor sink

Voorbeeld

{
    "name": "ODBCDataset",
    "properties": {
        "type": "OdbcTable",
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<ODBC linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "tableName": "<table name>"
        }
    }
}

Als u RelationalTable getypte gegevensset gebruikt, wordt deze nog steeds ondersteund terwijl u wordt aangeraden de nieuwe gegevensset te gebruiken.

Eigenschappen van de kopieeractiviteit

Zie het artikel Pijplijnen voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van activiteiten. Deze sectie bevat een lijst met eigenschappen die worden ondersteund door de ODBC-bron.

ODBC als bron

Als u gegevens wilt kopiëren uit het odBC-compatibele gegevensarchief, worden de volgende eigenschappen ondersteund in de sectie bron van de kopieeractiviteit:

Eigenschappen	Beschrijving	Vereist
type	De typeeigenschap van de bron van de kopieeractiviteit moet worden ingesteld op: OdbcSource	Ja
query	Gebruik de aangepaste SQL-query om gegevens te lezen. Voorbeeld: `"SELECT * FROM MyTable"`.	Nee (als 'tableName' in de gegevensset is opgegeven)

Voorbeeld:

"activities":[
    {
        "name": "CopyFromODBC",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<ODBC input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "OdbcSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Als u RelationalSource getypte bron gebruikt, wordt deze nog steeds ondersteund, terwijl u wordt aangeraden de nieuwe bron te gebruiken.

ODBC als sink

Als u gegevens wilt kopiëren naar een met ODBC compatibel gegevensarchief, stelt u het sinktype in de kopieeractiviteit in op OdbcSink. De volgende eigenschappen worden ondersteund in de sectie sink voor kopieeractiviteit:

Eigenschappen	Beschrijving	Vereist
type	De typeeigenschap van de sink van de kopieeractiviteit moet worden ingesteld op: OdbcSink	Ja
writeBatchTimeout	Wachttijd voordat de batchinvoegbewerking is voltooid voordat er een time-out optreedt. Toegestane waarden zijn: tijdspanne. Voorbeeld: '00:30:00' (30 minuten).	Nee
writeBatchSize	Hiermee worden gegevens in de SQL-tabel ingevoegd wanneer de buffergrootte writeBatchSize bereikt. Toegestane waarden zijn: geheel getal (aantal rijen).	Nee (standaard is 0 - automatisch gedetecteerd)
preCopyScript	Geef in elke uitvoering een SQL-query op voor kopieeractiviteit die moet worden uitgevoerd voordat u gegevens naar het gegevensarchief schrijft. U kunt deze eigenschap gebruiken om de vooraf geladen gegevens op te schonen.	Nr.

Notitie

Als 'writeBatchSize' niet is ingesteld (automatisch gedetecteerd), detecteert de kopieeractiviteit eerst of het stuurprogramma batchbewerkingen ondersteunt en stelt deze in op 10000 als dit het geval is, of stelt deze in op 1 als dat niet het geval is. Als u de andere waarde dan 0 expliciet instelt, wordt de waarde gehonoreerd en mislukt de kopieeractiviteit tijdens runtime als het stuurprogramma geen batchbewerkingen ondersteunt.

Voorbeeld:

"activities":[
    {
        "name": "CopyToODBC",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<ODBC output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "OdbcSink",
                "writeBatchSize": 100000
            }
        }
    }
]

Eigenschappen van opzoekactiviteit

Als u meer wilt weten over de eigenschappen, controleert u de lookup-activiteit.

Verbindingsproblemen oplossen

Gebruik het tabblad Diagnostische gegevens van Integration Runtime Configuration Manager om verbindingsproblemen op te lossen.

Start Integration Runtime Configuration Manager.
Ga naar het tabblad Diagnostische gegevens.
Selecteer in de sectie Test Verbinding maken ion het type gegevensarchief (gekoppelde service).
Geef de verbindingsreeks op die wordt gebruikt om verbinding te maken met het gegevensarchief, kies de verificatie en voer gebruikersnaam, wachtwoord en/of referenties in.
Klik op Verbinding testen om de verbinding met het gegevensarchief te testen.

Zie ondersteunde gegevensarchieven voor een lijst met gegevensarchieven die worden ondersteund als bronnen en sinks door de kopieeractiviteit.