Adatok másolása a PostgreSQL-Azure Data Factory vagy Synapse Analytics

A KÖVETKEZŐKRE VONATKOZIK: Azure Data Factory Azure Synapse Analytics

Ez a cikk bemutatja, hogyan használhatja a másolási tevékenységet Azure Data Factory és Synapse Analytics egy PostgreSQL-adatbázisból való adatmásoláshoz. A másolási tevékenység áttekintését ismertető cikkre épül, amely általános áttekintést nyújt a másolási tevékenységről.

Támogatott képességek

Ez a PostgreSQL-összekötő a következő tevékenységekhez támogatott:

A PostgreSQL-adatbázisból bármely támogatott fogadóadattárba másolhat adatokat. A másolási tevékenység által forrásként/fogadóként támogatott adattárakat a Támogatott adattárak táblázatban láthatja.

Ez a PostgreSQL-összekötő a PostgreSQL 7.4-esés újabb verzióit támogatja.

Előfeltételek

Ha az adattár egy helyszíni hálózatban, Azure-beli virtuális hálózatban vagy Amazon Virtual Private Cloudban található, konfigurálnia kell egy helyi integrációs runtime-t a csatlakozáshoz.

Ha az adattár egy felügyelt felhőalapú adatszolgáltatás, használhatja a Azure Integration Runtime. Ha a hozzáférés a tűzfalszabályokban jóváhagyott IP-kre van korlátozva, hozzáadhat Azure Integration Runtime IP-eket az engedélyezettek listájához.

Az Azure Data Factory felügyelt virtuális hálózati integrációs Azure Data Factory funkcióját is használhatja a helyszíni hálózat eléréséhez saját üzemeltetett integrációs környezet telepítése és konfigurálása nélkül.

További információ a hálózati biztonsági mechanizmusokról és a felhasználók által támogatott Data Factory: Adatelérési stratégiák.

A Integration Runtime a 3.7-es verziótól kezdve beépített PostgreSQL-illesztőt biztosít, így nem kell manuálisan telepítenie az illesztőprogramokat.

Első lépések

A Copy tevékenység folyamatokkal való végrehajtásához a következő eszközök vagy AZDK-k egyikét használhatja:

Összekapcsolt szolgáltatás létrehozása a PostgreSQL-hez a felhasználói felület használatával

Az alábbi lépésekkel hozhat létre egy postgreSQL-hez csatolt szolgáltatást a Azure Portal felhasználói felületén.

  1. Lépjen a Kezelés lapra a Azure Data Factory Synapse-munkaterületen, és válassza a Csatolt szolgáltatások lehetőséget, majd kattintson az Új elemre:

  2. Keressen rá a Postgre kifejezésre, és válassza ki a PostgreSQL-összekötőt.

    Válassza ki a PostgreSQL-összekötőt.

  3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új csatolt szolgáltatást.

    Konfigurál egy összekapcsolt szolgáltatást a PostgreSQL-hez.

Az összekötő konfigurációjának részletei

A következő szakaszok részletesen ismertetik a PostgreSQL-összekötőhöz Data Factory entitások meghatározásához használt tulajdonságokat.

Csatolt szolgáltatás tulajdonságai

A PostgreSQL-hez csatolt szolgáltatás a következő tulajdonságokat támogatja:

Tulajdonság Leírás Kötelező
típus A típus tulajdonságot a következőre kell beállítani: PostgreSql Igen
connectionString (kapcsolati karakterlánc) OdBC kapcsolati sztring a Azure Database for PostgreSQL.
Emellett jelszót is Azure Key Vault a password konfigurációt a kapcsolati sztringből. További részletekért tekintse meg a következő mintákat és a hitelesítő Azure Key Vault a cikkben.
Igen
connectVia A Integration Runtime az adattárhoz való csatlakozáshoz szükséges. További információkért lásd az Előfeltételek szakaszt. Ha nincs megadva, az alapértelmezett Azure Integration Runtime. Nem

Egy tipikus kapcsolati sztring a Server=<server>;Database=<database>;Port=<port>;UID=<username>;Password=<Password> . További tulajdonságok, amelyek az esethez beállíthatók:

Tulajdonság Leírás Beállítások Kötelező
EncryptionMethod (EM) Az illesztő által az illesztő és az adatbázis-kiszolgáló között küldött adatok titkosítására használt módszer. Pl. EncryptionMethod=<0/1/6>; 0 (Nincs titkosítás) (alapértelmezett) / 1 (SSL) / 6 (RequestSSL) Nem
ValidateServerCertificate (VSC) Meghatározza, hogy az illesztőprogram érvényesíti-e az adatbázis-kiszolgáló által az SSL-titkosítás engedélyezésekor küldött tanúsítványt (Encryption Method=1). Pl. ValidateServerCertificate=<0/1>; 0 (Letiltva) (alapértelmezett) / 1 (Engedélyezve) Nem

Példa

{
    "name": "PostgreSqlLinkedService",
    "properties": {
        "type": "PostgreSql",
        "typeProperties": {
            "connectionString": "Server=<server>;Database=<database>;Port=<port>;UID=<username>;Password=<Password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Példa: jelszó tárolása a Azure Key Vault

{
    "name": "PostgreSqlLinkedService",
    "properties": {
        "type": "PostgreSql",
        "typeProperties": {
            "connectionString": "Server=<server>;Database=<database>;Port=<port>;UID=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Ha a PostgreSQL-hez kapcsolódó szolgáltatást az alábbi hasznos adatokkal használja, az továbbra is támogatott, miközben a 2001-ben javasolt az új használata.

Előző hasznos tartalom:

{
    "name": "PostgreSqlLinkedService",
    "properties": {
        "type": "PostgreSql",
        "typeProperties": {
            "server": "<server>",
            "database": "<database>",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adatkészlet tulajdonságai

Az adatkészletek meghatározásához elérhető szakaszok és tulajdonságok teljes listájáért tekintse meg az adatkészletekkel kapcsolatos cikket. Ez a szakasz a PostgreSQL-adatkészlet által támogatott tulajdonságok listáját tartalmazza.

Az adatok PostgreSQL-ről való másolása a következő tulajdonságokat támogatja:

Tulajdonság Leírás Kötelező
típus Az adatkészlet type tulajdonságának a következőre kell állítania: PostgreSqlTable Igen
schema A séma neve. Nem (ha a tevékenységforrásban a "lekérdezés" meg van adva)
tábla A tábla neve. Nem (ha a tevékenységforrásban a "lekérdezés" meg van adva)
tableName A sématáblának a neve. Ez a tulajdonság a visszamenőleges kompatibilitás érdekében támogatott. Új schema számítási table feladatokhoz használja a és a et. Nem (ha a tevékenységforrásban a "lekérdezés" meg van adva)

Példa

{
    "name": "PostgreSQLDataset",
    "properties":
    {
        "type": "PostgreSqlTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<PostgreSQL linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Ha gépelt adatkészletet használ, az továbbra is támogatott, de a 2012-es újabb használata RelationalTable továbbra is javasolt.

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Pipelines (Folyamatok) cikkben olvashatja el. Ez a szakasz a PostgreSQL-forrás által támogatott tulajdonságok listáját tartalmazza.

PostgreSQL mint forrás

Az adatok PostgreSQL-ről való másolása a következő tulajdonságokat támogatja a másolási tevékenység forrása szakaszban:

Tulajdonság Leírás Kötelező
típus A másolási tevékenység forrásának type tulajdonságát a következőre kell beállítani: PostgreSqlSource Igen
lekérdezés Az egyéni lekérdezéssel SQL beolvashatja az adatokat. Példa: "query": "SELECT * FROM \"MySchema\".\"MyTable\"". Nem (ha meg van adva a "tableName" az adatkészletben)

Megjegyzés

A séma- és táblanevek megkülönböztetik a kis- és nagybetűket. A lekérdezésben "" zárja őket (idézőjelek közé).

Példa

"activities":[
    {
        "name": "CopyFromPostgreSQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<PostgreSQL input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "PostgreSqlSource",
                "query": "SELECT * FROM \"MySchema\".\"MyTable\""
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Ha típusos forrást használt, az továbbra is támogatott, de a 2012-es verzió használata RelationalSource javasolt.

Keresési tevékenység tulajdonságai

A tulajdonságokkal kapcsolatos részletekért tekintse meg a keresési tevékenységet.

Következő lépések

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját lásd: támogatott adattárak.