Adatok másolása a PostgreSQL-ből az Azure Data Factory vagy a Synapse Analytics használatával (örökölt)
A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Ez a cikk azt ismerteti, hogyan használhatja a másolási tevékenységet az Azure Data Factoryben és a Synapse Analytics-folyamatokban az adatok PostgreSQL-adatbázisból való másolásához. A másolási tevékenység áttekintési cikkére épül, amely a másolási tevékenység általános áttekintését mutatja be.
Fontos
A szolgáltatás kiadott egy új PostgreSQL-összekötőt, amely jobb natív PostgreSQL-támogatást biztosít. A részleteket a PostgreSQL-összekötőről szóló cikkben találja.
Támogatott képességek
Ez a PostgreSQL-összekötő a következő képességekhez támogatott:
Támogatott képességek | IR |
---|---|
Copy tevékenység (forrás/-) | (1) (2) |
Keresési tevékenység | (1) (2) |
(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul
A másolási tevékenység által forrásként/fogadóként támogatott adattárak listáját a Támogatott adattárak táblában találja.
Ez a PostgreSQL-összekötő támogatja a PostgreSQL 7.4-es és újabb verzióját.
Előfeltételek
Ha az adattár helyszíni hálózaton, Azure-beli virtuális hálózaton vagy Amazon Virtual Private Cloudon belül található, konfigurálnia kell egy saját üzemeltetésű integrációs modult a csatlakozáshoz.
Ha az adattár felügyelt felhőalapú adatszolgáltatás, használhatja az Azure Integration Runtime-ot. Ha a hozzáférés a tűzfalszabályokban jóváhagyott IP-címekre korlátozódik, hozzáadhat azure integration runtime IP-eket az engedélyezési listához.
Az Azure Data Factory felügyelt virtuális hálózati integrációs moduljával is elérheti a helyszíni hálózatot anélkül, hogy saját üzemeltetésű integrációs modult telepítene és konfigurálna.
A Data Factory által támogatott hálózati biztonsági mechanizmusokkal és lehetőségekkel kapcsolatos további információkért lásd az adathozzáférési stratégiákat.
Az Integrációs modul egy beépített PostgreSQL-illesztőt biztosít a 3.7-es verziótól kezdve, ezért nem kell manuálisan telepítenie az illesztőprogramokat.
Első lépések
A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:
- Az Adatok másolása eszköz
- Az Azure Portal
- A .NET SDK
- A Python SDK
- Azure PowerShell
- A REST API
- Az Azure Resource Manager-sablon
Társított szolgáltatás létrehozása a PostgreSQL-hez felhasználói felülettel
Az alábbi lépésekkel létrehozhat egy társított szolgáltatást a PostgreSQL-hez az Azure Portal felhasználói felületén.
Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:
Keresse meg a Postgre-t, és válassza a PostgreSQL-összekötőt.
Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.
Csatlakozás or konfigurációjának részletei
Az alábbi szakaszok a PostgreSQL-összekötőre jellemző Data Factory-entitások meghatározásához használt tulajdonságok részleteit ismertetik.
Társított szolgáltatás tulajdonságai
A PostgreSQL társított szolgáltatáshoz a következő tulajdonságok támogatottak:
Tulajdonság | Leírás | Kötelező |
---|---|---|
típus | A típustulajdonságnak a következőnek kell lennie: PostgreSql | Igen |
connectionString | Egy ODBC-kapcsolati sztring az Azure Database for PostgreSQL-hez való csatlakozáshoz. Jelszót is elhelyezhet az Azure Key Vaultban, és lekérheti a password konfigurációt a kapcsolati sztring. További részletekért tekintse meg az alábbi példákat és a hitelesítő adatok tárolását az Azure Key Vaultban . |
Igen |
connectVia | Az adattárhoz való csatlakozáshoz használandó integrációs modul . További információ az Előfeltételek szakaszból. Ha nincs megadva, az alapértelmezett Azure Integration Runtime-t használja. | Nem |
Egy tipikus kapcsolati sztring a Server=<server>;Database=<database>;Port=<port>;UID=<username>;Password=<Password>
. Esetenként további tulajdonságok állíthatók be:
Tulajdonság | Leírás | Beállítások | Kötelező |
---|---|---|---|
EncryptionMethod (EM) | Az illesztőprogram által az illesztőprogram és az adatbázis-kiszolgáló között küldött adatok titkosításának módszere. Pl. EncryptionMethod=<0/1/6>; |
0 (Nincs titkosítás) (alapértelmezett) / 1 (SSL) / 6 (RequestSSL) | Nem |
ValidateServerCertificate (VSC) | Meghatározza, hogy az illesztőprogram érvényesíti-e az adatbázis-kiszolgáló által az SSL-titkosítás engedélyezésekor küldött tanúsítványt (Encryption Method=1). Pl. ValidateServerCertificate=<0/1>; |
0 (Letiltva) (alapértelmezett) / 1 (engedélyezve) | Nem |
Feljegyzés
Ahhoz, hogy az ODBC-kapcsolaton keresztül teljes KÖRŰ SSL-ellenőrzést lehessen végezni a saját üzemeltetésű integrációs modul használatakor, a PostgreSQL-összekötő helyett kifejezetten ODBC típusú kapcsolatot kell használnia, és végre kell hajtania a következő konfigurációt:
- Állítsa be a DSN-t bármely SHIR-kiszolgálón.
- Helyezze a Megfelelő tanúsítványt a PostgreSQL-hez a C:\Windows\ServiceProfiles\DIAHostService\AppData\Roaming\postgresql\root.crt fájlban az SHIR-kiszolgálókon. Itt keresi > az ODBC-illesztő az SSL-tanúsítványt, hogy ellenőrizze, mikor csatlakozik az adatbázishoz.
- Az adat-előállítói kapcsolatban használjon ODBC típusú kapcsolatot, és a kapcsolati sztring az SHIR-kiszolgálókon létrehozott DSN-re mutat.
Példa:
{
"name": "PostgreSqlLinkedService",
"properties": {
"type": "PostgreSql",
"typeProperties": {
"connectionString": "Server=<server>;Database=<database>;Port=<port>;UID=<username>;Password=<Password>"
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Példa: jelszó tárolása az Azure Key Vaultban
{
"name": "PostgreSqlLinkedService",
"properties": {
"type": "PostgreSql",
"typeProperties": {
"connectionString": "Server=<server>;Database=<database>;Port=<port>;UID=<username>;",
"password": {
"type": "AzureKeyVaultSecret",
"store": {
"referenceName": "<Azure Key Vault linked service name>",
"type": "LinkedServiceReference"
},
"secretName": "<secretName>"
}
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Ha a PostgreSQL-hez társított szolgáltatást a következő hasznos adatokkal használta, az továbbra is támogatott, miközben azt javasoljuk, hogy használja az újat.
Korábbi hasznos adatok:
{
"name": "PostgreSqlLinkedService",
"properties": {
"type": "PostgreSql",
"typeProperties": {
"server": "<server>",
"database": "<database>",
"username": "<username>",
"password": {
"type": "SecureString",
"value": "<password>"
}
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Adathalmaz tulajdonságai
Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az adathalmazokról szóló cikkben találja. Ez a szakasz a PostgreSQL-adatkészlet által támogatott tulajdonságok listáját tartalmazza.
Az adatok PostgreSQL-ből való másolásához a következő tulajdonságok támogatottak:
Tulajdonság | Leírás | Kötelező |
---|---|---|
típus | Az adathalmaz típustulajdonságának a következőnek kell lennie: PostgreSqlTable | Igen |
schema | A séma neve. | Nem (ha "lekérdezés" van megadva a tevékenységforrásban) |
table | A tábla neve. | Nem (ha "lekérdezés" van megadva a tevékenységforrásban) |
tableName | A sématáblázat neve. Ez a tulajdonság támogatja a visszamenőleges kompatibilitást. Új számítási feladatok használata és table használataschema . |
Nem (ha "lekérdezés" van megadva a tevékenységforrásban) |
Példa
{
"name": "PostgreSQLDataset",
"properties":
{
"type": "PostgreSqlTable",
"typeProperties": {},
"schema": [],
"linkedServiceName": {
"referenceName": "<PostgreSQL linked service name>",
"type": "LinkedServiceReference"
}
}
}
Ha gépelt adatkészletet használt RelationalTable
, az továbbra is támogatott, miközben a rendszer azt javasolja, hogy használja az újat.
Másolási tevékenység tulajdonságai
A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz a PostgreSQL-forrás által támogatott tulajdonságok listáját tartalmazza.
PostgreSQL mint forrás
Ha adatokat szeretne másolni a PostgreSQL-ből, a másolási tevékenység forrás szakaszában az alábbi tulajdonságok támogatottak:
Tulajdonság | Leírás | Kötelező |
---|---|---|
típus | A másolási tevékenység forrásának típustulajdonságának a következőnek kell lennie: PostgreSqlSource | Igen |
Lekérdezés | Az adatok olvasásához használja az egyéni SQL-lekérdezést. Például: "query": "SELECT * FROM \"MySchema\".\"MyTable\"" |
Nem (ha "tableName" van megadva az adathalmazban) |
Feljegyzés
A séma és a táblanevek megkülönböztetik a kis- és nagybetűket. Csatolja őket ""
(dupla idézőjelek) a lekérdezésbe.
Példa:
"activities":[
{
"name": "CopyFromPostgreSQL",
"type": "Copy",
"inputs": [
{
"referenceName": "<PostgreSQL input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "PostgreSqlSource",
"query": "SELECT * FROM \"MySchema\".\"MyTable\""
},
"sink": {
"type": "<sink type>"
}
}
}
]
Ha gépelt forrást használt RelationalSource
, az továbbra is támogatott, miközben a rendszer azt javasolja, hogy használja az újat.
Keresési tevékenység tulajdonságai
A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.
Kapcsolódó tartalom
A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját a támogatott adattárakban találja.
Visszajelzés
https://aka.ms/ContentUserFeedback.
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ:Visszajelzés küldése és megtekintése a következőhöz: