Adatok másolása és átalakítása az Azure Database for PostgreSQL-ben az Azure Data Factory vagy a Synapse Analytics használatával
A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Ez a cikk bemutatja, hogyan használható a Másolási tevékenység az Azure Data Factoryben és a Synapse Analytics-folyamatokban az adatok az Azure Database for PostgreSQL-ből és az Azure Database for PostgreSQL-be való másolásához, valamint az Adatfolyam az adatok átalakításához az Azure Database for PostgreSQL-ben. További információkért olvassa el az Azure Data Factory és a Synapse Analytics bevezető cikkeit.
Ez az összekötő az Azure Database for PostgreSQL szolgáltatáshoz készült. Ha a helyszínen vagy a felhőben található általános PostgreSQL-adatbázisból szeretne adatokat másolni, használja a PostgreSQL-összekötőt.
Támogatott képességek
Ez az Azure Database for PostgreSQL-összekötő a következő képességekhez támogatott:
Támogatott képességek | IR | Managed private endpoint |
---|---|---|
Copy tevékenység (forrás/fogadó) | ① ② | ✓ |
Adatfolyam leképezése (forrás/fogadó) | ① | ✓ |
Keresési tevékenység | ① ② | ✓ |
(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul
A három tevékenység az Azure Database for PostgreSQL összes üzembehelyezési beállításán működik:
Első lépések
A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:
- Az Adatok másolása eszköz
- The Azure portal
- A .NET SDK
- A Python SDK
- Azure PowerShell
- A REST API
- Az Azure Resource Manager-sablon
Társított szolgáltatás létrehozása az Azure Database for PostgreSQL-hez felhasználói felületen
Az alábbi lépésekkel létrehozhat egy társított szolgáltatást az Azure Database for PostgreSQL-hez az Azure Portal felhasználói felületén.
Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:
Keresse meg a PostgreSQL-t, és válassza ki az Azure Database for PostgreSQL-összekötőt.
Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.
Csatlakozás or konfigurációjának részletei
Az alábbi szakaszok az Azure Database for PostgreSQL-összekötőre jellemző Data Factory-entitások meghatározásához használt tulajdonságok részleteit ismertetik.
Társított szolgáltatás tulajdonságai
Az Azure Database for PostgreSQL társított szolgáltatáshoz a következő tulajdonságok támogatottak:
Property | Leírás | Required |
---|---|---|
típus | A típustulajdonságnak a következőre kell állítania: AzurePostgreSql. | Igen |
connectionString | Egy ODBC-kapcsolati sztring az Azure Database for PostgreSQL-hez való csatlakozáshoz. Jelszót is elhelyezhet az Azure Key Vaultban, és lekérheti a password konfigurációt a kapcsolati sztring. További részletekért tekintse meg az alábbi mintákat és a hitelesítő adatok tárolását az Azure Key Vaultban . |
Igen |
connectVia | Ez a tulajdonság az adattárhoz való csatlakozáshoz használandó integrációs modult jelöli. Használhatja az Azure Integration Runtime-ot vagy a saját üzemeltetésű integrációs modult (ha az adattár magánhálózaton található). Ha nincs megadva, az alapértelmezett Azure Integration Runtime-t használja. | Nem |
Egy tipikus kapcsolati sztring a Server=<server>.postgres.database.azure.com;Database=<database>;Port=<port>;UID=<username>;Password=<Password>
. Az alábbiakban további tulajdonságokat állíthat be esetenként:
Property | Leírás | Beállítások | Szükséges |
---|---|---|---|
EncryptionMethod (EM) | Az illesztőprogram által az illesztőprogram és az adatbázis-kiszolgáló között küldött adatok titkosításának módszere. Például: EncryptionMethod=<0/1/6>; |
0 (Nincs titkosítás) (alapértelmezett) / 1 (SSL) / 6 (RequestSSL) | Nem |
ValidateServerCertificate (VSC) | Meghatározza, hogy az illesztőprogram érvényesíti-e az adatbázis-kiszolgáló által az SSL-titkosítás engedélyezésekor küldött tanúsítványt (Encryption Method=1). Például: ValidateServerCertificate=<0/1>; |
0 (Letiltva) (alapértelmezett) / 1 (engedélyezve) | Nem |
Példa
{
"name": "AzurePostgreSqlLinkedService",
"properties": {
"type": "AzurePostgreSql",
"typeProperties": {
"connectionString": "Server=<server>.postgres.database.azure.com;Database=<database>;Port=<port>;UID=<username>;Password=<Password>"
}
}
}
Példa
Jelszó tárolása az Azure Key Vaultban
{
"name": "AzurePostgreSqlLinkedService",
"properties": {
"type": "AzurePostgreSql",
"typeProperties": {
"connectionString": "Server=<server>.postgres.database.azure.com;Database=<database>;Port=<port>;UID=<username>;",
"password": {
"type": "AzureKeyVaultSecret",
"store": {
"referenceName": "<Azure Key Vault linked service name>",
"type": "LinkedServiceReference"
},
"secretName": "<secretName>"
}
}
}
}
Adathalmaz tulajdonságai
Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című témakörben találja. Ez a szakasz az Azure Database for PostgreSQL által az adathalmazokban támogatott tulajdonságok listáját tartalmazza.
Ha adatokat szeretne másolni az Azure Database for PostgreSQL-ből, állítsa be az adathalmaz típustulajdonságát az AzurePostgreSqlTable-ra. A következő tulajdonságok támogatottak:
Property | Leírás | Required |
---|---|---|
típus | Az adathalmaz típustulajdonságának az AzurePostgreSqlTable értékre kell állítania | Igen |
tableName | A tábla neve | Nem (ha "lekérdezés" van megadva a tevékenységforrásban) |
Példa
{
"name": "AzurePostgreSqlDataset",
"properties": {
"type": "AzurePostgreSqlTable",
"linkedServiceName": {
"referenceName": "<AzurePostgreSql linked service name>",
"type": "LinkedServiceReference"
},
"typeProperties": {}
}
}
Másolási tevékenység tulajdonságai
A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok és tevékenységek című témakörben találja. Ez a szakasz az Azure Database for PostgreSQL-forrás által támogatott tulajdonságok listáját tartalmazza.
Azure Database for PostgreSql forrásként
Ha adatokat szeretne másolni az Azure Database for PostgreSQL-ből, állítsa be a másolási tevékenység forrástípusát az AzurePostgreSqlSource-ra. A másolási tevékenység forrás szakaszában a következő tulajdonságok támogatottak:
Property | Leírás | Required |
---|---|---|
típus | A másolási tevékenység forrásának típustulajdonságát az AzurePostgreSqlSource-ra kell állítani | Igen |
Lekérdezés | Az adatok olvasásához használja az egyéni SQL-lekérdezést. Például: SELECT * FROM mytable vagy SELECT * FROM "MyTable" . Megjegyzés a PostgreSQL-ben, hogy az entitás neve kis- és nagybetűket nem érzéketlenként kezel, ha nincs idézve. |
Nem (ha az adathalmaz tableName tulajdonsága meg van adva) |
partitionOptions | Az Azure SQL Database-ből való adatbetöltéshez használt adatparticionálási beállításokat adja meg. Az engedélyezett értékek a következők: Nincs (alapértelmezett), PhysicalPartitionsOfTable és DynamicRange. Ha egy partíciós beállítás engedélyezve van (vagyis nem None ), a párhuzamosság mértékét, hogy egyidejűleg betöltse az adatokat egy Azure SQL Database-ből, a parallelCopies másolási tevékenység beállításai vezérlik. |
Nem |
partíció Gépház | Adja meg az adatparticionálás beállításainak csoportját. Akkor alkalmazható, ha a partíciós beállítás nem None . |
Nem |
A következő alatt partitionSettings : |
||
partitionNames | A másolandó fizikai partíciók listája. Akkor alkalmazható, ha a partíció beállítás. PhysicalPartitionsOfTable Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfTabularPartitionName be. Például tekintse meg az Azure Database for PostgreSQL párhuzamos példányát. |
Nem |
partitionColumnName | Adja meg annak a forrásoszlopnak a nevét egész számban vagy dátum/dátum/idő típusban (int , , smallint , bigint , date , timestamp without time zone vagy timestamp with time zone time without time zone ), amelyet a tartomány particionálása használ a párhuzamos másoláshoz. Ha nincs megadva, a rendszer automatikusan észleli a tábla elsődleges kulcsát, és partícióoszlopként használja.Akkor alkalmazható, ha a partíció beállítás. DynamicRange Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfRangePartitionColumnName be. Például tekintse meg az Azure Database for PostgreSQL párhuzamos példányát. |
Nem |
partitionUpperBound | A partícióoszlop maximális értéke az adatok kimásolásához. Akkor alkalmazható, ha a partíció beállítás. DynamicRange Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfRangePartitionUpbound be. Például tekintse meg az Azure Database for PostgreSQL párhuzamos példányát. |
Nem |
partitionLowerBound | Az adatok másolásához szükséges partícióoszlop minimális értéke. Akkor alkalmazható, ha a partíció beállítás. DynamicRange Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfRangePartitionLowbound be. Például tekintse meg az Azure Database for PostgreSQL párhuzamos példányát. |
Nem |
Példa
"activities":[
{
"name": "CopyFromAzurePostgreSql",
"type": "Copy",
"inputs": [
{
"referenceName": "<AzurePostgreSql input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "AzurePostgreSqlSource",
"query": "<custom query e.g. SELECT * FROM mytable>"
},
"sink": {
"type": "<sink type>"
}
}
}
]
Azure Database for PostgreSQL fogadóként
Ha adatokat szeretne átmásolni az Azure Database for PostgreSQL-be, a másolási tevékenység fogadó szakaszában az alábbi tulajdonságok támogatottak:
Property | Leírás | Required |
---|---|---|
típus | A másolási tevékenység fogadójának típustulajdonságát Az AzurePostgreSQLSink értékre kell állítani. | Igen |
preCopyScript | Adjon meg egy SQL-lekérdezést a másolási tevékenységhez, mielőtt adatokat írna az Azure Database for PostgreSQL-be minden futtatás során. Ezzel a tulajdonságkal törölheti az előre betöltött adatokat. | Nem |
writeMethod | Az adatok Azure Database for PostgreSQL-be való írásához használt módszer. Az engedélyezett értékek a következők: CopyCommand (alapértelmezett, amely nagyobb teljesítményű), BulkInsert. |
Nem |
writeBatchSize | Az Azure Database for PostgreSQL-be betöltött sorok száma kötegenként. Az engedélyezett érték egy egész szám, amely a sorok számát jelöli. |
Nem (az alapértelmezett érték 1 000 000) |
writeBatchTimeout | Várakozási idő, amíg a kötegbeszúrási művelet befejeződik, mielőtt túllépi az időkorlátot. Az engedélyezett értékek időbélyeg-sztringek. Ilyen például a 00:30:00 (30 perc). |
Nem (az alapértelmezett érték 00:30:00) |
Példa
"activities":[
{
"name": "CopyToAzureDatabaseForPostgreSQL",
"type": "Copy",
"inputs": [
{
"referenceName": "<input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<Azure PostgreSQL output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "<source type>"
},
"sink": {
"type": "AzurePostgreSQLSink",
"preCopyScript": "<custom SQL script>",
"writeMethod": "CopyCommand",
"writeBatchSize": 1000000
}
}
}
]
Párhuzamos másolás az Azure Database for PostgreSQL-ből
Az Azure Database for PostgreSQL-összekötő másolási tevékenységben beépített adatparticionálást biztosít az adatok párhuzamos másolásához. Az adatparticionálási beállításokat a másolási tevékenység Forrás lapján találja.
Ha engedélyezi a particionált másolást, a másolási tevékenység párhuzamos lekérdezéseket futtat az Azure Database for PostgreSQL-forráson az adatok partíciók szerinti betöltéséhez. A párhuzamos fokot a másolási parallelCopies
tevékenység beállításai vezérlik. Ha például négyre van állítva parallelCopies
, a szolgáltatás egyszerre generál és futtat négy lekérdezést a megadott partícióbeállítás és beállítások alapján, és minden lekérdezés lekéri az adatok egy részét az Azure Database for PostgreSQL-ből.
Javasoljuk, hogy engedélyezze a párhuzamos másolást adatparticionálással, különösen akkor, ha nagy mennyiségű adatot tölt be az Azure Database for PostgreSQL-ből. A következő javasolt konfigurációk különböző forgatókönyvekhez. Ha fájlalapú adattárba másol adatokat, ajánlott több fájlként írni egy mappába (csak a mappa nevét kell megadni), ebben az esetben a teljesítmény jobb, mint egyetlen fájlba írni.
Eset | Javasolt beállítások |
---|---|
Teljes terhelés nagy táblából, fizikai partíciókkal. | Partíciós beállítás: A tábla fizikai partíciói. A végrehajtás során a szolgáltatás automatikusan észleli a fizikai partíciókat, és partíciók alapján másolja az adatokat. |
Teljes terhelés nagy táblából fizikai partíciók nélkül, az adatparticionáláshoz pedig egész szám oszlopmal. | Partícióbeállítások: Dinamikus tartomány partíciója. Partícióoszlop: Adja meg az adatok particionálásához használt oszlopot. Ha nincs megadva, a rendszer az elsődleges kulcs oszlopát használja. |
Nagy mennyiségű adat betöltése egyéni lekérdezéssel, fizikai partíciókkal. | Partíciós beállítás: A tábla fizikai partíciói. Lekérdezés: SELECT * FROM ?AdfTabularPartitionName WHERE <your_additional_where_clause> .Partíció neve: Adja meg az adatok másolásához használni kívánt partíciónevet. Ha nincs megadva, a szolgáltatás automatikusan észleli a Fizikai partíciókat a PostgreSQL-adatkészletben megadott táblában. A végrehajtás során a szolgáltatás lecseréli ?AdfTabularPartitionName a tényleges partíciónevet, és elküldi az Azure Database for PostgreSQL-nek. |
Nagy mennyiségű adat betöltése egyéni lekérdezéssel fizikai partíciók nélkül, az adatparticionáláshoz pedig egész szám oszlopmal. | Partícióbeállítások: Dinamikus tartomány partíciója. Lekérdezés: SELECT * FROM ?AdfTabularPartitionName WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause> .Partícióoszlop: Adja meg az adatok particionálásához használt oszlopot. Az oszlophoz egész számmal vagy dátum/dátum/idő típusú adattípussal is particionálhat. Partíció felső határa és a partíció alsó határa: Adja meg, hogy a partícióoszlopra szeretne-e szűrni, hogy csak az alsó és a felső tartomány közötti adatokat kérje le. A végrehajtás során a szolgáltatás lecseréli az egyes partíciók ?AdfRangePartitionColumnName ?AdfRangePartitionUpbound ?AdfRangePartitionLowbound tényleges oszlopnevét és értéktartományait, és elküldi az Azure Database for PostgreSQL-nek. Ha például az "ID" partícióoszlop az alsó kötéssel 1, a felső kötés pedig 80, a párhuzamos másolás 4-zel van beállítva, a szolgáltatás 4 partícióval kéri le az adatokat. Azonosítójuk [1,20], [21, 40], [41, 60] és [61, 80] között van. |
Ajánlott eljárások az adatok partíciós beállítással való betöltéséhez:
- Válassza a megkülönböztető oszlopot partícióoszlopként (például elsődleges kulcs vagy egyedi kulcs) az adateltérés elkerülése érdekében.
- Ha a tábla beépített partícióval rendelkezik, a jobb teljesítmény érdekében használja a "Tábla fizikai partíciói" partícióbeállítást.
- Ha az Azure Integration Runtime-t használja az adatok másolásához, nagyobb "adatintegráció egységeket (DIU)" (>4) állíthat be a nagyobb számítási erőforrások használatához. Ellenőrizze a vonatkozó forgatókönyveket.
- A "másolási párhuzamosság foka" szabályozza a partíciószámokat, a túl nagy szám beállítása néha rontja a teljesítményt, javasoljuk, hogy állítsa be ezt a számot (DIU vagy a saját üzemeltetésű INTEGRÁCIÓs csomópontok száma) * (2–4).
Példa: teljes terhelés nagy táblából fizikai partíciókkal
"source": {
"type": "AzurePostgreSqlSource",
"partitionOption": "PhysicalPartitionsOfTable"
}
Példa: lekérdezés dinamikus tartománypartícióval
"source": {
"type": "AzurePostgreSqlSource",
"query": "SELECT * FROM <TableName> WHERE ?AdfDynamicRangePartitionCondition AND <your_additional_where_clause>",
"partitionOption": "DynamicRange",
"partitionSettings": {
"partitionColumnName": "<partition_column_name>",
"partitionUpperBound": "<upper_value_of_partition_column (optional) to decide the partition stride, not as data filter>",
"partitionLowerBound": "<lower_value_of_partition_column (optional) to decide the partition stride, not as data filter>"
}
}
Adatfolyam-tulajdonságok leképezése
A leképezési adatfolyam adatainak átalakításakor az Azure Database for PostgreSQL-ből olvashat és írhat táblákba. További információkért tekintse meg a forrásátalakítást és a fogadóátalakítást a leképezési adatfolyamokban. Választhat, hogy egy Azure Database for PostgreSQL-adatkészletet vagy egy beágyazott adatkészletet használ forrás- és fogadótípusként.
Forrásátalakítás
Az alábbi táblázat az Azure Database for PostgreSQL-forrás által támogatott tulajdonságokat sorolja fel. Ezeket a tulajdonságokat a Forrás beállításai lapon szerkesztheti.
Name | Leírás | Required | Megengedett értékek | Adatfolyam-szkript tulajdonság |
---|---|---|---|---|
Tábla | Ha bemenetként a Táblázat lehetőséget választja, az adatfolyam lekéri az adathalmazban megadott táblából az összes adatot. | Nem | - | (csak beágyazott adathalmaz esetén) tableName |
Query | Ha bemenetként a Lekérdezés lehetőséget választja, adjon meg egy SQL-lekérdezést az adatok forrásból való lekéréséhez, amely felülírja az adathalmazban megadott táblázatokat. A lekérdezések használatával csökkenthetők a tesztelési és keresési sorok. Az Order By záradék nem támogatott, de beállíthat egy teljes Standard kiadás LECT FROM utasítást. Felhasználó által definiált táblafüggvényeket is használhat. A *elemet az udfGetData() egy UDF az SQL-ben, amely egy olyan táblát ad vissza, amelyet az adatfolyamban használhat. Lekérdezési példa: select * from mytable where customerId > 1000 and customerId < 2000 vagy select * from "MyTable" . Megjegyzés a PostgreSQL-ben, hogy az entitás neve kis- és nagybetűket nem érzéketlenként kezel, ha nincs idézve. |
Nem | Sztring | Lekérdezés |
Séma neve | Ha bemenetként a Tárolt eljárást választja, adja meg a tárolt eljárás sémanevét, vagy a Frissítés lehetőséget választva kérje meg a szolgáltatást a sémanevek felderítésére. | Nem | Sztring | schemaName |
Tárolt eljárás | Ha bemenetként a Tárolt eljárást választja, adja meg a tárolt eljárás nevét, hogy adatokat olvasson be a forrástáblából, vagy a Frissítés lehetőséget választva kérje meg a szolgáltatást az eljárásnevek felderítésére. | Igen (ha a Tárolt eljárást választja bemenetként) | Sztring | procedureName |
Eljárásparaméterek | Ha bemenetként a Tárolt eljárást választja, adja meg a tárolt eljárás bemeneti paramétereit az eljárásban megadott sorrendben, vagy válassza az Importálás lehetőséget az összes eljárásparaméter importálásához az űrlap @paraName használatával. |
Nem | Tömb | Bemenetek |
Köteg mérete | Adjon meg egy kötegméretet, amely nagy méretű adatokat kötegekké alakít. | Nem | Egész | batchSize |
Elkülönítési szint | Válasszon az alábbi elkülönítési szintek közül: - Lekötött olvasás – Nem véglegesített olvasás (alapértelmezett) - Ismételhető olvasás -Szerializálható - Nincs (az elkülönítési szint figyelmen kívül hagyása) |
Nem | READ_COMMITTED READ_UNCOMMITTED REPEATABLE_READ Standard kiadás RIALIZABLE NINCS |
isolationLevel |
Példa az Azure Database for PostgreSQL forrásszkriptre
Ha az Azure Database for PostgreSQL-t használja forrástípusként, a társított adatfolyam-szkript a következő:
source(allowSchemaDrift: true,
validateSchema: false,
isolationLevel: 'READ_UNCOMMITTED',
query: 'select * from mytable',
format: 'query') ~> AzurePostgreSQLSource
Fogadó átalakítása
Az alábbi táblázat az Azure Database for PostgreSQL-fogadó által támogatott tulajdonságokat sorolja fel. Ezeket a tulajdonságokat a Fogadó beállításai lapon szerkesztheti.
Name | Leírás | Required | Megengedett értékek | Adatfolyam-szkript tulajdonság |
---|---|---|---|---|
Frissítési módszer | Adja meg, hogy milyen műveletek engedélyezettek az adatbázis célhelyén. Az alapértelmezett beállítás csak a beszúrások engedélyezése. A sorok frissítéséhez, frissítéséhez vagy törléséhez a sorok címkézéséhez alter sorátalakítás szükséges. |
Igen | true vagy false |
törölhető beszúrható Frissíthető upsertable |
Kulcsoszlopok | Frissítések, upserts és deletes esetén a kulcsoszlop(ok) beállításához meg kell határozni, hogy melyik sort kell módosítani. A kulcsként megadott oszlopnevet a rendszer a következő frissítés, a frissítés, a törlés részeként fogja használni. Ezért ki kell választania egy olyan oszlopot, amely a fogadóleképezésben található. |
Nem | Tömb | keys |
Kulcsoszlopok írásának kihagyása | Ha nem szeretné az értéket a kulcsoszlopba írni, válassza a "Kulcsoszlopok írásának kihagyása" lehetőséget. | Nem | true vagy false |
skipKeyWrites |
Táblaművelet | Meghatározza, hogy az írás előtt újra létre kell-e hozni vagy eltávolítani az összes sort a céltáblából. - Nincs: A rendszer nem hajt végre műveletet a táblán. - Újra: A tábla elvetve és újra létrehozva lesz. Új tábla dinamikus létrehozása esetén kötelező. - Csonkolási: A céltábla összes sora el lesz távolítva. |
Nem | true vagy false |
Újra megcsonkít |
Köteg mérete | Adja meg, hogy hány sor legyen megírva az egyes kötegekben. A nagyobb kötegméretek javítják a tömörítést és a memóriaoptimalizálást, de az adatok gyorsítótárazásakor a memóriakivételek kiesnek. | Nem | Egész | batchSize |
Felhasználói ADATBÁZIS-séma kiválasztása | Alapértelmezés szerint átmeneti tábla jön létre a fogadóséma alatt előkészítésként. Másik lehetőségként törölje a jelet a Fogadó séma használata lehetőségből, és ehelyett adjon meg egy sémanevet, amely alatt a Data Factory létrehoz egy átmeneti táblát, amely betölti a felsőbb rétegbeli adatokat, és a befejezéskor automatikusan törli őket. Győződjön meg arról, hogy táblaengedélyt hoz létre az adatbázisban, és módosítja a sémára vonatkozó engedélyt. | Nem | Sztring | stagingSchemaName |
SQL-szkriptek elő- és postálása | Adja meg azokat a többsoros SQL-szkripteket, amelyek a fogadó adatbázisba való írása előtt (előzetes feldolgozás) és (utófeldolgozás) után hajtanak végre. | Nem | Sztring | preSQLs postSQLs |
Tipp.
Növekményes kinyerés engedélyezése: Ezzel a beállítással tudathatja az ADF-sel, hogy csak azokat a sorokat dolgozza fel, amelyek a folyamat legutóbbi végrehajtása óta megváltoztak.
Növekményes oszlop: A növekményes kinyerési funkció használatakor ki kell választania a forrástáblában vízjelként használni kívánt dátum/idő vagy numerikus oszlopot.
Kezdje el az olvasást az elejétől: Ha ezt a beállítást növekményes kivonattal állítja be, az ADF arra utasítja az ADF-et, hogy olvassa be az összes sort egy folyamat első végrehajtásakor, és be van kapcsolva a növekményes kivonat.
Példa az Azure Database for PostgreSQL fogadószkriptre
Ha az Azure Database for PostgreSQL-t használja fogadótípusként, a társított adatfolyam-szkript a következő:
IncomingStream sink(allowSchemaDrift: true,
validateSchema: false,
deletable:false,
insertable:true,
updateable:true,
upsertable:true,
keys:['keyColumn'],
format: 'table',
skipDuplicateMapInputs: true,
skipDuplicateMapOutputs: true) ~> AzurePostgreSQLSink
Keresési tevékenység tulajdonságai
A tulajdonságokról további információt a Keresési tevékenység című témakörben talál.
Kapcsolódó tartalom
A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját lásd : Támogatott adattárak.