Adatok másolása a Netezza-ból az Azure Data Factory vagy a Synapse Analytics használatával

Cikk
11/16/2023

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk azt ismerteti, hogyan használhatja a Másolási tevékenységet az Azure Data Factoryben vagy a Synapse Analytics-folyamatokban az adatok Netezza-ból való másolásához. A cikk a másolási tevékenységre épül, amely a másolási tevékenység általános áttekintését mutatja be.

Tipp.

A Netezza-ból az Azure-ba irányuló adatmigrálási forgatókönyvről a helyszíni Netezza-kiszolgálóról az Azure-ba történő adatmigrálásról tudhat meg többet.

Támogatott képességek

Ez a Netezza-összekötő a következő képességeket támogatja:

Támogatott képességek	IR
Copy tevékenység (forrás/-)	① ②
Keresési tevékenység	① ②

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

Azoknak az adattáraknak a listáját, amelyeket a Másolási tevékenység forrásként és fogadóként támogat, tekintse meg a támogatott adattárakat és formátumokat.

A Netezza-összekötő támogatja a forrásból történő párhuzamos másolást. Részletekért tekintse meg a Netezza párhuzamos példányát.

A szolgáltatás egy beépített illesztőprogramot biztosít a kapcsolat engedélyezéséhez. Az összekötő használatához nem kell manuálisan telepítenie egy illesztőprogramot sem.

Előfeltételek

Ha az adattár helyszíni hálózaton, Azure-beli virtuális hálózaton vagy Amazon Virtual Private Cloudon belül található, konfigurálnia kell egy saját üzemeltetésű integrációs modult a csatlakozáshoz.

Ha az adattár felügyelt felhőalapú adatszolgáltatás, használhatja az Azure Integration Runtime-ot. Ha a hozzáférés a tűzfalszabályokban jóváhagyott IP-címekre korlátozódik, hozzáadhat azure integration runtime IP-eket az engedélyezési listához.

Az Azure Data Factory felügyelt virtuális hálózati integrációs moduljával is elérheti a helyszíni hálózatot anélkül, hogy saját üzemeltetésű integrációs modult telepítene és konfigurálna.

A Data Factory által támogatott hálózati biztonsági mechanizmusokkal és lehetőségekkel kapcsolatos további információkért lásd az adathozzáférési stratégiákat.

Első lépések

Létrehozhat egy másolási tevékenységet használó folyamatot a .NET SDK, a Python SDK, az Azure PowerShell, a REST API vagy egy Azure Resource Manager-sablon használatával. A másolási tevékenységgel rendelkező folyamat létrehozásához részletes útmutatást a Másolási tevékenység oktatóanyagbantalál.

Társított szolgáltatás létrehozása a Netezza-hoz felhasználói felülettel

Az alábbi lépésekkel létrehozhat egy társított szolgáltatást a Netezza-hoz az Azure Portal felhasználói felületén.

Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:
- Azure Data Factory
- Azure Synapse
Keresse meg a Netezza-t, és válassza ki a Netezza-összekötőt.
Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

Csatlakozás or konfigurációjának részletei

Az alábbi szakaszok a Netezza-összekötőre jellemző entitások definiálásához használható tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

A Netezza társított szolgáltatás esetében a következő tulajdonságok támogatottak:

Property	Leírás	Required
típus	A típustulajdonságot Netezza értékre kell állítani.	Igen
connectionString	Egy ODBC-kapcsolati sztring a Netezza-hoz való csatlakozáshoz. Jelszót is elhelyezhet az Azure Key Vaultban, és lekérheti a `pwd` konfigurációt a kapcsolati sztring. További részletekért tekintse meg az alábbi példákat és a hitelesítő adatok tárolását az Azure Key Vaultban .	Igen
connectVia	Az adattárhoz való csatlakozáshoz használható integrációs modul . További információ az Előfeltételek szakaszból. Ha nincs megadva, a rendszer az alapértelmezett Azure Integration Runtime-t használja.	Nem

Egy tipikus kapcsolati sztring a Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>. Az alábbi táblázat további, beállítható tulajdonságokat ír le:

Property	Leírás	Required
SecurityLevel	Az illesztőprogram által az adattárhoz való kapcsolódáshoz használt biztonsági szint. Az illesztőprogram egyirányú hitelesítéssel támogatja az SSL-kapcsolatokat a 3. SSL-verzióval. Example: `SecurityLevel=preferredSecured`. A támogatott értékek a következők: - Csak nem biztonságos (csakUnSecured): Az illesztőprogram nem használ SSL-t. - Előnyben részesített nem biztonságos (preferredUnSecured) (alapértelmezett): Ha a kiszolgáló választ, az illesztőprogram nem használ SSL-t. - Előnyben részesített biztonságos (preferredSecured): Ha a kiszolgáló választ, az illesztőprogram SSL-t használ. - Csak biztonságos (csak biztonságos):: Az illesztőprogram csak akkor csatlakozik, ha SSL-kapcsolat áll rendelkezésre.	Nem
CaCertFile	A kiszolgáló által használt SSL-tanúsítvány teljes elérési útja. Example: `CaCertFile=<cert path>;`	Igen, ha az SSL engedélyezve van

Példa

{
    "name": "NetezzaLinkedService",
    "properties": {
        "type": "Netezza",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Példa: jelszó tárolása az Azure Key Vaultban

{
    "name": "NetezzaLinkedService",
    "properties": {
        "type": "Netezza",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adathalmaz tulajdonságai

Ez a szakasz a Netezza-adatkészlet által támogatott tulajdonságok listáját tartalmazza.

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című témakörben találja.

Ha adatokat szeretne másolni a Netezza-ból, állítsa be az adathalmaz típustulajdonságát a NetezzaTable értékre. A következő tulajdonságok támogatottak:

Property	Leírás	Required
típus	Az adathalmaz típustulajdonságának a következőnek kell lennie: NetezzaTable	Igen
schema	A séma neve.	Nem (ha "lekérdezés" van megadva a tevékenységforrásban)
table	A tábla neve.	Nem (ha "lekérdezés" van megadva a tevékenységforrásban)
tableName	A sématáblázat neve. Ez a tulajdonság támogatja a visszamenőleges kompatibilitást. Új számítási feladatok használata és `table` használata`schema`.	Nem (ha "lekérdezés" van megadva a tevékenységforrásban)

Példa

{
    "name": "NetezzaDataset",
    "properties": {
        "type": "NetezzaTable",
        "linkedServiceName": {
            "referenceName": "<Netezza linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {}
    }
}

Másolási tevékenység tulajdonságai

Ez a szakasz a Netezza-forrás által támogatott tulajdonságok listáját tartalmazza.

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című témakörben találja.

Netezza mint forrás

Tipp.

Ha hatékonyan szeretne adatokat betölteni a Netezza-ból adatparticionálással, további információt a Netezza-szakasz párhuzamos másolásáról tudhat meg.

Ha adatokat szeretne másolni a Netezza-ból, állítsa be a forrástípust a Másolási tevékenységben a NetezzaSource-ra. A Másolási tevékenység forrás szakasza a következő tulajdonságokat támogatja:

Property	Leírás	Required
típus	A Másolási tevékenység forrás típustulajdonságának a NetezzaSource értékre kell állítania.	Igen
Lekérdezés	Az adatok olvasásához használja az egyéni SQL-lekérdezést. Example: `"SELECT * FROM MyTable"`	Nem (ha "tableName" van megadva az adathalmazban)
partitionOptions	Megadja az adatok Netezza-ból való betöltéséhez használt adatparticionálási beállításokat. Az engedélyezési értékek a következők: Nincs (alapértelmezett), DataSlice és DynamicRange. Ha egy partíciós beállítás engedélyezve van (vagyis nem `None`), a netezza-adatbázisból egyidejűleg betöltendő adatok párhuzamossági fokát a másolási tevékenység beállítása vezérli `parallelCopies` .	Nem
partíció Gépház	Adja meg az adatparticionálás beállításainak csoportját. Akkor alkalmazható, ha a partíciós beállítás nem `None`.	Nem
partitionColumnName	Adja meg a forrásoszlop nevét egész számtípusban , amelyet a párhuzamos másolás tartományparticionálása használ. Ha nincs megadva, a rendszer automatikusan észleli a tábla elsődleges kulcsát, és partícióoszlopként használja. Akkor alkalmazható, ha a partíció beállítás.`DynamicRange` Ha lekérdezést használ a forrásadatok lekéréséhez, akkor a WHERE záradékban kapcsoljon `?AdfRangePartitionColumnName` be. Lásd például a Netezza szakasz párhuzamos másolatát.	Nem
partitionUpperBound	A partícióoszlop maximális értéke az adatok kimásolásához. Akkor alkalmazható, ha a partíciós beállítás .`DynamicRange` Ha lekérdezést használ a forrásadatok lekéréséhez, csatlakoztassa `?AdfRangePartitionUpbound` a WHERE záradékot. Például tekintse meg a Netezza párhuzamos másolatát.	Nem
partitionLowerBound	Az adatok másolásához szükséges partícióoszlop minimális értéke. Akkor alkalmazható, ha a partíció beállítás.`DynamicRange` Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon `?AdfRangePartitionLowbound` be. Például tekintse meg a Netezza párhuzamos másolatát.	Nem

Példa

"activities":[
    {
        "name": "CopyFromNetezza",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Netezza input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "NetezzaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Párhuzamos másolat a Netezza-ból

A Data Factory Netezza összekötő beépített adatparticionálást biztosít az adatok Netezza-ból való párhuzamos másolásához. Az adatparticionálási beállításokat a másolási tevékenység forrástábláján találja.

Screenshot of partition options

Ha engedélyezi a particionált másolást, a szolgáltatás párhuzamos lekérdezéseket futtat a Netezza-forráson az adatok partíciók szerinti betöltéséhez. A párhuzamos fokot a másolási parallelCopies tevékenység beállításai vezérlik. Ha például négyre van állítva parallelCopies , a szolgáltatás egyszerre generál és futtat négy lekérdezést a megadott partícióbeállítás és beállítások alapján, és minden lekérdezés lekéri az adatok egy részét a Netezza-adatbázisból.

Javasoljuk, hogy engedélyezze a párhuzamos másolást az adatparticionálással, különösen akkor, ha nagy mennyiségű adatot tölt be a Netezza-adatbázisból. A következő javasolt konfigurációk különböző forgatókönyvekhez. Az adatok fájlalapú adattárba történő másolásakor a rendszer újraparancsolja, hogy több fájlként írjon egy mappába (csak a mappa nevét adja meg), ebben az esetben a teljesítmény jobb, mint egyetlen fájlba írni.

Eset	Javasolt beállítások
Teljes terhelés nagy táblából.	Partíciós beállítás: Adatszelet. A végrehajtás során a szolgáltatás automatikusan particionálja az adatokat a Netezza beépített adatszeletei alapján, és partíciók szerint másolja az adatokat.
Nagy mennyiségű adat betöltése egyéni lekérdezéssel.	Partíciós beállítás: Adatszelet. Lekérdezés: `SELECT * FROM <TABLENAME> WHERE mod(datasliceid, ?AdfPartitionCount) = ?AdfDataSliceCondition AND <your_additional_where_clause>`. A végrehajtás során a szolgáltatás lecseréli `?AdfPartitionCount` (a másolási tevékenységhez beállított párhuzamos másolási számra) és `?AdfDataSliceCondition` az adatszelet partíciólogikára, és elküldi a Netezza-nak.
Nagy mennyiségű adatot tölthet be egyéni lekérdezéssel, és egy egyenletesen elosztott értékkel rendelkező egész oszlopot használ a tartomány particionálásához.	Partícióbeállítások: Dinamikus tartomány partíciója. Lekérdezés: `SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>`. Partícióoszlop: Adja meg az adatok particionálásához használt oszlopot. Az egész szám adattípusú oszlopra particionálást végezhet. Partíció felső határa és a partíció alsó határa: Adja meg, hogy a partícióoszlopra szeretne-e szűrni, hogy csak az alsó és a felső tartomány közötti adatokat kérje le. A végrehajtás során a szolgáltatás lecseréli az egyes partíciók `?AdfRangePartitionColumnName?AdfRangePartitionUpbound?AdfRangePartitionLowbound` tényleges oszlopnevét és értéktartományait, és elküldi a Netezza-nak. Ha például az "ID" partícióoszlop az alsó kötéssel 1, a felső kötés pedig 80, a párhuzamos másolási beállítás pedig 4, akkor a szolgáltatás 4 partícióval kéri le az adatokat. Azonosítójuk [1,20], [21, 40], [41, 60] és [61, 80] között van.

Példa: lekérdezés adatszeletpartícióval

"source": {
    "type": "NetezzaSource",
    "query": "SELECT * FROM <TABLENAME> WHERE mod(datasliceid, ?AdfPartitionCount) = ?AdfDataSliceCondition AND <your_additional_where_clause>",
    "partitionOption": "DataSlice"
}

Példa: lekérdezés dinamikus tartománypartícióval

"source": {
    "type": "NetezzaSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<dynamic_range_partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

Azoknak az adattáraknak a listáját, amelyeket a Másolási tevékenység forrásként és fogadóként támogat, tekintse meg a támogatott adattárakat és formátumokat.

Adatok másolása a Netezza-ból az Azure Data Factory vagy a Synapse Analytics használatával

Támogatott képességek

Előfeltételek

Első lépések

Társított szolgáltatás létrehozása a Netezza-hoz felhasználói felülettel

Csatlakozás or konfigurációjának részletei

Társított szolgáltatás tulajdonságai

Adathalmaz tulajdonságai

Másolási tevékenység tulajdonságai

Netezza mint forrás

Párhuzamos másolat a Netezza-ból

Keresési tevékenység tulajdonságai

Kapcsolódó tartalom

További források