Adatok másolása a Netezzába Azure Data Factory vagy Synapse Analytics

A KÖVETKEZŐKRE VONATKOZIK: Azure Data Factory Azure Synapse Analytics

Ez a cikk bemutatja, hogyan használhatja a másolási tevékenységet Azure Data Factory vagy Synapse Analytics a Netezzában lévő adatok másolásához. A cikk a másolási tevékenységre épül,amely általános áttekintést nyújt a másolási tevékenységről.

Tipp

A Netezzába irányuló adatáttelepítési forgatókönyvről további információt az Adatok migrálása a helyszíni Netezza-kiszolgálóról az Azure-bacikk tartalmaz.

Támogatott képességek

Ez a Netezza-összekötő a következő tevékenységekhez támogatott:

Adatokat másolhat a Netezzába bármely támogatott fogadóadattárba. A másolási tevékenység által forrásként és fogadóként támogatott adattárak listájáért lásd: Támogatott adattárak és -formátumok.

A Netezza-összekötő támogatja a forrásból való párhuzamos másolást. További részleteket a Párhuzamos másolás a Netezzában című szakaszban talál.

A szolgáltatás beépített illesztőprogramot biztosít a csatlakozás engedélyezéséhez. Ehhez az összekötőhöz nem kell manuálisan illesztőprogramot telepítenie.

Előfeltételek

Ha az adattár egy helyszíni hálózatban, Azure-beli virtuális hálózatban vagy Amazon Virtual Private Cloudban található, konfigurálnia kell egy helyi integrációs runtime-t a csatlakozáshoz.

Ha az adattár egy felügyelt felhőalapú adatszolgáltatás, használhatja a Azure Integration Runtime. Ha a hozzáférés a tűzfalszabályokban jóváhagyott IP-kre van korlátozva, hozzáadhat Azure Integration Runtime IP-eket az engedélyezettek listájához.

Az Azure Data Factory felügyelt virtuális hálózati integrációs Azure Data Factory funkcióját is használhatja a helyszíni hálózat eléréséhez saját üzemeltetett integrációs környezet telepítése és konfigurálása nélkül.

További információ a hálózati biztonsági mechanizmusokról és a Data Factory által támogatott lehetőségekről: Adatelérési stratégiák.

Bevezetés

A másolási tevékenységet használó folyamatot a .NET SDK, a Python SDK, a Azure PowerShell, a REST API vagy egy Azure Resource Manager használatával hozhatja létre. A másolási tevékenységgelkapcsolatos folyamat létrehozásához tekintse meg a másolási tevékenység oktatóanyagát.

A Netezzához csatolt szolgáltatás létrehozása a felhasználói felület használatával

Az alábbi lépéseket követve hozzon létre egy, a Netezzához csatolt szolgáltatást a Azure Portal felhasználói felületén.

  1. Nyissa meg a Kezelés lapot a Azure Data Factory Synapse-munkaterületen, és válassza a Csatolt szolgáltatások lehetőséget, majd kattintson az Új elemre:

  2. Keressen rá a Netezza kifejezésre, és válassza ki a Netezza-összekötőt.

    A Netezza-összekötő képernyőképe.

  3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új csatolt szolgáltatást.

    Képernyőkép a Netezzához kapcsolódó szolgáltatás konfigurációról.

Az összekötő konfigurációjának részletei

A következő szakaszok részletesen ismertetik a Netezza-összekötőre jellemző entitások meghatározásához használható tulajdonságokat.

Csatolt szolgáltatás tulajdonságai

A Netezza csatolt szolgáltatás a következő tulajdonságokat támogatja:

Tulajdonság Leírás Kötelező
típus A type (típus) tulajdonságot Netezza (Netezza) típusúra kell állítani. Yes
connectionString (kapcsolati karakterlánc) OdBC kapcsolati sztring a Netezzához való csatlakozáshoz.
Emellett jelszót is Azure Key Vault a pwd konfigurációt a kapcsolati sztringből. További részletekért tekintse meg az alábbi mintákat és a hitelesítő Azure Key Vault a cikkben.
Yes
connectVia A Integration Runtime az adattárhoz való csatlakozáshoz használható. További információkért lásd az Előfeltételek szakaszt. Ha nincs megadva, a Azure Integration Runtime lesz használva. No

Egy tipikus kapcsolati sztring a Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password> . Az alábbi táblázat további beállítható tulajdonságokat ismertet:

Tulajdonság Leírás Kötelező
SecurityLevel (Biztonsági szint) Az illesztő által az adattárhoz való csatlakozáshoz használt biztonsági szint. Az illesztő az SSL 3-as verzióját használó egyútos hitelesítéssel támogatja az SSL-kapcsolatokat.
Példa: SecurityLevel=preferredSecured. A támogatott értékek a következőek:
- Csak nem biztonságos (onlyUnSecured): Az illesztőprogram nem használ SSL-t.
- Előnyben részesített nem biztonságos (preferredUnSecured) (alapértelmezett): Ha a kiszolgáló választási lehetőséget biztosít, az illesztőprogram nem használ SSL-t.
- Előnyben részesített biztonság (preferredSecured): Ha a kiszolgáló választási lehetőséget biztosít, az illesztőprogram SSL-t használ.
- Csak biztonságos (csak Biztonságos): Az illesztő csak akkor csatlakozik, ha elérhető SSL-kapcsolat.
No
CaCertFile A kiszolgáló által használt SSL-tanúsítvány teljes elérési útja. Például: CaCertFile=<cert path>; Igen, ha az SSL engedélyezve van

Példa

{
    "name": "NetezzaLinkedService",
    "properties": {
        "type": "Netezza",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Példa: jelszó tárolása a Azure Key Vault

{
    "name": "NetezzaLinkedService",
    "properties": {
        "type": "Netezza",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adatkészlet tulajdonságai

Ez a szakasz a Netezza-adatkészlet által támogatott tulajdonságok listáját tartalmazza.

Az adatkészletek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját lásd: Adatkészletek.

Az adatok Netezza-ból való másolásához állítsa az adathalmaz type tulajdonságát NetezzaTable-re. A következő tulajdonságok támogatottak:

Tulajdonság Leírás Kötelező
típus Az adathalmaz type tulajdonságának a következőre kell állítania: NetezzaTable Yes
schema A séma neve. Nem (ha a tevékenységforrásban a "lekérdezés" meg van adva)
tábla A tábla neve. Nem (ha a tevékenységforrásban a "lekérdezés" meg van adva)
tableName A sématáblának a neve. Ez a tulajdonság a visszamenőleges kompatibilitás érdekében támogatott. Új schema számítási table feladatokhoz használja a és a et. Nem (ha a tevékenységforrásban a "lekérdezés" meg van adva)

Példa

{
    "name": "NetezzaDataset",
    "properties": {
        "type": "NetezzaTable",
        "linkedServiceName": {
            "referenceName": "<Netezza linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {}
    }
}

Másolási tevékenység tulajdonságai

Ez a szakasz a Netezza-forrás által támogatott tulajdonságok listáját tartalmazza.

A tevékenységek definiálása érdekében rendelkezésre álló szakaszok és tulajdonságok teljes listáját lásd: Folyamatok.

Netezza mint forrás

Tipp

Ha hatékonyan szeretne adatokat betölteni a Netezzába az adat particionálás használatával, olvassa el a Párhuzamos másolás a Netezzában című szakaszt.

Az adatok Netezzból való másolásához állítsa a forrás típusát a Másolási tevékenység beállításnál a NetezzaSource-hoz. A Másolási tevékenység forrása szakaszban a következő tulajdonságok támogatottak:

Tulajdonság Leírás Kötelező
típus A másolási tevékenység forrásának type tulajdonságát NetezzaSource-nak kell beállítania. Yes
lekérdezés Az egyéni lekérdezéssel SQL beolvashatja az adatokat. Például: "SELECT * FROM MyTable" Nem (ha meg van adva a "tableName" az adatkészletben)
partitionOptions (partíciólehetőségek) Megadja a Netezzból való adatbetöltéshez használt adatpartíciós beállításokat.
Az engedélyezett értékek aek: Nincs (alapértelmezett), DataSlice, és DynamicRange.
Ha engedélyezve van egy partíciós beállítás (azaz nem ), az adatok Netezza-adatbázisból való párhuzamosságának mértékét a másolási tevékenység beállítása None parallelCopies vezérli.
No
partitionSettings Adja meg az adatpartíció beállításainak csoportját.
Akkor alkalmazza, ha a partíciós beállítás nem None .
No
partitionColumnName Adja meg a forrásoszlop nevét egész szám típusúként, amelyet a tartomány particionálás fog használni a párhuzamos másoláshoz. Ha nincs megadva, a rendszer automatikusan a tábla elsődleges kulcsát használja partícióoszlopként.
Akkor alkalmazza, ha a partíciós beállítás DynamicRange . Ha lekérdezést használ a forrásadatok lekéréséhez, használja a hookot a ?AdfRangePartitionColumnName WHERE záradékban. Lásd a Párhuzamos másolás a Netezzában című szakasz példáját.
No
partitionUpperBound Az adatok másolására vonatkozó partícióoszlop maximális értéke.
Akkor alkalmazza, ha a partíciós beállítás DynamicRange . Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban használja a ?AdfRangePartitionUpbound hookot. Példaként tekintse meg a Párhuzamos másolás a Netezzában című szakaszt.
No
partitionLowerBound Az adatok másolására vonatkozó partícióoszlop minimális értéke.
Akkor alkalmazza, ha a partíciós beállítás DynamicRange . Ha lekérdezést használ a forrásadatok lekéréséhez, hookot használjon a ?AdfRangePartitionLowbound WHERE záradékban. Példaként tekintse meg a Párhuzamos másolás a Netezzában című szakaszt.
No

Példa

"activities":[
    {
        "name": "CopyFromNetezza",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Netezza input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "NetezzaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Párhuzamos másolat a Netezzból

A Data Factory Netezza-összekötő beépített adatpartíciót biztosít a Netezzában található adatok párhuzamos másolásához. Az adatpartíciós beállításokat a másolási tevékenység Forrás tábláján találja.

Képernyőkép a partíciós beállításokról

Ha engedélyezi a particionált másolást, a szolgáltatás párhuzamos lekérdezéseket futtat a Netezza-forráson az adatok partíciók szerint való betöltéséhez. A párhuzamos fokot a parallelCopies másolási tevékenység beállítása vezérli. Ha például négyre van állítva, a szolgáltatás egyidejűleg generál és futtat négy lekérdezést a megadott partíciós beállítás és beállítások alapján, és minden lekérdezés lekéri az adatok egy részét parallelCopies a Netezza-adatbázisból.

Ajánlott engedélyezni a párhuzamos másolást adat particionálással, különösen akkor, ha nagy mennyiségű adatot tölt be a Netezza-adatbázisból. Az alábbiakban a különböző forgatókönyvekhez javasolt konfigurációkat íme. Amikor adatokat másol egy fájlalapú adattárba, a rendszer azt a parancsot adja meg, hogy több fájlként írjon egy mappába (csak mappanevet adjon meg), amely esetben a teljesítmény jobb, mint egyetlen fájlba írni.

Eset Javasolt beállítások
Teljes betöltés nagy táblából. Partíciós lehetőség: Adatszelet.

A végrehajtás során a szolgáltatás automatikusan particionálta az adatokat a Netezzabeépített adatszeletei alapján, és partíciók szerint másolja az adatokat.
Nagy mennyiségű adat betöltése egyéni lekérdezéssel. Partíciós lehetőség: Adatszelet.
Lekérdezés: SELECT * FROM <TABLENAME> WHERE mod(datasliceid, ?AdfPartitionCount) = ?AdfDataSliceCondition AND <your_additional_where_clause> .
A végrehajtás során a szolgáltatás a (másolási tevékenységhez beállított párhuzamos másolási számmal) és az adatszelet particionálási logikáját váltja fel, és elküldi őket a ?AdfPartitionCount ?AdfDataSliceCondition Netezzának.
Nagy mennyiségű adat betöltése egyéni lekérdezéssel, egy egész szám típusú oszloppal, amely egyenletesen elosztott értékkel bír a tartomány particionáláshoz. Partíciós beállítások: Dinamikustartomány-partíció.
Lekérdezés: SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause> .
Partícióoszlop: Adja meg az adatok particionálhoz használt oszlopát. Az oszlopra egész szám adattípussal particionálhat.
Partíció felső és alsó határa: Adja meg, hogy a partícióoszlop alapján szeretne-e szűrni, és csak az alsó és a felső tartomány közötti adatokat szeretné lekérni.

A végrehajtás során a szolgáltatás lecseréli a , és értékeket az egyes partíciók tényleges oszlopnevére és értéktartományára, és elküldi őket a ?AdfRangePartitionColumnName ?AdfRangePartitionUpbound ?AdfRangePartitionLowbound Netezzának.
Ha például a partíció "ID" oszlopának alsó korlátja 1, a felső pedig 80, a párhuzamos másolási beállítás pedig 4, a szolgáltatás 4 partícióval olvassa be az adatokat. Az értékük [1,20], [21, 40], [41, 60] és [61, 80] között van.

Példa: lekérdezés adatszeletpartícióval

"source": {
    "type": "NetezzaSource",
    "query": "SELECT * FROM <TABLENAME> WHERE mod(datasliceid, ?AdfPartitionCount) = ?AdfDataSliceCondition AND <your_additional_where_clause>",
    "partitionOption": "DataSlice"
}

Példa: lekérdezés dinamikustartomány-partícióval

"source": {
    "type": "NetezzaSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<dynamic_range_partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Keresési tevékenység tulajdonságai

A tulajdonságokkal kapcsolatos részletekért tekintse meg a keresési tevékenységet.

Következő lépések

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listájáért lásd: Támogatott adattárak és -formátumok.