Másolási tevékenység figyelése

A KÖVETKEZŐKRE VONATKOZIK: Azure Data Factory Azure Synapse Analytics

Ez a cikk a másolási tevékenységek végrehajtásának monitorozását ismerteti Azure Data Factory Synapse-folyamatokban. A másolási tevékenység áttekintését ismertető cikkre épül, amely általános áttekintést nyújt a másolási tevékenységről. A Adatok másolása eszközzel létrehozott másolási tevékenységeket, valamint a törlési tevékenységeket ugyanezen módszer használatával is figyelheti.

Vizuális megfigyelés

Miután létrehozott és közzétett egy folyamatot, társíthatja azt egy eseményindítóval, vagy manuálisan elindíthat egy alkalmi futtatást. A felhasználói élményben natív módon figyelheti az összes folyamat futását. A monitorozásról általánosságban a Vizuális monitorozási és Azure Data Factory Synapse-folyamatokban olvashat.

Az alkalmazás futtatásának Copy tevékenység a Data Factory Studio vagy a Azure Synapse Studio felhasználói felületére. A Monitorozás lapon láthatja a folyamatfuttassak listáját, majd kattintson a folyamat nevére mutató hivatkozásra a folyamatfuttassa tevékenységek listájának eléréséhez.

Ezen a szinten a másolási tevékenység bemenetére, kimenetére és hibáira mutató hivatkozásokat láthat (ha a Copy tevékenység futtatása sikertelen), valamint olyan statisztikákat, mint az időtartam/állapot. A másolási tevékenység neve melletti Részletek gombra (szemüveg) kattintva részletes információkat talál a másolási tevékenység végrehajtásáról.

Másolási tevékenység futtatásának figyelése

Ebben a grafikus monitorozási nézetben a szolgáltatás megjeleníti a másolási tevékenység végrehajtási adatait, többek között az olvasott/írt adatmennyiséget, a forrásból a fogadóba másolt fájlok/adatsorok számát, az átviteli sebességet, a másolási forgatókönyvhöz alkalmazott konfigurációkat, a másolási tevékenység lépéseit és a megfelelő időtartamokat és részleteket. Tekintse meg ezt a táblázatot az egyes lehetséges metrikákról és a részletes leírásról.

Bizonyos esetekben, amikor futtat egy Copy tevékenység, a "Teljesítmény-finomhangolási tippek" megjelenik a másolási tevékenység figyelési nézetének tetején, ahogy az a példában is látható. A tippekből a szolgáltatás által az adott másolási futtatás során azonosított szűk keresztmetszetet kaphatja meg, valamint javaslatot tesz arra, hogy mi legyen módosítva a másolási sebesség növelése érdekében. További információ az automatikus teljesítményhangolási tippekről.

Az alsó végrehajtási részletek és időtartamok a másolási tevékenység legfontosabb lépéseit ismertetik, ami különösen hasznos a másolási teljesítmény hibaelhárítása során. A másolási futtatás szűk keresztmetszete a leghosszabb időtartammal. Az egyes fázisok által képviselt tevékenységekről és a részletes hibaelhárítási útmutatóról a Másolási tevékenység teljesítményének hibaelhárítása témakörben lehet tájékozódni.

Példa: Másolás Amazon S3-ból Azure Data Lake Storage Gen2-be

Másolási tevékenység futtatás részleteinek figyelése

Monitorozás programozott módon

Copy tevékenység a végrehajtási részleteket és a teljesítményjellemzők is visszaadják a Másolási tevékenység futtatás eredménye Kimenet szakaszban, amely a felhasználói felület figyelési nézetének > megjelenítésére használható. Az alábbiakban a visszaadható tulajdonságok teljes listája található. Csak a másolási forgatókönyvre vonatkozó tulajdonságok fognak látszatot látni. A tevékenységek futásának programozott módon történő figyelésével kapcsolatos információkért lásd: Azure Data Factory vagy Synapse-folyamat programozott monitorozása.

Tulajdonság neve Description Egység a kimenetben
dataRead (adatolvasás) A forrásból beolvasott adatok tényleges mennyisége. Int64 érték, bájtban
dataWritten (adatírás) A fogadóhoz írt/lekötött adatok tényleges csatlakoztatása. A méret eltérő lehet a mérettől, mivel attól függ, hogy az egyes adattárak hogyan dataRead tárolják az adatokat. Int64 érték, bájtban
filesRead (fájlok beolvasása) A fájlalapú forrásból beolvasott fájlok száma. Int64 érték (egység nélkül)
filesWritten (Írott fájlok) A fájlalapú fogadóba írt/lekötött fájlok száma. Int64 érték (egység nélkül)
filesSkipped A fájlalapú forrásból kihagyott fájlok száma. Int64 érték (egység nélkül)
dataConsistencyVerification Az adatkonzisztencia-ellenőrzés részletei, ahol ellenőrizhető, hogy a másolt adatok konzisztensek-e a forrás- és a céltár között. További információt ebben a cikkben talál. Tömb
sourcePeakConnections A forrásadattárhoz a futtatás során létrehozott egyidejű kapcsolatok Copy tevékenység csúcsérték. Int64 érték (egység nélkül)
sinkPeakConnections A fogadó adattárhoz a futtatás során létrehozott egyidejű kapcsolatok Copy tevékenység csúcsérték. Int64 érték (egység nélkül)
rowsRead (sorok beolvasása) A forrásból beolvasott sorok száma. Ez a metrika nem vonatkozik a fájlok adott módon történő másolására azok elemezés nélkül, például ha a forrás- és fogadó-adatkészletek bináris formátumúak, vagy más formátumtípus azonos beállításokkal. Int64 érték (egység nélkül)
rowsCopied (sorok hatóköre) A fogadóba másolt sorok száma. Ez a metrika nem vonatkozik a fájlok adott módon történő másolására azok elemezés nélkül, például ha a forrás- és fogadó-adatkészletek bináris formátumúak, vagy más formátumtípus azonos beállításokkal. Int64 érték (egység nélkül)
rowsSkipped A kihagyott inkompatibilis sorok száma. Az true (igaz) beállítással engedélyezheti, hogy a rendszer kihagyja a enableSkipIncompatibleRow nem kompatibilis sorokat. Int64 érték (egység nélkül)
copyDuration (másolási dokumentum) A másolási futtatás időtartama. Int32 érték, másodpercben
korlátozások Az adatátvitel sebessége elosztva dataRead a copyDuration következővel: . Lebegőpontos szám, KBps-ban megvakodva
sourcePeakConnections A forrásadattárhoz a futtatás során létrehozott egyidejű kapcsolatok Copy tevékenység csúcsérték. Int32 érték (egység nélkül)
sinkPeakConnections A fogadó adattárhoz a futtatás során létrehozott egyidejű kapcsolatok Copy tevékenység csúcsérték. Int32 érték (egység nélkül)
sqlDwPolyBase Használja-e a rendszer a PolyBase-t, amikor adatokat másol a Azure Synapse Analytics. Logikai
redshiftUnload Azt határozza meg, hogy a rendszer az UNLOAD-et használja-e, amikor adatokat másol a Redshiftből. Logikai
hdfsDistcp Azt határozza meg, hogy a Rendszer használja-e a DistCp-t, amikor adatokat másol a HDFS-ről. Logikai
effectiveIntegrationRuntime A tevékenység futtatásához használt integrációs és integrációskörnyezet (IR) a következő formátumban: <IR name> (<region if it's Azure IR>) . Szöveg (sztring)
usedDataIntegrationUnits A másolás során hatályos adatintegrációs egységek. Int32 érték
usedParallelCopies Az hatályos párhuzamos hatókör a másolás során. Int32 érték
logPath A blobtároló kihagyott adatainak munkamenetnaplója elérési útja. Lásd: Hibatűrés. Szöveg (sztring)
executionDetails (részletek végrehajtása) További részletek a folyamat Copy tevékenység és a vonatkozó lépésekről, időtartamról, konfigurációkról stb. Nem javasoljuk, hogy elemezze ezt a szakaszt, mert megváltozhat. Ha jobban meg kell értenie, hogyan segít megérteni és elhárítani a másolási teljesítményt, tekintse meg a Vizuális monitorezés című szakaszt. Tömb
perfRecommendation (ajánlottság) Másolási teljesítmény-finomhangolási tippek. Részletekért lásd: Teljesítmény-finomhangolási tippek. Tömb
billingReference (számlázás) Az adott futtatás számlázási fogyasztását. További információ: Használat figyelése tevékenységfuttassa szinten. Objektum
durationInQueue (durationInQueue) A másolási tevékenység végrehajtása előtti várakozási idő másodpercben. Objektum

Példa

"output": {
    "dataRead": 1180089300500,
    "dataWritten": 1180089300500,
    "filesRead": 110,
    "filesWritten": 110,
    "filesSkipped": 0,
    "sourcePeakConnections": 640,
    "sinkPeakConnections": 1024,
    "copyDuration": 388,
    "throughput": 2970183,
    "errors": [],
    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
    "usedDataIntegrationUnits": 128,
    "billingReference": "{\"activityType\":\"DataMovement\",\"billableDuration\":[{\"Managed\":11.733333333333336}]}",
    "usedParallelCopies": 64,
    "dataConsistencyVerification": 
    { 
        "VerificationResult": "Verified", 
        "InconsistentData": "None" 
    },
    "executionDetails": [
        {
            "source": {
                "type": "AmazonS3"
            },
            "sink": {
                "type": "AzureBlobFS",
                "region": "East US",
                "throttlingErrors": 6
            },
            "status": "Succeeded",
            "start": "2020-03-04T02:13:25.1454206Z",
            "duration": 388,
            "usedDataIntegrationUnits": 128,
            "usedParallelCopies": 64,
            "profile": {
                "queue": {
                    "status": "Completed",
                    "duration": 2
                },
                "transfer": {
                    "status": "Completed",
                    "duration": 386,
                    "details": {
                        "listingSource": {
                            "type": "AmazonS3",
                            "workingDuration": 0
                        },
                        "readingFromSource": {
                            "type": "AmazonS3",
                            "workingDuration": 301
                        },
                        "writingToSink": {
                            "type": "AzureBlobFS",
                            "workingDuration": 335
                        }
                    }
                }
            },
            "detailedDurations": {
                "queuingDuration": 2,
                "transferDuration": 386
            }
        }
    ],
    "perfRecommendation": [
        {
            "Tip": "6 write operations were throttled by the sink data store. To achieve better performance, you are suggested to check and increase the allowed request rate for Azure Data Lake Storage Gen2, or reduce the number of concurrent copy runs and other data access, or reduce the DIU or parallel copy.",
            "ReferUrl": "https://go.microsoft.com/fwlink/?linkid=2102534 ",
            "RuleName": "ReduceThrottlingErrorPerfRecommendationRule"
        }
    ],
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    }
}

Következő lépések

Tekintse meg a másolási tevékenységgel kapcsolatos további cikkeket:

-Copy tevékenység áttekintés

- Másolási tevékenység teljesítménye