Adatok átalakítása Hadoop Hive-tevékenység használatával az Azure Data Factoryben vagy a Synapse Analyticsben
A következőkre vonatkozik:
Azure Data Factory Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Az Azure Data Factory vagy a Synapse Analytics-folyamat HDInsight Hive-tevékenysége saját vagy igény szerinti HDInsight-fürtön hajtja végre a Hive-lekérdezéseket. Ez a cikk az adatátalakítási tevékenységekről szóló cikkre épül, amely általános áttekintést nyújt az adatátalakításról és a támogatott átalakítási tevékenységekről.
Ha még nem ismerkedik az Azure Data Factory és a Synapse Analytics szolgáltatással, olvassa el az Azure Data Factory vagy a Synapse Analytics bevezető cikkeit, és végezze el az oktatóanyagot: adatok átalakítása a cikk elolvasása előtt.
HDInsight Hive-tevékenység hozzáadása egy folyamathoz felhasználói felülettel
Ha HDInsight Hive-tevékenységet szeretne használni az Azure Data Lake Analyticshez egy folyamatban, hajtsa végre a következő lépéseket:
Keresse meg a Hive-t a folyamattevékenységek panelen, és húzzon egy Hive-tevékenységet a folyamatvászonra.
Jelölje ki az új Hive-tevékenységet a vásznon, ha még nincs kijelölve.
A HDI-fürt fülre kattintva válasszon ki vagy hozzon létre egy új társított szolgáltatást egy HDInsight-fürthöz, amely a Hive-tevékenység végrehajtásához lesz használva.
A Szkript fülre kattintva válasszon ki vagy hozzon létre egy új társított társzolgáltatást, valamint egy elérési utat a tárolóhelyen belül, amely a szkriptet fogja üzemeltetni.
Syntax
{
"name": "Hive Activity",
"description": "description",
"type": "HDInsightHive",
"linkedServiceName": {
"referenceName": "MyHDInsightLinkedService",
"type": "LinkedServiceReference"
},
"typeProperties": {
"scriptLinkedService": {
"referenceName": "MyAzureStorageLinkedService",
"type": "LinkedServiceReference"
},
"scriptPath": "MyAzureStorage\\HiveScripts\\MyHiveSript.hql",
"getDebugInfo": "Failure",
"arguments": [
"SampleHadoopJobArgument1"
],
"defines": {
"param1": "param1Value"
}
}
}
Szintaxis részletei
| Property | Leírás | Required |
|---|---|---|
| név | A tevékenység neve | Igen |
| leírás | A tevékenység használatát leíró szöveg | Nem |
| típus | Hive-tevékenység esetén a tevékenység típusa HDinsightHive | Igen |
| linkedServiceName | Hivatkozás a társított szolgáltatásként regisztrált HDInsight-fürtre. A társított szolgáltatással kapcsolatos további információkért tekintse meg a társított számítási szolgáltatásokról szóló cikket. | Igen |
| scriptLinkedService | Hivatkozás a végrehajtandó Hive-szkript tárolására használt Azure Storage társított szolgáltatásra. Itt csak az Azure Blob Storage és az ADLS Gen2 társított szolgáltatásai támogatottak. Ha nem adja meg ezt a társított szolgáltatást, a RENDSZER a HDInsight társított szolgáltatásban definiált Azure Storage társított szolgáltatást használja. | Nem |
| scriptPath | Adja meg a scriptLinkedService által hivatkozott Azure Storage-ban tárolt szkriptfájl elérési útját. A fájlnév megkülönbözteti a kis- és nagybetűk nevét. | Igen |
| getDebugInfo | Megadja, hogy a naplófájlok mikor legyenek átmásolva a SCRIPTLinkedService által megadott HDInsight-fürt (vagy) által használt Azure Storage-ba. Engedélyezett értékek: Nincs, Mindig vagy Hiba. Alapértelmezett érték: Nincs. | Nem |
| Érvek | Egy Hadoop-feladat argumentumainak tömbje. Az argumentumokat a rendszer parancssori argumentumként továbbítja az egyes tevékenységeknek. | Nem |
| Meghatározza | Adja meg a paramétereket kulcs/érték párként a Hive-szkripten belüli hivatkozáshoz. | Nem |
| queryTimeout | Lekérdezés időtúllépési értéke (percekben). Akkor alkalmazható, ha a HDInsight-fürt engedélyezve van az Enterprise Security Package szolgáltatásban. | Nem |
Megjegyzés:
A queryTimeout alapértelmezett értéke 120 perc.
Kapcsolódó tartalom
Tekintse meg az alábbi cikkeket, amelyekből megtudhatja, hogyan alakíthat át adatokat más módokon: