Az Azure Data Factory és a Synapse-folyamatok által támogatott számítási környezetek

Cikk
03/05/2024

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Fontos

Az Azure Machine Tanulás Studio (klasszikus) támogatása 2024. augusztus 31-én megszűnik. Javasoljuk, hogy a dátumig váltson az Azure Machine Tanulás.

2021. december 1-től nem hozhat létre új Machine Tanulás Studio-erőforrásokat (munkaterület- és webszolgáltatás-csomagot). 2024. augusztus 31-ig továbbra is használhatja a machine Tanulás Studio (klasszikus) kísérleteket és webszolgáltatásokat. További információkért lásd:

A Machine Tanulás Studio (klasszikus) dokumentációja kivezetés alatt áll, és előfordulhat, hogy a jövőben nem frissül.

Ez a cikk az adatok feldolgozására vagy átalakítására használható különböző számítási környezeteket ismerteti. Emellett részletesen ismerteti a számítási környezeteket összekapcsoló társított szolgáltatások konfigurálásakor támogatott különböző konfigurációkat (igény szerinti és saját használat esetén is).

Az alábbi táblázat a támogatott számítási környezetek és az rajtuk futtatható tevékenységek listáját tartalmazza.

Számítási környezet	Tevékenységek
Igény szerinti HDInsight-fürt vagy saját HDInsight-fürt	Hive, Pig, Spark, MapReduce, Hadoop Streaming
Azure Batch	Szokás
ML Studio (klasszikus)	ML Studio (klasszikus) tevékenységek: Batch-végrehajtás és erőforrás frissítése
Azure Machine Learning	Azure Machine Tanulás folyamat végrehajtása
Azure Data Lake Analytics	Data Lake Analytics U-SQL
Azure SQL, Azure Synapse Analytics, SQL Server	Tárolt eljárás
Azure Databricks	Notebook, Jar, Python
Azure Synapse Analytics (összetevők)	Synapse Notebook-tevékenység, Synapse Spark-feladatdefiníció
Azure-függvény	Azure-függvénytevékenység

HDInsight számítási környezet

Az igény szerinti és a BYOC (Saját számítási környezet használata) környezetben történő konfiguráláshoz támogatott tárhoz társított szolgáltatástípusokról az alábbi táblázat nyújt részletes tájékoztatást.

A Compute Linked Service-ben	Tulajdonság neve	Leírás	Blob	ADLS Gen2	Azure SQL DB	ADLS Gen 1
Igény szerinti	linkedServiceName	Azure Storage társított szolgáltatás, amelyet az igény szerinti fürt használ az adatok tárolására és feldolgozására.	Igen	Igen	Nem	Nem
	additionalLinkedServiceNames	További tárfiókokat ad meg a HDInsight társított szolgáltatáshoz, hogy a szolgáltatás regisztrálhassa őket az Ön nevében.	Igen	Nem	Nem	Nem
	hcatalogLinkedServiceName	A HCatalog-adatbázisra mutató Azure SQL társított szolgáltatás neve. Az igény szerinti HDInsight-fürt az Azure SQL-adatbázis metaadattárként való használatával jön létre.	Nem	Nem	Igen	Nem
BYOC	linkedServiceName	Az Azure Storage társított szolgáltatáshivatkozása.	Igen	Igen	Nem	Nem
	additionalLinkedServiceNames	További tárfiókokat ad meg a HDInsight társított szolgáltatáshoz, hogy a szolgáltatás regisztrálhassa őket az Ön nevében.	Nem	Nem	Nem	Nem
	hcatalogLinkedServiceName	Hivatkozás a HCatalog-adatbázisra mutató Azure SQL társított szolgáltatásra.	Nem	Nem	Nem	Nem

Azure HDInsight igény szerinti társított szolgáltatás

Ebben a konfigurációtípusban a számítási környezetet teljes mértékben a szolgáltatás felügyeli. A szolgáltatás automatikusan létrehozza, mielőtt egy feladat elküldené az adatok feldolgozására, és eltávolítja a feladat befejezésekor. Létrehozhat egy társított szolgáltatást az igény szerinti számítási környezethez, konfigurálhatja, és szabályozhatja a feladatok végrehajtására, a fürtkezelésre és a rendszerindítási műveletekre vonatkozó részletes beállításokat.

Feljegyzés

Az igény szerinti konfiguráció jelenleg csak az Azure HDInsight-fürtök esetében támogatott. Az Azure Databricks az igény szerinti feladatokat is támogatja feladatfürtök használatával. További információ: Azure databricks társított szolgáltatás.

A szolgáltatás automatikusan létrehozhat egy igény szerinti HDInsight-fürtöt az adatok feldolgozásához. A fürt ugyanabban a régióban jön létre, mint a fürthöz társított tárfiók (a JSON linkedServiceName tulajdonsága). A tárfiók must egy általános célú standard Azure Storage-fiók.

Az igény szerinti HDInsight társított szolgáltatással kapcsolatban vegye figyelembe a következő fontos szempontokat:

Az igény szerinti HDInsight-fürt az Azure-előfizetésében jön létre. A fürt akkor jelenik meg az Azure Portalon, ha a fürt működik.
Az igény szerinti HDInsight-fürtön futó feladatok naplóit a rendszer a HDInsight-fürthöz társított tárfiókba másolja. A clusterUserName, a clusterPassword, a clusterSshUserName és a clusterSshPassword a társított szolgáltatás definíciójában meghatározott használatával jelentkezik be a fürtbe, hogy a fürt életciklusa során részletes hibaelhárítást végezzen.
Csak arra az időre számítunk fel díjat, amikor a HDInsight-fürt üzembe van állítva és futtatja a feladatokat.
Szkriptműveletet használhat az Igény szerinti Azure HDInsight társított szolgáltatással.

Fontos

Az Azure HDInsight-fürt igény szerinti kiépítése általában 20 percet vagy több időt vesz igénybe.

Példa

Az alábbi JSON egy igény szerinti Linux-alapú HDInsight társított szolgáltatást határoz meg. A szolgáltatás automatikusan létrehoz egy Linux-alapú HDInsight-fürtöt a szükséges tevékenység feldolgozásához.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenent id>",
      "clusterResourceGroup": "<resource group name>",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Fontos

A HDInsight-fürt létrehoz egy alapértelmezett tárolót a JSON-fájlban megadott blob-tárolóban (linkedServiceName). A fürt törlésekor a HDInsight nem törli ezt a tárolót. Ez szándékosan van. Igény szerinti HDInsight társított szolgáltatás esetén a rendszer mindig létrehoz egy HDInsight-fürt, amikor fel kell dolgozni egy szeletet, kivéve, ha van meglévő élő fürt (timeToLive), majd a feldolgozás végén a rendszer törli a fürtöt.

A további tevékenységfuttatások során számos tároló jelenik meg az Azure Blob Storage-ban. Ha nincs szüksége rájuk a feladatok hibaelhárításához, érdemes lehet törölni őket a tárolási költségek csökkentése érdekében. A tárolók neve a következő mintát követi: adf**yourfactoryorworkspacename**-**linkedservicename**-datetimestamp. Az Azure Blob Storage tárolóinak törléséhez használjon olyan eszközöket, mint a Microsoft Azure Storage Explorer .

Tulajdonságok

Tulajdonság	Leírás	Kötelező
típus	A típustulajdonságnak HDInsightOnDemand értékre kell állítania.	Igen
clusterSize	A fürt feldolgozói/adatcsomópontjainak száma. A HDInsight-fürt 2 fő csomóponttal és a tulajdonsághoz megadott feldolgozó csomópontok számával jön létre. A csomópontok mérete Standard_D3 4 maggal rendelkezik, így egy 4 feldolgozó csomópontfürt 24 magot vesz igénybe (44 = 16 magot a feldolgozó csomópontokhoz, plusz 24 = 8 magot a fejcsomópontokhoz). További részletekért lásd: Fürtök beállítása a HDInsightban a Hadoop, a Spark és a Kafka használatával.	Igen
linkedServiceName	Azure Storage társított szolgáltatás, amelyet az igény szerinti fürt használ az adatok tárolására és feldolgozására. A HDInsight-fürt ugyanabban a régióban jön létre, mint ez az Azure Storage-fiók. Az Azure HDInsightban korlátozott azon magok száma, amelyek az egyes támogatott Azure-régiókban felhasználhatók. Győződjön meg arról, hogy elegendő alapkvótával rendelkezik az Azure-régióban a szükséges clusterSize teljesítéséhez. További információ: Fürtök beállítása a HDInsightban a Hadoop, a Spark, a Kafka stb. használatával Jelenleg nem hozható létre igény szerinti HDInsight-fürt, amely tárolóként Azure Data Lake Storage-t (Gen 2) használ. Ha a HDInsight-feldolgozás eredményadatait egy Azure Data Lake Storage-tárolóban (Gen 2) szeretné tárolni, másolja az adatokat az Azure Blob Storage-ból az Azure Data Lake Storage-ba (Gen 2).	Igen
clusterResourceGroup	A HDInsight-fürt ebben az erőforráscsoportban jön létre.	Igen
időtolive	Az igény szerinti HDInsight-fürt üresjárati ideje. Megadja, hogy az igény szerinti HDInsight-fürt mennyi ideig maradjon életben a tevékenységfuttatás befejezése után, ha nincs más aktív feladat a fürtben. A minimálisan megengedett érték 5 perc (00:05:00). Ha például egy tevékenységfuttatás 6 percet vesz igénybe, és az időtolerálás 5 percre van állítva, a fürt a tevékenységfuttatás feldolgozásának 6 perce után 5 percig életben marad. Ha egy másik tevékenységfuttatást hajt végre a 6 perces ablakkal, azt ugyanaz a fürt dolgozza fel. Az igény szerinti HDInsight-fürt létrehozása költséges művelet (eltarthat egy ideig), ezért ezt a beállítást szükség szerint használhatja a szolgáltatás teljesítményének javítására egy igény szerinti HDInsight-fürt újrafelhasználásával. Ha az időtolertív értéket 0 értékre állítja, a fürt a tevékenység futtatása után azonnal törlődik. Míg ha magas értéket állít be, a fürt tétlen maradhat, hogy valamilyen hibaelhárítási célból jelentkezzen be, de ez magas költségeket eredményezhet. Ezért fontos, hogy az igényeinek megfelelően állítsa be a megfelelő értéket. Ha az időtolertív tulajdonság értéke megfelelően van beállítva, több folyamat is megoszthatja az igény szerinti HDInsight-fürt példányát.	Igen
clusterType	A létrehozandó HDInsight-fürt típusa. Az engedélyezett értékek a "hadoop" és a "spark". Ha nincs megadva, az alapértelmezett érték a hadoop. Az Enterprise Security Package-kompatibilis fürt nem hozható létre igény szerint, ehelyett használjon egy meglévő fürtöt , vagy hozzon létre saját számítást.	Nem
Verzió	A HDInsight-fürt verziója. Ha nincs megadva, az aktuális HDInsight által definiált alapértelmezett verziót használja.	Nem
hostSubscriptionId	A HDInsight-fürt létrehozásához használt Azure-előfizetés azonosítója. Ha nincs megadva, az azure-beli bejelentkezési környezet előfizetés-azonosítóját használja.	Nem
clusterNamePrefix	A HDI-fürt nevének előtagja, az időbélyeg automatikusan hozzáfűzi a fürt nevét	Nem
sparkVersion	A Spark verziója, ha a fürt típusa "Spark"	Nem
additionalLinkedServiceNames	További tárfiókokat ad meg a HDInsight társított szolgáltatáshoz, hogy a szolgáltatás regisztrálhassa őket az Ön nevében. Ezeknek a tárfiókoknak ugyanabban a régióban kell lenniük, mint a HDInsight-fürtnek, amely ugyanabban a régióban jön létre, mint a linkedServiceName által megadott tárfiók.	Nem
osType	Az operációs rendszer típusa. Az engedélyezett értékek a következők: Linux és Windows (csak HDInsight 3.3 esetén). Az alapértelmezett érték a Linux.	Nem
hcatalogLinkedServiceName	A HCatalog-adatbázisra mutató Azure SQL társított szolgáltatás neve. Az igény szerinti HDInsight-fürt az Azure SQL Database metaadattárként való használatával jön létre.	Nem
connectVia	Az integrációs modul, amellyel a tevékenységeket a HDInsight társított szolgáltatásba küldi. Igény szerinti HDInsight társított szolgáltatás esetén csak az Azure Integration Runtime-t támogatja. Ha nincs megadva, az alapértelmezett Azure Integration Runtime-t használja.	Nem
clusterUserName	A fürt eléréséhez használt felhasználónév.	Nem
clusterPassword	A fürt eléréséhez a biztonságos sztring típusú jelszó.	Nem
clusterSshUserName	Az SSH-hoz tartozó felhasználónév távolról csatlakozik a fürt csomóponthoz (Linux esetén).	Nem
clusterSshPassword	A biztonságos sztring típusú jelszó az SSH-hoz távolról csatlakoztatja a fürt csomópontját (Linux esetén).	Nem
scriptActions	Adjon meg szkriptet a HDInsight-fürtök testreszabásához az igény szerinti fürt létrehozása során. A felhasználói felület készítő eszköze jelenleg csak 1 szkriptművelet megadását támogatja, de ezt a korlátozást a JSON-ban is átvészelheti (több szkriptműveletet is megadhat a JSON-ban).	Nem

Fontos

A HDInsight több, üzembe helyezhető Hadoop-fürtverziót is támogat. Minden verzióválasztás létrehozza a Hortonworks Data Platform (HDP) disztribúció egy adott verzióját, valamint az adott disztribúcióban található összetevők készletét. A támogatott HDInsight-verziók listája folyamatosan frissül a Hadoop-ökoszisztéma legújabb összetevőinek és javításainak biztosítása érdekében. Győződjön meg arról, hogy mindig a HDInsight támogatott verziójára és operációs rendszerének típusára vonatkozó legfrissebb információkra hivatkozik, hogy biztosan a HDInsight támogatott verzióját használja-e.

Fontos

A HDInsight társított szolgáltatásai jelenleg nem támogatják a HBase, az Interaktív lekérdezés (Hive LLAP), a Storm szolgáltatást.

additionalLinkedServiceNames JSON-példa

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Egyszerű szolgáltatás hitelesítése

Az igény szerinti HDInsight társított szolgáltatáshoz szolgáltatásnév-hitelesítés szükséges a HDInsight-fürtök létrehozásához az Ön nevében. Szolgáltatásnév-hitelesítés használatához regisztráljon egy alkalmazásentitást a Microsoft Entra-azonosítóban, és adja meg neki annak az előfizetésnek vagy erőforráscsoportnak a közreműködői szerepkörét, amelyben a HDInsight-fürt létrejön. A részletes lépésekért tekintse meg a Microsoft Entra-alkalmazás és szolgáltatásnév létrehozását a Portál használatával, amely hozzáfér az erőforrásokhoz. Jegyezze fel az alábbi értékeket, amelyeket a társított szolgáltatás definiálásához használ:

Pályázat azonosítója
Alkalmazáskulcs
Bérlőazonosító

Szolgáltatásnév-hitelesítés használata a következő tulajdonságok megadásával:

Tulajdonság	Leírás	Kötelező
servicePrincipalId	Adja meg az alkalmazás ügyfél-azonosítóját.	Igen
servicePrincipalKey	Adja meg az alkalmazás kulcsát.	Igen
Bérlő	Adja meg azt a bérlői információt (tartománynevet vagy bérlőazonosítót), amely alatt az alkalmazás található. A lekéréshez vigye az egérmutatót az Azure Portal jobb felső sarkában.	Igen

Speciális tulajdonságok

Az igény szerinti HDInsight-fürt részletes konfigurációjának alábbi tulajdonságait is megadhatja.

Tulajdonság	Leírás	Kötelező
coreConfiguration	Megadja a létrehozandó HDInsight-fürt alapvető konfigurációs paramétereit (core-site.xml).	Nem
hBaseConfiguration	Megadja a HDInsight-fürt HBase-konfigurációs paramétereit (hbase-site.xml).	Nem
hdfsConfiguration	Megadja a HDInsight-fürt HDFS-konfigurációs paramétereit (hdfs-site.xml).	Nem
hiveConfiguration	Megadja a HDInsight-fürt hive-konfigurációs paramétereit (hive-site.xml).	Nem
mapReduceConfiguration	A HDInsight-fürt MapReduce konfigurációs paramétereit (mapred-site.xml) adja meg.	Nem
oozieConfiguration	Megadja a HDInsight-fürt Oozie-konfigurációs paramétereit (oozie-site.xml).	Nem
stormConfiguration	Megadja a HDInsight-fürt Storm-konfigurációs paramétereit (storm-site.xml).	Nem
yarnConfiguration	Megadja a HDInsight-fürt Yarn-konfigurációs paramétereit (yarn-site.xml).	Nem

Példa – Igény szerinti HDInsight-fürtkonfiguráció speciális tulajdonságokkal

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenent id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

Csomópontméretek

A fej, az adatok és a zookeeper csomópontok méretét a következő tulajdonságok használatával adhatja meg:

Tulajdonság	Leírás	Kötelező
headNodeSize	A főcsomópont méretét adja meg. Az alapértelmezett érték a következő: Standard_D3. A részletekért tekintse meg a Csomópontméretek megadása szakaszt.	Nem
dataNodeSize	Az adatcsomópont méretét adja meg. Az alapértelmezett érték a következő: Standard_D3.	Nem
zookeeperNodeSize	A Zoo Keeper csomópont méretét adja meg. Az alapértelmezett érték a következő: Standard_D3.	Nem

Csomópontméretek megadása: Az előző szakaszban említett tulajdonságokhoz meg kell adnia a virtuális gépek méreteivel foglalkozó cikket. Az értékeknek meg kell felelniük a cikkben hivatkozott CMDLETs &APIS-nak . Ahogy a cikkben látható, a nagy (alapértelmezett) méretű adatcsomópont 7 GB memóriával rendelkezik, ami nem feltétlenül elég jó a forgatókönyvhöz.

Ha D4 méretű fejcsomópontokat és feldolgozó csomópontokat szeretne létrehozni, adja meg a Standard_D4 a headNodeSize és a dataNodeSize tulajdonságok értékeként.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

Ha nem megfelelő értéket ad meg ezekhez a tulajdonságokhoz, a következő hibaüzenet jelenhet meg: Nem sikerült fürtöt létrehozni. Kivétel: Nem sikerült befejezni a fürt létrehozásának műveletét. A művelet 400-as kóddal meghiúsult. A fürt állapota: „hiba”. Üzenet: "PreClusterCreationValidationFailure". Ha ezt a hibát kapja, győződjön meg arról, hogy a CmDLET &APIS nevet használja a virtuális gépek méretéről szóló cikkben szereplő táblázatból.

Saját számítási környezet létrehozása

Ebben a konfigurációtípusban a felhasználók egy már meglévő számítási környezetet regisztrálhatnak társított szolgáltatásként. A számítási környezetet a felhasználó kezeli, és a szolgáltatás a tevékenységek végrehajtásához használja.

Ez a konfigurációtípus a következő számítási környezetekhez támogatott:

Azure HDInsight
Azure Batch
Azure Machine Learning
Azure Data Lake Analytics
Azure SQL DB, Azure Synapse Analytics, SQL Server

Azure HDInsight társított szolgáltatás

Létrehozhat egy Azure HDInsight társított szolgáltatást, amellyel saját HDInsight-fürtöt regisztrálhat egy adat-előállítóban vagy Synapse-munkaterületen.

Példa

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Tulajdonságok

Tulajdonság	Leírás	Kötelező
típus	A típustulajdonságnak HDInsight értékre kell állítania.	Igen
clusterUri	A HDInsight-fürt URI-ja.	Igen
username	Adja meg a meglévő HDInsight-fürthöz való csatlakozáshoz használni kívánt felhasználó nevét.	Igen
jelszó	Adja meg a felhasználói fiók jelszavát.	Igen
linkedServiceName	Az Azure Storage társított szolgáltatás neve, amely a HDInsight-fürt által használt Azure Blob Storage-ra hivatkozik. Ehhez a tulajdonsághoz jelenleg nem adható meg Azure Data Lake Storage (Gen 2) társított szolgáltatás. Ha a HDInsight-fürt hozzáfér a Data Lake Store-hoz, az Azure Data Lake Storage (Gen 2) adatait Hive/Pig szkriptekből érheti el.	Igen
isEspEnabled	Adja meg a "true" értéket, ha a HDInsight-fürt engedélyezve van az Enterprise Security Package szolgáltatásban. Az alapértelmezett érték "false".	Nem
connectVia	Az integrációs modul, amellyel a tevékenységek elküldhetők ehhez a társított szolgáltatáshoz. Használhatja az Azure Integration Runtime-ot vagy a saját üzemeltetésű integrációs modult. Ha nincs megadva, az alapértelmezett Azure Integration Runtime-t használja. Az Enterprise Security Package (ESP) által engedélyezett HDInsight-fürtökhöz egy saját üzemeltetésű integrációs modult kell használni, amely a fürt látószögével rendelkezik, vagy ugyanabban a virtuális hálózaton belül kell üzembe helyezni, mint az ESP HDInsight-fürt.	Nem

Fontos

A HDInsight társított szolgáltatásai jelenleg nem támogatják a HBase, az Interaktív lekérdezés (Hive LLAP), a Storm szolgáltatást.

Azure Batch társított szolgáltatás

Feljegyzés

Javasoljuk, hogy az Azure Az PowerShell modult használja az Azure-ral való interakcióhoz. Az első lépésekhez tekintse meg az Azure PowerShell telepítését ismertető szakaszt. Az Az PowerShell-modulra történő migrálás részleteiről lásd: Az Azure PowerShell migrálása az AzureRM modulból az Az modulba.

Létrehozhat egy Azure Batch-hez társított szolgáltatást, amely virtuális gépek Batch-készletét regisztrálja egy adatba vagy Synapse-munkaterületre. Egyéni tevékenységet az Azure Batch használatával futtathat.

Ha még nem ismerkedik az Azure Batch szolgáltatással, tekintse meg az alábbi cikkeket:

Az Azure Batch alapjai az Azure Batch szolgáltatás áttekintéséhez.
New-AzBatchAccount parancsmag egy Azure Batch-fiók (vagy) Azure Portal létrehozásához az Azure Batch-fiók Azure Portal használatával történő létrehozásához. A parancsmaggal kapcsolatos részletes útmutatásért tekintse meg az Azure Batch-fiók kezeléséről szóló cikket a PowerShell használatával.
New-AzBatchPool-parancsmag egy Azure Batch-készlet létrehozásához.

Fontos

Új Azure Batch-készlet létrehozásakor a "VirtualMachineConfiguration" kifejezést kell használni, és NEM a CloudServiceConfigurationt. További részletekért tekintse meg az Azure Batch Pool migrálási útmutatóját.

Példa

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Tulajdonságok

Tulajdonság	Leírás	Kötelező
típus	A típustulajdonságnak AzureBatch-re kell állítania.	Igen
accountName	Az Azure Batch-fiók neve.	Igen
accessKey	Az Azure Batch-fiók hozzáférési kulcsa.	Igen
batchUri	Az Azure Batch-fiók URL-címe https:// batchaccountname.region.batch.azure.com formátumban.	Igen
poolName	A virtuális gépek készletének neve.	Igen
linkedServiceName	Az Azure Batch társított szolgáltatáshoz társított Azure Storage társított szolgáltatás neve. Ez a társított szolgáltatás a tevékenység futtatásához szükséges átmeneti fájlok tárolására szolgál.	Igen
connectVia	Az integrációs modul, amellyel a tevékenységek elküldhetők ehhez a társított szolgáltatáshoz. Használhatja az Azure Integration Runtime-ot vagy a saját üzemeltetésű integrációs modult. Ha nincs megadva, az alapértelmezett Azure Integration Runtime-t használja.	Nem

Machine Tanulás Studio (klasszikus) társított szolgáltatás

Fontos

Az Azure Machine Tanulás Studio (klasszikus) támogatása 2024. augusztus 31-én megszűnik. Javasoljuk, hogy a dátumig váltson az Azure Machine Tanulás.

A Machine Tanulás Studio (klasszikus) dokumentációja kivezetés alatt áll, és előfordulhat, hogy a jövőben nem frissül.

A Machine Tanulás Studio (klasszikus) társított szolgáltatás létrehozásával regisztrálhat egy Machine Tanulás Studio (klasszikus) kötegpontozási végpontot egy adat-előállítóban vagy Synapse-munkaterületen.

Példa

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

Tulajdonságok

Tulajdonság	Leírás	Kötelező
Típus	A típustulajdonságnak a következőnek kell lennie: AzureML.	Igen
mlEndpoint	A köteg pontozási URL-címe.	Igen
apiKey	A közzétett munkaterület-modell API-ja.	Igen
updateResourceEndpoint	A prediktív webszolgáltatás betanított modellfájllal való frissítéséhez használt ML Studio (klasszikus) webszolgáltatás-végpont erőforrás-URL-címe	Nem
servicePrincipalId	Adja meg az alkalmazás ügyfél-azonosítóját.	Az updateResourceEndpoint megadásakor kötelező
servicePrincipalKey	Adja meg az alkalmazás kulcsát.	Az updateResourceEndpoint megadásakor kötelező
bérlő	Adja meg azt a bérlői információt (tartománynevet vagy bérlőazonosítót), amely alatt az alkalmazás található. A lekéréshez vigye az egérmutatót az Azure Portal jobb felső sarkában.	Az updateResourceEndpoint megadásakor kötelező
connectVia	Az integrációs modul, amellyel a tevékenységek elküldhetők ehhez a társított szolgáltatáshoz. Használhatja az Azure Integration Runtime-ot vagy a saját üzemeltetésű integrációs modult. Ha nincs megadva, az alapértelmezett Azure Integration Runtime-t használja.	Nem

Azure Machine Tanulás társított szolgáltatás

Azure Machine Tanulás társított szolgáltatást hoz létre egy Azure Machine Tanulás-munkaterület adat-előállítóhoz vagy Synapse-munkaterülethez való csatlakoztatásához.

Feljegyzés

Jelenleg csak a szolgáltatásnév hitelesítése támogatott az Azure Machine Tanulás társított szolgáltatáshoz.

Példa

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Tulajdonságok

Tulajdonság	Leírás	Kötelező
Típus	A típustulajdonságnak a következőnek kell lennie: AzureMLService.	Igen
subscriptionId	Azure-előfizetés azonosítója	Igen
resourceGroupName	név	Igen
mlWorkspaceName	Azure Machine Tanulás munkaterület neve	Igen
servicePrincipalId	Adja meg az alkalmazás ügyfél-azonosítóját.	Igen
servicePrincipalKey	Adja meg az alkalmazás kulcsát.	Igen
bérlő	Adja meg azt a bérlői információt (tartománynevet vagy bérlőazonosítót), amely alatt az alkalmazás található. A lekéréshez vigye az egérmutatót az Azure Portal jobb felső sarkában.	Az updateResourceEndpoint megadásakor kötelező
connectVia	Az integrációs modul, amellyel a tevékenységek elküldhetők ehhez a társított szolgáltatáshoz. Használhatja az Azure Integration Runtime-ot vagy a saját üzemeltetésű integrációs modult. Ha nincs megadva, az alapértelmezett Azure Integration Runtime-t használja.	Nem

Azure Data Lake Analytics társított szolgáltatás

Azure Data Lake Analytics-társított szolgáltatást hoz létre, amely összekapcsol egy Azure Data Lake Analytics számítási szolgáltatást egy adat-előállítóval vagy Synapse-munkaterületkel. A folyamat Data Lake Analytics U-SQL-tevékenysége erre a társított szolgáltatásra hivatkozik.

Példa

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Tulajdonságok

Tulajdonság	Leírás	Kötelező
típus	A típustulajdonságnak a következőnek kell lennie: AzureDataLakeAnalytics.	Igen
accountName	Azure Data Lake Analytics-fiók neve.	Igen
dataLakeAnalyticsUri	Azure Data Lake Analytics URI.	Nem
subscriptionId	Azure-előfizetés azonosítója	Nem
resourceGroupName	Azure-erőforráscsoport neve	Nem
servicePrincipalId	Adja meg az alkalmazás ügyfél-azonosítóját.	Igen
servicePrincipalKey	Adja meg az alkalmazás kulcsát.	Igen
bérlő	Adja meg azt a bérlői információt (tartománynevet vagy bérlőazonosítót), amely alatt az alkalmazás található. A lekéréshez vigye az egérmutatót az Azure Portal jobb felső sarkában.	Igen
connectVia	Az integrációs modul, amellyel a tevékenységek elküldhetők ehhez a társított szolgáltatáshoz. Használhatja az Azure Integration Runtime-ot vagy a saját üzemeltetésű integrációs modult. Ha nincs megadva, az alapértelmezett Azure Integration Runtime-t használja.	Nem

Azure Databricks társított szolgáltatás

Létrehozhat Azure Databricks társított szolgáltatást a Databricks-számítási feladatok (notebook, jar, python) futtatásához használt Databricks-munkaterület regisztrálásához.

Fontos

A Databricks társított szolgáltatásai támogatják a példánykészleteket és a rendszer által hozzárendelt felügyelt identitáshitelesítést.

Példa – Új feladatfürt használata a Databricksben

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "dapif33c9c721144c3a790b35000b57f7124f"
            }
        }
    }
}

Példa – Meglévő interaktív fürt használata a Databricksben

{
    "name": " AzureDataBricksLinedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "dapif33c9c72344c3a790b35000b57f7124f"
          },
        "existingClusterId": "{clusterId}"
        }
}

Tulajdonságok

Tulajdonság	Leírás	Szükséges
név	A társított szolgáltatás neve	Igen
típus	A típustulajdonságnak a következőnek kell lennie: Azure Databricks.	Igen
domain	Ennek megfelelően adja meg az Azure-régiót a Databricks-munkaterület régiója alapján. Példa: https://eastus.azuredatabricks.net	Igen
accessToken	Hozzáférési jogkivonatra van szükség ahhoz, hogy a szolgáltatás hitelesítést végezzen az Azure Databricksben. A hozzáférési jogkivonatot a databricks-munkaterületről kell létrehozni. A hozzáférési jogkivonat megkeresésének részletes lépéseit itt találja	Nem
MSI	A szolgáltatás felügyelt identitásával (rendszer által hozzárendelt) hitelesítheti magát az Azure Databricksben. Az "MSI" hitelesítés használatakor nincs szükség hozzáférési jogkivonatra. A felügyelt identitás hitelesítéséről további információt itt talál	Nem
existingClusterId	Egy meglévő fürt fürtazonosítója az összes feladat futtatásához. Ennek már létrehozott interaktív fürtnek kell lennie. Előfordulhat, hogy manuálisan kell újraindítania a fürtöt, ha az nem válaszol. A Databricks azt javasolja, hogy a nagyobb megbízhatóság érdekében futtasson feladatokat új fürtökön. A Databricks-munkaterületen található interaktív fürt fürtazonosítója –> Fürtök –> Interaktív fürt neve – Konfiguráció –>> Címkék. További részletek	Nem
instancePoolId	A Databricks-munkaterületen található meglévő készlet példánykészlet-azonosítója.	Nem
newClusterVersion	A fürt Spark-verziója. Létrehoz egy feladatfürtöt a Databricksben.	Nem
newClusterNumOfWorker	A fürthöz tartozó munkavégző csomópontok száma. A fürtök egyetlen Spark-illesztőprogramot és num_workers végrehajtókat num_workers + 1 Spark-csomóponthoz. Az Int32 formátumú sztringek, például az "1" azt jelenti, hogy a numOfWorker értéke 1 vagy az "1:10" azt jelenti, hogy az automatikus skálázás 1-ről percről 10-ről max.	Nem
newClusterNodeType	Ez a mező egyetlen értéken keresztül kódolja a fürt összes Spark-csomópontja számára elérhető erőforrásokat. A Spark-csomópontok például kiépíthetik és optimalizálhatók memória- vagy számítási feladatokhoz. Ez a mező az új fürthöz szükséges	Nem
newClusterSparkConf	választható, felhasználó által megadott Spark-konfigurációs kulcs-érték párok készlete. A felhasználók a spark.driver.extraJavaOptions és a spark.executor.extraJavaOptions használatával további JVM-beállításokat is átadhatnak az illesztőprogramnak és a végrehajtóknak.	Nem
newClusterInitScripts	az új fürt opcionális, felhasználó által definiált inicializálási szkriptjeinek készlete. Megadhatja az init-szkripteket a munkaterület fájljaiban (ajánlott), vagy a DBFS elérési útján (örökölt).	Nem

Azure SQL Database társított szolgáltatás

Létrehoz egy Azure SQL-hez társított szolgáltatást, és a Tárolt eljárás tevékenységgel meghív egy tárolt eljárást egy folyamatból. A társított szolgáltatással kapcsolatos részletekért tekintse meg az Azure SQL Csatlakozás or cikket.

Azure Synapse Analytics társított szolgáltatás

Létrehoz egy Azure Synapse Analytics-társított szolgáltatást, és a Tárolt eljárás tevékenységgel egy tárolt eljárást hív meg egy folyamatból. A társított szolgáltatással kapcsolatos részletekért tekintse meg az Azure Synapse Analytics Csatlakozás or cikket.

SQL Server társított szolgáltatás

Hozzon létre egy SQL Server társított szolgáltatást, és használja a Tárolt eljárás tevékenységgel egy tárolt eljárás meghívásához egy folyamatból. Erről a társított szolgáltatásról további információt az SQL Server-összekötőről szóló cikkben talál.

Azure Synapse Analytics (Artifacts) társított szolgáltatás

Létrehoz egy Azure Synapse Analytics -társított szolgáltatást, és a Synapse Notebook-tevékenységgel és a Synapse Spark-feladatdefiníciós tevékenységgel használja.

Példa

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntergrationRuntimeReference"
        }
    }
}

Tulajdonságok

Tulajdonság	Leírás	Szükséges
név	A társított szolgáltatás neve	Igen
leírás	a társított szolgáltatás leírása	Nem
Széljegyzetek	a társított szolgáltatás széljegyzetei	Nem
típus	A típustulajdonságot AzureSynapseArtifacts értékre kell állítani	Igen
endpoint	Az Azure Synapse Analytics URL-címe	Igen
hitelesítés	Az alapértelmezett beállítás a rendszer által hozzárendelt felügyelt identitás	Igen
workspaceResourceId	munkaterület erőforrás-azonosítója	Igen
connectVia	Az adattárhoz való csatlakozáshoz használandó integrációs modul. Használhatja az Azure Integration Runtime-ot. Ha nincs megadva, az alapértelmezett Azure Integration Runtime-t használja. A saját üzemeltetésű integrációs modul jelenleg nem támogatott.	Igen

Azure-függvényhez társított szolgáltatás

Létrehozhat egy Azure-függvényhez társított szolgáltatást, és az Azure Functions-tevékenységgel együtt használhatja az Azure Functions folyamaton belüli futtatásához. Az Azure-függvény visszatérési típusának érvényesnek JObjectkell lennie. (Ne feledje, hogy JArraynem . JObject) A sikertelen kivételével JObject bármely visszatérési típus meghiúsul, és a felhasználói hibát jelzi, hogy a válasz tartalma nem érvényes JObject.

Tulajdonság	Leírás	Szükséges
típus	A típustulajdonságnak a következőnek kell lennie: AzureFunction	igen
függvényalkalmazás URL-címe	Az Azure-függvényalkalmazás URL-címe. Formátum: `https://<accountname>.azurewebsites.net`. Ez az URL-cím az URL-szakaszban található érték, amikor megtekinti a függvényalkalmazást az Azure Portalon	igen
függvénykulcs	Az Azure-függvény hozzáférési kulcsa. Kattintson a megfelelő függvény Kezelés szakaszára, és másolja ki a függvénykulcsot vagy a gazdagépkulcsot. További információ: Azure Functions HTTP-eseményindítók és kötések	igen

A támogatott átalakítási tevékenységek listáját az Adatok átalakítása című témakörben találja.

Az Azure Data Factory és a Synapse-folyamatok által támogatott számítási környezetek

HDInsight számítási környezet

Azure HDInsight igény szerinti társított szolgáltatás

Példa

Tulajdonságok

Egyszerű szolgáltatás hitelesítése

Speciális tulajdonságok

Csomópontméretek

Saját számítási környezet létrehozása

Azure HDInsight társított szolgáltatás

Példa

Tulajdonságok

Azure Batch társított szolgáltatás

Példa

Tulajdonságok

Machine Tanulás Studio (klasszikus) társított szolgáltatás

Példa

Tulajdonságok

Azure Machine Tanulás társított szolgáltatás

Példa

Tulajdonságok

Azure Data Lake Analytics társított szolgáltatás

Példa

Tulajdonságok

Azure Databricks társított szolgáltatás

Példa – Új feladatfürt használata a Databricksben

Példa – Meglévő interaktív fürt használata a Databricksben

Tulajdonságok

Azure SQL Database társított szolgáltatás

Azure Synapse Analytics társított szolgáltatás

SQL Server társított szolgáltatás

Azure Synapse Analytics (Artifacts) társított szolgáltatás

Példa

Tulajdonságok

Azure-függvényhez társított szolgáltatás

Kapcsolódó tartalom

További források