Azure Data Factory tarafından desteklenen işlem ortamlarıCompute environments supported by Azure Data Factory

Uygulama hedefi: Azure SYNAPSE Analytics 'i Azure Data Factory

Bu makalede, verileri işlemek veya dönüştürmek için kullanabileceğiniz farklı işlem ortamları açıklanmaktadır.This article explains different compute environments that you can use to process or transform data. Ayrıca, bu işlem ortamlarını bir Azure Data Factory 'ye bağlayan bağlı hizmetleri yapılandırırken Data Factory tarafından desteklenen farklı yapılandırma (kendi isteğe bağlı ve kendi kendinize getir) hakkında ayrıntılar sağlar.It also provides details about different configurations (on-demand vs. bring your own) supported by Data Factory when configuring linked services linking these compute environments to an Azure data factory.

Aşağıdaki tabloda, Data Factory tarafından desteklenen işlem ortamlarının listesi ve bunlar üzerinde çalışabilecek etkinlikler verilmiştir.The following table provides a list of compute environments supported by Data Factory and the activities that can run on them.

İşlem ortamıCompute environment etkinlikleractivities
İsteğe bağlı HDInsight kümesi veya kendi HDInsight kümenizOn-demand HDInsight cluster or your own HDInsight cluster Hive, Pig, Spark, MapReduce, Hadoop akışıHive, Pig, Spark, MapReduce, Hadoop Streaming
Azure BatchAzure Batch ÖzelCustom
Azure Machine Learning Studio (klasik)Azure Machine Learning Studio (classic) Machine Learning Studio (klasik) etkinlikleri: toplu yürütme ve kaynak güncelleştirmeMachine Learning Studio (classic) activities: Batch Execution and Update Resource
Azure Machine LearningAzure Machine Learning Azure Machine Learning yürütme işlem hattıAzure Machine Learning Execute Pipeline
Azure Data Lake AnalyticsAzure Data Lake Analytics Data Lake Analytics U-SQLData Lake Analytics U-SQL
Azure SQL, Azure Synapse Analytics, SQL ServerAzure SQL, Azure Synapse Analytics, SQL Server Saklı YordamStored Procedure
Azure DatabricksAzure Databricks Not defteri, jar, PythonNotebook, Jar, Python
Azure İşleviAzure Function Azure Işlevi etkinliğiAzure Function activity

HDInsight işlem ortamıHDInsight compute environment

İsteğe bağlı ve KCG (kendi işlem ortamınızı getir) ortamında yapılandırma için desteklenen depolama bağlı hizmet türleri hakkında daha fazla bilgi için aşağıdaki tabloya bakın.Refer to below table for details about the supported storage linked service types for configuration in On-demand and BYOC (Bring your own compute) environment.

Işlem bağlantılı hizmetindeIn Compute Linked Service Özellik AdıProperty Name AçıklamaDescription BlobBlob ADLS 2. NesilADLS Gen2 Azure SQL DBAzure SQL DB ADLS 1. NesilADLS Gen 1
İsteğe bağlıOn-demand linkedServiceNamelinkedServiceName Verileri depolamak ve işlemek için isteğe bağlı küme tarafından kullanılacak Azure depolama bağlı hizmeti.Azure Storage linked service to be used by the on-demand cluster for storing and processing data. YesYes YesYes HayırNo HayırNo
additionalLinkedServiceNamesadditionalLinkedServiceNames Data Factory hizmeti tarafından sizin adınıza kaydettirilebilmeleri için HDInsight bağlı hizmeti için ek depolama hesapları belirtir.Specifies additional storage accounts for the HDInsight linked service so that the Data Factory service can register them on your behalf. YesYes HayırNo HayırNo HayırNo
hcatalogLinkedServiceNamehcatalogLinkedServiceName HCatalog veritabanına işaret eden Azure SQL bağlı hizmetinin adı.The name of Azure SQL linked service that point to the HCatalog database. İsteğe bağlı HDInsight kümesi, Azure SQL veritabanı, meta veri deposu olarak kullanılarak oluşturulur.The on-demand HDInsight cluster is created by using the Azure SQL database as the metastore. HayırNo HayırNo YesYes HayırNo
BYOCBYOC linkedServiceNamelinkedServiceName Azure depolama bağlı hizmeti başvurusu.The Azure Storage linked service reference. YesYes YesYes HayırNo HayırNo
additionalLinkedServiceNamesadditionalLinkedServiceNames Data Factory hizmeti tarafından sizin adınıza kaydettirilebilmeleri için HDInsight bağlı hizmeti için ek depolama hesapları belirtir.Specifies additional storage accounts for the HDInsight linked service so that the Data Factory service can register them on your behalf. HayırNo HayırNo HayırNo HayırNo
hcatalogLinkedServiceNamehcatalogLinkedServiceName HCatalog veritabanına işaret eden Azure SQL bağlı hizmetine bir başvuru.A reference to the Azure SQL linked service that points to the HCatalog database. HayırNo HayırNo HayırNo HayırNo

İsteğe bağlı Azure HDInsight bağlı hizmetiAzure HDInsight on-demand linked service

Bu yapılandırmada, bilgi işlem ortamı Azure Data Factory hizmeti tarafından tam olarak yönetilir.In this type of configuration, the computing environment is fully managed by the Azure Data Factory service. Bir iş, verileri işlemek ve iş tamamlandığında kaldırılmadan önce Data Factory hizmeti tarafından otomatik olarak oluşturulur.It is automatically created by the Data Factory service before a job is submitted to process data and removed when the job is completed. İsteğe bağlı işlem ortamı için bağlı bir hizmet oluşturabilir, bunu yapılandırabilir ve iş yürütmesi, küme yönetimi ve önyükleme eylemleri için ayrıntılı ayarları kontrol edebilirsiniz.You can create a linked service for the on-demand compute environment, configure it, and control granular settings for job execution, cluster management, and bootstrapping actions.

Not

İsteğe bağlı yapılandırma Şu anda yalnızca Azure HDInsight kümeleri için desteklenmektedir.The on-demand configuration is currently supported only for Azure HDInsight clusters. Azure Databricks, iş kümelerini kullanarak isteğe bağlı işleri de destekler.Azure Databricks also supports on-demand jobs using job clusters. Daha fazla bilgi için bkz. Azure databricks bağlı hizmeti.For more information, see Azure databricks linked service.

Azure Data Factory hizmeti, verileri işlemek için otomatik olarak isteğe bağlı bir HDInsight kümesi oluşturabilir.The Azure Data Factory service can automatically create an on-demand HDInsight cluster to process data. Küme, kümeyle ilişkili depolama hesabı (JSON 'daki linkedServiceName özelliği) ile aynı bölgede oluşturulur.The cluster is created in the same region as the storage account (linkedServiceName property in the JSON) associated with the cluster. Depolama hesabı, must genel amaçlı standart bir Azure depolama hesabı.The storage account must be a general-purpose standard Azure Storage account.

İsteğe bağlı HDInsight bağlı hizmeti hakkında aşağıdaki önemli noktalara dikkat edin:Note the following important points about on-demand HDInsight linked service:

  • İsteğe bağlı HDInsight kümesi, Azure aboneliğiniz kapsamında oluşturulur.The on-demand HDInsight cluster is created under your Azure subscription. Küme çalışır duruma geldiğinde Azure portal kümeyi görebileceksiniz.You are able to see the cluster in your Azure portal when the cluster is up and running.
  • İsteğe bağlı HDInsight kümesinde çalıştırılan işlerin günlükleri, HDInsight kümesiyle ilişkili depolama hesabına kopyalanır.The logs for jobs that are run on an on-demand HDInsight cluster are copied to the storage account associated with the HDInsight cluster. Bağlı hizmet tanımınızda tanımlanmış clusterUserName, Kümeparolası, clusterSshUserName, clusterSshPassword, kümenin yaşam döngüsü sırasında ayrıntılı sorun giderme amacıyla kümede oturum açmak için kullanılır.The clusterUserName, clusterPassword, clusterSshUserName, clusterSshPassword defined in your linked service definition are used to log in to the cluster for in-depth troubleshooting during the lifecycle of the cluster.
  • Yalnızca HDInsight kümesinin çalışır duruma ve çalışmaya çalıştığı zaman ücretlendirilirsiniz.You are charged only for the time when the HDInsight cluster is up and running jobs.
  • Azure HDInsight isteğe bağlı hizmeti ile bir betik eylemi kullanabilirsiniz.You can use a Script Action with the Azure HDInsight on-demand linked service.

Önemli

İstek üzerine bir Azure HDInsight kümesi sağlamak için genellikle 20 dakika veya daha fazla sürer.It typically takes 20 minutes or more to provision an Azure HDInsight cluster on demand.

ÖrnekExample

Aşağıdaki JSON, Linux tabanlı isteğe bağlı HDInsight bağlı hizmetini tanımlar.The following JSON defines a Linux-based on-demand HDInsight linked service. Data Factory hizmeti, gerekli etkinliği işlemek için otomatik olarak bir Linux tabanlı HDInsight kümesi oluşturur.The Data Factory service automatically creates a Linux-based HDInsight cluster to process the required activity.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenent id>",
      "clusterResourceGroup": "<resource group name>",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Önemli

HDInsight kümesi JSON 'da belirttiğiniz blob depolamada (Linkedservicename) bir varsayılan kapsayıcı oluşturur.The HDInsight cluster creates a default container in the blob storage you specified in the JSON (linkedServiceName). HDInsight, küme silindiğinde bu kapsayıcıyı silmez.HDInsight does not delete this container when the cluster is deleted. Bu davranış tasarım gereğidir.This behavior is by design. İsteğe bağlı HDInsight bağlı hizmetiyle, HDInsight kümesi her oluşturulduğunda, burada mevcut canlı bir küme (timeToLive) olmadıkça bir dilim gerekir ve işlem bittiğinde silinir.With on-demand HDInsight linked service, a HDInsight cluster is created every time a slice needs to be processed unless there is an existing live cluster (timeToLive) and is deleted when the processing is done.

Daha fazla Etkinlik çalıştırıldığında, Azure Blob depolamada birçok kapsayıcı görürsünüz.As more activity runs, you see many containers in your Azure blob storage. İşlerin sorunları giderilmesi için bunlara gerek yoksa, depolama maliyetini azaltmak için bunları silmek isteyebilirsiniz.If you do not need them for troubleshooting of the jobs, you may want to delete them to reduce the storage cost. Bu kapsayıcı adları bir düzene sahiptir: adf**yourdatafactoryname**-**linkedservicename**-datetimestamp.The names of these containers follow a pattern: adf**yourdatafactoryname**-**linkedservicename**-datetimestamp. Azure Blob depolamada kapsayıcıları silmek için Microsoft Azure Depolama Gezgini gibi araçları kullanın.Use tools such as Microsoft Azure Storage Explorer to delete containers in your Azure blob storage.

ÖzelliklerProperties

ÖzellikProperty AçıklamaDescription GerekliRequired
türtype Type özelliği hdınsightondemand olarak ayarlanmalıdır.The type property should be set to HDInsightOnDemand. YesYes
clusterSizeclusterSize Kümedeki çalışan/veri düğümlerinin sayısı.Number of worker/data nodes in the cluster. HDInsight kümesi, bu özellik için belirttiğiniz çalışan düğümü sayısıyla birlikte 2 baş düğüm ile oluşturulur.The HDInsight cluster is created with 2 head nodes along with the number of worker nodes you specify for this property. Düğümler 4 çekirdeğe sahip Standard_D3 boyutlardır, bu nedenle 4 çalışan düğümü kümesi 24 çekirdek alır ( * çalışan düğümleri için 4 4 = 16 çekirdek, ve * baş düğümler için 2 4 = 8 çekirdek).The nodes are of size Standard_D3 that has 4 cores, so a 4 worker node cluster takes 24 cores (4*4 = 16 cores for worker nodes, plus 2*4 = 8 cores for head nodes). Ayrıntılar için bkz. HDInsight 'Ta Hadoop, Spark, Kafka ve daha fazlası ile kümeleri ayarlama .See Set up clusters in HDInsight with Hadoop, Spark, Kafka, and more for details. YesYes
linkedServiceNamelinkedServiceName Verileri depolamak ve işlemek için isteğe bağlı küme tarafından kullanılacak Azure depolama bağlı hizmeti.Azure Storage linked service to be used by the on-demand cluster for storing and processing data. HDInsight kümesi, bu Azure depolama hesabı ile aynı bölgede oluşturulur.The HDInsight cluster is created in the same region as this Azure Storage account. Azure HDInsight, desteklediği her bir Azure bölgesinde kullanabileceğiniz toplam çekirdek sayısıyla ilgili sınırlamaya sahiptir.Azure HDInsight has limitation on the total number of cores you can use in each Azure region it supports. Gerekli clusterSize uyması için bu Azure bölgesinde yeterli çekirdek kotadığınızdan emin olun.Make sure you have enough core quotas in that Azure region to meet the required clusterSize. Ayrıntılar için bkz. HDInsight 'Ta Hadoop, Spark, Kafka ve daha fazlası ile küme ayarlamaFor details, refer to Set up clusters in HDInsight with Hadoop, Spark, Kafka, and more

Şu anda depolama olarak bir Azure Data Lake Storage (Gen 2) kullanan isteğe bağlı bir HDInsight kümesi oluşturamazsınız.Currently, you cannot create an on-demand HDInsight cluster that uses an Azure Data Lake Storage (Gen 2) as the storage. Bir Azure Data Lake Storage (Gen 2) HDInsight işlemeden sonuç verilerini depolamak istiyorsanız, verileri Azure Blob depolamadan Azure Data Lake Storage (Gen 2) kopyalamak için bir kopyalama etkinliği kullanın.If you want to store the result data from HDInsight processing in an Azure Data Lake Storage (Gen 2), use a Copy Activity to copy the data from the Azure Blob Storage to the Azure Data Lake Storage (Gen 2).

YesYes
clusterResourceGroupclusterResourceGroup HDInsight kümesi bu kaynak grubunda oluşturulur.The HDInsight cluster is created in this resource group. YesYes
TimeToLivetimetolive İsteğe bağlı HDInsight kümesi için izin verilen boşta kalma süresi.The allowed idle time for the on-demand HDInsight cluster. Kümede başka bir etkin iş yoksa, bir etkinlik çalıştırıldıktan sonra, isteğe bağlı HDInsight kümesinin ne kadar süreyle etkin kalacağını belirtir.Specifies how long the on-demand HDInsight cluster stays alive after completion of an activity run if there are no other active jobs in the cluster. İzin verilen en düşük değer 5 dakikadır (00:05:00).The minimal allowed value is 5 minutes (00:05:00).

Örneğin, bir etkinlik çalıştırması 6 dakika sürüyorsa ve TimeToLive, 5 dakika olarak ayarlanırsa, etkinlik çalıştırmasının sonunda 6 dakikadan sonra küme, 5 dakika boyunca etkin kalır.For example, if an activity run takes 6 minutes and timetolive is set to 5 minutes, the cluster stays alive for 5 minutes after the 6 minutes of processing the activity run. Başka bir etkinlik çalıştırması 6 dakikalık bir pencere ile yürütülürse aynı küme tarafından işlenir.If another activity run is executed with the 6-minutes window, it is processed by the same cluster.

İsteğe bağlı HDInsight kümesi oluşturma işlemi pahalı bir işlemdir, bu nedenle isteğe bağlı HDInsight kümesini yeniden kullanarak bir veri fabrikasının performansını artırmak için bu ayarı gereken şekilde kullanın.Creating an on-demand HDInsight cluster is an expensive operation (could take a while), so use this setting as needed to improve performance of a data factory by reusing an on-demand HDInsight cluster.

TimeToLive değerini 0 olarak ayarlarsanız, etkinlik çalıştırması tamamlandıktan hemen sonra küme silinir.If you set timetolive value to 0, the cluster is deleted as soon as the activity run completes. Ancak, yüksek bir değer ayarlarsanız, bazı sorun giderme amacıyla oturum açmanız için küme boşta kalabilir, ancak bu durum yüksek maliyetlere neden olabilir.Whereas, if you set a high value, the cluster may stay idle for you to log on for some troubleshooting purpose but it could result in high costs. Bu nedenle, gereksinimlerinize göre uygun değeri ayarlamanız önemlidir.Therefore, it is important that you set the appropriate value based on your needs.

TimeToLive özelliğinin değeri uygun şekilde ayarlandıysa, birden çok işlem hattı isteğe bağlı HDInsight kümesinin örneğini paylaşabilir.If the timetolive property value is appropriately set, multiple pipelines can share the instance of the on-demand HDInsight cluster.
YesYes
clusterTypeclusterType Oluşturulacak HDInsight kümesinin türü.The type of the HDInsight cluster to be created. İzin verilen değerler "Hadoop" ve "Spark" değerleridir.Allowed values are "hadoop" and "spark". Belirtilmemişse, varsayılan değer Hadoop ' dır.If not specified, default value is hadoop. Kurumsal Güvenlik Paketi etkinleştirilmiş küme isteğe bağlı olarak oluşturulamaz, bunun yerine var olan bir kümeyi kullanın/kendi işlem ortamınızı getirin.Enterprise Security Package enabled cluster cannot be created on-demand, instead use an existing cluster/ bring your own compute. HayırNo
sürümversion HDInsight kümesinin sürümü.Version of the HDInsight cluster. Belirtilmemişse, geçerli HDInsight tanımlı varsayılan sürümü kullanılıyor.If not specified, it's using the current HDInsight defined default version. HayırNo
HostsubscriptionıdhostSubscriptionId HDInsight kümesi oluşturmak için kullanılan Azure abonelik KIMLIĞI.The Azure subscription ID used to create HDInsight cluster. Belirtilmemişse, Azure oturum açma bağlamınızın abonelik KIMLIĞINI kullanır.If not specified, it uses the Subscription ID of your Azure login context. HayırNo
clusterNamePrefixclusterNamePrefix HDI küme adının ön eki, bir zaman damgası otomatik olarak küme adının sonuna eklerThe prefix of HDI cluster name, a timestamp automatically appends at the end of the cluster name HayırNo
Mini sürümsparkVersion Küme türü "Spark" ise Spark sürümüThe version of spark if the cluster type is "Spark" HayırNo
additionalLinkedServiceNamesadditionalLinkedServiceNames Data Factory hizmeti tarafından sizin adınıza kaydettirilebilmeleri için HDInsight bağlı hizmeti için ek depolama hesapları belirtir.Specifies additional storage accounts for the HDInsight linked service so that the Data Factory service can register them on your behalf. Bu depolama hesaplarının, linkedServiceName tarafından belirtilen depolama hesabıyla aynı bölgede oluşturulan HDInsight kümesiyle aynı bölgede olması gerekir.These storage accounts must be in the same region as the HDInsight cluster, which is created in the same region as the storage account specified by linkedServiceName. HayırNo
osTypeosType İşletim sisteminin türü.Type of operating system. İzin verilen değerler şunlardır: Linux ve Windows (yalnızca HDInsight 3,3 için).Allowed values are: Linux and Windows (for HDInsight 3.3 only). Linux varsayılandır.Default is Linux. HayırNo
hcatalogLinkedServiceNamehcatalogLinkedServiceName HCatalog veritabanına işaret eden Azure SQL bağlı hizmetinin adı.The name of Azure SQL linked service that point to the HCatalog database. İsteğe bağlı HDInsight kümesi, Azure SQL veritabanı, meta veri deposu olarak kullanılarak oluşturulur.The on-demand HDInsight cluster is created by using the Azure SQL Database as the metastore. HayırNo
connectViaconnectVia Bu HDInsight bağlı hizmetine etkinlikleri göndermek için kullanılacak Integration Runtime.The Integration Runtime to be used to dispatch the activities to this HDInsight linked service. İsteğe bağlı HDInsight bağlı hizmeti yalnızca Azure Integration Runtime destekler.For on-demand HDInsight linked service, it only supports Azure Integration Runtime. Belirtilmemişse, varsayılan Azure Integration Runtime kullanır.If not specified, it uses the default Azure Integration Runtime. HayırNo
clusterUserNameclusterUserName Kümeye erişmek için Kullanıcı adı.The username to access the cluster. HayırNo
clusterPasswordclusterPassword Kümeye erişmek için güvenli dize türündeki parola.The password in type of secure string to access the cluster. HayırNo
clusterSshUserNameclusterSshUserName SSH için Kullanıcı adı kümenin düğümüne uzaktan bağlanır (Linux için).The username to SSH remotely connects to cluster's node (for Linux). HayırNo
clusterSshPasswordclusterSshPassword SSH 'ye yönelik güvenli dize türünde parolanın, kümenin düğümüne uzaktan bağlanmasını sağlama (Linux için).The password in type of secure string to SSH remotely connect cluster's node (for Linux). HayırNo
scriptActionsscriptActions İsteğe bağlı küme oluşturma sırasında HDInsight kümesi özelleştirmeleri için betiği belirtin.Specify script for HDInsight cluster customizations during on-demand cluster creation.
Şu anda Azure Data Factory Kullanıcı arabirimi yazma aracı yalnızca 1 betik eylemi belirtmeyi destekler, ancak JSON 'da bu sınırlamayı alabilir (JSON 'da birden çok betik eylemi belirtebilirsiniz).Currently, Azure Data Factory's User Interface authoring tool supports specifying only 1 script action, but you can get through this limitation in the JSON (specify multiple script actions in the JSON).
HayırNo

Önemli

HDInsight, dağıtılabilecek birden çok Hadoop küme sürümünü destekler.HDInsight supports multiple Hadoop cluster versions that can be deployed. Her sürüm seçimi, Hortonçalışmaverisi platformu (HDP) dağıtımının belirli bir sürümünü ve bu dağıtım içinde yer alan bir bileşen kümesini oluşturur.Each version choice creates a specific version of the Hortonworks Data Platform (HDP) distribution and a set of components that are contained within that distribution. Desteklenen HDInsight sürümlerinin listesi, en son Hadoop ekosistem bileşenlerini ve düzeltmelerini sağlamak üzere güncelleştiriliyor.The list of supported HDInsight versions keeps being updated to provide latest Hadoop ecosystem components and fixes. HDInsight 'ın desteklenen bir sürümünü kullandığınızdan emin olmak için desteklenen HDInsight sürümü ve işletim sistemi türünün en güncel bilgilerine her zaman değindiğinizden emin olun.Make sure you always refer to latest information of Supported HDInsight version and OS Type to ensure you are using supported version of HDInsight.

Önemli

Şu anda, HDInsight bağlı hizmetleri HBase, etkileşimli sorgu (Hive LLAP), fırtınası 'yi desteklemez.Currently, HDInsight linked services does not support HBase, Interactive Query (Hive LLAP), Storm.

  • additionalLinkedServiceNames JSON örneğiadditionalLinkedServiceNames JSON example
"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Hizmet sorumlusu kimlik doğrulamasıService principal authentication

Isteğe bağlı HDInsight bağlı hizmeti, sizin adınıza HDInsight kümeleri oluşturmak için bir hizmet sorumlusu kimlik doğrulaması gerektirir.The On-Demand HDInsight linked service requires a service principal authentication to create HDInsight clusters on your behalf. Hizmet sorumlusu kimlik doğrulamasını kullanmak için, bir uygulama varlığını Azure Active Directory (Azure AD) olarak kaydedin ve aboneliğin veya HDInsight kümesinin oluşturulduğu kaynak grubunun katkıda bulunan rolünü verin.To use service principal authentication, register an application entity in Azure Active Directory (Azure AD) and grant it the Contributor role of the subscription or the resource group in which the HDInsight cluster is created. Ayrıntılı adımlar için bkz. kaynaklara erişebilen Azure Active Directory uygulaması ve hizmet sorumlusu oluşturmak için portalı kullanma.For detailed steps, see Use portal to create an Azure Active Directory application and service principal that can access resources. Bağlı hizmeti tanımlamak için kullandığınız aşağıdaki değerleri unutmayın:Make note of the following values, which you use to define the linked service:

  • Uygulama KimliğiApplication ID
  • Uygulama anahtarıApplication key
  • Kiracı KimliğiTenant ID

Aşağıdaki özellikleri belirterek hizmet sorumlusu kimlik doğrulamasını kullanın:Use service principal authentication by specifying the following properties:

ÖzellikProperty AçıklamaDescription GerekliRequired
ServiceprincipalıdservicePrincipalId Uygulamanın istemci KIMLIĞINI belirtin.Specify the application's client ID. YesYes
ServicesprincipalkeyservicePrincipalKey Uygulamanın anahtarını belirtin.Specify the application's key. YesYes
tenanttenant Uygulamanızın altında bulunduğu kiracı bilgilerini (etki alanı adı veya kiracı KIMLIĞI) belirtin.Specify the tenant information (domain name or tenant ID) under which your application resides. Fareyi, Azure portal sağ üst köşesine getirerek alabilirsiniz.You can retrieve it by hovering the mouse in the upper-right corner of the Azure portal. YesYes

Gelişmiş ÖzelliklerAdvanced Properties

İsteğe bağlı HDInsight kümesinin ayrıntılı yapılandırması için aşağıdaki özellikleri de belirtebilirsiniz.You can also specify the following properties for the granular configuration of the on-demand HDInsight cluster.

ÖzellikProperty AçıklamaDescription GerekliRequired
coreConfigurationcoreConfiguration HDInsight kümesinin oluşturulması için çekirdek yapılandırma parametrelerini (core-site.xml olarak) belirtir.Specifies the core configuration parameters (as in core-site.xml) for the HDInsight cluster to be created. HayırNo
hBaseConfigurationhBaseConfiguration HDInsight kümesi için HBase yapılandırma parametrelerini (hbase-site.xml) belirtir.Specifies the HBase configuration parameters (hbase-site.xml) for the HDInsight cluster. HayırNo
hdfsConfigurationhdfsConfiguration HDInsight kümesi için bir yapılandırma parametreleri (hdfs-site.xml) belirtir.Specifies the HDFS configuration parameters (hdfs-site.xml) for the HDInsight cluster. HayırNo
hiveConfigurationhiveConfiguration HDInsight kümesi için Hive yapılandırma parametrelerini (hive-site.xml) belirtir.Specifies the hive configuration parameters (hive-site.xml) for the HDInsight cluster. HayırNo
mapReduceConfigurationmapReduceConfiguration HDInsight kümesi için MapReduce yapılandırma parametrelerini (mapred-site.xml) belirtir.Specifies the MapReduce configuration parameters (mapred-site.xml) for the HDInsight cluster. HayırNo
OozıeconfigurationoozieConfiguration HDInsight kümesi için Oozie yapılandırma parametrelerini (oozie-site.xml) belirtir.Specifies the Oozie configuration parameters (oozie-site.xml) for the HDInsight cluster. HayırNo
stormConfigurationstormConfiguration HDInsight kümesi için fırtınası yapılandırma parametrelerini (storm-site.xml) belirtir.Specifies the Storm configuration parameters (storm-site.xml) for the HDInsight cluster. HayırNo
yarnConfigurationyarnConfiguration HDInsight kümesi için Yarn yapılandırma parametrelerini (yarn-site.xml) belirtir.Specifies the Yarn configuration parameters (yarn-site.xml) for the HDInsight cluster. HayırNo
  • Örnek: gelişmiş özelliklerle isteğe bağlı HDInsight kümesi yapılandırmasıExample – On-demand HDInsight cluster configuration with advanced properties
{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenent id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

Düğüm boyutlarıNode sizes

Aşağıdaki özellikleri kullanarak baş, veri ve Zookeeper düğümleri için boyut belirtebilirsiniz:You can specify the sizes of head, data, and zookeeper nodes using the following properties:

ÖzellikProperty AçıklamaDescription GerekliRequired
headNodeSizeheadNodeSize Baş düğümün boyutunu belirtir.Specifies the size of the head node. Varsayılan değer: Standard_D3.The default value is: Standard_D3. Ayrıntılar için bkz. düğüm boyutlarını belirtme bölümü.See the Specifying node sizes section for details. HayırNo
DavtanodesizedataNodeSize Veri düğümünün boyutunu belirtir.Specifies the size of the data node. Varsayılan değer: Standard_D3.The default value is: Standard_D3. HayırNo
zookeeperNodeSizezookeeperNodeSize Zoo Man düğümünün boyutunu belirtir.Specifies the size of the Zoo Keeper node. Varsayılan değer: Standard_D3.The default value is: Standard_D3. HayırNo
  • Düğüm boyutlarının belirtilmesi, önceki bölümde bahsedilen özellikler için belirtmeniz gereken dize değerleri için sanal makine boyutları makalesine bakın.Specifying node sizes See the Sizes of Virtual Machines article for string values you need to specify for the properties mentioned in the previous section. Bu değerler, makalede başvurulan API 'ler & cmdlet 'lerle uyumlu olmalıdır.The values need to conform to the CMDLETs & APIS referenced in the article. Makalede gördüğünüz gibi büyük (varsayılan) boyutun veri düğümü 7 GB belleğe sahiptir ve bu da senaryonuz için yeterince iyi olmayabilir.As you can see in the article, the data node of Large (default) size has 7-GB memory, which may not be good enough for your scenario.

D4 boyutlu baş düğümleri ve çalışan düğümleri oluşturmak istiyorsanız, headNodeSize ve Davtanodesize özelliklerinin değeri olarak Standard_D4 belirtin.If you want to create D4 sized head nodes and worker nodes, specify Standard_D4 as the value for headNodeSize and dataNodeSize properties.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

Bu özellikler için yanlış bir değer belirtirseniz, şu hatayı alabilirsiniz: küme oluşturulamadı.If you specify a wrong value for these properties, you may receive the following error: Failed to create cluster. Özel durum: Küme oluşturma işlemi tamamlanamadı.Exception: Unable to complete the cluster create operation. İşlem '400' koduyla başarısız oldu.Operation failed with code '400'. Küme geride bırakma durumu: 'Hata'.Cluster left behind state: 'Error'. İleti: ' Prelustercreationvalidationfailure '.Message: 'PreClusterCreationValidationFailure'. Bu hatayı aldığınızda, sanal makinelerin boyutları makalesindeki tabloda CMDLET & API 'leri adını kullandığınızdan emin olun.When you receive this error, ensure that you are using the CMDLET & APIS name from the table in the Sizes of Virtual Machines article.

Kendi işlem ortamınızı getirinBring your own compute environment

Bu yapılandırmada, kullanıcılar zaten mevcut bir bilgi işlem ortamını Data Factory bağlı hizmet olarak kaydedebilir.In this type of configuration, users can register an already existing computing environment as a linked service in Data Factory. Bilgi işlem ortamı Kullanıcı tarafından yönetilir ve Data Factory hizmeti tarafından etkinlikleri yürütmek için kullanılır.The computing environment is managed by the user and the Data Factory service uses it to execute the activities.

Bu yapılandırma türü aşağıdaki işlem ortamları için desteklenir:This type of configuration is supported for the following compute environments:

  • Azure HDInsightAzure HDInsight
  • Azure BatchAzure Batch
  • Azure Machine LearningAzure Machine Learning
  • Azure Data Lake AnalyticsAzure Data Lake Analytics
  • Azure SQL DB, Azure SYNAPSE Analytics, SQL ServerAzure SQL DB, Azure Synapse Analytics, SQL Server

Azure HDInsight bağlı hizmetiAzure HDInsight linked service

Kendi HDInsight kümenizi Data Factory kaydetmek için bir Azure HDInsight bağlı hizmeti oluşturabilirsiniz.You can create an Azure HDInsight linked service to register your own HDInsight cluster with Data Factory.

ÖrnekExample

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

ÖzelliklerProperties

ÖzellikProperty AçıklamaDescription GerekliRequired
türtype Type özelliği HDInsight olarak ayarlanmalıdır.The type property should be set to HDInsight. YesYes
clusterUriclusterUri HDInsight kümesinin URI 'SI.The URI of the HDInsight cluster. YesYes
usernameusername Mevcut bir HDInsight kümesine bağlanmak için kullanılacak kullanıcının adını belirtin.Specify the name of the user to be used to connect to an existing HDInsight cluster. YesYes
passwordpassword Kullanıcı hesabı için parola belirtin.Specify password for the user account. YesYes
linkedServiceNamelinkedServiceName HDInsight kümesi tarafından kullanılan Azure Blob depolama alanına başvuran Azure depolama bağlı hizmetinin adı.Name of the Azure Storage linked service that refers to the Azure blob storage used by the HDInsight cluster.

Şu anda bu özellik için bir Azure Data Lake Storage (Gen 2) bağlı hizmeti belirtemezsiniz.Currently, you cannot specify an Azure Data Lake Storage (Gen 2) linked service for this property. HDInsight kümesinin Data Lake Store erişimi varsa, Hive/Pig betiklerinden Azure Data Lake Storage (Gen 2) verilerine erişebilirsiniz.If the HDInsight cluster has access to the Data Lake Store, you may access data in the Azure Data Lake Storage (Gen 2) from Hive/Pig scripts.

YesYes
ıvspenabledisEspEnabled HDInsight kümesi Kurumsal güvenlik paketi etkinse 'true ' değerini belirtin.Specify 'true' if the HDInsight cluster is Enterprise Security Package enabled. Varsayılan değer 'false' şeklindedir.Default is 'false'. HayırNo
connectViaconnectVia Bu bağlı hizmete etkinlikleri göndermek için kullanılacak Integration Runtime.The Integration Runtime to be used to dispatch the activities to this linked service. Azure Integration Runtime veya şirket içinde barındırılan Integration Runtime kullanabilirsiniz.You can use Azure Integration Runtime or Self-hosted Integration Runtime. Belirtilmemişse, varsayılan Azure Integration Runtime kullanır.If not specified, it uses the default Azure Integration Runtime.
Kurumsal Güvenlik Paketi (ESP) etkin HDInsight kümesi için, kümeye bir görüş satırı içeren, şirket içinde barındırılan bir tümleştirme çalışma zamanı kullanın veya ESP HDInsight kümesiyle aynı sanal ağ içinde dağıtılması gerekir.For Enterprise Security Package (ESP) enabled HDInsight cluster use a self-hosted integration runtime, which has a line of sight to the cluster or it should be deployed inside the same Virtual Network as the ESP HDInsight cluster.
HayırNo

Önemli

HDInsight, dağıtılabilecek birden çok Hadoop küme sürümünü destekler.HDInsight supports multiple Hadoop cluster versions that can be deployed. Her sürüm seçimi, Hortonçalışmaverisi platformu (HDP) dağıtımının belirli bir sürümünü ve bu dağıtım içinde yer alan bir bileşen kümesini oluşturur.Each version choice creates a specific version of the Hortonworks Data Platform (HDP) distribution and a set of components that are contained within that distribution. Desteklenen HDInsight sürümlerinin listesi, en son Hadoop ekosistem bileşenlerini ve düzeltmelerini sağlamak üzere güncelleştiriliyor.The list of supported HDInsight versions keeps being updated to provide latest Hadoop ecosystem components and fixes. HDInsight 'ın desteklenen bir sürümünü kullandığınızdan emin olmak için desteklenen HDInsight sürümü ve işletim sistemi türünün en güncel bilgilerine her zaman değindiğinizden emin olun.Make sure you always refer to latest information of Supported HDInsight version and OS Type to ensure you are using supported version of HDInsight.

Önemli

Şu anda, HDInsight bağlı hizmetleri HBase, etkileşimli sorgu (Hive LLAP), fırtınası 'yi desteklemez.Currently, HDInsight linked services does not support HBase, Interactive Query (Hive LLAP), Storm.

Bağlı hizmet Azure BatchAzure Batch linked service

Not

Bu makale Azure Az PowerShell modülünü kullanacak şekilde güncelleştirilmiştir.This article has been updated to use the Azure Az PowerShell module. Az PowerShell modülü, Azure ile etkileşim kurmak için önerilen PowerShell modülüdür.The Az PowerShell module is the recommended PowerShell module for interacting with Azure. Az PowerShell modülünü kullanmaya başlamak için Azure PowerShell’i yükleyin.To get started with the Az PowerShell module, see Install Azure PowerShell. Az PowerShell modülüne nasıl geçeceğinizi öğrenmek için bkz. Azure PowerShell’i AzureRM’den Az’ye geçirme.To learn how to migrate to the Az PowerShell module, see Migrate Azure PowerShell from AzureRM to Az.

Bir veri fabrikasına sanal makinelerin (VM) Batch havuzunu kaydetmek için Azure Batch bağlantılı bir hizmet oluşturabilirsiniz.You can create an Azure Batch linked service to register a Batch pool of virtual machines (VMs) to a data factory. Azure Batch kullanarak özel etkinlik çalıştırabilirsiniz.You can run Custom activity using Azure Batch.

Azure Batch Service ' i yeni biliyorsanız aşağıdaki makalelere bakın:See following articles if you are new to Azure Batch service:

Önemli

Yeni bir Azure Batch havuzu oluştururken ' Virtualmakineconfiguration ' kullanılmalıdır ve ' CloudServiceConfiguration ' DEĞIL.When creating a new Azure Batch pool, ‘VirtualMachineConfiguration’ must be used and NOT ‘CloudServiceConfiguration'. Daha fazla ayrıntı için Azure Batch havuz geçiş kılavuzunabakın.For more details refer Azure Batch Pool migration guidance.

ÖrnekExample

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

ÖzelliklerProperties

ÖzellikProperty AçıklamaDescription GerekliRequired
türtype Type özelliği AzureBatch olarak ayarlanmalıdır.The type property should be set to AzureBatch. YesYes
accountNameaccountName Azure Batch hesabının adı.Name of the Azure Batch account. YesYes
accessKeyaccessKey Azure Batch hesabı için erişim anahtarı.Access key for the Azure Batch account. YesYes
batchUribatchUri Azure Batch hesabınızın URL 'SI, https://batchaccountname. Region. Batch.Azure.com biçiminde.URL to your Azure Batch account, in format of https://batchaccountname.region.batch.azure.com. YesYes
poolNamepoolName Sanal makine havuzunun adı.Name of the pool of virtual machines. YesYes
linkedServiceNamelinkedServiceName Bu Azure Batch bağlı hizmetiyle ilişkili Azure depolama bağlı hizmetinin adı.Name of the Azure Storage linked service associated with this Azure Batch linked service. Bu bağlı hizmet, etkinliği çalıştırmak için gereken hazırlama dosyaları için kullanılır.This linked service is used for staging files required to run the activity. YesYes
connectViaconnectVia Bu bağlı hizmete etkinlikleri göndermek için kullanılacak Integration Runtime.The Integration Runtime to be used to dispatch the activities to this linked service. Azure Integration Runtime veya şirket içinde barındırılan Integration Runtime kullanabilirsiniz.You can use Azure Integration Runtime or Self-hosted Integration Runtime. Belirtilmemişse, varsayılan Azure Integration Runtime kullanır.If not specified, it uses the default Azure Integration Runtime. HayırNo

Azure Machine Learning Studio (klasik) bağlı hizmetAzure Machine Learning Studio (classic) linked service

Bir Machine Learning Studio (klasik) toplu Puanlama uç noktasını bir veri fabrikasına kaydetmek için Azure Machine Learning Studio (klasik) bağlı bir hizmet oluşturursunuz.You create an Azure Machine Learning Studio (classic) linked service to register a Machine Learning Studio (classic) batch scoring endpoint to a data factory.

ÖrnekExample

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

ÖzelliklerProperties

ÖzellikProperty AçıklamaDescription GerekliRequired
TürType Type özelliği: AzureML olarak ayarlanmalıdır.The type property should be set to: AzureML. YesYes
mlEndpointmlEndpoint Toplu işlem Puanlama URL 'SI.The batch scoring URL. YesYes
apiKeyapiKey Yayımlanan çalışma alanı modelinin API 'SI.The published workspace model's API. YesYes
updateResourceEndpointupdateResourceEndpoint Tahmine dayalı Web hizmetini eğitilen model dosyasıyla güncelleştirmek için kullanılan Azure Machine Learning Studio (klasik) Web hizmeti uç noktası için kaynak güncelleştirme URL 'SIThe Update Resource URL for an Azure Machine Learning Studio (classic) Web Service endpoint used to update the predictive Web Service with trained model file HayırNo
ServiceprincipalıdservicePrincipalId Uygulamanın istemci KIMLIĞINI belirtin.Specify the application's client ID. UpdateResourceEndpoint belirtilmişse gereklidirRequired if updateResourceEndpoint is specified
ServicesprincipalkeyservicePrincipalKey Uygulamanın anahtarını belirtin.Specify the application's key. UpdateResourceEndpoint belirtilmişse gereklidirRequired if updateResourceEndpoint is specified
Kiracıtenant Uygulamanızın altında bulunduğu kiracı bilgilerini (etki alanı adı veya kiracı KIMLIĞI) belirtin.Specify the tenant information (domain name or tenant ID) under which your application resides. Fareyi, Azure portal sağ üst köşesine getirerek alabilirsiniz.You can retrieve it by hovering the mouse in the upper-right corner of the Azure portal. UpdateResourceEndpoint belirtilmişse gereklidirRequired if updateResourceEndpoint is specified
connectViaconnectVia Bu bağlı hizmete etkinlikleri göndermek için kullanılacak Integration Runtime.The Integration Runtime to be used to dispatch the activities to this linked service. Azure Integration Runtime veya şirket içinde barındırılan Integration Runtime kullanabilirsiniz.You can use Azure Integration Runtime or Self-hosted Integration Runtime. Belirtilmemişse, varsayılan Azure Integration Runtime kullanır.If not specified, it uses the default Azure Integration Runtime. HayırNo

Bağlı hizmet Azure Machine LearningAzure Machine Learning linked service

Bir Azure Machine Learning çalışma alanını veri fabrikasına bağlamak için Azure Machine Learning bağlı bir hizmet oluşturursunuz.You create an Azure Machine Learning linked service to connect an Azure Machine Learning workspace to a data factory.

Not

Şu anda yalnızca hizmet sorumlusu kimlik doğrulaması Azure Machine Learning bağlı hizmeti için desteklenir.Currently only service principal authentication is supported for the Azure Machine Learning linked service.

ÖrnekExample

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

ÖzelliklerProperties

ÖzellikProperty AçıklamaDescription GerekliRequired
TürType Type özelliği: AzureMLService olarak ayarlanmalıdır.The type property should be set to: AzureMLService. YesYes
subscriptionIdsubscriptionId Azure abonelik KIMLIĞIAzure subscription ID YesYes
resourceGroupNameresourceGroupName namename YesYes
MlçalışmaalanıadımlWorkspaceName Azure Machine Learning çalışma alanı adıAzure Machine Learning workspace name YesYes
ServiceprincipalıdservicePrincipalId Uygulamanın istemci KIMLIĞINI belirtin.Specify the application's client ID. HayırNo
ServicesprincipalkeyservicePrincipalKey Uygulamanın anahtarını belirtin.Specify the application's key. HayırNo
Kiracıtenant Uygulamanızın altında bulunduğu kiracı bilgilerini (etki alanı adı veya kiracı KIMLIĞI) belirtin.Specify the tenant information (domain name or tenant ID) under which your application resides. Fareyi, Azure portal sağ üst köşesine getirerek alabilirsiniz.You can retrieve it by hovering the mouse in the upper-right corner of the Azure portal. UpdateResourceEndpoint belirtilmişse gereklidirRequired if updateResourceEndpoint is specified HayırNo
connectViaconnectVia Bu bağlı hizmete etkinlikleri göndermek için kullanılacak Integration Runtime.The Integration Runtime to be used to dispatch the activities to this linked service. Azure Integration Runtime veya şirket içinde barındırılan Integration Runtime kullanabilirsiniz.You can use Azure Integration Runtime or Self-hosted Integration Runtime. Belirtilmemişse, varsayılan Azure Integration Runtime kullanır.If not specified, it uses the default Azure Integration Runtime. HayırNo

Bağlı hizmet Azure Data Lake AnalyticsAzure Data Lake Analytics linked service

Bir Azure Data Lake Analytics işlem hizmetini bir Azure Data Factory 'ye bağlamak için Azure Data Lake Analytics bağlı bir hizmet oluşturursunuz.You create an Azure Data Lake Analytics linked service to link an Azure Data Lake Analytics compute service to an Azure data factory. İşlem hattındaki Data Lake Analytics U-SQL etkinliği, bu bağlı hizmeti ifade eder.The Data Lake Analytics U-SQL activity in the pipeline refers to this linked service.

ÖrnekExample

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

ÖzelliklerProperties

ÖzellikProperty AçıklamaDescription GerekliRequired
türtype Type özelliği: AzureDataLakeAnalytics olarak ayarlanmalıdır.The type property should be set to: AzureDataLakeAnalytics. YesYes
accountNameaccountName Azure Data Lake Analytics hesap adı.Azure Data Lake Analytics Account Name. YesYes
Datalakeanaliz TicsurıdataLakeAnalyticsUri Azure Data Lake Analytics URI 'SI.Azure Data Lake Analytics URI. HayırNo
subscriptionIdsubscriptionId Azure abonelik KIMLIĞIAzure subscription ID HayırNo
resourceGroupNameresourceGroupName Azure kaynak grubu adıAzure resource group name HayırNo
ServiceprincipalıdservicePrincipalId Uygulamanın istemci KIMLIĞINI belirtin.Specify the application's client ID. YesYes
ServicesprincipalkeyservicePrincipalKey Uygulamanın anahtarını belirtin.Specify the application's key. YesYes
Kiracıtenant Uygulamanızın altında bulunduğu kiracı bilgilerini (etki alanı adı veya kiracı KIMLIĞI) belirtin.Specify the tenant information (domain name or tenant ID) under which your application resides. Fareyi, Azure portal sağ üst köşesine getirerek alabilirsiniz.You can retrieve it by hovering the mouse in the upper-right corner of the Azure portal. YesYes
connectViaconnectVia Bu bağlı hizmete etkinlikleri göndermek için kullanılacak Integration Runtime.The Integration Runtime to be used to dispatch the activities to this linked service. Azure Integration Runtime veya şirket içinde barındırılan Integration Runtime kullanabilirsiniz.You can use Azure Integration Runtime or Self-hosted Integration Runtime. Belirtilmemişse, varsayılan Azure Integration Runtime kullanır.If not specified, it uses the default Azure Integration Runtime. HayırNo

Bağlı hizmet Azure DatabricksAzure Databricks linked service

Databricks iş yüklerini (Not defteri, Jar, Python) çalıştırmak için kullandığınız Databricks çalışma alanını kaydettirmek üzere Azure Databricks bağlantılı hizmet oluşturabilirsiniz.You can create Azure Databricks linked service to register Databricks workspace that you use to run the Databricks workloads(notebook, jar, python).

Önemli

Databricks bağlı hizmetleri, sistem tarafından atanan yönetilen kimlik doğrulama & örnek havuzlarını destekler.Databricks linked services supports Instance pools & System-assigned managed identity authentication.

Örnek-Databricks 'te yeni iş kümesi kullanmaExample - Using new job cluster in Databricks

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "dapif33c9c721144c3a790b35000b57f7124f"
            }
        }
    }
}

Örnek-Databricks 'te mevcut etkileşimli kümeyi kullanmaExample - Using existing Interactive cluster in Databricks

{
    "name": " AzureDataBricksLinedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "dapif33c9c72344c3a790b35000b57f7124f"
          },
        "existingClusterId": "{clusterId}"
        }
}

ÖzelliklerProperties

ÖzellikProperty AçıklamaDescription GerekliRequired
namename Bağlı hizmetin adıName of the Linked Service YesYes
türtype Type özelliği: Azure Databricks olarak ayarlanmalıdır.The type property should be set to: Azure Databricks. YesYes
etki alanıdomain Databricks çalışma alanının bölgesine göre uygun şekilde Azure bölgesini belirtin.Specify the Azure Region accordingly based on the region of the Databricks workspace. Örnek: https://eastus.azuredatabricks.netExample: https://eastus.azuredatabricks.net YesYes
accessTokenaccessToken Azure Databricks kimlik doğrulaması için Data Factory erişim belirteci gereklidir.Access token is required for Data Factory to authenticate to Azure Databricks. Erişim belirtecinin databricks çalışma alanından oluşturulması gerekir.Access token needs to be generated from the databricks workspace. Erişim belirtecini bulmak için daha ayrıntılı adımlar burada bulunabilirMore detailed steps to find the access token can be found here HayırNo
MSIMSI Azure Databricks kimlik doğrulamak için Data Factory yönetilen kimliğini (sistem tarafından atanan) kullanın.Use Data Factory's managed identity (system-assigned) to authenticate to Azure Databricks. ' MSI ' kimlik doğrulaması kullanılırken erişim belirtecine ihtiyacınız yokturYou do not need Access Token when using 'MSI' authentication HayırNo
ExistingclusterıdexistingClusterId Bu kümedeki tüm işleri çalıştırmak için var olan bir kümenin küme KIMLIĞI.Cluster ID of an existing cluster to run all jobs on this. Bu, önceden oluşturulmuş bir etkileşimli küme olmalıdır.This should be an already created Interactive Cluster. Yanıt vermeyi durdurduğunda kümeyi el ile yeniden başlatmanız gerekebilir.You may need to manually restart the cluster if it stops responding. Databricks daha fazla güvenilirlik sağlamak için işleri yeni kümeler üzerinde çalıştırmaya öneriyor.Databricks suggest running jobs on new clusters for greater reliability. Databricks çalışma alanı-> kümeleri-> etkileşimli küme adı-> yapılandırma-> etiketleri üzerinde etkileşimli bir kümenin küme KIMLIĞINI bulabilirsiniz.You can find the Cluster ID of an Interactive Cluster on Databricks workspace -> Clusters -> Interactive Cluster Name -> Configuration -> Tags. Daha fazla ayrıntıMore details HayırNo
instancePoolIdinstancePoolId Databricks çalışma alanında var olan bir havuzun örnek havuzu KIMLIĞI.Instance Pool ID of an existing pool in databricks workspace. HayırNo
newClusterVersionnewClusterVersion Kümenin Spark sürümü.The Spark version of the cluster. Databricks içinde bir iş kümesi oluşturur.It creates a job cluster in databricks. HayırNo
newClusterNumOfWorkernewClusterNumOfWorker Bu kümenin sahip olması gereken çalışan düğüm sayısı.Number of worker nodes that this cluster should have. Bir kümede, toplam num_workers + 1 Spark düğümü için bir Spark sürücüsü ve num_workers Yürüticileri vardır.A cluster has one Spark Driver and num_workers Executors for a total of num_workers + 1 Spark nodes. "1" gibi bir Int32 dizesi, numOfWorker 'ın 1 veya "1:10" olması anlamına gelir.A string formatted Int32, like "1" means numOfWorker is 1 or "1:10" means autoscale from 1 as min and 10 as max. HayırNo
newClusterNodeTypenewClusterNodeType Bu alan tek bir değer ile, bu kümedeki Spark düğümlerinin her biri için kullanılabilir kaynakları kodluyor.This field encodes, through a single value, the resources available to each of the Spark nodes in this cluster. Örneğin, Spark düğümleri bellek veya işlem yoğunluğu yoğun iş yükleri için sağlanabilir ve iyileştirilebilir.For example, the Spark nodes can be provisioned and optimized for memory or compute intensive workloads. Bu alan yeni küme için gereklidirThis field is required for new cluster HayırNo
Newclusterparlak confnewClusterSparkConf isteğe bağlı, Kullanıcı tarafından belirtilen Spark yapılandırması anahtar-değer çiftleri kümesi.a set of optional, user-specified Spark configuration key-value pairs. Kullanıcılar ayrıca, sürücü ve yürüticilere, sırasıyla spark. Driver. extraJavaOptions ve spark.executor. extraJavaOptions aracılığıyla ek JVM seçeneklerinin bir dizesini de geçirebilir.Users can also pass in a string of extra JVM options to the driver and the executors via spark.driver.extraJavaOptions and spark.executor.extraJavaOptions respectively. HayırNo
NewclusterınitscriptsnewClusterInitScripts Yeni küme için isteğe bağlı, Kullanıcı tanımlı başlatma betikleri kümesi.a set of optional, user-defined initialization scripts for the new cluster. İnit betikleri için DBFS yolunu belirtme.Specifying the DBFS path to the init scripts. HayırNo

Azure SQL Veritabanı bağlı hizmetiAzure SQL Database linked service

Bir Azure SQL bağlı hizmeti oluşturur ve bir Data Factory işlem hattından saklı yordam çağırmak için saklı yordam etkinliğiyle birlikte kullanırsınız.You create an Azure SQL linked service and use it with the Stored Procedure Activity to invoke a stored procedure from a Data Factory pipeline. Bu bağlı hizmet hakkındaki ayrıntılar için bkz. Azure SQL Bağlayıcısı makalesi.See Azure SQL Connector article for details about this linked service.

Azure SYNAPSE Analytics bağlı hizmetiAzure Synapse Analytics linked service

Bir Azure SYNAPSE Analytics bağlı hizmeti oluşturun ve bir Data Factory işlem hattından saklı yordam çağırmak için saklı yordam etkinliğiyle birlikte kullanabilirsiniz.You create an Azure Synapse Analytics linked service and use it with the Stored Procedure Activity to invoke a stored procedure from a Data Factory pipeline. Bu bağlı hizmet hakkındaki ayrıntılar için bkz. Azure SYNAPSE Analytics Bağlayıcısı makalesi.See Azure Synapse Analytics Connector article for details about this linked service.

Bağlı hizmet SQL ServerSQL Server linked service

SQL Server bağlı bir hizmet oluşturur ve bir Data Factory işlem hattından saklı yordam çağırmak için saklı yordam etkinliğiyle birlikte kullanırsınız.You create a SQL Server linked service and use it with the Stored Procedure Activity to invoke a stored procedure from a Data Factory pipeline. Bu bağlı hizmet hakkındaki ayrıntılar için bkz. SQL Server Bağlayıcısı makalesi.See SQL Server connector article for details about this linked service.

Azure Işlevi bağlı hizmetiAzure Function linked service

Azure Işlev bağlı hizmeti oluşturup Azure Işlevleri 'ni bir Data Factory işlem hattında çalıştırmak için Azure işlevi etkinliğiyle birlikte kullanabilirsiniz.You create an Azure Function linked service and use it with the Azure Function activity to run Azure Functions in a Data Factory pipeline. Azure işlevinin dönüş türü geçerli bir olmalıdır JObject .The return type of the Azure function has to be a valid JObject. ( Jarray öğesinin bir değil olduğunu aklınızda bulundurun JObject .) Diğer herhangi bir dönüş türü JObject başarısız olur ve Kullanıcı hata yanıtı içeriğini başlatır geçerli bir JObject değildir.(Keep in mind that JArray is not a JObject.) Any return type other than JObject fails and raises the user error Response Content is not a valid JObject.

ÖzellikProperty AçıklamaDescription GerekliRequired
türtype Type özelliği: AzureFunction olarak ayarlanmalıdırThe type property must be set to: AzureFunction evetyes
işlev uygulaması URL 'sifunction app url Azure İşlev Uygulaması URL 'SI.URL for the Azure Function App. Biçim https://<accountname>.azurewebsites.net .Format is https://<accountname>.azurewebsites.net. Bu URL, Azure portal İşlev Uygulaması görüntülenirken URL bölümündeki değerdirThis URL is the value under URL section when viewing your Function App in the Azure portal evetyes
işlev anahtarıfunction key Azure Işlevi için erişim anahtarı.Access key for the Azure Function. İlgili işlevin Yönet bölümüne tıklayın ve işlev anahtarını ya da ana bilgisayar anahtarını kopyalayın.Click on the Manage section for the respective function, and copy either the Function Key or the Host key. Buradan daha fazla bilgi edinebilirsiniz: Azure IŞLEVLERI http Tetikleyicileri ve bağlamalarıFind out more here: Azure Functions HTTP triggers and bindings evetyes

Sonraki adımlarNext steps

Azure Data Factory tarafından desteklenen dönüştürme etkinliklerinin listesi için bkz. verileri dönüştürme.For a list of the transformation activities supported by Azure Data Factory, see Transform data.