Azure Data Factory veya Synapse Analytics kullanarak Azure Veri Gezgini'a veya Azure'dan veri kopyalama

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede Azure Data Factory ve Synapse Analytics işlem hatlarındaki kopyalama etkinliğini kullanarak Azure Veri Gezgini'a veya Azure'dan veri kopyalama işleminin nasıl kullanılacağı açıklanır. Kopyalama etkinliğine genel bir genel bakış sunan kopyalama etkinliğine genel bakış makalesini oluşturur.

Bahşiş

Azure Veri Gezgini hizmetle tümleştirme hakkında daha fazla bilgi edinmek için azure Veri Gezgini tümleştirmeyi genel olarak okuyun.

Desteklenen özellikler

Bu Azure Veri Gezgini bağlayıcısı aşağıdaki özellikler için desteklenir:

Desteklenen özellikler	IR
Kopyalama etkinliği (kaynak/havuz)	① ②
Eşleme veri akışı (kaynak/havuz)	①
Arama etkinliği	① ②

(1) Azure tümleştirme çalışma zamanı (2) Şirket içinde barındırılan tümleştirme çalışma zamanı

Desteklenen herhangi bir kaynak veri deposundaki verileri Azure Veri Gezgini'a kopyalayabilirsiniz. Ayrıca Azure Veri Gezgini'dan desteklenen herhangi bir havuz veri deposuna da veri kopyalayabilirsiniz. Kopyalama etkinliğinin kaynak veya havuz olarak desteklediği veri depolarının listesi için Desteklenen veri depoları tablosuna bakın.

Dekont

Şirket içinde barındırılan tümleştirme çalışma zamanını kullanarak azure Veri Gezgini şirket içi veri deposu aracılığıyla veri kopyalama 3.14 ve sonraki sürümlerde desteklenir.

Azure Veri Gezgini bağlayıcısı ile aşağıdakileri yapabilirsiniz:

• Hizmet sorumlusuyla Microsoft Entra uygulama belirteci kimlik doğrulamayı kullanarak verileri kopyalayın.
• Kaynak olarak, KQL (Kusto) sorgusu kullanarak verileri alın.
• Havuz olarak, hedef tabloya veri ekleme.

Başlarken

Bahşiş

Azure Veri Gezgini bağlayıcısının kılavuzu için bkz. Azure Veri Gezgini'a/Azure'a veri kopyalama ve Veritabanından Azure Veri Gezgini toplu kopyalama.

İşlem hattıyla Kopyalama etkinliği gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

• Veri Kopyalama aracı
• Azure portal
• .NET SDK'sı
• Python SDK'sı
• Azure PowerShell
• The REST API
• Azure Resource Manager şablonu

Kullanıcı arabirimini kullanarak Azure Veri Gezgini bağlı hizmet oluşturma

Azure portalı kullanıcı arabiriminde Azure Veri Gezgini bağlı hizmet oluşturmak için aşağıdaki adımları kullanın.

1. Azure Data Factory veya Synapse çalışma alanınızda Yönet sekmesine göz atın ve Bağlı Hizmetler'i seçin, ardından Yeni'ye tıklayın:

   Azure Data Factory

   

   Azure Synapse

   

2. Gezgin'i arayın ve Azure Veri Gezgini (Kusto) bağlayıcısını seçin.

   

3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

   

Bağlan veya yapılandırma ayrıntıları

Aşağıdaki bölümlerde, Azure Veri Gezgini bağlayıcısına özgü varlıkları tanımlamak için kullanılan özelliklerle ilgili ayrıntılar sağlanır.

Bağlı hizmet özellikleri

Azure Veri Gezgini bağlayıcısı aşağıdaki kimlik doğrulama türlerini destekler. Ayrıntılar için ilgili bölümlere bakın:

• Hizmet sorumlusu kimlik doğrulaması
• Sistem tarafından atanan yönetilen kimlik kimlik doğrulaması
• Kullanıcı tarafından atanan yönetilen kimlik kimlik doğrulaması

Hizmet sorumlusu kimlik doğrulaması

Hizmet sorumlusu kimlik doğrulamasını kullanmak için, bir hizmet sorumlusu almak ve izinler vermek için şu adımları izleyin:

1. Bir uygulamayı Microsoft kimlik platformu kaydedin. Nasıl yapılacağını öğrenmek için bkz. Hızlı Başlangıç: uygulamayı Microsoft kimlik platformu kaydetme. Bağlı hizmeti tanımlamak için kullandığınız şu değerleri not edin:

   • Uygulama Kimliği
   • Uygulama anahtarı
   • Kiracı kimliği

2. Hizmet sorumlusuna Azure Veri Gezgini'da doğru izinleri verin. Roller ve izinler ve izinleri yönetme hakkında ayrıntılı bilgi için bkz. Azure Veri Gezgini veritabanı izinlerini yönetme. Genel olarak şunları kullanmanız gerekir:

   • Kaynak olarak veritabanınıza en azından Veritabanı görüntüleyici rolü verin
   • Havuz olarak veritabanınıza en azından Veritabanı kullanıcı rolü verin

Dekont

Yazmak için kullanıcı arabirimini kullandığınızda, oturum açma kullanıcı hesabınız varsayılan olarak Azure Veri Gezgini kümelerini, veritabanlarını ve tablolarını listelemek için kullanılır. Yenile düğmesinin yanındaki açılan menüye tıklayarak hizmet sorumlusunu kullanarak nesneleri listelemeyi seçebilir veya bu işlemler için izniniz yoksa adı el ile girebilirsiniz.

Azure Veri Gezgini bağlı hizmeti için aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
type	tür özelliği AzureDataExplorer olarak ayarlanmalıdır.	Evet
endpoint	Biçiminde azure Veri Gezgini kümesinin uç nokta URL'sihttps://<clusterName>.<regionName>.kusto.windows.net.	Evet
database	Veritabanının adı.	Evet
tenant	Uygulamanızın bulunduğu kiracı bilgilerini (etki alanı adı veya kiracı kimliği) belirtin. Bu, Kusto bağlantı dizesi'da "Yetkili Kimliği" olarak bilinir. Fare işaretçisini Azure portalının sağ üst köşesine getirerek bunu alın.	Evet
servicePrincipalId	Uygulamanın istemci kimliğini belirtin. Bu, Kusto bağlantı dizesi'da "Microsoft Entra uygulama istemci kimliği" olarak bilinir.	Evet
servicePrincipalKey	Uygulamanın anahtarını belirtin. Bu, Kusto bağlantı dizesi'da "Microsoft Entra uygulama anahtarı" olarak bilinir. Güvenli bir şekilde depolamak için bu alanı SecureString olarak işaretleyin veya Azure Key Vault'ta depolanan güvenli verilere başvurun.	Evet
connectVia	Veri deposuna bağlanmak için kullanılacak tümleştirme çalışma zamanı . Veri deponuz özel bir ağdaysa Azure tümleştirme çalışma zamanını veya şirket içinde barındırılan tümleştirme çalışma zamanını kullanabilirsiniz. Belirtilmezse, varsayılan Azure tümleştirme çalışma zamanı kullanılır.	No

Örnek: hizmet sorumlusu anahtarı kimlik doğrulamayı kullanma

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "tenant": "<tenant name/id e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            }
        }
    }
}

Sistem tarafından atanan yönetilen kimlik kimlik doğrulaması

Azure kaynakları için yönetilen kimlikler hakkında daha fazla bilgi edinmek için bkz . Azure kaynakları için yönetilen kimlikler.

Sistem tarafından atanan yönetilen kimlik kimlik doğrulamasını kullanmak için şu adımları izleyerek izinler verin:

1. Fabrikanız veya Synapse çalışma alanınızla birlikte oluşturulan yönetilen kimlik nesne kimliğinindeğerini kopyalayarak yönetilen kimlik bilgilerini alın.

2. Yönetilen kimliğe Azure Veri Gezgini'de doğru izinleri verin. Roller ve izinler ve izinleri yönetme hakkında ayrıntılı bilgi için bkz. Azure Veri Gezgini veritabanı izinlerini yönetme. Genel olarak şunları kullanmanız gerekir:

   • Kaynak olarak veritabanınıza Veritabanı görüntüleyici rolü verin.
   • Havuz olarak Veritabanı alıcısı ve Veritabanı görüntüleyicisi rollerini veritabanınıza verin.

Dekont

Yazmak için kullanıcı arabirimini kullandığınızda oturum açma kullanıcı hesabınız Azure Veri Gezgini kümelerini, veritabanlarını ve tablolarını listelemek için kullanılır. Bu işlemler için izniniz yoksa adı el ile girin.

Azure Veri Gezgini bağlı hizmeti için aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
type	tür özelliği AzureDataExplorer olarak ayarlanmalıdır.	Evet
endpoint	Biçiminde azure Veri Gezgini kümesinin uç nokta URL'sihttps://<clusterName>.<regionName>.kusto.windows.net.	Evet
database	Veritabanının adı.	Evet
connectVia	Veri deposuna bağlanmak için kullanılacak tümleştirme çalışma zamanı . Veri deponuz özel bir ağdaysa Azure tümleştirme çalışma zamanını veya şirket içinde barındırılan tümleştirme çalışma zamanını kullanabilirsiniz. Belirtilmezse, varsayılan Azure tümleştirme çalışma zamanı kullanılır.	No

Örnek: sistem tarafından atanan yönetilen kimlik kimlik doğrulamayı kullanma

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
        }
    }
}

Kullanıcı tarafından atanan yönetilen kimlik kimlik doğrulaması

Azure kaynakları için yönetilen kimlikler hakkında daha fazla bilgi edinmek için bkz. Azure kaynakları için yönetilen kimlikler

Kullanıcı tarafından atanan yönetilen kimlik kimlik doğrulamasını kullanmak için şu adımları izleyin:

1. Azure Veri Gezgini'de kullanıcı tarafından atanan bir veya birden çok yönetilen kimlik oluşturun ve izin verin. Roller ve izinler ve izinleri yönetme hakkında ayrıntılı bilgi için bkz. Azure Veri Gezgini veritabanı izinlerini yönetme. Genel olarak şunları kullanmanız gerekir:

   • Kaynak olarak veritabanınıza en azından Veritabanı görüntüleyici rolü verin
   • Havuz olarak veritabanınıza en azından Veritabanı alma rolü verin

2. Veri fabrikanıza veya Synapse çalışma alanınıza kullanıcı tarafından atanan bir veya birden çok yönetilen kimlik atayın ve kullanıcı tarafından atanan her bir yönetilen kimlik için kimlik bilgileri oluşturun.

Azure Veri Gezgini bağlı hizmeti için aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
type	tür özelliği AzureDataExplorer olarak ayarlanmalıdır.	Evet
endpoint	Biçiminde azure Veri Gezgini kümesinin uç nokta URL'sihttps://<clusterName>.<regionName>.kusto.windows.net.	Evet
database	Veritabanının adı.	Evet
kimlik bilgileri	Kimlik bilgisi nesnesi olarak kullanıcı tarafından atanan yönetilen kimliği belirtin.	Evet
connectVia	Veri deposuna bağlanmak için kullanılacak tümleştirme çalışma zamanı . Veri deponuz özel bir ağdaysa Azure tümleştirme çalışma zamanını veya şirket içinde barındırılan tümleştirme çalışma zamanını kullanabilirsiniz. Belirtilmezse, varsayılan Azure tümleştirme çalışma zamanı kullanılır.	No

Örnek: kullanıcı tarafından atanan yönetilen kimlik kimlik doğrulamayı kullanma

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        }
    }
}

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için bkz . Veri kümeleri. Bu bölümde Azure Veri Gezgini veri kümesinin desteklediği özellikler listelenir.

Verileri Azure Veri Gezgini kopyalamak için veri kümesinin tür özelliğini AzureDataExplorerTable olarak ayarlayın.

Aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
type	type özelliği AzureDataExplorerTable olarak ayarlanmalıdır.	Evet
table	Bağlı hizmetin başvurduğu tablonun adı.	Havuz için evet; Kaynak için hayır

Veri kümesi özellikleri örneği:

{
   "name": "AzureDataExplorerDataset",
    "properties": {
        "type": "AzureDataExplorerTable",
        "typeProperties": {
            "table": "<table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Azure Data Explorer linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Kopyalama etkinliğinin özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için bkz . İşlem hatları ve etkinlikler. Bu bölümde, Azure Veri Gezgini kaynaklarının ve havuzlarının desteklediği özelliklerin listesi sağlanır.

Kaynak olarak Azure Veri Gezgini

Azure Veri Gezgini'dan veri kopyalamak için Kopyalama etkinliği kaynağındaki tür özelliğini AzureDataExplorerSource olarak ayarlayın. Kopyalama etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
type	Kopyalama etkinliği kaynağının type özelliği şu şekilde ayarlanmalıdır: AzureDataExplorerSource	Evet
query	KQL biçiminde verilen salt okunur istek. Başvuru olarak özel KQL sorgusunu kullanın.	Evet
Querytimeout	Sorgu isteğinin zaman aşımına uğraması için bekleme süresi. Varsayılan değer 10 dakikadır (00:10:00); izin verilen maksimum değer 1 saattir (01:00:00).	No
noTruncation	Döndürülen sonuç kümesinin kesilip kesilmeymeyeceğini gösterir. Varsayılan olarak, sonuç 500.000 kayıttan veya 64 megabayttan (MB) sonra kesilir. Etkinliğin doğru davranışını sağlamak için kesilmesi kesinlikle önerilir.	No

Dekont

Varsayılan olarak, Azure Veri Gezgini kaynağı 500.000 kayıt veya 64 MB boyut sınırına sahiptir. Kesme olmadan tüm kayıtları almak için sorgunuzun başında belirtebilirsiniz set notruncation; . Daha fazla bilgi için bkz . Sorgu sınırları.

Örnek:

"activities":[
    {
        "name": "CopyFromAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "AzureDataExplorerSource",
                "query": "TestTable1 | take 10",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        },
        "inputs": [
            {
                "referenceName": "<Azure Data Explorer input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Havuz olarak Azure Veri Gezgini

Verileri Azure Veri Gezgini kopyalamak için kopyalama etkinliği havuzundaki type özelliğini AzureDataExplorerSink olarak ayarlayın. Kopyalama etkinliği havuzu bölümünde aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
type	Kopyalama etkinliği havuzu type özelliği şu şekilde ayarlanmalıdır: AzureDataExplorerSink.	Evet
ingestionMappingName	Kusto tablosunda önceden oluşturulmuş eşlemenin adı. Kaynak sütunlarını Azure Veri Gezgini (CSV/JSON/Avro biçimleri dahil olmak üzere desteklenen tüm kaynak depolar ve biçimler için geçerlidir) eşlemek için kopyalama etkinliği sütun eşlemesini (örtük olarak ada göre veya yapılandırıldığı gibi açıkça) ve/veya Azure Veri Gezgini eşlemelerini kullanabilirsiniz.	No
additionalProperties	Azure Veri Gezgini Havuzu tarafından ayarlanmayan alım özelliklerinden herhangi birini belirtmek için kullanılabilecek özellik paketi. Özellikle, alım etiketlerini belirtmek için yararlı olabilir. Azure Data Explore veri alımı belgesinden daha fazla bilgi edinin.	No

Örnek:

"activities":[
    {
        "name": "CopyToAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDataExplorerSink",
                "ingestionMappingName": "<optional Azure Data Explorer mapping name>",
                "additionalProperties": {<additional settings for data ingestion>}
            }
        },
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Data Explorer output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Eşleme veri akışı özellikleri

Eşleme veri akışındaki verileri dönüştürürken, Azure Veri Gezgini'da tablolardan okuyup tablolara yazabilirsiniz. Daha fazla bilgi için bkz . Eşleme veri akışlarında kaynak dönüştürme ve havuz dönüşümü . Kaynak ve havuz türü olarak Azure Veri Gezgini veri kümesini veya satır içi veri kümesini kullanmayı seçebilirsiniz.

Kaynak dönüştürme

Aşağıdaki tabloda Azure Veri Gezgini kaynağı tarafından desteklenen özellikler listelenmektedir. Bu özellikleri Kaynak seçenekleri sekmesinde düzenleyebilirsiniz.

Adı	Açıklama	Gerekli	İzin verilen değerler	Veri akışı betiği özelliği
Tablo	Giriş olarak Tablo'yı seçerseniz veri akışı, satır içi veri kümesini kullanırken Azure Veri Gezgini veri kümesinde veya kaynak seçeneklerinde belirtilen tablodan tüm verileri getirir.	No	String	(yalnızca satır içi veri kümesi için) tableName
Sorgu	KQL biçiminde verilen salt okunur istek. Başvuru olarak özel KQL sorgusunu kullanın.	No	String	query
Timeout	Sorgu isteğinin zaman aşımına uğraması için bekleme süresi. Varsayılan değer :'172000' (2 gün)	No	Tamsayı	timeout

Azure Veri Gezgini kaynak betiği örnekleri

Kaynak türü olarak Azure Veri Gezgini veri kümesini kullandığınızda, ilişkili veri akışı betiği şöyledir:

source(allowSchemaDrift: true,
	validateSchema: false,
	query: 'table | take 10',
	format: 'query') ~> AzureDataExplorerSource

Satır içi veri kümesi kullanıyorsanız, ilişkili veri akışı betiği şu şekildedir:

source(allowSchemaDrift: true,
    validateSchema: false,
    format: 'query',
    query: 'table | take 10',
    store: 'azuredataexplorer') ~> AzureDataExplorerSource

Havuz dönüşümü

Aşağıdaki tabloda Azure Veri Gezgini havuzu tarafından desteklenen özellikler listelenmektedir. Bu özellikleri Ayarlar sekmesinde düzenleyebilirsiniz. Satır içi veri kümesini kullanırken, veri kümesi özellikleri bölümünde açıklanan özelliklerle aynı olan ek ayarlar görürsünüz.

Adı	Açıklama	Gerekli	İzin verilen değerler	Veri akışı betiği özelliği
Tablo eylemi	Yazmadan önce hedef tablodan tüm satırların yeniden oluşturulmasını veya kaldırılıp kaldırılmayacağını belirler. - Yok: Tabloda hiçbir eylem yapılmaz. - Yeniden oluştur: Tablo bırakılır ve yeniden oluşturulur. Dinamik olarak yeni bir tablo oluşturuyorsanız gereklidir. - Kesme: Hedef tablodaki tüm satırlar kaldırılır.	No	true veya false	Yeni -den oluşturun truncate
SQL Betikleri Öncesi ve Sonrası	Havuz veritabanınıza veri yazıldıktan önce (ön işleme) ve sonra (işleme sonrası) yürütülecek birden çok Kusto denetim komutu betikleri belirtin.	No	String	preSQL'ler; postSQL'ler
Timeout	Sorgu isteğinin zaman aşımına uğraması için bekleme süresi. Varsayılan değer :'172000' (2 gün)	No	Tamsayı	timeout

Azure Veri Gezgini havuz betiği örnekleri

Havuz türü olarak Azure Veri Gezgini veri kümesini kullandığınızda, ilişkili veri akışı betiği şöyledir:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	format: 'table',
	preSQLs:['pre SQL scripts'],
	postSQLs:['post SQL script'],
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Satır içi veri kümesi kullanıyorsanız, ilişkili veri akışı betiği şu şekildedir:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    format: 'table',
    store: 'azuredataexplorer',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Arama etkinliği özellikleri

Özellikler hakkında daha fazla bilgi için bkz . Arama etkinliği.

İlgili içerik

• Kopyalama etkinliğinin kaynak ve havuz olarak desteklediği veri depolarının listesi için bkz . desteklenen veri depoları.

• Azure Data Factory ve Synapse Analytics'ten Azure Veri Gezgini'a veri kopyalama hakkında daha fazla bilgi edinin.