Azure Data Factory veya Azure Synapse Analytics kullanarak Azure Databricks Delta Lake'e veya Azure Synapse Analytics'e veri kopyalama

Makale
01/05/2024

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede Azure Databricks Delta Lake'e ve Azure Synapse'e veri kopyalamak için Azure Data Factory ve Azure Synapse'deki Kopyalama etkinliği nasıl kullanılacağı özetlenmiştir. Kopyalama etkinliğine genel bir genel bakış sunan Kopyalama etkinliği makalesi üzerine derlenmektedir.

Desteklenen özellikler

Bu Azure Databricks Delta Lake bağlayıcısı aşağıdaki özellikler için desteklenir:

Desteklenen özellikler	IR
Kopyalama etkinliği (kaynak/havuz)	① ②
Eşleme veri akışı (kaynak/havuz)	①
Arama etkinliği	① ②

(1) Azure tümleştirme çalışma zamanı (2) Şirket içinde barındırılan tümleştirme çalışma zamanı

Genel olarak, hizmet çeşitli ihtiyaçlarınızı karşılamak için aşağıdaki özelliklerle Delta Lake'i destekler.

Kopyalama etkinliği, desteklenen herhangi bir kaynak veri deposundaki verileri Azure Databricks delta lake tablosuna ve delta lake tablosundan desteklenen havuz veri deposuna kopyalamak için Azure Databricks Delta Lake bağlayıcısını destekler. Veri taşıma işlemini gerçekleştirmek için Databricks kümenizden yararlanıyor, Önkoşullar bölümündeki ayrıntılara bakın.
Eşleme Veri Akışı, kod içermeyen ETL için Delta dosyalarını okumak ve yazmak üzere kaynak ve havuz olarak Azure Depolama genel Delta biçimini destekler ve yönetilen Azure Integration Runtime üzerinde çalışır.
Databricks etkinlikleri , delta lake üzerinde kod merkezli ETL veya makine öğrenmesi iş yükünüzü düzenlemeyi destekler.

Önkoşullar

Bu Azure Databricks Delta Lake bağlayıcısını kullanmak için Azure Databricks'te bir küme ayarlamanız gerekir.

Delta Lake'e veri kopyalamak için Kopyalama etkinliği, azure databricks kümesini çağırarak özgün kaynağınız olan azure Depolama veya hizmetin ilk olarak yerleşik hazırlanmış kopya aracılığıyla kaynak verileri yazdığı bir hazırlama alanıdır. Havuz olarak Delta lake'ten daha fazla bilgi edinin.
Benzer şekilde, delta gölünden veri kopyalamak için Kopyalama etkinliği azure databricks kümesini çağırarak azure Depolama veri yazar. Bu, özgün havuz veya hizmetin yerleşik hazırlanmış kopya aracılığıyla son havuza veri yazmaya devam ettiği bir hazırlama alanıdır. Kaynak olarak Delta lake'ten daha fazla bilgi edinin.

Databricks kümesinin hem kaynak/havuz/hazırlama için kullanılan depolama kapsayıcısı/dosya sistemi hem de Delta Lake tablolarını yazmak istediğiniz kapsayıcı/dosya sistemi olmak üzere Azure Blob veya Azure Data Lake Storage 2. Nesil hesabına erişimi olmalıdır.

Azure Data Lake Storage 2. Nesil kullanmak için, Apache Spark yapılandırmasının bir parçası olarak Databricks kümesinde bir hizmet sorumlusu yapılandırabilirsiniz. Hizmet sorumlusuyla doğrudan Access'teki adımları izleyin.
Azure Blob depolamayı kullanmak için, Apache Spark yapılandırmasının bir parçası olarak Databricks kümesinde bir depolama hesabı erişim anahtarı veya SAS belirteci yapılandırabilirsiniz. RDD API'sini kullanarak Azure Blob depolamaya erişme adımlarını izleyin.

Kopyalama etkinliği yürütme sırasında, yapılandırdığınız küme sonlandırıldıysa, hizmet bunu otomatik olarak başlatır. Yazma kullanıcı arabirimini kullanarak işlem hattı yazarsanız, veri önizleme gibi işlemler için canlı bir kümenizin olması gerekir; hizmet sizin yerinize kümeyi başlatmaz.

Küme yapılandırmasını belirtme

Küme Modu açılan listesinde Standart'ı seçin.
Databricks Çalışma Zamanı Sürümü açılan listesinde bir Databricks çalışma zamanı sürümü seçin.

Spark yapılandırmanıza aşağıdaki özellikleri ekleyerek Otomatik İyileştirme'yi açın:

spark.databricks.delta.optimizeWrite.enabled true
spark.databricks.delta.autoCompact.enabled true

Tümleştirme ve ölçeklendirme gereksinimlerinize bağlı olarak kümenizi yapılandırın.

Küme yapılandırma ayrıntıları için bkz . Kümeleri yapılandırma.

Başlarken

İşlem hattıyla Kopyalama etkinliği gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

Kullanıcı arabirimini kullanarak Azure Databricks Delta Lake'e bağlı hizmet oluşturma

Azure portalı kullanıcı arabiriminde Azure Databricks Delta Lake'e bağlı bir hizmet oluşturmak için aşağıdaki adımları kullanın.

Azure Data Factory veya Synapse çalışma alanınızda Yönet sekmesine göz atın ve Bağlı Hizmetler'i seçin, ardından Yeni'ye tıklayın:
- Azure Data Factory
- Azure Synapse
Delta araması yapın ve Azure Databricks Delta Lake bağlayıcısını seçin.
Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

Bağlan veya yapılandırma ayrıntıları

Aşağıdaki bölümlerde, Azure Databricks Delta Lake bağlayıcısına özgü varlıkları tanımlayan özelliklerle ilgili ayrıntılar sağlanır.

Bağlı hizmet özellikleri

Bu Azure Databricks Delta Lake bağlayıcısı aşağıdaki kimlik doğrulama türlerini destekler. Ayrıntılar için ilgili bölümlere bakın.

Erişim belirteci
Sistem tarafından atanan yönetilen kimlik kimlik doğrulaması
Kullanıcı tarafından atanan yönetilen kimlik kimlik doğrulaması

Erişim belirteci

Azure Databricks Delta Lake bağlı hizmeti için aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
type	type özelliği AzureDatabricksDeltaLake olarak ayarlanmalıdır.	Evet
etki alanı	Azure Databricks çalışma alanı URL'sini belirtin; örneğin. `https://adb-xxxxxxxxx.xx.azuredatabricks.net`
clusterId	Var olan bir kümenin küme kimliğini belirtin. Zaten oluşturulmuş bir Etkileşimli Küme olmalıdır. Databricks çalışma alanında Etkileşimli Kümenin Küme Kimliğini bulabilirsiniz -> Kümeler -> Etkileşimli Küme Adı -> Yapılandırma -> Etiketler. Daha fazla bilgi edinin.
accessToken	Hizmetin Azure Databricks'de kimlik doğrulaması için erişim belirteci gereklidir. Erişim belirtecinin databricks çalışma alanından oluşturulması gerekir. Erişim belirtecini bulmak için daha ayrıntılı adımlar burada bulunabilir.
connectVia	Veri deposuna bağlanmak için kullanılan tümleştirme çalışma zamanı . Azure tümleştirme çalışma zamanını veya şirket içinde barındırılan tümleştirme çalışma zamanını (veri deponuz özel bir ağda bulunuyorsa) kullanabilirsiniz. Belirtilmezse, varsayılan Azure tümleştirme çalışma zamanını kullanır.	No

Örnek:

{
    "name": "AzureDatabricksDeltaLakeLinkedService",
    "properties": {
        "type": "AzureDatabricksDeltaLake",
        "typeProperties": {
            "domain": "https://adb-xxxxxxxxx.xx.azuredatabricks.net",
            "clusterId": "<cluster id>",
            "accessToken": {
                "type": "SecureString", 
                "value": "<access token>"
          	}
        }
    }
}

Sistem tarafından atanan yönetilen kimlik kimlik doğrulaması

Azure kaynakları için sistem tarafından atanan yönetilen kimlikler hakkında daha fazla bilgi edinmek için bkz . Azure kaynakları için sistem tarafından atanan yönetilen kimlik.

Sistem tarafından atanan yönetilen kimlik kimlik doğrulamasını kullanmak için şu adımları izleyerek izinler verin:

Veri fabrikanız veya Synapse çalışma alanınızla birlikte oluşturulan yönetilen kimlik nesne kimliğinin değerini kopyalayarak yönetilen kimlik bilgilerini alın.
Yönetilen kimliğe Azure Databricks'te doğru izinleri verin. Genel olarak, Azure Databricks'in Erişim denetiminde (IAM) sistem tarafından atanan yönetilen kimliğinize en azından Katkıda Bulunan rolü vermelisiniz.

Azure Databricks Delta Lake bağlı hizmeti için aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
type	type özelliği AzureDatabricksDeltaLake olarak ayarlanmalıdır.	Evet
etki alanı	Azure Databricks çalışma alanı URL'sini belirtin; örneğin. `https://adb-xxxxxxxxx.xx.azuredatabricks.net`	Evet
clusterId	Var olan bir kümenin küme kimliğini belirtin. Zaten oluşturulmuş bir Etkileşimli Küme olmalıdır. Databricks çalışma alanında Etkileşimli Kümenin Küme Kimliğini bulabilirsiniz -> Kümeler -> Etkileşimli Küme Adı -> Yapılandırma -> Etiketler. Daha fazla bilgi edinin.	Evet
workspaceResourceId	Azure Databricks'inizin çalışma alanı kaynak kimliğini belirtin.	Evet
connectVia	Veri deposuna bağlanmak için kullanılan tümleştirme çalışma zamanı . Azure tümleştirme çalışma zamanını veya şirket içinde barındırılan tümleştirme çalışma zamanını (veri deponuz özel bir ağda bulunuyorsa) kullanabilirsiniz. Belirtilmezse, varsayılan Azure tümleştirme çalışma zamanını kullanır.	No

Örnek:

{
    "name": "AzureDatabricksDeltaLakeLinkedService",
    "properties": {
        "type": "AzureDatabricksDeltaLake",
        "typeProperties": {
            "domain": "https://adb-xxxxxxxxx.xx.azuredatabricks.net",
            "clusterId": "<cluster id>",
            "workspaceResourceId": "<workspace resource id>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Kullanıcı tarafından atanan yönetilen kimlik kimlik doğrulaması

Azure kaynakları için kullanıcı tarafından atanan yönetilen kimlikler hakkında daha fazla bilgi edinmek için bkz. Kullanıcı tarafından atanan yönetilen kimlikler

Kullanıcı tarafından atanan yönetilen kimlik kimlik doğrulamasını kullanmak için şu adımları izleyin:

Kullanıcı tarafından atanan bir veya birden çok yönetilen kimlik oluşturun ve Azure Databricks'inizde izin verin. Genel olarak, Azure Databricks'in Erişim denetiminde (IAM) kullanıcı tarafından atanan yönetilen kimliğinize en azından Katkıda Bulunan rolünü vermelisiniz.
Veri fabrikanıza veya Synapse çalışma alanınıza kullanıcı tarafından atanan bir veya birden çok yönetilen kimlik atayın ve kullanıcı tarafından atanan her bir yönetilen kimlik için kimlik bilgileri oluşturun.

Azure Databricks Delta Lake bağlı hizmeti için aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
type	type özelliği AzureDatabricksDeltaLake olarak ayarlanmalıdır.	Evet
etki alanı	Azure Databricks çalışma alanı URL'sini belirtin; örneğin. `https://adb-xxxxxxxxx.xx.azuredatabricks.net`	Evet
clusterId	Var olan bir kümenin küme kimliğini belirtin. Zaten oluşturulmuş bir Etkileşimli Küme olmalıdır. Databricks çalışma alanında Etkileşimli Kümenin Küme Kimliğini bulabilirsiniz -> Kümeler -> Etkileşimli Küme Adı -> Yapılandırma -> Etiketler. Daha fazla bilgi edinin.	Evet
kimlik bilgileri	Kimlik bilgisi nesnesi olarak kullanıcı tarafından atanan yönetilen kimliği belirtin.	Evet
workspaceResourceId	Azure Databricks'inizin çalışma alanı kaynak kimliğini belirtin.	Evet
connectVia	Veri deposuna bağlanmak için kullanılan tümleştirme çalışma zamanı . Azure tümleştirme çalışma zamanını veya şirket içinde barındırılan tümleştirme çalışma zamanını (veri deponuz özel bir ağda bulunuyorsa) kullanabilirsiniz. Belirtilmezse, varsayılan Azure tümleştirme çalışma zamanını kullanır.	No

Örnek:

{
    "name": "AzureDatabricksDeltaLakeLinkedService",
    "properties": {
        "type": "AzureDatabricksDeltaLake",
        "typeProperties": {
            "domain": "https://adb-xxxxxxxxx.xx.azuredatabricks.net",
            "clusterId": "<cluster id>",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            },
            "workspaceResourceId": "<workspace resource id>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Veri kümeleri makalesine bakın.

Azure Databricks Delta Lake veri kümesi için aşağıdaki özellikler desteklenir.

Özellik	Açıklama	Gerekli
type	Veri kümesinin tür özelliği AzureDatabricksDeltaLakeDataset olarak ayarlanmalıdır.	Evet
database	Veritabanının adı.	Kaynak için hayır, havuz için evet
table	Delta tablosunun adı.	Kaynak için hayır, havuz için evet

Örnek:

{
    "name": "AzureDatabricksDeltaLakeDataset",
    "properties": {
        "type": "AzureDatabricksDeltaLakeDataset",
        "typeProperties": {
            "database": "<database name>",
            "table": "<delta table name>"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "linkedServiceName": {
            "referenceName": "<name of linked service>",
            "type": "LinkedServiceReference"
        }
    }
}

Kopyalama etkinliğinin özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için İşlem hatları makalesine bakın. Bu bölümde, Azure Databricks Delta Lake kaynağı ve havuzu tarafından desteklenen özelliklerin listesi sağlanır.

Kaynak olarak Delta gölü

Azure Databricks Delta Lake'ten veri kopyalamak için, Kopyalama etkinliği kaynak bölümünde aşağıdaki özellikler desteklenir.

Özellik	Açıklama	Gerekli
type	Kopyalama etkinliği kaynağının type özelliği AzureDatabricksDeltaLakeSource olarak ayarlanmalıdır.	Evet
query	Verileri okumak için SQL sorgusunu belirtin. Zaman yolculuğu denetimi için aşağıdaki deseni izleyin: - `SELECT * FROM events TIMESTAMP AS OF timestamp_expression` - `SELECT * FROM events VERSION AS OF version`	No
dışarı aktarma Ayarlar	Delta tablosundan veri almak için kullanılan gelişmiş ayarlar.	No
altında `exportSettings`:
type	Dışarı aktarma komutunun türü, AzureDatabricksDeltaLakeExportCommand olarak ayarlanır.	Evet
Dateformat	Tarih türünü bir tarih biçimiyle dizeye biçimlendirin. Özel tarih biçimleri tarih saat düzenindeki biçimleri izler. Belirtilmezse, varsayılan değerini `yyyy-MM-dd`kullanır.	No
timestampFormat	Zaman damgası türünü, zaman damgası biçimiyle dizeye biçimlendirin. Özel tarih biçimleri tarih saat düzenindeki biçimleri izler. Belirtilmezse, varsayılan değerini `yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]`kullanır.	No

Delta gölünden doğrudan kopya

Havuz veri deponuz ve biçiminiz bu bölümde açıklanan ölçütleri karşılıyorsa, Azure Databricks Delta tablosundan havuza doğrudan kopyalamak için Kopyalama etkinliği kullanabilirsiniz. Hizmet ayarları denetler ve aşağıdaki ölçütlere uyulmazsa Kopyalama etkinliği çalıştırılamaz:

Havuz bağlantılı hizmetiAzure Blob depolama veya Azure Data Lake Storage 2. Nesil. Hesap kimlik bilgileri Azure Databricks küme yapılandırmasında önceden yapılandırılmalıdır. Önkoşullar bölümünden daha fazla bilgi edinin.
Havuz veri biçimi Parquet, sınırlandırılmış metin veya Avro şeklindedir ve dosya yerine bir klasöre işaret eder.
- Parquet biçimi için sıkıştırma codec'i yok, snappy veya gzip şeklindedir.
- Sınırlandırılmış metin biçimi için:
  - rowDelimiter herhangi bir tek karakterdir.
  - compressionhiçbiri, bzip2, gzip olabilir.
  - encodingName UTF-7 desteklenmez.
- Avro biçimi için sıkıştırma codec'i yok, söndürebilir veya tutturulamaz.
Kopyalama etkinliği kaynağında additionalColumns belirtilmemiş.
Verileri sınırlandırılmış metne kopyalıyorsanız, kopyalama etkinliği havuzundaki fileExtension ".csv" olmalıdır.
Kopyalama etkinliği eşlemesinde tür dönüştürme etkinleştirilmedi.

Örnek:

"activities":[
    {
        "name": "CopyFromDeltaLake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delta lake input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzureDatabricksDeltaLakeSource",
                "sqlReaderQuery": "SELECT * FROM events TIMESTAMP AS OF timestamp_expression"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Delta gölünden hazırlanmış kopya

Havuz veri deponuz veya biçiminiz, son bölümde belirtildiği gibi doğrudan kopyalama ölçütleri ile eşleşmediğinde, geçici bir Azure depolama örneği kullanarak yerleşik aşamalı kopyayı etkinleştirin. Aşamalı kopyalama özelliği size daha iyi aktarım hızı da sağlar. Hizmet, Azure Databricks Delta Lake'ten hazırlama depolama alanına veri aktarır, ardından verileri havuza kopyalar ve son olarak hazırlama depolamasından geçici verilerinizi temizler. Hazırlamayı kullanarak veri kopyalama hakkında ayrıntılı bilgi için bkz . Aşamalı kopyalama.

Bu özelliği kullanmak için, ara hazırlama olarak depolama hesabına başvuran bir Azure Blob depolama bağlı hizmeti veya Azure Data Lake Storage 2. Nesil bağlı hizmet oluşturun. Ardından Kopyalama etkinliği ve stagingSettings özelliklerini belirtinenableStaging.

Dekont

Hazırlama depolama hesabı kimlik bilgileri, Önkoşullar bölümünden daha fazla bilgi edinmek için Azure Databricks küme yapılandırmasında önceden yapılandırılmış olmalıdır.

Örnek:

"activities":[
    {
        "name": "CopyFromDeltaLake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delta lake input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzureDatabricksDeltaLakeSource",
                "sqlReaderQuery": "SELECT * FROM events TIMESTAMP AS OF timestamp_expression"
            },
            "sink": {
                "type": "<sink type>"
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingStorage",
                    "type": "LinkedServiceReference"
                },
                "path": "mystagingpath"
            }
        }
    }
]

Havuz olarak Delta gölü

Azure Databricks Delta Lake'e veri kopyalamak için, Kopyalama etkinliği havuzu bölümünde aşağıdaki özellikler desteklenir.

Özellik	Açıklama	Gerekli
type	Kopyalama etkinliği havuzun type özelliği, AzureDatabricksDeltaLakeSink olarak ayarlanır.	Evet
preCopyScript	Her çalıştırmada Databricks delta tablosuna veri yazmadan önce çalıştırılacak Kopyalama etkinliği için bir SQL sorgusu belirtin. Örnek: `VACUUM eventsTable DRY RUN` Bu özelliği kullanarak önceden yüklenmiş verileri temizleyebilir veya bir kesme tablosu veya Vacuum deyimi ekleyebilirsiniz.	No
içeri aktarma Ayarlar	Delta tablosuna veri yazmak için kullanılan gelişmiş ayarlar.	No
altında `importSettings`:
type	AzureDatabricksDeltaLakeImportCommand olarak ayarlanan içeri aktarma komutunun türü.	Evet
Dateformat	Dizeyi tarih biçimiyle tarih türüne biçimlendirin. Özel tarih biçimleri tarih saat düzenindeki biçimleri izler. Belirtilmezse, varsayılan değerini `yyyy-MM-dd`kullanır.	No
timestampFormat	Dizeyi zaman damgası biçimiyle zaman damgası türüne biçimlendirin. Özel tarih biçimleri tarih saat düzenindeki biçimleri izler. Belirtilmezse, varsayılan değerini `yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]`kullanır.	No

Delta gölüne doğrudan kopyalama

Kaynak veri deponuz ve biçiminiz bu bölümde açıklanan ölçütlere uyuyorsa, kaynaktan Azure Databricks Delta Lake'e doğrudan kopyalamak için Kopyalama etkinliği kullanabilirsiniz. Hizmet ayarları denetler ve aşağıdaki ölçütlere uyulmazsa Kopyalama etkinliği çalıştırılamaz:

Kaynak bağlı hizmet Azure Blob depolama veya Azure Data Lake Storage 2. Nesil. Hesap kimlik bilgileri Azure Databricks küme yapılandırmasında önceden yapılandırılmalıdır. Önkoşullar bölümünden daha fazla bilgi edinin.
Kaynak veri biçimi Parquet, sınırlandırılmış metin veya Avro şeklindedir ve dosya yerine bir klasöre işaret eder.
- Parquet biçimi için sıkıştırma codec'i yok, snappy veya gzip şeklindedir.
- Sınırlandırılmış metin biçimi için:
  - rowDelimiter varsayılan veya herhangi bir tek karakterdir.
  - compressionhiçbiri, bzip2, gzip olabilir.
  - encodingName UTF-7 desteklenmez.
- Avro biçimi için sıkıştırma codec'i yok, söndürebilir veya tutturulamaz.
Kopyalama etkinliği kaynağında:
- wildcardFileName yalnızca joker karakter * içerir, ancak ?içermez ve wildcardFolderName belirtilmez.
- prefix, modifiedDateTimeStart, modifiedDateTimeEndve enablePartitionDiscovery belirtilmedi.
- additionalColumns belirtilmemiş.
Kopyalama etkinliği eşlemesinde tür dönüştürme etkinleştirilmedi.

Örnek:

"activities":[
    {
        "name": "CopyToDeltaLake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Delta lake output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDatabricksDeltaLakeSink",
                "sqlReadrQuery": "VACUUM eventsTable DRY RUN"
            }
        }
    }
]

Delta lake'e aşamalı kopya

Kaynak veri deponuz veya biçiminiz, son bölümde belirtildiği gibi doğrudan kopyalama ölçütleri ile eşleşmiyorsa, geçici bir Azure depolama örneği kullanarak yerleşik aşamalı kopyayı etkinleştirin. Aşamalı kopyalama özelliği size daha iyi aktarım hızı da sağlar. Hizmet, veri biçimi gereksinimlerini karşılamak için verileri otomatik olarak hazırlama depolama alanına dönüştürür ve ardından buradan delta lake'e veri yükler. Son olarak, geçici verilerinizi depolama alanından temizler. Hazırlamayı kullanarak veri kopyalama hakkında ayrıntılı bilgi için bkz . Aşamalı kopyalama.

Dekont

Hazırlama depolama hesabı kimlik bilgileri, Önkoşullar bölümünden daha fazla bilgi edinmek için Azure Databricks küme yapılandırmasında önceden yapılandırılmış olmalıdır.

Örnek:

"activities":[
    {
        "name": "CopyToDeltaLake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Delta lake output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDatabricksDeltaLakeSink"
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingBlob",
                    "type": "LinkedServiceReference"
                },
                "path": "mystagingpath"
            }
        }
    }
]

İzleme

Diğer bağlayıcılar için olduğu gibi kopyalama etkinliği izleme deneyimi de sağlanır. Ayrıca, Azure Databricks kümenizde delta lake'ten/delta lake'e veri yükleme işlemi çalıştığından, ayrıntılı küme günlüklerini daha fazla görüntüleyebilir ve performansı izleyebilirsiniz.

Arama etkinliği özellikleri

Özellikler hakkında daha fazla bilgi için bkz . Arama etkinliği.

Kopyalama etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz. desteklenen veri depoları ve biçimleri.

Azure Data Factory veya Azure Synapse Analytics kullanarak Azure Databricks Delta Lake'e veya Azure Synapse Analytics'e veri kopyalama

Desteklenen özellikler

Önkoşullar

Küme yapılandırmasını belirtme

Başlarken

Kullanıcı arabirimini kullanarak Azure Databricks Delta Lake'e bağlı hizmet oluşturma

Bağlan veya yapılandırma ayrıntıları

Bağlı hizmet özellikleri

Erişim belirteci

Sistem tarafından atanan yönetilen kimlik kimlik doğrulaması

Kullanıcı tarafından atanan yönetilen kimlik kimlik doğrulaması

Veri kümesi özellikleri

Kopyalama etkinliğinin özellikleri

Kaynak olarak Delta gölü

Delta gölünden doğrudan kopya

Delta gölünden hazırlanmış kopya

Havuz olarak Delta gölü

Delta gölüne doğrudan kopyalama

Delta lake'e aşamalı kopya

İzleme

Arama etkinliği özellikleri

İlgili içerik

Ek kaynaklar