Azure Data Factory veya Azure Synapse Analytics kullanarak Microsoft Fabric Lakehouse'da verileri kopyalama ve dönüştürme

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Microsoft Fabric Lakehouse, yapılandırılmış ve yapılandırılmamış verileri tek bir konumda depolamak, yönetmek ve analiz etmek için kullanılan bir veri mimarisi platformudur. Microsoft Fabric'teki tüm işlem altyapılarında sorunsuz veri erişimi elde etmek için Daha fazla bilgi edinmek için Lakehouse ve Delta Tables'a gidin. Varsayılan olarak, veriler V-Order'da Lakehouse Tablosu'na yazılır ve daha fazla bilgi için Delta Lake tablo iyileştirme ve V-Order'a gidebilirsiniz.

Bu makalede, Microsoft Fabric Lakehouse'dan ve Microsoft Fabric Lakehouse'a veri kopyalamak için Kopyalama etkinliği kullanma ve Microsoft Fabric Lakehouse'da verileri dönüştürmek için Veri Akışı kullanma adımları açıklanmaktadır. Daha fazla bilgi edinmek için Azure Data Factory veya Azure Synapse Analytics ile ilgili giriş makalesini okuyun.

Desteklenen özellikler

Bu Microsoft Fabric Lakehouse bağlayıcısı aşağıdaki özellikler için desteklenir:

Desteklenen özellikler	IR
Kopyalama etkinliği (kaynak/havuz)	(1) (2)
Eşleme veri akışı (kaynak/havuz)	(1)
Arama etkinliği	(1) (2)
GetMetadata etkinliği	(1) (2)
Silme etkinliği	(1) (2)

(1) Azure tümleştirme çalışma zamanı (2) Şirket içinde barındırılan tümleştirme çalışma zamanı

Kullanmaya başlayın

İşlem hattıyla Kopyalama etkinliği gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

• Veri Kopyalama aracı
• Azure portal
• .NET SDK'sı
• Python SDK'sı
• Azure PowerShell
• The REST API
• Azure Resource Manager şablonu

Kullanıcı arabirimini kullanarak Microsoft Fabric Lakehouse bağlı hizmeti oluşturma

Azure portalı kullanıcı arabiriminde bir Microsoft Fabric Lakehouse bağlı hizmeti oluşturmak için aşağıdaki adımları kullanın.

1. Azure Data Factory veya Synapse çalışma alanınızda Yönet sekmesine gidin ve Bağlı Hizmetler'i ve ardından Yeni'yi seçin:

   Azure Data Factory

   

   Azure Synapse

   

2. Microsoft Fabric Lakehouse'u arayın ve bağlayıcıyı seçin.

   

3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

   

Bağlan veya yapılandırma ayrıntıları

Aşağıdaki bölümlerde, Microsoft Fabric Lakehouse'a özgü Data Factory varlıklarını tanımlamak için kullanılan özelliklerle ilgili ayrıntılar sağlanır.

Bağlı hizmet özellikleri

Microsoft Fabric Lakehouse bağlayıcısı aşağıdaki kimlik doğrulama türlerini destekler. Ayrıntılar için ilgili bölümlere bakın:

• Hizmet sorumlusu kimlik doğrulaması

Hizmet sorumlusu kimlik doğrulaması

Hizmet sorumlusu kimlik doğrulamasını kullanmak için aşağıdaki adımları izleyin.

1. Bir uygulamayı Microsoft Identity platformuna kaydedin ve bir istemci gizli dizisi ekleyin. Daha sonra, bağlı hizmeti tanımlamak için kullandığınız bu değerleri not edin:

   • Bağlı hizmetteki hizmet sorumlusu kimliği olan uygulama (istemci) kimliği.
   • Bağlı hizmetteki hizmet sorumlusu anahtarı olan istemci gizli anahtarı.
   • Kiracı kimliği

2. Hizmet sorumlusuna en azından Microsoft Fabric çalışma alanında Katkıda Bulunan rolü verin. Şu adımları izleyin:

   1. Microsoft Fabric çalışma alanınıza gidin, üst çubukta Erişimi yönet'i seçin. Ardından Kişi veya grup ekle'yi seçin.

      

      

   2. Kişi ekle bölmesinde hizmet asıl adınızı girin ve açılan listeden hizmet sorumlunuzu seçin.

   3. Rolü Katkıda Bulunan veya üzeri (Yönetici, Üye) olarak belirtin ve ekle'yi seçin.

      

   4. Hizmet sorumlunuz Erişimi yönet bölmesinde görüntülenir.

Bu özellikler bağlı hizmet için desteklenir:

Özellik	Açıklama	Gerekli
Tür	type özelliği Lakehouse olarak ayarlanmalıdır.	Yes
workspaceId	Microsoft Fabric çalışma alanı kimliği.	Yes
Artifactıd	Microsoft Fabric Lakehouse nesne kimliği.	Yes
tenant	Uygulamanızın bulunduğu kiracı bilgilerini (etki alanı adı veya kiracı kimliği) belirtin. Fareyi Azure portalının sağ üst köşesine getirerek alın.	Yes
servicePrincipalId	Uygulamanın istemci kimliğini belirtin.	Yes
servicePrincipalCredentialType	Hizmet sorumlusu kimlik doğrulaması için kullanılacak kimlik bilgisi türü. İzin verilen değerler ServicePrincipalKey ve ServicePrincipalCert değerleridir.	Yes
servicePrincipalCredential	Hizmet sorumlusu kimlik bilgileri. Kimlik bilgisi türü olarak ServicePrincipalKey kullandığınızda, uygulamanın istemci gizli dizi değerini belirtin. Güvenli bir şekilde depolamak için bu alanı SecureString olarak işaretleyin veya Azure Key Vault'ta depolanan bir gizli diziye başvurun. Kimlik bilgisi olarak ServicePrincipalCert kullandığınızda Azure Key Vault'taki bir sertifikaya başvurun ve sertifika içerik türünün PKCS #12 olduğundan emin olun.	Yes
connectVia	Veri deposuna bağlanmak için kullanılacak tümleştirme çalışma zamanı . Veri deponuz özel bir ağdaysa Azure tümleştirme çalışma zamanını veya şirket içinde barındırılan tümleştirme çalışma zamanını kullanabilirsiniz. Belirtilmezse, varsayılan Azure tümleştirme çalışma zamanı kullanılır.	Hayır

Örnek: hizmet sorumlusu anahtarı kimlik doğrulamayı kullanma

Hizmet sorumlusu anahtarını Azure Key Vault'ta da depolayabilirsiniz.

{
    "name": "MicrosoftFabricLakehouseLinkedService",
    "properties": {
        "type": "Lakehouse",
        "typeProperties": {
            "workspaceId": "<Microsoft Fabric workspace ID>",
            "artifactId": "<Microsoft Fabric Lakehouse object ID>",
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalCredentialType": "ServicePrincipalKey",
            "servicePrincipalCredential": {
                "type": "SecureString",
                "value": "<service principal key>"
            }   
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Veri kümesi özellikleri

Microsoft Fabric Lakehouse bağlayıcısı, Microsoft Fabric Lakehouse Files veri kümesi ve Microsoft Fabric Lakehouse Tablo veri kümesi olmak üzere iki tür veri kümesini destekler. Ayrıntılar için ilgili bölümlere bakın.

• Microsoft Fabric Lakehouse Files veri kümesi
• Microsoft Fabric Lakehouse Tablo veri kümesi

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için bkz . Veri kümeleri.

Microsoft Fabric Lakehouse Files veri kümesi

Microsoft Fabric Lakehouse bağlayıcısı aşağıdaki dosya biçimlerini destekler. Biçim tabanlı ayarlar için her makaleye bakın.

• Avro biçimi
• İkili biçim
• Sınırlandırılmış metin biçimi
• JSON biçimi
• ORC biçimi
• Parquet biçimi

Aşağıdaki özellikler, biçim tabanlı Microsoft Fabric Lakehouse Files veri kümesindeki ayarlar altında location desteklenir:

Özellik	Açıklama	Gerekli
Tür	veri kümesinde altındaki type özelliği location LakehouseLocation olarak ayarlanmalıdır.	Yes
folderPath	Klasörün yolu. Klasörleri filtrelemek için joker karakter kullanmak istiyorsanız, bu ayarı atlayın ve etkinlik kaynağı ayarlarında belirtin.	Hayır
fileName	Verilen folderPath altındaki dosya adı. Dosyaları filtrelemek için joker karakter kullanmak istiyorsanız, bu ayarı atlayın ve etkinlik kaynağı ayarlarında belirtin.	Hayır

Örnek:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Microsoft Fabric Lakehouse linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "location": {
                "type": "LakehouseLocation",
                "fileName": "<file name>",
                "folderPath": "<folder name>"
            },
            "columnDelimiter": ",",
            "compressionCodec": "gzip",
            "escapeChar": "\\",
            "firstRowAsHeader": true,
            "quoteChar": "\""
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ]
    }
}

Microsoft Fabric Lakehouse Tablo veri kümesi

Microsoft Fabric Lakehouse Tablo veri kümesi için aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
Tür	Veri kümesinin type özelliği LakehouseTable olarak ayarlanmalıdır.	Yes
table	Tablonuzun adı.	Yes

Örnek:

{ 
    "name": "LakehouseTableDataset", 
    "properties": {
        "type": "LakehouseTable",
        "linkedServiceName": { 
            "referenceName": "<Microsoft Fabric Lakehouse linked service name>", 
            "type": "LinkedServiceReference" 
        }, 
        "typeProperties": { 
            "table": "<table_name>"   
        }, 
        "schema": [< physical schema, optional, retrievable during authoring >] 
    } 
}

Kopyalama etkinliğinin özellikleri

Microsoft Fabric Lakehouse Files veri kümesi ve Microsoft Fabric Lakehouse Tablo veri kümesi için kopyalama etkinliği özellikleri farklıdır. Ayrıntılar için ilgili bölümlere bakın.

• Kopyalama etkinliği'da Microsoft Fabric Lakehouse Dosyaları
• Kopyalama etkinliği'de Microsoft Fabric Lakehouse Tablosu

Etkinlikleri tanımlamak için kullanılabilecek bölümlerin ve özelliklerin tam listesi için bkz. Kopyalama etkinliği yapılandırmaları ve İşlem hatları ve etkinlikler.

Kopyalama etkinliği'da Microsoft Fabric Lakehouse Dosyaları

Microsoft Fabric Lakehouse Files veri kümesi türünü Kopyalama etkinliği kaynak veya havuz olarak kullanmak için, ayrıntılı yapılandırmalar için aşağıdaki bölümlere gidin.

Kaynak türü olarak Microsoft Fabric Lakehouse Dosyaları

Microsoft Fabric Lakehouse bağlayıcısı aşağıdaki dosya biçimlerini destekler. Biçim tabanlı ayarlar için her makaleye bakın.

• Avro biçimi
• İkili biçim
• Sınırlandırılmış metin biçimi
• JSON biçimi
• ORC biçimi
• Parquet biçimi

Microsoft Fabric Lakehouse Files veri kümesini kullanarak Microsoft Fabric Lakehouse'dan veri kopyalamaya ilişkin çeşitli seçenekleriniz vardır:

• Veri kümesinde belirtilen yoldan kopyalayın.
• Klasör yoluna veya dosya adına göre joker karakter filtresi, bkz wildcardFolderPath . ve wildcardFileName.
• Belirli bir metin dosyasında tanımlanan dosyaları dosya kümesi olarak kopyalayın, bkz fileListPath. .

Aşağıdaki özellikler, Microsoft Fabric Lakehouse Files veri kümesi kullanılırken biçim tabanlı kopyalama kaynağı ayarları altındadır storeSettings :

Özellik	Açıklama	Gerekli
Tür	altındaki storeSettings tür özelliği LakehouseRead Ayarlar olarak ayarlanmalıdır.	Yes
Kopyalanacak dosyaları bulun:
SEÇENEK 1: statik yol	Veri kümesinde belirtilen klasörden/dosya yolundan kopyalayın. Bir klasörden tüm dosyaları kopyalamak istiyorsanız, ek olarak olarak *belirtinwildcardFileName.
SEÇENEK 2: joker karakter - wildcardFolderPath	Kaynak klasörleri filtrelemek için joker karakterler içeren klasör yolu. İzin verilen joker karakterler şunlardır: * (sıfır veya daha fazla karakterle eşleşir) ve ? (sıfır veya tek karakterle eşleşir); gerçek klasör adınızın içinde joker karakter veya bu kaçış karakteri varsa kaçış yapmak için kullanın ^ . Klasör ve dosya filtresi örnekleri'ndeki diğer örneklere bakın.	Hayır
SEÇENEK 2: joker karakter - wildcardFileName	Kaynak dosyaları filtrelemek için verilen folderPath/wildcardFolderPath altında joker karakterler içeren dosya adı. İzin verilen joker karakterler şunlardır: * (sıfır veya daha fazla karakterle eşleşir) ve ? (sıfır veya tek karakterle eşleşir); gerçek dosya adınızın içinde joker karakter veya bu kaçış karakteri varsa kaçış yapmak için kullanın ^ . Klasör ve dosya filtresi örnekleri'ndeki diğer örneklere bakın.	Yes
SEÇENEK 3: dosyaların listesi - fileListPath	Belirli bir dosya kümesinin kopyalandığını gösterir. Kopyalamak istediğiniz dosyaların listesini içeren bir metin dosyasının üzerine gelin. Bu, veri kümesinde yapılandırılan yolun göreli yolu olan satır başına bir dosyadır. Bu seçeneği kullanırken veri kümesinde dosya adı belirtmeyin. Dosya listesi örnekleri'ndeki diğer örneklere bakın.	Hayır
Ek ayarlar:
Özyinelemeli	Verilerin alt klasörlerden veya yalnızca belirtilen klasörden özyinelemeli olarak okunup okunmadığını gösterir. Özyineleme true olarak ayarlandığında ve havuz dosya tabanlı bir depo olduğunda, havuza boş bir klasör veya alt klasör kopyalanır veya oluşturulmaz. İzin verilen değerler true (varsayılan) ve false değerleridir. Yapılandırdığınızda fileListPathbu özellik geçerli değildir.	Hayır
deleteFilesAfterCompletion	hedef depoya başarıyla taşındıktan sonra ikili dosyaların kaynak depodan silinip silinmeyeceğini gösterir. Dosya silme işlemi dosya başınadır, bu nedenle kopyalama etkinliği başarısız olduğunda bazı dosyaların hedefe kopyalandığını ve kaynaktan silindiğini, diğerleri ise kaynak depoda kaldığını görürsünüz. Bu özellik yalnızca ikili dosya kopyalama senaryosunda geçerlidir. Varsayılan değer: false.	Hayır
modifiedDatetimeStart	Dosyalar şu özniteliğe göre filtrelenmiş: Son Değiştirme. Dosyalar, son değiştirme süreleri değerinden büyük veya buna eşit modifiedDatetimeStart ve değerinden modifiedDatetimeEndküçükse seçilir. Saat UTC saat dilimine "2018-12-01T05:00:00Z" biçiminde uygulanır. Özellikler NULL olabilir; başka bir deyişle veri kümesine dosya özniteliği filtresi uygulanmaz. Tarih saat değeri olduğunda modifiedDatetimeStart ancak modifiedDatetimeEnd NULL olduğunda, son değiştirilen özniteliği datetime değerinden büyük veya eşit olan dosyaların seçileceği anlamına gelir. Tarih saat değeri olduğunda modifiedDatetimeEnd ancak modifiedDatetimeStart NULL olduğunda, son değiştirilen özniteliği datetime değerinden küçük olan dosyaların seçileceği anlamına gelir. Yapılandırdığınızda fileListPathbu özellik geçerli değildir.	Hayır
modifiedDatetimeEnd	Yukarıdakiyle aynıdır.	Hayır
enablePartitionDiscovery	Bölümlenmiş dosyalar için, bölümlerin dosya yolundan ayrıştırılıp ayrıştırılmayacağını belirtin ve bunları başka bir kaynak sütun olarak ekleyin. İzin verilen değerler false (varsayılan) ve true değerleridir.	Hayır
partitionRootPath	Bölüm bulma etkinleştirildiğinde, bölümlenmiş klasörleri veri sütunları olarak okumak için mutlak kök yolu belirtin. Belirtilmezse, varsayılan olarak - Veri kümesinde dosya yolunu veya kaynaktaki dosyaların listesini kullandığınızda, bölüm kök yolu veri kümesinde yapılandırılan yoldur. - Joker karakter klasör filtresi kullandığınızda, bölüm kök yolu ilk joker karakterden önceki alt yoldur. Örneğin, veri kümesindeki yolu "root/folder/year=2020/month=08/day=27" olarak yapılandırdığınız varsayılır: - Bölüm kök yolunu "root/folder/year=2020" olarak belirtirseniz kopyalama etkinliği, dosyaların içindeki sütunlara ek olarak sırasıyla "08" ve "27" değerine sahip iki sütun monthday daha oluşturur. - Bölüm kök yolu belirtilmezse, ek sütun oluşturulmaz.	Hayır
maxConcurrent Bağlan ions	Etkinlik çalıştırması sırasında veri deposuna kurulan eş zamanlı bağlantıların üst sınırı. Yalnızca eşzamanlı bağlantıları sınırlamak istediğinizde bir değer belirtin.	Hayır

Örnek:

"activities": [
    {
        "name": "CopyFromLakehouseFiles",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "storeSettings": {
                    "type": "LakehouseReadSettings",
                    "recursive": true,
                    "enablePartitionDiscovery": false
                },
                "formatSettings": {
                    "type": "DelimitedTextReadSettings"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Havuz türü olarak Microsoft Fabric Lakehouse Dosyaları

Microsoft Fabric Lakehouse bağlayıcısı aşağıdaki dosya biçimlerini destekler. Biçim tabanlı ayarlar için her makaleye bakın.

• Avro biçimi
• İkili biçim
• Sınırlandırılmış metin biçimi
• JSON biçimi
• ORC biçimi
• Parquet biçimi

Aşağıdaki özellikler, Microsoft Fabric Lakehouse Files veri kümesi kullanılırken biçim tabanlı kopyalama havuzu ayarları altındadır storeSettings :

Özellik	Açıklama	Gerekli
Tür	altındaki storeSettings tür özelliği LakehouseWrite Ayarlar olarak ayarlanmalıdır.	Yes
copyBehavior	Kaynak dosya tabanlı bir veri deposundaki dosyalar olduğunda kopyalama davranışını tanımlar. İzin verilen değerler şunlardır: - PreserveHierarchy (varsayılan): Hedef klasördeki dosya hiyerarşisini korur. Kaynak dosyanın kaynak klasöre göreli yolu, hedef dosyanın hedef klasöre göreli yolu ile aynıdır. - FlattenHierarchy: Kaynak klasördeki tüm dosyalar hedef klasörün ilk düzeyindedir. Hedef dosyalar otomatik olarak oluşturulan adlara sahiptir. - MergeFiles: Kaynak klasördeki tüm dosyaları tek bir dosyayla birleştirir. Dosya adı belirtilirse, birleştirilmiş dosya adı belirtilen addır. Aksi takdirde, otomatik olarak oluşturulan bir dosya adıdır.	Hayır
blockSizeInMB	Microsoft Fabric Lakehouse'a veri yazmak için kullanılan blok boyutunu MB cinsinden belirtin. Blok Blobları hakkında daha fazla bilgi edinin. İzin verilen değer 4 MB ile 100 MB arasındadır. Varsayılan olarak, ADF kaynak deponuzun türüne ve verilerine göre blok boyutunu otomatik olarak belirler. Microsoft Fabric Lakehouse'a bağlı olmayan kopyalama için varsayılan blok boyutu 100 MB'tır ve en fazla yaklaşık 4,75 TB veriye sığar. Verileriniz büyük olmadığında, özellikle çalışma zaman aşımına veya performans sorununa neden olan kötü ağ ile Şirket İçinde Barındırılan Tümleştirme Çalışma Zamanı kullandığınızda en uygun seçenek olmayabilir. Blok boyutunu açıkça belirtebilir, blockSizeInMB*50000'in verileri depolayabilecek kadar büyük olduğundan emin olabilirsiniz, aksi takdirde kopyalama etkinliği çalıştırması başarısız olur.	Hayır
maxConcurrent Bağlan ions	Etkinlik çalıştırması sırasında veri deposuna kurulan eş zamanlı bağlantıların üst sınırı. Yalnızca eşzamanlı bağlantıları sınırlamak istediğinizde bir değer belirtin.	Hayır
meta veriler	Havuza kopyalarken özel meta veriler ayarlayın. Dizinin altındaki metadata her nesne fazladan bir sütunu temsil eder. , name meta veri anahtarı adını tanımlar ve value bu anahtarın veri değerini belirtir. Öznitelikleri koru özelliği kullanılırsa, belirtilen meta veriler kaynak dosya meta verileriyle birlenir/üzerine yazılır. İzin verilen veri değerleri şunlardır: - $$LASTMODIFIED: ayrılmış değişken, kaynak dosyaların son değiştirme zamanının depolandığı gösterir. Yalnızca ikili biçimli dosya tabanlı kaynağa uygulayın. -Ifa -de - Statik değer	Hayır

Örnek:

"activities": [
    {
        "name": "CopyToLakehouseFiles",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings": {
                    "type": "LakehouseWriteSettings",
                    "copyBehavior": "PreserveHierarchy",
                    "metadata": [
                        {
                            "name": "testKey1",
                            "value": "value1"
                        },
                        {
                            "name": "testKey2",
                            "value": "value2"
                        }
                    ]
                },
                "formatSettings": {
                    "type": "ParquetWriteSettings"
                }
            }
        }
    }
]

Klasör ve dosya filtresi örnekleri

Bu bölümde, joker karakter filtreleriyle klasör yolunun ve dosya adının elde edilen davranışı açıklanmaktadır.

folderPath	fileName	Özyinelemeli	Kaynak klasör yapısı ve filtre sonucu (kalın yazılmış dosyalar alınır)
Folder*	(Boş, varsayılanı kullan)	yanlış	KlasörA     File1.csv     File2.json     Alt Klasör1         File3.csv         File4.json         File5.csv AnotherFolderB     File6.csv
Folder*	(Boş, varsayılanı kullan)	true	KlasörA     File1.csv     File2.json     Alt Klasör1         File3.csv         File4.json         File5.csv AnotherFolderB     File6.csv
Folder*	*.csv	yanlış	KlasörA     File1.csv     File2.json     Alt Klasör1         File3.csv         File4.json         File5.csv AnotherFolderB     File6.csv
Folder*	*.csv	true	KlasörA     File1.csv     File2.json     Alt Klasör1         File3.csv         File4.json         File5.csv AnotherFolderB     File6.csv

Dosya listesi örnekleri

Bu bölümde, kopyalama etkinliği kaynağında dosya listesi yolunu kullanmanın elde edilen davranışı açıklanmaktadır.

Aşağıdaki kaynak klasör yapısına sahip olduğunuzu ve dosyaları kalın yazıyla kopyalamak istediğinizi varsayarsak:

Örnek kaynak yapısı	FileListToCopy.txt içeriği	ADF yapılandırması
dosya sistemi     KlasörA         File1.csv         File2.json         Alt Klasör1             File3.csv             File4.json             File5.csv     Meta veri         FileListToCopy.txt	File1.csv Alt Klasör1/File3.csv Alt Klasör1/File5.csv	Veri kümesinde: - Klasör yolu: FolderA Kopyalama etkinliği kaynağında: - Dosya listesi yolu: Metadata/FileListToCopy.txt Dosya listesi yolu, veri kümesinde yapılandırılan yolun göreli yolunu içeren, kopyalamak istediğiniz dosyaların listesini içeren aynı veri deposundaki bir metin dosyasını gösterir.

Bazı özyinelemeli ve copyBehavior örnekleri

Bu bölümde özyinelemeli ve copyBehavior değerlerinin farklı birleşimleri için kopyalama işleminin sonuç davranışı açıklanmaktadır.

Özyinelemeli	copyBehavior	Kaynak klasör yapısı	Sonuçta elde edilen hedef
true	preserveHierarchy	Klasör1     Dosya1     Dosya2     Alt Klasör1         Dosya3         Dosya4         Dosya5	Hedef Klasör1, kaynakla aynı yapıda oluşturulur: Klasör1     Dosya1     Dosya2     Alt Klasör1         Dosya3         Dosya4         Dosya5
true	flattenHierarchy	Klasör1     Dosya1     Dosya2     Alt Klasör1         Dosya3         Dosya4         Dosya5	Hedef Klasör1 aşağıdaki yapıyla oluşturulur: Klasör1     Dosya1 için otomatik oluşturulan ad     Dosya2 için otomatik oluşturulan ad     Dosya3 için otomatik olarak oluşturulan ad     Dosya4 için otomatik olarak oluşturulan ad     Dosya5 için otomatik oluşturulan ad
true	mergeFiles	Klasör1     Dosya1     Dosya2     Alt Klasör1         Dosya3         Dosya4         Dosya5	Hedef Klasör1 aşağıdaki yapıyla oluşturulur: Klasör1     Dosya1 + Dosya2 + Dosya3 + Dosya4 + Dosya5 içeriği, otomatik olarak oluşturulan dosya adıyla tek bir dosyada birleştirilir.
yanlış	preserveHierarchy	Klasör1     Dosya1     Dosya2     Alt Klasör1         Dosya3         Dosya4         Dosya5	Hedef Klasör1 aşağıdaki yapıyla oluşturulur: Klasör1     Dosya1     Dosya2 Dosya3, Dosya4 ve Dosya5 içeren alt klasör1 alınmaz.
yanlış	flattenHierarchy	Klasör1     Dosya1     Dosya2     Alt Klasör1         Dosya3         Dosya4         Dosya5	Hedef Klasör1 aşağıdaki yapıyla oluşturulur: Klasör1     Dosya1 için otomatik oluşturulan ad     Dosya2 için otomatik oluşturulan ad Dosya3, Dosya4 ve Dosya5 içeren alt klasör1 alınmaz.
yanlış	mergeFiles	Klasör1     Dosya1     Dosya2     Alt Klasör1         Dosya3         Dosya4         Dosya5	Hedef Klasör1 aşağıdaki yapıyla oluşturulur: Klasör1     Dosya1 + Dosya2 içeriği, otomatik olarak oluşturulan dosya adıyla tek bir dosyada birleştirilir. Dosya1 için otomatik oluşturulan ad Dosya3, Dosya4 ve Dosya5 içeren alt klasör1 alınmaz.

Kopyalama etkinliği'de Microsoft Fabric Lakehouse Tablosu

Microsoft Fabric Lakehouse Tablo veri kümesini Kopyalama etkinliği kaynak veya havuz veri kümesi olarak kullanmak için, ayrıntılı yapılandırmalar için aşağıdaki bölümlere gidin.

Kaynak türü olarak Microsoft Fabric Lakehouse Tablosu

Microsoft Fabric Lakehouse Tablo veri kümesini kullanarak Microsoft Fabric Lakehouse'dan veri kopyalamak için Kopyalama etkinliği kaynağındaki type özelliğini LakehouseTableSource olarak ayarlayın. aşağıdaki özellikler Kopyalama etkinliği kaynak bölümünde desteklenir:

Özellik	Açıklama	Gerekli
Tür	Kopyalama Etkinliği kaynağının tür özelliği LakehouseTableSource olarak ayarlanmalıdır.	Yes
timestampAsOf	Eski bir anlık görüntüyü sorgulamak için zaman damgası.	Hayır
versionAsOf	Eski bir anlık görüntüyü sorgulama sürümü.	Hayır

Örnek:

"activities":[
    {
        "name": "CopyFromLakehouseTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft Fabric Lakehouse Table input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "LakehouseTableSource",
                "timestampAsOf": "2023-09-23T00:00:00.000Z",
                "versionAsOf": 2
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Havuz türü olarak Microsoft Fabric Lakehouse Tablosu

Microsoft Fabric Lakehouse Tablo veri kümesini kullanarak Verileri Microsoft Fabric Lakehouse'a kopyalamak için Kopyalama Etkinliği havuzundaki type özelliğini LakehouseTableSink olarak ayarlayın. Kopyalama etkinliği havuzu bölümünde aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
Tür	Kopyalama Etkinliği kaynağının tür özelliği LakehouseTableSink olarak ayarlanmalıdır.	Yes

Not

Veriler varsayılan olarak V-Order ile Lakehouse Tablosuna yazılır. Daha fazla bilgi için Delta Lake tablo iyileştirme ve V-Order'a gidin.

Örnek:

"activities":[
    {
        "name": "CopyToLakehouseTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Microsoft Fabric Lakehouse Table output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "LakehouseTableSink",
                "tableActionOption ": "Append"
            }
        }
    }
]

Eşleme veri akışı özellikleri

Eşleme veri akışındaki verileri dönüştürürken, Microsoft Fabric Lakehouse'daki dosyaları veya tabloları okuyup yazabilirsiniz. Ayrıntılar için ilgili bölümlere bakın.

• Eşleme veri akışında Microsoft Fabric Lakehouse Dosyaları
• Eşleme veri akışında Microsoft Fabric Lakehouse Tablosu

Daha fazla bilgi için bkz . Eşleme veri akışlarında kaynak dönüştürme ve havuz dönüşümü .

Eşleme veri akışında Microsoft Fabric Lakehouse Dosyaları

Microsoft Fabric Lakehouse Files veri kümesini eşleme veri akışında kaynak veya havuz veri kümesi olarak kullanmak için, ayrıntılı yapılandırmalar için aşağıdaki bölümlere gidin.

Kaynak veya havuz türü olarak Microsoft Fabric Lakehouse Dosyaları

Microsoft Fabric Lakehouse bağlayıcısı aşağıdaki dosya biçimlerini destekler. Biçim tabanlı ayarlar için her makaleye bakın.

• Avro biçimi
• Sınırlandırılmış metin biçimi
• JSON biçimi
• ORC biçimi
• Parquet biçimi

Doku Lakehouse dosya tabanlı bağlayıcıyı satır içi veri kümesi türünde kullanmak için verileriniz için doğru Satır İçi veri kümesi türünü seçmeniz gerekir. Veri biçiminize bağlı olarak DelimitedText, Avro, JSON, ORC veya Parquet kullanabilirsiniz.

Eşleme veri akışında Microsoft Fabric Lakehouse Tablosu

Microsoft Fabric Lakehouse Tablo veri kümesini eşleme veri akışında kaynak veya havuz veri kümesi olarak kullanmak için, ayrıntılı yapılandırmalar için aşağıdaki bölümlere gidin.

Kaynak türü olarak Microsoft Fabric Lakehouse Tablosu

Kaynak seçenekleri altında yapılandırılabilir özellik yoktur.

Not

Lakehouse tablo kaynağı için CDC desteği şu anda kullanılamıyor.

Havuz türü olarak Microsoft Fabric Lakehouse Tablosu

Eşleme Veri Akışı havuzu bölümünde aşağıdaki özellikler desteklenir:

Veri Akışı Adı	Açıklama	Gerekli	İzin verilen değerler	Veri akışı betiği özelliği
Güncelleştirme yöntemi	Tek başına "Eklemeye izin ver" seçeneğini belirlediğinizde veya yeni bir delta tablosuna yazdığınızda hedef, Satır ilkeleri kümesinden bağımsız olarak tüm gelen satırları alır. Verileriniz diğer Satır ilkelerinin satırlarını içeriyorsa, bunların önceki bir Filtre dönüşümü kullanılarak dışlanması gerekir. Tüm Update yöntemleri seçildiğinde bir Birleştirme gerçekleştirilir; burada satırlar, önceki bir Alter Row dönüşümü kullanılarak ayarlanan Satır İlkeleri'ne göre eklenir/silinir/eklenir/güncelleştirilir.	evet	true veya false	eklenebilir deletable upsertable Güncelleştirilebilir
İyileştirilmiş Yazma	Spark yürütücülerinde iç karıştırmayı iyileştirerek yazma işlemi için daha yüksek aktarım hızı elde edin. Sonuç olarak, daha büyük boyutta daha az bölüm ve dosya fark edebilirsiniz	hayır	true veya false	optimizedWrite: true
Otomatik Sıkıştırma	Herhangi bir yazma işlemi tamamlandıktan sonra Spark, verileri yeniden düzenlemek için komutunu otomatik olarak yürütür OPTIMIZE ve gelecekte daha iyi okuma performansı için gerekirse daha fazla bölüme neden olur	hayır	true veya false	autoCompact: true
Şemayı Birleştir	Şema birleştirme seçeneği şema evrimine izin verir, yani geçerli gelen akışta bulunan ancak hedef Delta tablosunda bulunmayan tüm sütunlar otomatik olarak şemasına eklenir. Bu seçenek tüm güncelleştirme yöntemlerinde desteklenir.	hayır	true veya false	mergeSchema: true

Örnek: Microsoft Fabric Lakehouse Tablo havuzu

sink(allowSchemaDrift: true, 
    validateSchema: false, 
    input( 
        CustomerID as string,
        NameStyle as string, 
        Title as string, 
        FirstName as string, 
        MiddleName as string,
        LastName as string, 
        Suffix as string, 
        CompanyName as string,
        SalesPerson as string, 
        EmailAddress as string, 
        Phone as string, 
        PasswordHash as string, 
        PasswordSalt as string, 
        rowguid as string, 
        ModifiedDate as string 
    ), 
    deletable:false, 
    insertable:true, 
    updateable:false, 
    upsertable:false, 
    optimizedWrite: true, 
    mergeSchema: true, 
    autoCompact: true, 
    skipDuplicateMapInputs: true, 
    skipDuplicateMapOutputs: true) ~> CustomerTable

Satır içi veri kümesi türündeki Fabric Lakehouse tablo tabanlı bağlayıcı için yalnızca veri kümesi türü olarak Delta kullanmanız gerekir. Bu, Fabric Lakehouse tablolarından veri okumanızı ve yazmanızı sağlar.

Arama etkinliği özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için Arama etkinliği'ne bakın.

GetMetadata etkinlik özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için GetMetadata etkinliğini denetleyin

Etkinlik özelliklerini silme

Özellikler hakkında ayrıntılı bilgi edinmek için Silme etkinliği'ne bakın

İlgili içerik

Kopyalama etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz . Desteklenen veri depoları.