Lakehouse'ı kopyalama etkinliğinde yapılandırma

Bu makalede, veri işlem hattındaki kopyalama etkinliğinin Fabric Lakehouse'dan ve fabric lakehouse'a veri kopyalamak için nasıl kullanılacağı özetlenmiştir. Varsayılan olarak, veriler V-Order'da Lakehouse Tablosu'na yazılır ve daha fazla bilgi için Delta Lake tablo iyileştirme ve V-Order'a gidebilirsiniz.

Desteklenen biçim

Lakehouse aşağıdaki dosya biçimlerini destekler. Biçim tabanlı ayarlar için her makaleye bakın.

• Avro biçimi
• İkili biçim
• Sınırlandırılmış metin biçimi
• Excel biçimi
• JSON biçimi
• ORC biçimi
• Parquet biçimi
• XML biçimi

Desteklenen yapılandırma

Kopyalama etkinliği altındaki her sekmenin yapılandırması için sırasıyla aşağıdaki bölümlere gidin.

• Genel
• Kaynak
• Hedef
• Eşleme
• Ayarlar

Genel

Genel sekmesi yapılandırması için Genel'egidin.

Source

Aşağıdaki özellikler, kopyalama etkinliğinin Kaynak sekmesi altında Lakehouse için desteklenir.

Aşağıdaki özellikler gereklidir:

• Veri deposu türü: Çalışma Alanını seçin.

• Çalışma alanı veri deposu türü: Veri deposu türü listesinden Lakehouse'ı seçin.

• Lakehouse: Çalışma alanından mevcut bir Lakehouse'ı seçin. Yoksa Yeni'yi seçerek yeni bir Lakehouse oluşturun. Lakehouse'unuzu belirtmek için Dinamik içerik ekle'yi kullanıyorsanız bir parametre ekleyin ve parametre değeri olarak Lakehouse nesne kimliğini belirtin. Lakehouse nesne kimliğinizi almak için çalışma alanınızda Lakehouse'unuzu açın ve kimlik URL'nizde sonradır /lakehouses/.

  

• Kök klasör: Gölünüzdeki yönetilen veya yönetilmeyen alanın sanal görünümünü gösteren Tablolar veya Dosyalar'ı seçin. Daha fazla bilgi için bkz. Lakehouse'a giriş.

  • Tablolar'ı seçerseniz:
    • Tablo adı: Tablo listesinden var olan bir tabloyu seçin veya kaynak olarak bir tablo adı belirtin.
    • Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:
      • Zaman damgası: Eski bir anlık görüntüyü zaman damgasına göre sorgulamak için belirtin.
      • Sürüm: Eski bir anlık görüntüyü sürüme göre sorgulamak için belirtin.
      • Ek sütunlar: Depolama kaynak dosyalarının göreli yoluna veya statik değerine ek veri sütunları ekleyin. İfade, ikincisi için desteklenir.
  • Dosyalar'ı seçerseniz:

    • Dosya yolu türü: Dosya yolu, Joker karakter dosya yolu veya Dosya listesi'ni dosya yolu türünüz olarak seçebilirsiniz. Aşağıdaki listede her ayarın yapılandırması açıklanmaktadır:

      

      • Dosya yolu: Kopyalamak istediğiniz dosyayı seçmek için Gözat'ı seçin veya yolu el ile doldurun.

      • Joker karakter dosya yolu: Kaynak klasörlerinizi veya dosyalarınızı filtrelemek için verilen Lakehouse yönetilmeyen alanınızın (Dosyalar altında) altında joker karakterler içeren klasörü veya dosya yolunu belirtin. İzin verilen joker karakterler şunlardır: * (sıfır veya daha fazla karakterle eşleşir) ve ? (sıfır veya tek karakterle eşleşir). Klasörünüzün veya dosya adınızın içinde joker karakter veya bu kaçış karakteri varsa kaçış için kullanın ^ .

        • Joker klasör yolu: Verilen kapsayıcının altındaki klasörün yolu. Klasörü filtrelemek için joker karakter kullanmak istiyorsanız, bu ayarı atlayın ve etkinlik kaynağı ayarlarında bu bilgileri belirtin.

        • Joker dosya adı: Verilen Lakehouse yönetilmeyen alanının (Dosyalar altında) ve klasör yolunun altındaki dosya adı.

          

      • Dosya listesi: Belirli bir dosya kümesinin kopyalandığını gösterir.

        • Klasör yolu: Kopyalamak istediğiniz dosyaları içeren bir klasörü gösterir.
        • Dosya listesinin yolu: Kopyalamak istediğiniz dosyaların listesini içeren bir metin dosyasını gösterir. Bu, yapılandırılan dosya yolunun göreli yolu olan satır başına bir dosyadır.

        

    • Özyinelemeli olarak: Verilerin alt klasörlerden mi yoksa yalnızca belirtilen klasörden mi özyinelemeli olarak okunup okunmadığını gösterir. Etkinleştirilirse, giriş klasöründeki ve alt klasörlerindeki tüm dosyalar özyinelemeli olarak işlenir. Bu özellik, dosya yolu türünüzü Dosya listesi olarak yapılandırdığınızda geçerli değildir.

    • Dosya biçimi: Açılan listeden dosya biçiminizi seçin. Dosya biçimini yapılandırmak için Ayarlar düğmesini seçin. Farklı dosya biçimlerinin ayarları için ayrıntılı bilgi için Desteklenen biçimdeki makalelere bakın.

    • Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:

      • Son değiştirme tarihine göre filtrele: Dosyalar, son değiştirme tarihlerine göre filtrelenir. Bu özellik, dosya yolu türünüzü Dosya listesi olarak yapılandırdığınızda geçerli değildir.
        • Başlangıç saati: Dosyalar, son değiştirme süreleri yapılandırılan saatten büyük veya buna eşitse seçilir.
        • Bitiş saati: Son değiştirme süreleri yapılandırılan süreden kısaysa dosyalar seçilir.
      • Bölüm bulmayı etkinleştir: Bölümlenmiş dosyalar için, bölümlerin dosya yolundan ayrıştırılıp ayrıştırılmayacağını belirtin ve bunları ek kaynak sütunlar olarak ekleyin.
        • Bölüm kök yolu: Bölüm bulma etkinleştirildiğinde, bölümlenmiş klasörleri veri sütunları olarak okumak için mutlak kök yolu belirtin.
      • En fazla eşzamanlı bağlantı: Etkinlik çalıştırması sırasında veri deposuna kurulan eş zamanlı bağlantıların üst sınırını gösterir. Yalnızca eşzamanlı bağlantıları sınırlamak istediğinizde bir değer belirtin.

Hedef

Aşağıdaki özellikler, kopyalama etkinliğinin Hedef sekmesi altında Lakehouse için desteklenir.

Aşağıdaki özellikler gereklidir:

• Veri deposu türü: Çalışma Alanını seçin.

• Çalışma alanı veri deposu türü: Veri deposu türü listesinden Lakehouse'ı seçin.

• Lakehouse: Çalışma alanından mevcut bir Lakehouse'ı seçin. Yoksa Yeni'yi seçerek yeni bir Lakehouse oluşturun. Lakehouse'unuzu belirtmek için Dinamik içerik ekle'yi kullanıyorsanız bir parametre ekleyin ve parametre değeri olarak Lakehouse nesne kimliğini belirtin. Lakehouse nesne kimliğinizi almak için çalışma alanınızda Lakehouse'unuzu açın ve kimlik URL'nizde sonradır /lakehouses/.

  

• Kök klasör: Gölünüzdeki yönetilen veya yönetilmeyen alanın sanal görünümünü gösteren Tablolar veya Dosyalar'ı seçin. Daha fazla bilgi için bkz. Lakehouse'a giriş.

  • Tablolar'ı seçerseniz:

    • Tablo adı: Tablo listesinden var olan bir tabloyu seçin veya hedef olarak bir tablo adı belirtin.

      

    • Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:

      • Dosya başına en fazla satır: Lakehouse'a veri yazarken dosya başına en fazla satır sayısını belirtin.
      • Tablo eylemleri: Seçili tabloya karşı işlemi belirtin.
        • Ekle: Var olan tabloya yeni değerler ekler.
          • Bölümü Etkinleştir: Bu seçim, bir veya birden çok sütunu temel alan bir klasör yapısında bölümler oluşturmanıza olanak tanır. Her ayrı sütun değeri (çift) yeni bir bölümdür. Örneğin, "year=2000/month=01/file".
            • Bölüm sütunu adı: Verileri yeni bir tabloya eklediğinizde şema eşlemesindeki hedef sütunlardan birini seçin. Zaten bölümleri olan mevcut bir tabloya veri eklediğinizde, bölüm sütunları otomatik olarak varolan tablodan türetilir. Desteklenen veri türleri dize, tamsayı, boole ve datetime'dır. Biçim, Eşleme sekmesinin altındaki tür dönüştürme ayarlarına saygı gösterir.
        • Üzerine yaz: Yeni değerleri kullanarak tablodaki mevcut verilerin ve şemanın üzerine yazın. Bu işlem seçilirse, hedef tablonuzda bölümü etkinleştirebilirsiniz:
          • Bölümü Etkinleştir: Bu seçim, bir veya birden çok sütunu temel alan bir klasör yapısında bölümler oluşturmanıza olanak tanır. Her ayrı sütun değeri (çift) yeni bir bölümdür. Örneğin, "year=2000/month=01/file".
            • Bölüm sütun adı: Şema eşlemesindeki hedef sütunlardan birini seçin. Desteklenen veri türleri dize, tamsayı, boole ve datetime'dır. Biçim, Eşleme sekmesinin altındaki tür dönüştürme ayarlarına saygı gösterir.
      • En fazla eşzamanlı bağlantı: Etkinlik çalıştırması sırasında veri deposuna kurulan eş zamanlı bağlantıların üst sınırı. Yalnızca eşzamanlı bağlantıları sınırlamak istediğinizde bir değer belirtin.

  • Dosyalar'ı seçerseniz:

    • Dosya yolu: Kopyalamak istediğiniz dosyayı seçmek için Gözat'ı seçin veya yolu el ile doldurun.

      

    • Dosya biçimi: Açılan listeden dosya biçiminizi seçin. Dosya biçimini yapılandırmak için Ayarlar seçin. Farklı dosya biçimlerinin ayarları için ayrıntılı bilgi için Desteklenen biçimdeki makalelere bakın.

    • Gelişmiş'in altında aşağıdaki alanları belirtebilirsiniz:

      • Kopyalama davranışı: Kaynak dosya tabanlı bir veri deposundaki dosyalar olduğunda kopyalama davranışını tanımlar. Kopyalama davranışınız olarak Dinamik içerik ekle, Yok, Düzleştirme hiyerarşisi veya Hiyerarşiyi koru'yu seçebilirsiniz. Her ayarın yapılandırması şöyledir:

        • Dinamik içerik ekleme: Özellik değeri için bir ifade belirtmek için Dinamik içerik ekle'yi seçin. Bu alan, desteklenen sistem değişkenlerinden, etkinlik çıkışından, işlevlerden ve kullanıcı tarafından belirtilen değişkenlerden veya parametrelerden ifadeler oluşturabileceğiniz ifade oluşturucusunu açar. İfade dili hakkında daha fazla bilgi için İfadeler ve işlevler'e gidin.

        • Yok: Herhangi bir kopyalama davranışı kullanmamak için bu seçimi seçin.

        • Düzleştirme hiyerarşisi: Kaynak klasördeki tüm dosyalar hedef klasörün ilk düzeyindedir. Hedef dosyalar otomatik olarak oluşturulan adlara sahiptir.

        • Hiyerarşiyi koru: Hedef klasördeki dosya hiyerarşisini korur. Kaynak dosyanın kaynak klasöre göreli yolu, hedef klasörün hedef dosyanın göreli yolu ile aynıdır.

          

      • En fazla eşzamanlı bağlantı: Etkinlik çalıştırması sırasında veri deposuna kurulan eş zamanlı bağlantıların üst sınırı. Yalnızca eşzamanlı bağlantıları sınırlamak istediğinizde bir değer belirtin.

      • Blok boyutu (MB): Lakehouse'a veri yazarken blok boyutunu MB olarak belirtin. İzin verilen değer 4 MB ile 100 MB arasındadır.

      • Meta veriler: Hedef veri deposuna kopyalarken özel meta veriler ayarlayın. Dizinin altındaki metadata her nesne fazladan bir sütunu temsil eder. , name meta veri anahtarı adını tanımlar ve value bu anahtarın veri değerini belirtir. Öznitelikleri koru özelliği kullanılırsa, belirtilen meta veriler kaynak dosya meta verileriyle birlenir/üzerine yazılır. İzin verilen veri değerleri şunlardır:

        • $$LASTMODIFIED: ayrılmış değişken, kaynak dosyaların son değiştirme zamanının depolandığı gösterir. Yalnızca ikili biçimli dosya tabanlı bir kaynağa uygulayın.

        • Expression

        • Statik değer

          

Eşleme

Eşleme sekmesi yapılandırması için Hedef veri deponuz olarak Lakehouse tablosunu uygulamıyorsanız Eşleme'ye gidin.

Lakehouse tablosunu Eşleme'deki yapılandırma dışında hedef veri deponuz olarak uygularsanız, hedef sütunlarınızın türünü düzenleyebilirsiniz. Şemaları içeri aktar'ı seçtikten sonra, hedefinizde sütun türünü belirtebilirsiniz.

Örneğin, kaynaktaki PersonID sütununun türü int'tir ve hedef sütuna eşlerken bunu dize türüyle değiştirebilirsiniz.

Not

Kaynağınız ondalık tür olduğunda hedef türün düzenlenmesi şu anda desteklenmiyor.

Dosya biçiminiz olarak İkili'yi seçerseniz eşleme desteklenmez.

Ayarlar

Ayarlar sekmesi yapılandırması için Ayarlar gidin.

Tablo özeti

Aşağıdaki tablolarda Lakehouse'daki kopyalama etkinliği hakkında daha fazla bilgi yer alır.

Kaynak bilgileri

Veri Akışı Adı	Açıklama	Değer	Zorunlu	JSON betik özelliği
Veri deposu türü	Veri deposu türünüz.	Çalışma alanı	Yes	/
Çalışma alanı veri deposu türü	Çalışma alanı veri deposu türünüzü seçen bölüm.	Göl evi	Yes	Tür
Göl evi	Kaynak olarak kullandığınız Lakehouse.	<Lakehouse'unuz>	Yes	workspaceId Artifactıd
Kök klasör	Kök klasörün türü.	* Tablolar * Dosyalar	Hayır	Rootfolder: Tablo veya Dosyalar
Tablo adı	Verileri okunacak tablonun adı.	<tablo adı>	Kök klasöründe Tablolar'ıseçtiğinizde Evet	Tablo (->source ->typePropertiesaltında typeProperties )
Zaman damgası	Eski bir anlık görüntüyü sorgulamak için zaman damgası.	<Zaman damgası>	Hayır	timestampAsOf
Sürüm	Eski bir anlık görüntüyü sorgulama sürümü.	<version>	Hayır	versionAsOf
Ek sütunlar	Kaynak dosyaların göreli yolunu veya statik değerini depolamak için ek veri sütunları. İfade, ikincisi için desteklenir.	*Adı *Değer	Hayır	additionalColumns: *Adı *Değer
Dosya yolu türü	Kullandığınız dosya yolunun türü.	* Dosya yolu * Joker karakter dosya yolu * Dosya listesi	Yes	/
Dosya yolu	Yolundan kaynak veri deposu altındaki bir klasöre/dosyaya kopyalayın. Dosya yolu türünde Dosya yolu'nu seçerken uygulayın.	<dosya yolu>	Dosya yolu'nu seçerken Evet	* folderPath *Dosyaadı
Joker karakter yolları	Kaynak klasörleri filtrelemek için yapılandırılmış kaynak veri deposu altında joker karakterler içeren klasör yolu. Dosya yolu türünde Joker karakter dosya yolunuseçerken uygulayın.	<joker karakter yolları>	Joker karakter dosya yolunu seçerken Evet	* wildcardFolderPath * wildcardFileName
Klasör yolu	Kopyalamak istediğiniz dosyaları içeren bir klasörü gösterir. Dosya yolu türünde Dosyalistesi'ne eklerken uygulayın.	<klasör yolu>	Hayır	folderPath
Dosya listesinin yolu	Belirli bir dosya kümesinin kopyalandığını gösterir. Kopyalamak istediğiniz dosyaların listesini içeren bir metin dosyasının üzerine gelin. Bu dosya, yapılandırılan yolun göreli yolu olan satır başına bir dosyadır. Dosya yolu türünde Dosyalistesi'ne eklerken uygulayın.	<dosya listesinin yolu>	Hayır	fileListPath
Yinelemeli olarak	Giriş klasöründeki ve alt klasörlerindeki tüm dosyaları özyinelemeli olarak veya yalnızca seçili klasördeki dosyaları işleyin. Tek bir dosya seçildiğinde bu ayar devre dışı bırakılır.	seçme veya seçimini kaldırma	Hayır	Özyinelemeli: true veya false
Dosya biçimi	Kullandığınız dosyanın biçimi.	<dosya biçimi>	Yes	type (altında formatSettings): DelimitedTextRead Ayarlar
Son değiştirme ölçütüne göre filtrele	[Başlangıç saati, Bitiş saati) aralığında son değiştirme zamanına sahip dosyalar, daha fazla işlem için filtrelenir. Saat UTC saat dilimine biçiminde yyyy-mm-ddThh:mm:ss.fffZuygulanır. Bu özellik atlanabilir, başka bir deyişle hiçbir dosya özniteliği filtresi uygulanmaz. Bu özellik, dosya yolu türünüzü Dosya listesi olarak yapılandırdığınızda geçerli değildir.	* Başlangıç saati * Bitiş saati	Hayır	modifiedDatetimeStart modifiedDatetimeEnd
Bölüm bulmayı etkinleştirme	Bölümlerin dosya yolundan ayrıştırılıp ek kaynak sütunlar olarak eklenip eklenmeyeceği.	Seçili veya seçilmemiş	Hayır	enablePartitionDiscovery: true veya false (varsayılan)
Bölüm kök yolu	Bölümlenmiş klasörleri veri sütunları olarak okumak için mutlak bölüm kök yolu.	<bölüm kök yolunuz>	Hayır	partitionRootPath
En fazla eşzamanlı bağlantı	Etkinlik çalıştırması sırasında veri deposuna kurulan eş zamanlı bağlantıların üst sınırı. Bir değer yalnızca eşzamanlı bağlantıları sınırlamak istediğinizde gereklidir.	<en fazla eşzamanlı bağlantı>	Hayır	maxConcurrent Bağlan ions

Hedef bilgileri

Veri Akışı Adı	Açıklama	Değer	Zorunlu	JSON betik özelliği
Veri deposu türü	Veri deposu türünüz.	Çalışma alanı	Yes	/
Çalışma alanı veri deposu türü	Çalışma alanı veri deposu türünüzü seçen bölüm.	Göl evi	Yes	Tür
Göl evi	Hedef olarak kullandığınız Lakehouse.	<Lakehouse'unuz>	Yes	workspaceId Artifactıd
Kök klasör	Kök klasörün türü.	* Tablolar * Dosyalar	Yes	Rootfolder: Tablo veya Dosyalar
Tablo adı	Veri yazmak istediğiniz tablonun adı.	<tablonuzun adı>	Kök klasöründe Tablolar'ıseçtiğinizde Evet	Tablo (->sink ->typePropertiesaltında typeProperties )
Dosya başına en fazla satır	Bir klasöre veri yazarken, birden çok dosyaya yazmayı ve dosya başına en fazla satırı belirtmeyi seçebilirsiniz.	<flie başına en fazla satır>	Hayır	maxRowsPerFile
Tablo eylemi	Varolan bir tabloya yeni değerler ekleme veya yeni değerleri kullanarak tablodaki mevcut verilerin ve şemanın üzerine yazma.	* Arkasına Ekle * Üzerine	Hayır	tableActionOption: Ekleme veya Üzerine Yazma
En fazla eşzamanlı bağlantı	Etkinlik çalıştırması sırasında veri deposuna kurulan eş zamanlı bağlantıların üst sınırı. Yalnızca eşzamanlı bağlantıları sınırlamak istediğinizde bir değer belirtin.	<en fazla eşzamanlı bağlantı>	Hayır	maxConcurrent Bağlan ions
Dosya yolu	Hedef veri deposunun altındaki bir klasöre/dosyaya giden yola veri yazın.	<dosya yolu>	Hayır	* folderPath *Dosyaadı
Dosya biçimi	Kullandığınız dosyanın biçimi.	<dosya biçimi>	Yes	type (altında formatSettings): DelimitedTextWrite Ayarlar
Kopyalama davranışı	Kaynak, dosya tabanlı bir veri deposundaki dosyalar olduğunda tanımlanan kopyalama davranışı.	* Dinamik içerik ekleme * Hiçbiri * Düzleştirme hiyerarşisi * Hiyerarşiyi koru	Hayır	copyBehavior: * FlattenHierarchy * PreserveHierarchy
Blok boyutu (MB)	Lakehouse'a veri yazmak için kullanılan MB cinsinden blok boyutu. İzin verilen değer 4 MB ile 100 MB arasındadır.	<blok boyutu>	Hayır	blockSizeInMB
Meta veriler	Hedefe kopyalama sırasında ayarlanan özel meta veriler.	* $$LASTMODIFIED *Ifa -de * Statik değer	Hayır	meta veriler

İlgili içerik

• Lakehouse bağlayıcıya genel bakış