Azure Data Factory veya Azure Synapse Analytics kullanarak Microsoft Fabric Warehouse'da verileri kopyalama ve dönüştürme

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, Microsoft Fabric Warehouse'dan ve Microsoft Fabric Warehouse'a veri kopyalamak için Kopyalama Etkinliği'nin nasıl kullanılacağı özetlenmiştir. Daha fazla bilgi edinmek için Azure Data Factory veya Azure Synapse Analytics ile ilgili giriş makalesini okuyun.

Desteklenen özellikler

Bu Microsoft Fabric Warehouse bağlayıcısı aşağıdaki özellikler için desteklenir:

Desteklenen özellikler	IR	Yönetilen özel uç nokta
Kopyalama etkinliği (kaynak/havuz)	(1) (2)	✓
Arama etkinliği	(1) (2)	✓
GetMetadata etkinliği	(1) (2)	✓
Betik etkinliği	(1) (2)	✓
Saklı yordam etkinliği	(1) (2)	✓

(1) Azure tümleştirme çalışma zamanı (2) Şirket içinde barındırılan tümleştirme çalışma zamanı

Kullanmaya başlayın

İşlem hattıyla Kopyalama etkinliği gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

• Veri Kopyalama aracı
• Azure portal
• .NET SDK'sı
• Python SDK'sı
• Azure PowerShell
• The REST API
• Azure Resource Manager şablonu

Kullanıcı arabirimini kullanarak Microsoft Fabric Warehouse bağlı hizmeti oluşturma

Azure portalı kullanıcı arabiriminde bir Microsoft Fabric Warehouse bağlı hizmeti oluşturmak için aşağıdaki adımları kullanın.

1. Azure Data Factory veya Synapse çalışma alanınızda Yönet sekmesine gidin ve Bağlı Hizmetler'i ve ardından Yeni'yi seçin:

   Azure Data Factory

   

   Azure Synapse

   

2. Ambar'ı arayın ve bağlayıcıyı seçin.

   

3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

   

Bağlan veya yapılandırma ayrıntıları

Aşağıdaki bölümlerde, Microsoft Fabric Warehouse'a özgü Data Factory varlıklarını tanımlamak için kullanılan özelliklerle ilgili ayrıntılar sağlanır.

Bağlı hizmet özellikleri

Microsoft Fabric Warehouse bağlayıcısı aşağıdaki kimlik doğrulama türlerini destekler. Ayrıntılar için ilgili bölümlere bakın:

• Hizmet sorumlusu kimlik doğrulaması

Hizmet sorumlusu kimlik doğrulaması

Hizmet sorumlusu kimlik doğrulamasını kullanmak için aşağıdaki adımları izleyin.

1. Bir uygulamayı Microsoft Identity platformuna kaydedin ve bir istemci gizli dizisi ekleyin. Daha sonra, bağlı hizmeti tanımlamak için kullandığınız bu değerleri not edin:

   • Bağlı hizmetteki hizmet sorumlusu kimliği olan uygulama (istemci) kimliği.
   • Bağlı hizmetteki hizmet sorumlusu anahtarı olan istemci gizli anahtarı.
   • Kiracı kimliği

2. Hizmet sorumlusuna en azından Microsoft Fabric çalışma alanında Katkıda Bulunan rolü verin. Şu adımları izleyin:

   1. Microsoft Fabric çalışma alanınıza gidin, üst çubukta Erişimi yönet'i seçin. Ardından Kişi veya grup ekle'yi seçin.

      

      

   2. Kişi ekle bölmesinde hizmet asıl adınızı girin ve açılan listeden hizmet sorumlunuzu seçin.

   3. Rolü Katkıda Bulunan veya üzeri (Yönetici, Üye) olarak belirtin ve ekle'yi seçin.

      

   4. Hizmet sorumlunuz Erişimi yönet bölmesinde görüntülenir.

Bu özellikler bağlı hizmet için desteklenir:

Özellik	Açıklama	Gerekli
Tür	Tür özelliği Ambar olarak ayarlanmalıdır.	Yes
endpoint	Microsoft Fabric Warehouse sunucusunun uç noktası.	Yes
workspaceId	Microsoft Fabric çalışma alanı kimliği.	Yes
Artifactıd	Microsoft Fabric Warehouse nesne kimliği.	Yes
tenant	Uygulamanızın bulunduğu kiracı bilgilerini (etki alanı adı veya kiracı kimliği) belirtin. Fareyi Azure portalının sağ üst köşesine getirerek alın.	Yes
servicePrincipalId	Uygulamanın istemci kimliğini belirtin.	Yes
servicePrincipalCredentialType	Hizmet sorumlusu kimlik doğrulaması için kullanılacak kimlik bilgisi türü. İzin verilen değerler ServicePrincipalKey ve ServicePrincipalCert değerleridir.	Yes
servicePrincipalCredential	Hizmet sorumlusu kimlik bilgileri. Kimlik bilgisi türü olarak ServicePrincipalKey kullandığınızda, uygulamanın istemci gizli dizi değerini belirtin. Güvenli bir şekilde depolamak için bu alanı SecureString olarak işaretleyin veya Azure Key Vault'ta depolanan bir gizli diziye başvurun. Kimlik bilgisi olarak ServicePrincipalCert kullandığınızda Azure Key Vault'taki bir sertifikaya başvurun ve sertifika içerik türünün PKCS #12 olduğundan emin olun.	Yes
connectVia	Veri deposuna bağlanmak için kullanılacak tümleştirme çalışma zamanı . Veri deponuz özel bir ağdaysa Azure tümleştirme çalışma zamanını veya şirket içinde barındırılan tümleştirme çalışma zamanını kullanabilirsiniz. Belirtilmezse, varsayılan Azure tümleştirme çalışma zamanı kullanılır.	Hayır

Örnek: hizmet sorumlusu anahtarı kimlik doğrulamayı kullanma

Hizmet sorumlusu anahtarını Azure Key Vault'ta da depolayabilirsiniz.

{
    "name": "MicrosoftFabricWarehouseLinkedService",
    "properties": {
        "type": "Warehouse",
        "typeProperties": {
            "endpoint": "<Microsoft Fabric Warehouse server endpoint>",
            "workspaceId": "<Microsoft Fabric workspace ID>",
            "artifactId": "<Microsoft Fabric Warehouse object ID>",
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalCredentialType": "ServicePrincipalKey",
            "servicePrincipalCredential": {
                "type": "SecureString",
                "value": "<service principal key>"
            }   
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Veri kümeleri makalesine bakın.

Microsoft Fabric Warehouse veri kümesi için aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
Tür	Veri kümesinin tür özelliği WarehouseTable olarak ayarlanmalıdır.	Yes
schema	Şemanın adı.	Kaynak için Hayır, havuz için Evet
table	Tablo/görünümün adı.	Kaynak için Hayır, havuz için Evet

Veri kümesi özellikleri örneği

{
    "name": "FabricWarehouseTableDataset",
    "properties": {
        "type": "WarehouseTable",
        "linkedServiceName": {
            "referenceName": "<Microsoft Fabric Warehouse linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring >
        ],
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        }
    }
}

Kopyalama etkinliğinin özellikleri

Etkinlikleri tanımlamak için kullanılabilecek bölümlerin ve özelliklerin tam listesi için bkz. Kopyalama etkinliği yapılandırmaları ve İşlem hatları ve etkinlikler. Bu bölüm, Microsoft Fabric Warehouse kaynağı ve havuzu tarafından desteklenen özelliklerin listesini sağlar.

Kaynak olarak Microsoft Fabric Warehouse

İpucu

Veri bölümlemeyi kullanarak Microsoft Fabric Warehouse'dan verileri verimli bir şekilde yüklemek için Microsoft Fabric Warehouse'dan paralel kopyalama bölümünden daha fazla bilgi edinin.

Microsoft Fabric Warehouse'dan veri kopyalamak için, Kopyalama Etkinliği kaynağındaki type özelliğini WarehouseSource olarak ayarlayın. Kopyalama Etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
Tür	Kopyalama Etkinliği kaynağının tür özelliği WarehouseSource olarak ayarlanmalıdır.	Yes
sqlReaderQuery	Verileri okumak için özel SQL sorgusunu kullanın. Örnek: select * from MyTable.	Hayır
sqlReaderStoredProcedureName	Kaynak tablodaki verileri okuyan saklı yordamın adı. Son SQL deyimi, saklı yordamda bir SELECT deyimi olmalıdır.	Hayır
storedProcedureParameters	Saklı yordam için parametreler. İzin verilen değerler ad veya değer çiftleridir. Parametrelerin adları ve büyük/küçük harf değerleri saklı yordam parametrelerinin adlarıyla ve büyük/küçük harfleriyle eşleşmelidir.	Hayır
Querytimeout	Sorgu komutu yürütme zaman aşımını belirtir. Varsayılan değer 120 dakikadır.	Hayır
ısolationlevel	SQL kaynağı için işlem kilitleme davranışını belirtir. İzin verilen değer Snapshot değeridir. Belirtilmezse, veritabanının varsayılan yalıtım düzeyi kullanılır. Daha fazla bilgi için bkz . system.data.isolationlevel.	Hayır
partitionOptions	Microsoft Fabric Warehouse'dan veri yüklemek için kullanılan veri bölümleme seçeneklerini belirtir. İzin verilen değerler şunlardır: Yok (varsayılan) ve DynamicRange. Bir bölüm seçeneği etkinleştirildiğinde (yani değil None), Microsoft Fabric Warehouse'dan verileri eşzamanlı olarak yüklemek için paralellik derecesi kopyalama etkinliğindeki parallelCopies ayar tarafından denetlenir.	Hayır
bölüm Ayarlar	Veri bölümleme ayarlarının grubunu belirtin. Bölüm seçeneği olmadığında Noneuygulayın.	Hayır
altında partitionSettings:
partitionColumnName	Paralel kopyalama için aralık bölümleme tarafından kullanılacak kaynak sütunun adını tamsayı veya tarih/tarih saat türünde (int, smallint, bigint, date, ) datetime2belirtin. Belirtilmezse, tablonun dizini veya birincil anahtarı otomatik olarak algılanır ve bölüm sütunu olarak kullanılır. Bölüm seçeneği olduğunda DynamicRangeuygulayın. Kaynak verileri almak için bir sorgu kullanırsanız WHERE yan tümcesine bağlanın ?DfDynamicRangePartitionCondition . Bir örnek için Microsoft Fabric Warehouse'dan paralel kopya bölümüne bakın.	Hayır
partitionUpperBound	Bölüm aralığı bölme için bölüm sütununun en büyük değeri. Bu değer, tablodaki satırları filtrelemek için değil bölüm adımlarını belirlemek için kullanılır. Tablodaki veya sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır. Belirtilmezse kopyalama etkinliği değeri otomatik olarak algılar. Bölüm seçeneği olduğunda DynamicRangeuygulayın. Bir örnek için Microsoft Fabric Warehouse'dan paralel kopya bölümüne bakın.	Hayır
partitionLowerBound	Bölüm aralığı bölme için bölüm sütununun en düşük değeri. Bu değer, tablodaki satırları filtrelemek için değil bölüm adımlarını belirlemek için kullanılır. Tablodaki veya sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır. Belirtilmezse kopyalama etkinliği değeri otomatik olarak algılar. Bölüm seçeneği olduğunda DynamicRangeuygulayın. Bir örnek için Microsoft Fabric Warehouse'dan paralel kopya bölümüne bakın.	Hayır

Not

Verileri almak için kaynakta saklı yordamı kullanırken, saklı yordamınızın farklı parametre değeri geçirildiğinde farklı şema döndürme olarak tasarlanıp tasarlanmadiğini, kullanıcı arabiriminden şema içeri aktarılırken veya otomatik tablo oluşturma ile Microsoft Fabric Warehouse'a veri kopyalarken hatayla karşılaşabileceğinizi veya beklenmeyen bir sonuçla karşılaşabileceğinizi unutmayın.

Örnek: SQL sorgusu kullanma

"activities":[
    {
        "name": "CopyFromMicrosoftFabricWarehouse",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft Fabric Warehouse input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "WarehouseSource",
                "sqlReaderQuery": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Örnek: saklı yordamı kullanma

"activities":[
    {
        "name": "CopyFromMicrosoftFabricWarehouse",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft Fabric Warehouse input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "WarehouseSource",
                "sqlReaderStoredProcedureName": "CopyTestSrcStoredProcedureWithParameters",
                "storedProcedureParameters": {
                    "stringData": { "value": "str3" },
                    "identifier": { "value": "$$Text.Format('{0:yyyy}', <datetime parameter>)", "type": "Int"}
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Örnek saklı yordam:

CREATE PROCEDURE CopyTestSrcStoredProcedureWithParameters
(
    @stringData varchar(20),
    @identifier int
)
AS
SET NOCOUNT ON;
BEGIN
    select *
    from dbo.UnitTestSrcTable
    where dbo.UnitTestSrcTable.stringData != stringData
    and dbo.UnitTestSrcTable.identifier != identifier
END
GO

Havuz türü olarak Microsoft Fabric Warehouse

Azure Data Factory ve Synapse işlem hatları, Microsoft Fabric Warehouse'a veri yüklemek için COPY deyimini kullanma özelliğini destekler.

Microsoft Fabric Warehouse'a veri kopyalamak için Kopyalama Etkinliği'ndeki havuz türünü WarehouseSink olarak ayarlayın. Kopyalama Etkinliği havuzu bölümünde aşağıdaki özellikler desteklenir:

Özellik	Açıklama	Gerekli
Tür	Kopyalama Etkinliği havuzu type özelliği WarehouseSink olarak ayarlanmalıdır.	Yes
allowCopyCommand	Microsoft Fabric Warehouse'a veri yüklemek için COPY deyiminin kullanılıp kullanılmayacağını gösterir. Kısıtlamalar ve ayrıntılar için bkz . Microsoft Fabric Warehouse'a veri yüklemek için COPY deyimini kullanma. İzin verilen değer True'dur.	Yes
copyCommand Ayarlar	Özellik TRUE olarak ayarlandığında belirtilebilen allowCopyCommand bir özellik grubu.	Hayır
writeBatchTimeout	Bu özellik, zaman aşımına uğramadan önce ekleme, upsert ve saklı yordam işleminin tamamlanması için bekleme süresini belirtir. İzin verilen değerler zaman aralığı içindir. 30 dakika boyunca "00:30:00" örnektir. Değer belirtilmezse, zaman aşımı varsayılan olarak "00:30:00" olur	Hayır
preCopyScript	Her çalıştırmada Microsoft Fabric Warehouse'a veri yazmadan önce Kopyalama Etkinliği için bir SQL sorgusu belirtin. Önceden yüklenmiş verileri temizlemek için bu özelliği kullanın.	Hayır
Tableoption	Kaynak şemayı temel alarak havuz tablosunun yoksa otomatik olarak oluşturulup oluşturulmayacağını belirtir. İzin verilen değerler şunlardır: none (varsayılan), autoCreate.	Hayır
disableMetricsCollection	Hizmet, kopyalama performansı iyileştirmesi için ölçümler ve ek ana veritabanı erişimi sunan öneriler toplar. Bu davranışla ilgileniyorsanız, kapatmak için belirtin true .	Hayır (varsayılan değer )false

Örnek: Microsoft Fabric Warehouse havuzu

"activities":[
    {
        "name": "CopyToMicrosoftFabricWarehouse",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Microsoft Fabric Warehouse output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "WarehouseSink",
                "allowCopyCommand": true,
                "tableOption": "autoCreate",
                "disableMetricsCollection": false
            }
        }
    }
]

Microsoft Fabric Warehouse'dan paralel kopya

Kopyalama etkinliğindeki Microsoft Fabric Warehouse bağlayıcısı, verileri paralel olarak kopyalamak için yerleşik veri bölümleme sağlar. Veri bölümleme seçeneklerini kopyalama etkinliğinin Kaynak sekmesinde bulabilirsiniz.

Bölümlenmiş kopyalamayı etkinleştirdiğinizde kopyalama etkinliği, verileri bölümlere göre yüklemek için Microsoft Fabric Warehouse kaynağınızda paralel sorgular çalıştırır. Paralel derece, kopyalama etkinliğindeki parallelCopies ayar tarafından denetlenilir. Örneğin, dört olarak ayarlarsanız parallelCopies , hizmet aynı anda belirtilen bölüm seçeneğinize ve ayarlarınıza göre dört sorgu oluşturur ve çalıştırır ve her sorgu Microsoft Fabric Warehouse'unuzdan verilerin bir bölümünü alır.

Özellikle Microsoft Fabric Warehouse'unuzdan büyük miktarda veri yüklediğinizde veri bölümleme ile paralel kopyalamayı etkinleştirmeniz önerilir. Farklı senaryolar için önerilen yapılandırmalar aşağıdadır. Verileri dosya tabanlı veri deposuna kopyalarken, bir klasöre birden çok dosya olarak yazmanız önerilir (yalnızca klasör adını belirtin), bu durumda performans tek bir dosyaya yazmaktan daha iyidir.

Senaryo	Önerilen ayarlar
Veri bölümleme için tamsayı veya tarih saat sütunuyla birlikte büyük tablodan tam yük.	Bölüm seçenekleri: Dinamik aralık bölümü. Bölüm sütunu (isteğe bağlı): Verileri bölümleme için kullanılan sütunu belirtin. Belirtilmezse, dizin veya birincil anahtar sütunu kullanılır. Bölüm üst sınırı ve bölüm alt sınırı (isteğe bağlı): Bölüm adımını belirlemek isteyip istemediğinizi belirtin. Bu, tablodaki satırları filtrelemek için değildir ve tablodaki tüm satırlar bölümlenir ve kopyalanır. Belirtilmezse kopyalama etkinliği değerleri otomatik olarak algılar. Örneğin, "ID" bölüm sütununuzun değerleri 1 ile 100 arasındaysa ve alt sınırı 20, üst sınırı da 80 olarak ayarladıysanız, paralel kopya 4 bölüme göre veri alır: =20, [21, 50], [51, 80] ve >=81 aralığındaki <kimlikler.
Veri bölümleme için tamsayı veya tarih/tarih saat sütunuyla birlikte özel bir sorgu kullanarak büyük miktarda veri yükleyin.	Bölüm seçenekleri: Dinamik aralık bölümü. Sorgu: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>. Bölüm sütunu: Verileri bölümleme için kullanılan sütunu belirtin. Bölüm üst sınırı ve bölüm alt sınırı (isteğe bağlı): Bölüm adımını belirlemek isteyip istemediğinizi belirtin. Bu tablodaki satırları filtrelemek için değildir ve sorgu sonucundaki tüm satırlar bölümlenir ve kopyalanır. Belirtilmezse kopyalama etkinliği değeri otomatik olarak algılar. Örneğin, bölüm sütununuz "ID" 1 ile 100 arasında değerlere sahipse ve alt sınırı 20, üst sınırı 80 olarak ayarlarsanız ve paralel kopya 4 olarak ayarlanırsa, hizmet verileri sırasıyla =20, [21, 50], [51, 80] ve >=81 aralığındaki <4 bölüme göre alır. Farklı senaryolar için daha fazla örnek sorgu aşağıda verilmiştir: 1. Tablonun tamamını sorgula: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition 2. Sütun seçimi ve ek where-yan tümcesi filtreleri içeren bir tablodan sorgu yapın: SELECT <column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause> 3. Alt sorgularla sorgu: SELECT <column_list> FROM (<your_sub_query>) AS T WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause> 4. Alt sorguda bölüm içeren sorgu: SELECT <column_list> FROM (SELECT <your_sub_query_column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition) AS T

Bölüm seçeneğiyle veri yüklemek için en iyi yöntemler:

• Veri dengesizliği önlemek için bölüm sütunu (birincil anahtar veya benzersiz anahtar gibi) olarak ayırt edici sütunu seçin.
• Verileri kopyalamak için Azure Integration Runtime kullanıyorsanız, daha fazla bilgi işlem kaynağı kullanmak için daha büyük "Veri Entegrasyonu Birimleri (DIU)" (>4) ayarlayabilirsiniz. İlgili senaryoları burada kontrol edin.
• "Kopyalama paralelliği derecesi" bölüm numaralarını denetler, bu sayıyı bazen çok büyük ayarlamak performansı düşürür, bu sayıyı (ŞIRKET içinde barındırılan IR düğümlerinin DIU veya sayısı) * (2 - 4) olarak ayarlamanızı öneririz.
• Microsoft Fabric Warehouse'un şu anda en fazla 32 sorgu yürütebileceğini ve "Kopyalama paralelliği derecesi" ayarının çok büyük olması Bir Ambar azaltma sorununa neden olabilir.

Örnek: dinamik aralık bölümü olan sorgu

"source": {
    "type": "WarehouseSource",
    "query": "SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column (optional) to decide the partition stride, not as data filter>",
        "partitionLowerBound": "<lower_value_of_partition_column (optional) to decide the partition stride, not as data filter>"
    }
}

Microsoft Fabric Warehouse'a veri yüklemek için COPY deyimini kullanma

COPY deyimini kullanmak, yüksek aktarım hızıyla Microsoft Fabric Warehouse'a veri yüklemenin basit ve esnek bir yoludur. Daha fazla bilgi edinmek için COPY deyimini kullanarak verileri toplu yükleme seçeneğini işaretleyin

• Kaynak verileriniz Azure Blob veya Azure Data Lake Storage 2. Nesil ise ve biçim COPY deyimiyle uyumluysa, Kopyalama etkinliğini kullanarak copy deyimini doğrudan çağırarak Microsoft Fabric Warehouse'un verileri kaynaktan çekmesini sağlayabilirsiniz. Ayrıntılar için bkz . COPY deyimini kullanarak doğrudan kopyalama.
• Kaynak veri deponuz ve biçiminiz başlangıçta COPY deyimi tarafından desteklenmiyorsa, bunun yerine COPY deyimi özelliğini kullanarak Aşamalı kopyayı kullanın. Aşamalı kopyalama özelliği size daha iyi aktarım hızı da sağlar. Verileri otomatik olarak COPY deyimiyle uyumlu biçime dönüştürür, verileri Azure Blob depolamada depolar, ardından Microsoft Fabric Warehouse'a veri yüklemek için COPY deyimini çağırır.

İpucu

Azure Integration Runtime ile COPY deyimi kullanıldığında etkin Veri Entegrasyonu Birimleri (DIU) her zaman 2 olur. DIU'nun ayarlanması performansı etkilemez.

COPY deyimini kullanarak doğrudan kopyalama

Microsoft Fabric Warehouse COPY deyimi Azure Blob, Azure Data Lake Storage 1. Nesil ve Azure Data Lake Storage 2. Nesil doğrudan destekler. Kaynak verileriniz bu bölümde açıklanan ölçütleri karşılıyorsa, doğrudan kaynak veri deposundan Microsoft Fabric Warehouse'a kopyalamak için COPY deyimini kullanın. Aksi takdirde, COPY deyimini kullanarak Aşamalı kopya kullanın. Hizmet ayarları denetler ve ölçütler karşılanmazsa kopyalama etkinliği çalıştırmasını başarısız olur.

• Kaynak bağlı hizmet ve biçim aşağıdaki türlerde ve kimlik doğrulama yöntemlerindedir:

  Desteklenen kaynak veri deposu türü	Desteklenen biçim	Desteklenen kaynak kimlik doğrulama türü
  Azure Blob	Sınırlandırılmış metin	Hesap anahtarı kimlik doğrulaması, paylaşılan erişim imzası kimlik doğrulaması
  	Parke	Hesap anahtarı kimlik doğrulaması, paylaşılan erişim imzası kimlik doğrulaması
  Azure Data Lake Storage 2. Nesil	Sınırlandırılmış metin Parke	Hesap anahtarı kimlik doğrulaması, paylaşılan erişim imzası kimlik doğrulaması

• Biçim ayarları aşağıdakilerle birliktedir:

  • Parquet için: compression sıkıştırma, Snappy veya GZipolamaz.
  • Sınırlandırılmış metin için:
    • rowDelimiteraçıkça tek karakter veya "\r\n" olarak ayarlanır, varsayılan değer desteklenmez.
    • nullValuevarsayılan olarak bırakılır veya boş dize ("") olarak ayarlanır.
    • encodingNamevarsayılan olarak bırakılır veya utf-8 veya utf-16 olarak ayarlanır.
    • escapeChar ile aynı quoteCharolmalı ve boş olmamalıdır.
    • skipLineCount varsayılan olarak bırakılır veya 0 olarak ayarlanır.
    • compressionsıkıştırma veya GZipolamaz.

• Kaynağınız bir klasörse, recursive kopyalama etkinliğinde true olarak ayarlanmalıdır ve wildcardFilename veya *.*olmalıdır*.

• wildcardFolderPath, wildcardFilename (veya *.*dışında*), modifiedDateTimeStart, modifiedDateTimeEnd, prefix, enablePartitionDiscovery ve additionalColumns belirtilmez.

Kopyalama etkinliği altında allowCopyCommand aşağıdaki COPY deyimi ayarları desteklenir:

Özellik	Açıklama	Gerekli
defaultValues	Microsoft Fabric Warehouse'daki her hedef sütun için varsayılan değerleri belirtir. özelliğindeki varsayılan değerler, veri ambarında ayarlanan DEFAULT kısıtlamasının üzerine yazılır ve kimlik sütununda varsayılan değer bulunamaz.	Hayır
additionalOptions	Microsoft Fabric Warehouse COPY deyimine doğrudan COPY deyimindeki "With" yan tümcesinde geçirilecek ek seçenekler. COPY deyimi gereksinimleriyle uyumlu hale getirmek için değeri gerektiği gibi alıntılayın.	Hayır

"activities":[
    {
        "name": "CopyFromAzureBlobToMicrosoftFabricWarehouseViaCOPY",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "ParquetDataset",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "MicrosoftFabricWarehouseDataset",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "ParquetSource",
                "storeSettings":{
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true
                }
            },
            "sink": {
                "type": "WarehouseSink",
                "allowCopyCommand": true,
                "copyCommandSettings": {
                    "defaultValues": [
                        {
                            "columnName": "col_string",
                            "defaultValue": "DefaultStringValue"
                        }
                    ],
                    "additionalOptions": {
                        "MAXERRORS": "10000",
                        "DATEFORMAT": "'ymd'"
                    }
                }
            },
            "enableSkipIncompatibleRow": true
        }
    }
]

COPY deyimi kullanılarak hazırlanan kopyalama

Kaynak verileriniz COPY deyimiyle yerel olarak uyumlu değilse, ara hazırlama Azure Blobu veya Azure Data Lake Storage 2. Nesil (Azure Premium Depolama olamaz) aracılığıyla veri kopyalamayı etkinleştirin. Bu durumda hizmet, copy deyiminin veri biçimi gereksinimlerini karşılamak için verileri otomatik olarak dönüştürür. Ardından, Microsoft Fabric Warehouse'a veri yüklemek için COPY deyimini çağırır. Son olarak, geçici verilerinizi depolama alanından temizler. Hazırlama yoluyla veri kopyalama hakkında ayrıntılı bilgi için bkz . Aşamalı kopyalama.

Bu özelliği kullanmak için, azure depolama hesabına geçici depolama olarak başvuran hesap anahtarı veya sistem tarafından yönetilen kimlik kimlik doğrulaması ile Azure Blob Depolama bağlı bir hizmet veya bağlı hizmet Azure Data Lake Storage 2. Nesil oluşturun.

Önemli

• Hazırlama bağlı hizmetiniz için yönetilen kimlik kimlik doğrulamasını kullandığınızda, sırasıyla Azure Blob ve Azure Data Lake Storage 2. Nesil için gerekli yapılandırmaları öğrenin.
• Hazırlama Azure Depolama sanal ağ hizmet uç noktasıyla yapılandırılmışsa, depolama hesabında "güvenilen Microsoft hizmetine izin ver" özelliği etkin yönetilen kimlik doğrulamasını kullanmanız gerekir. Bkz. Azure depolama ile Sanal Ağ Hizmet Uç Noktalarını kullanmanın etkisi.

Önemli

Hazırlama Azure Depolama Yönetilen Özel Uç Nokta ile yapılandırılmışsa ve depolama güvenlik duvarı etkinleştirilmişse, yönetilen kimlik doğrulaması kullanmanız ve COPY deyimi yükü sırasında hazırlanmış dosyalara erişebildiğinden emin olmak için Synapse SQL Server'a Depolama Blob Veri Okuyucusu izinleri vermelisiniz.

"activities":[
    {
        "name": "CopyFromSQLServerToMicrosoftFabricWarehouseViaCOPYstatement",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "SQLServerDataset",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "MicrosoftFabricWarehouseDataset",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SqlSource",
            },
            "sink": {
                "type": "WarehouseSink",
                "allowCopyCommand": true
            },
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingStorage",
                    "type": "LinkedServiceReference"
                }
            }
        }
    }
]

Arama etkinliği özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için Arama etkinliği'ne bakın.

GetMetadata etkinlik özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için GetMetadata etkinliğini denetleyin

Microsoft Fabric Warehouse için veri türü eşlemesi

Microsoft Fabric Warehouse'dan veri kopyaladığınızda, aşağıdaki eşlemeler Microsoft Fabric Warehouse veri türlerinden hizmet içindeki ara veri türlerine dahili olarak kullanılır. Kopyalama etkinliğinin kaynak şemayı ve veri türünü havuza nasıl eşlediğini öğrenmek için bkz . Şema ve veri türü eşlemeleri.

Microsoft Fabric Warehouse veri türü	Data Factory geçici veri türü
bigint	Int64
ikili	Bayt[]
bit	Boolean
char	Dize, Karakter[]
tarih	DateTime
datetime2	DateTime
Decimal	Ondalık
FILESTREAM özniteliği (varbinary(max))	Bayt[]
Satışa Arz	Çift
int	Int32
sayısal	Ondalık
real	Tekli
smallint	Int16
time	TimeSpan
uniqueidentifier	GUID
Varbinary	Bayt[]
varchar	Dize, Karakter[]

Sonraki adımlar

Kopyalama etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz . Desteklenen veri depoları.