Azure Data Factory veya Azure SYNAPSE Analytics kullanarak Azure Blob depolamada verileri kopyalama ve dönüştürme

Uygulama hedefi: Azure SYNAPSE Analytics 'i Azure Data Factory

Bu makalede, verileri ve Azure Blob depolama alanından kopyalamak için Azure Data Factory ve Azure SYNAPSE işlem hatları 'nda kopyalama etkinliğinin nasıl kullanılacağı özetlenmektedir. ayrıca, Azure Blob depolamada verileri dönüştürmek için veri Flow etkinliğinin nasıl kullanılacağını açıklar. Daha fazla bilgi edinmek için Azure Data Factory ve Azure SYNAPSE Analytics tanıtım makalelerini okuyun.

Desteklenen özellikler

Bu Azure Blob depolama Bağlayıcısı aşağıdaki etkinlikler için desteklenir:

• Desteklenen kaynak/havuz matrisi ile kopyalama etkinliği
• Veri akışını eşleme
• Arama etkinliği
• GetMetadata etkinliği
• Etkinliği sil

Kopyalama etkinliği için bu blob Storage Bağlayıcısı şunları destekler:

• Blob 'ları genel amaçlı Azure depolama hesaplarına ve bu kaynaklardan kopyalama, sık/seyrek erişimli BLOB depolama.
• Bir hesap anahtarı, hizmet paylaşılan erişim imzası (SAS), hizmet sorumlusu veya Azure Kaynak kimlik doğrulamaları için Yönetilen kimlikler kullanarak blob 'ları kopyalama.
• Blob 'ları blok, ekleme veya sayfa Bloblarından kopyalama ve yalnızca blok bloblarına veri kopyalama.
• Blob 'ları olduğu gibi kopyalama veya Desteklenen dosya biçimleri ve sıkıştırma codec bileşenleriile blob ayrıştırma veya oluşturma.
• Kopyalama sırasında dosya meta verileri koruma.

başlarken

İşlem hattıyla Kopyalama etkinliği gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

• Veri Kopyalama aracı
• Azure portal
• .NET SDK
• Python SDK'sı
• Azure PowerShell
• REST API
• Azure Resource Manager şablonu

kullanıcı arabirimini kullanarak Azure Blob Depolama bağlantılı hizmet oluşturma

Azure portal kullanıcı arabiriminde bir Azure Blob Depolama bağlı hizmeti oluşturmak için aşağıdaki adımları kullanın.

1. Azure Data Factory veya SYNAPSE çalışma alanınızdaki Yönet sekmesine gidin ve bağlı hizmetler ' i seçin ve ardından yeni ' ye tıklayın:

   • Azure Data Factory
   • Azure Synapse

   

2. blob 'u arayın ve Azure blob Depolama bağlayıcısını seçin.

   

3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

   

Bağlayıcı yapılandırma ayrıntıları

Aşağıdaki bölümlerde, blob depolamaya özgü Data Factory ve SYNAPSE işlem hattı varlıklarını tanımlamak için kullanılan özellikler hakkında ayrıntılı bilgi sağlanmaktadır.

Bağlı hizmet özellikleri

Bu BLOB depolama Bağlayıcısı aşağıdaki kimlik doğrulama türlerini destekler. Ayrıntılar için ilgili bölümlere bakın.

• Hesap anahtarı kimlik doğrulaması
• Paylaşılan erişim imzası kimlik doğrulaması
• Hizmet sorumlusu kimlik doğrulaması
• Sistem tarafından atanan yönetilen kimlik doğrulaması
• Kullanıcı tarafından atanan yönetilen kimlik doğrulaması

Hesap anahtarı kimlik doğrulaması

Azure Data Factory veya SYNAPSE işlem hatları 'nda depolama hesabı anahtarı kimlik doğrulaması için aşağıdaki özellikler desteklenir:

Örnek:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
          "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
        },
        "connectVia": {
          "referenceName": "<name of Integration Runtime>",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Örnek: hesap anahtarını Azure Key Vault depolayın

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;",
            "accountKey": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Paylaşılan erişim imzası kimlik doğrulaması

Paylaşılan erişim imzası, Depolama hesabınızdaki kaynaklara temsilci erişimi sağlar. Belirli bir süre boyunca Depolama hesabınızdaki nesnelere sınırlı bir izinler vermek için paylaşılan erişim imzasını kullanabilirsiniz.

Hesap erişim anahtarlarınızı paylaşmak zorunda değilsiniz. Paylaşılan erişim imzası, bir depolama kaynağına kimliği doğrulanmış erişim için gereken tüm bilgileri sorgu parametrelerinde kapsayan bir URI 'dir. Paylaşılan erişim imzasıyla depolama kaynaklarına erişmek için, istemcinin yalnızca paylaşılan erişim imzasını uygun oluşturucuya veya yönteme geçirmesi gerekir.

Paylaşılan erişim imzaları hakkında daha fazla bilgi için bkz. paylaşılan erişim imzaları: paylaşılan erişim imzası modelini anlama.

Aşağıdaki özellikler, paylaşılan erişim imzası kimlik doğrulamasını kullanmak için desteklenir:

Örnek:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource e.g. https://<accountname>.blob.core.windows.net/?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Örnek: Hesap anahtarını Azure Key Vault

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource without token e.g. https://<accountname>.blob.core.windows.net/>"
            },
            "sasToken": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName with value of SAS token e.g. ?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Paylaşılan erişim imzası URI'si uri'si oluşturduktan sonra aşağıdaki noktaları göz önünde bulundurarak:

• Bağlı hizmetin (okuma, yazma, okuma/yazma) nasıl kullanıldıklarına bağlı olarak nesneler üzerinde uygun okuma/yazma izinlerini ayarlayın.
• Süre sonu süresini uygun şekilde ayarlayın. İşlem hattının etkin Depolama süresi içinde Depolama erişim süresinin dolmay olduğundan emin olun.
• URI, ihtiyaçlara göre doğru kapsayıcıda veya blobda oluşturularak oluşturulur. Bloba paylaşılan erişim imzası URI'sı, veri fabrikasının veya Synapse işlem hattının bu bloba erişmesine olanak sağlar. Blob depolama kapsayıcısı için paylaşılan erişim imzası URI'si, veri fabrikasının veya Synapse işlem hattının bu kapsayıcının blob'lar arasında yeniden derlesine olanak sağlar. Daha sonra daha fazla veya daha az nesne için erişim sağlamak veya paylaşılan erişim imzası URI'sini güncelleştirmek için bağlı hizmeti yeni URI ile güncelleştirmeyi unutmayın.

Hizmet sorumlusu kimlik doğrulaması

Azure hizmet sorumlusu kimlik doğrulaması hakkında genel Depolama için bkz. Depolama kullanarak Azure Azure Active Directory.

Hizmet sorumlusu kimlik doğrulamasını kullanmak için şu adımları izleyin:

1. Azure AD kiracısına Azure Active Directory 'de (Azure AD) bir uygulama varlığı kaydetme. Bağlı hizmeti tanımlamak için kullanılan şu değerleri not etmek için:

   • Uygulama Kimliği
   • Uygulama anahtarı
   • Kiracı Kimliği

2. Azure Blob depolamada hizmet sorumlusuna uygun iznini vermek. Roller hakkında daha fazla bilgi için bkz. Blob Azure portal ve kuyruk verilerine erişim için Azure rolü atamak üzere azure rolünü kullanma.

   • Kaynak olarak, Erişim denetiminde (IAM) en azından Blob Depolama Okuyucusu rolünü ver.
   • Havuz olarak, Erişim denetiminde (IAM) en az blob Depolama Katkıda Bulunanı rolünü kullanın.

Bu özellikler, Azure Blob depolama bağlı hizmeti için de kullanılabilir:

Örnek:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.blob.core.windows.net/",
            "accountKind": "StorageV2",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>" 
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Sistem tarafından atanan yönetilen kimlik doğrulaması

Veri fabrikası veya Synapse işlem hattı, Diğer Azurehizmetleri için kimlik doğrulaması için bu kaynağı temsil eden Azure kaynakları için sistem tarafından atanan yönetilen kimlikle ilişkilendirilebilirsiniz. Blob depolama kimlik doğrulaması için doğrudan sistem tarafından atanan bu yönetilen kimliği kullanabilirsiniz. Bu kimlik, kendi hizmet sorumlularınızı kullanmaya benzer. Bu belirlenen kaynağın Blob depolamadan veya Blob depolamaya veri erişmesi ve verileri kopyalaması için izin verir. Azure kaynakları için yönetilen kimlikler hakkında daha fazla bilgi edinmek için bkz. Azure kaynakları için yönetilen kimlikler

Azure kimlik doğrulaması hakkında genel Depolama için bkz. Depolama kullanarak Azure Azure Active Directory. Azure kaynak kimlik doğrulamasında yönetilen kimlikleri kullanmak için şu adımları izleyin:

1. Fabrikanız veya Synapse çalışma alanınız ile birlikte oluşturulan sistem tarafından atanan yönetilen kimlik nesnesi kimliğinin değerini kopyalayıp sistem tarafından atanan yönetilen kimlik bilgilerini alın.

2. Azure Blob depolamada yönetilen kimlik iznini vermek. Roller hakkında daha fazla bilgi için bkz. Blob Azure portal ve kuyruk verilerine erişim için Azure rolü atamak üzere azure rolünü kullanma.

   • Kaynak olarak, Erişim denetiminde (IAM) en azından Blob Depolama Okuyucusu rolünü ver.
   • Havuz olarak, Erişim denetiminde (IAM) en az blob Depolama Katkıda Bulunanı rolünü kullanın.

Bu özellikler, Azure Blob depolama bağlı hizmeti için de kullanılabilir:

Örnek:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.blob.core.windows.net/",
            "accountKind": "StorageV2" 
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Kullanıcı tarafından atanan yönetilen kimlik doğrulaması

Bir veri fabrikası, bir veya daha fazla Kullanıcı tarafından atanan yönetilen kimlikile atanabilir. BLOB depolama alanı kimlik doğrulaması için bu kullanıcı tarafından atanan bu yönetilen kimliği, BLOB depolama alanına erişim ve BLOB depolamaya veri kopyalamaya izin veren şekilde kullanabilirsiniz. Azure kaynakları için Yönetilen kimlikler hakkında daha fazla bilgi edinmek için bkz. Azure kaynakları Için Yönetilen kimlikler

azure depolama kimlik doğrulaması hakkında genel bilgi için bkz. azure Depolama erişimi kimlik doğrulaması Azure Active Directory kullanarak. Kullanıcı tarafından atanan yönetilen kimlik doğrulamasını kullanmak için şu adımları izleyin:

1. Kullanıcı tarafından atanan bir veya birden çok yönetilen kimlik oluşturun ve Azure Blob depolama alanında izin verin. Roller hakkında daha fazla bilgi için bkz. BLOB ve kuyruk verilerine erişim Için Azure rolü atamak üzere Azure Portal kullanma.

   • kaynak olarak, erişim denetimi 'nde (ıam), en azından Depolama Blob veri okuyucu rolü verin.
   • havuz olarak, erişim denetimi 'nde (ıam), en azından Depolama Blob veri katılımcısı rolü verin.

2. Veri fabrikanıza bir veya daha fazla kullanıcı tarafından atanan yönetilen kimlik atayın ve Kullanıcı tarafından atanan her yönetilen kimliğin kimlik bilgilerini oluşturun .

Bu özellikler, Azure Blob depolama bağlı hizmeti için desteklenir:

Örnek:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.blob.core.windows.net/",
            "accountKind": "StorageV2",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Veri kümesi özellikleri

Veri kümelerini tanımlamaya yönelik bölümlerin ve özelliklerin tam listesi için bkz. veri kümeleri makalesi.

Azure Data Factory aşağıdaki dosya biçimlerini destekler. Biçim tabanlı ayarlar için her makaleye bakın.

• Avro biçimi
• İkili biçim
• Sınırlandırılmış metin biçimi
• Excel biçimi
• JSON biçimi
• ORC biçimi
• Parquet biçimi
• XML biçimi

Aşağıdaki özellikler, location Biçim tabanlı bir veri kümesindeki ayarlar altında Azure Blob depolama için desteklenir:

Örnek:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Kopyalama etkinliğinin özellikleri

etkinlikleri tanımlamaya yönelik bölümlerin ve özelliklerin tam listesi için Pipelines makalesine bakın. Bu bölüm, BLOB depolama kaynağı ve havuzunun desteklediği özelliklerin bir listesini sağlar.

Kaynak türü olarak BLOB depolama

Azure Data Factory aşağıdaki dosya biçimlerini destekler. Biçim tabanlı ayarlar için her makaleye bakın.

• Avro biçimi
• İkili biçim
• Sınırlandırılmış metin biçimi
• Excel biçimi
• JSON biçimi
• ORC biçimi
• Parquet biçimi
• XML biçimi

Aşağıdaki özellikler, Azure Blob depolama için, storeSettings Biçim tabanlı bir kopyalama kaynağında ayarlar altında desteklenir:

Örnek:

"activities":[
    {
        "name": "CopyFromBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Havuz türü olarak BLOB depolama

Azure Data Factory aşağıdaki dosya biçimlerini destekler. Biçim tabanlı ayarlar için her makaleye başvurun.

• Avro biçimi
• İkili biçim
• Sınırlandırılmış metin biçimi
• JSON biçimi
• ORC biçimi
• Parquet biçimi

Aşağıdaki özellikler, storeSettings Biçim tabanlı bir kopya havuzunda ayarlar altında Azure Blob depolama için desteklenir:

Örnek:

"activities":[
    {
        "name": "CopyFromBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings":{
                    "type": "AzureBlobStorageWriteSettings",
                    "copyBehavior": "PreserveHierarchy",
                    "metadata": [
                        {
                            "name": "testKey1",
                            "value": "value1"
                        },
                        {
                            "name": "testKey2",
                            "value": "value2"
                        },
                        {
                            "name": "lastModifiedKey",
                            "value": "$$LASTMODIFIED"
                        }
                    ]
                }
            }
        }
    }
]

Klasör ve dosya filtresi örnekleri

Bu bölümde, klasör yolu ve dosya adının joker karakter filtreleriyle elde edilen davranışı açıklanmaktadır.

Dosya listesi örnekleri

Bu bölümde, kopyalama etkinlik kaynağında bir dosya listesi yolu kullanmanın ortaya çıkan davranışı açıklanmaktadır.

Aşağıdaki kaynak klasör yapısına sahip olduğunuz ve dosyaları kalın yazı tipinde kopyalamak istediğinizi varsayalım:

Bazı özyinelemeli ve copyBehavior örnekleri

Bu bölümde, özyinelemeli ve copybehavior değerlerinin farklı birleşimleri için kopyalama işleminin ortaya çıkan davranışı açıklanmaktadır.

Kopya sırasında meta verileri koruma

dosyaları Amazon S3, azure blob storage veya Azure Data Lake Storage 2. Azure Data Lake Storage 2. ya da Azure blob depolama alanından kopyaladığınızda, dosya meta verilerini verilerle birlikte korumayı seçebilirsiniz. Meta verileri koru'dan daha fazla bilgi edinin.

Veri akışı özelliklerini eşleme

Veri akışlarındaki verileri dönüştürürken, aşağıdaki biçimlerde Azure Blob depolamadan dosyaları okuyabilir ve yazabilirsiniz:

• Avro
• Sınırlandırılmış metin
• Delta
• Excel
• JSON
• Parquet

Biçimlendirme özel ayarları, bu biçimdeki belgelerde bulunur. Daha fazla bilgi için bkz. eşleme veri akışı ve Havuz dönüşümünde kaynak dönüştürme veri akışında.

Kaynak dönüştürme

Kaynak dönüşümünde, Azure Blob depolama alanındaki bir kapsayıcı, klasör veya tek dosyadan okuyabilirsiniz. Dosyaların nasıl okunacağını yönetmek için kaynak seçenekleri sekmesini kullanın.

Joker karakter yolları: Joker karakter deseninin kullanılması, hizmetin tek bir kaynak dönüşümünde eşleşen her klasör ve dosya üzerinden döngüye girmesine neden olur. Bu, tek bir akış içinde birden çok dosyayı işlemek için etkili bir yoldur. Mevcut joker karakter deseniniz üzerine geldiğinizde görüntülenen artı işaretine sahip birden fazla joker karakterle eşleşen desenler ekleyin.

Kaynak kapsayıcısından bir düzeniyle eşleşen bir dosya serisi seçin. Veri kümesinde yalnızca bir kapsayıcı belirtilebilir. Bu nedenle, joker karakter yolunuzda Ayrıca, kök klasörden klasör yolunuzdan de yer verilmelidir.

Joker karakter örnekleri:

• * Herhangi bir karakter kümesini temsil eder.

• ** Özyinelemeli dizin iç içe geçirmeyi temsil eder.

• ? Bir karakteri değiştirir.

• [] Köşeli ayraç içindeki bir veya daha fazla karakterle eşler.

• /data/sales/**/*.csv /data/sales .csv tüm veri dosyalarını alır.

• /data/sales/20??/**/ 20. yy'daki tüm dosyaları alır.

• /data/sales/*/*/*.csv Dosya .csv /data/sales altında iki düzey alır.

• /data/sales/2004/*/12/[XY]1?.csv Aralık 2004'te X veya Y ön ekli iki basamaklı bir sayı ile başlayan tüm .csv dosyalarını alır.

Bölüm kök yolu: Dosya kaynağınıza biçime sahip bölümlenmiş klasörleriniz varsa (örneğin, ), bu bölüm klasörü ağacının en üst düzeyini veri akışınıza veri akışınıza bir sütun adı key=value year=2019 atabilirsiniz.

İlk olarak, bölümlenmiş klasörler olan tüm yolları ve okumak istediğiniz yaprak dosyaları içerecek şekilde bir joker karakter ayarlayın.

Klasör yapısının en üst düzeyini tanımlamak için Bölüm kök yolu ayarını kullanın. Verilerinizin içeriğini bir veri önizlemesi aracılığıyla görüntüleyenin, hizmetin klasör düzeylerinizin her birsinde bulunan çözümlenmiş bölümleri ekleyek olduğunu görebilirsiniz.

Dosya listesi: Bu bir dosya kümesidir. İşlemek için göreli yol dosyalarının listesini içeren bir metin dosyası oluşturun. Bu metin dosyasının işaretsini seçin.

Dosya adını depolamak için sütun: Kaynak dosyanın adını verilerinizde bir sütunda depolar. Dosya adı dizesini depolamak için buraya yeni bir sütun adı girin.

Tamamlandıktan sonra: Veri akışı çalıştırktan sonra kaynak dosyayla hiçbir şey yapmamaya, kaynak dosyayı silmeyi veya kaynak dosyayı taşımayı seçin. Taşımanın yolları görelidir.

Kaynak dosyaları işleme sonrası başka bir konuma taşımak için önce dosya işlemi için "Taşı" seçeneğini seçin. Ardından "from" dizinini ayarlayın. Yolunuz için joker karakter kullanmazsanız "from" ayarı kaynak klasörünüzle aynı klasör olur.

Joker karakterli bir kaynak yolunuz varsa söz dizimleri şöyle olur:

/data/sales/20??/**/*.csv

"From" ifadesini şu şekilde belirtesiniz:

/data/sales

"to" ifadesini şu şekilde belirterek:

/backup/priorSales

Bu durumda, altında kaynağı olan tüm /data/sales dosyalar'a /backup/priorSales taşınır.

Son değiştirilme tarihine göre filtrele: Son değiştirilme zamanlarının tarih aralığını belirterek hangi dosyaları işleyebilirsiniz? Tüm tarih ve saatler UTC cinsindendir.

Havuz özellikleri

Havuz dönüştürmesinde, Azure Blob depolamada bir kapsayıcıya veya klasöre yazabilirsiniz. Dosyaların Ayarlar yönetmek için Ayarlar sekmesini kullanın.

Klasörü silin: Veriler yazmadan önce hedef klasörün temiz olup olmadığını belirler.

Dosya adı seçeneği: Hedef dosyaların hedef klasörde nasıl adlandırılmış olduğunu belirler. Dosya adı seçenekleri şunlardır:

• Varsayılan: Spark'ın dosyaları PART varsayılanlarına göre ad vermesine izin ver.
• Desen: Bölüm başına çıkış dosyalarınızı numaraya alan bir desen girin. Örneğin, loans[n].csv , loans1.csv loans2.csv ve gibi bir şey oluşturacak.
• Bölüm başına: Bölüm başına bir dosya adı girin.
• Sütundaki veriler olarak: Çıkış dosyasını bir sütunun değerine ayarlayın. Yol, hedef klasörle değil veri kümesi kapsayıcısı ile görelidir. Veri kümeniz içinde bir klasör yolunuz varsa, bu yol geçersiz kılınır.
• Tek bir dosyaya çıkış: Bölümlenmiş çıkış dosyalarını tek bir adlandırılmış dosyada birleştirin. Yol, veri kümesi klasörüne göredir. Birleştirme işlemi büyük olasılıkla düğüm boyutuna göre başarısız olabilir. Büyük veri kümeleri için bu seçeneği önerilmez.

Hepsini tırnak içine alın: Tüm değerlerin tırnak içine alınıp alınmayacaklarını belirler.

Arama etkinliği özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için Arama etkinliği'ne bakın.

GetMetadata etkinlik özellikleri

Özellikler hakkında ayrıntılı bilgi edinmek için GetMetadata etkinliğini kontrol edin.

Etkinlik özelliklerini silme

Özellikler hakkında ayrıntılı bilgi edinmek için Etkinliği sil'e bakın.

Eski modeller

Eski veri kümesi modeli

Örnek:

{
    "name": "AzureBlobDataset",
    "properties": {
        "type": "AzureBlob",
        "linkedServiceName": {
            "referenceName": "<Azure Blob storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "mycontainer/myfolder",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Veri kaynağı için eski Kopyalama etkinliği

Örnek:

"activities":[
    {
        "name": "CopyFromBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Azure Blob input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "BlobSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Havuz için eski havuz Kopyalama etkinliği

Örnek:

"activities":[
    {
        "name": "CopyToBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Blob output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "BlobSink",
                "copyBehavior": "PreserveHierarchy"
            }
        }
    }
]

Sonraki adımlar

Kaynak ve havuz olarak desteklenen veri Kopyalama etkinliği listesi için bkz. Desteklenen veri depoları.