Kopyalama Etkinliğini kullanarak verileri taşıma

Not

Bu makale, Data Factory’nin 1. sürümü için geçerlidir. Data Factory hizmetinin geçerli sürümünü kullanıyorsanız bkz. V2'de Kopyalama Etkinliği.

Genel Bakış

Azure Data Factory'da, şirket içi ve bulut veri depoları arasında veri kopyalamak için Kopyalama Etkinliği'ni kullanabilirsiniz. Veriler kopyalandıktan sonra daha fazla dönüştürülebilir ve analiz edilebilir. Kopyalama Etkinliği'ni iş zekası (BI) ve uygulama tüketimi için dönüştürme ve analiz sonuçlarını yayımlamak için de kullanabilirsiniz.

Role of Copy Activity

Kopyalama Etkinliği güvenli, güvenilir, ölçeklenebilir ve genel olarak kullanılabilir bir hizmet tarafından desteklenir. Bu makalede Data Factory'de veri taşıma ve Kopyalama Etkinliği ile ilgili ayrıntılar sağlanır.

İlk olarak, iki bulut veri deposu arasında ve şirket içi veri deposu ile bulut veri deposu arasında veri geçişinin nasıl gerçekleştiğini görelim.

Not

Genel olarak etkinlikler hakkında bilgi edinmek için bkz. İşlem hatlarını ve etkinlikleri anlama.

İki bulut veri deposu arasında veri kopyalama

Hem kaynak hem de havuz veri depoları bulutta olduğunda, Kopyalama Etkinliği kaynaktan havuza veri kopyalamak için aşağıdaki aşamalardan geçer. Kopyalama Etkinliğini destekleyen hizmet:

  1. Kaynak veri deposundaki verileri okur.
  2. Serileştirme/seri durumdan çıkarma, sıkıştırma/sıkıştırmayı kaldırma, sütun eşleme ve tür dönüştürme gerçekleştirir. Bu işlemleri giriş veri kümesinin, çıktı veri kümesinin ve Kopyalama Etkinliğinin yapılandırmalarına göre yapar.
  3. Verileri hedef veri deposuna yazar.

Hizmet, veri taşımayı gerçekleştirmek için en uygun bölgeyi otomatik olarak seçer. Bu bölge genellikle havuz veri deposuna en yakın bölgedir.

Cloud-to-cloud copy

Şirket içi veri deposu ile bulut veri deposu arasında veri kopyalama

Verileri şirket içi veri deposuyla bulut veri deposu arasında güvenli bir şekilde taşımak için Veri Yönetimi Ağ Geçidi'ni şirket içi makinenize yükleyin. Veri Yönetimi Gateway, karma veri taşıma ve işlemeyi sağlayan bir aracıdır. Bunu veri deposuyla aynı makineye veya veri deposuna erişimi olan ayrı bir makineye yükleyebilirsiniz.

Bu senaryoda Veri Yönetimi Ağ Geçidi serileştirme/seri durumdan çıkarma, sıkıştırma/sıkıştırmayı kaldırma, sütun eşleme ve tür dönüştürme işlemlerini gerçekleştirir. Veriler Azure Data Factory hizmetinden akmıyor. Bunun yerine, Veri Yönetimi Ağ Geçidi verileri doğrudan hedef depoya yazar.

On-premises-to-cloud copy

Giriş ve izlenecek yol için bkz. Verileri şirket içi ve bulut veri depoları arasında taşıma . Bu aracı hakkında ayrıntılı bilgi için bkz. Veri Yönetimi Gateway.

Ayrıca Veri Yönetimi Gateway kullanarak Azure IaaS sanal makinelerinde (VM) barındırılan desteklenen veri depolarından/depolarına veri taşıyabilirsiniz. Bu durumda, Veri Yönetimi Ağ Geçidi'ni veri deposunun kendisiyle aynı VM'ye veya veri deposuna erişimi olan ayrı bir VM'ye yükleyebilirsiniz.

Desteklenen veri depoları ve biçimleri

Data Factory’deki Kopyalama Etkinliği bir kaynak veri deposundan havuz veri deposuna verileri kopyalar. Data Factory aşağıdaki veri depolarını destekler. Herhangi bir kaynaktan gelen veriler herhangi bir havuza yazılabilir. Bir depoya veya depodan veri kopyalama hakkında bilgi edinmek için veri deposuna tıklayın.

Not

Kopyalama Etkinliğinin desteklemediği bir veri deposuna/veri deposundan veri taşımanız gerekirse Data Factory’de özel bir etkinliği kendi veri kopyalama/taşıma mantığınızla kullanın. Özel bir etkinlik oluşturma ve kullanma hakkında ayrıntılı bilgi için bkz. Azure Data Factory işlem hattında özel etkinlikler kullanma.

Kategori Veri deposu Kaynak olarak desteklenen Havuz olarak desteklenen
Azure Azure Blob Depolama
  Azure Cosmos DB (SQL API)
  Azure Data Lake Storage Gen1
  Azure SQL Veritabanı
  Azure Synapse Analytics
  Azure Bilişsel Arama Dizini
  Azure Tablo Depolama
Veritabanları Amazon Redshift
  DB2*
  Mysql*
  Oracle*
  Postgresql*
  SAP Business Warehouse*
  SAP HANA*
  SQL Server*
  Sybase*
  Teradata*
NoSQL Cassandra*
  MongoDB*
Dosya Amazon S3
  Dosya Sistemi*
  FTP
  HDFS*
  SFTP
Diğerleri Genel HTTP
  Genel OData
  Genel ODBC*
  Salesforce
  Web Tablosu (HTML tablosu)

Not

* taşıyan veri depoları şirket içi veya Azure IaaS üzerinde olabilir ve bir şirket içi/Azure IaaS makinesine Veri Yönetimi Ağ Geçidi yüklemenizi gerektirir.

Desteklenen dosya biçimleri

Kopyalama Etkinliği'ni kullanarak dosyaları iki dosya tabanlı veri deposu arasında olduğu gibi kopyalayabilirsiniz . Hem giriş hem de çıkış veri kümesi tanımlarında biçim bölümünü atlayabilirsiniz. Veriler serileştirme/seri durumdan çıkarma olmadan verimli bir şekilde kopyalanır.

Kopyalama Etkinliği ayrıca belirtilen biçimlerdeki dosyalardan okur ve dosyalara yazar: Metin, JSON, Avro, ORC ve Parquet ile sıkıştırma codec'i GZip, Deflate, BZip2 ve ZipDeflate desteklenir. Bkz. Ayrıntılarla desteklenen dosya ve sıkıştırma biçimleri .

Örneğin, aşağıdaki kopyalama etkinliklerini yapabilirsiniz:

  • SQL Server veritabanındaki verileri kopyalayın ve ORC biçiminde Azure Data Lake Store'a yazın.
  • Şirket içi Dosya Sistemi'nden metin (CSV) biçimindeki dosyaları kopyalayın ve Avro biçiminde Azure Blob'a yazın.
  • Sıkıştırılmış dosyaları şirket içi Dosya Sistemi'nden kopyalayın ve açın ve ardından Azure Data Lake Store'a gidin.
  • Verileri Azure Blob'dan GZip sıkıştırılmış metin (CSV) biçiminde kopyalayın ve Azure SQL Veritabanı yazın.

Genel olarak kullanılabilir veri taşıma

Azure Data Factory yalnızca Batı ABD, Doğu ABD ve Kuzey Avrupa bölgelerinde kullanılabilir. Ancak Kopyalama Etkinliğini destekleyen hizmet, aşağıdaki bölgelerde ve coğrafyalarda genel olarak kullanılabilir. Genel olarak kullanılabilen topoloji, genellikle bölgeler arası atlamaları önleyen verimli veri taşıma sağlar. Bir bölgede Data Factory ve Veri Taşıma'nın kullanılabilirliği için bkz. Bölgeye göre hizmetler .

Bulut veri depoları arasında veri kopyalama

Hem kaynak hem de havuz veri depoları bulutta olduğunda Data Factory, verileri taşımak için aynı coğrafyadaki havuza en yakın bölgede bir hizmet dağıtımı kullanır. Eşleme için aşağıdaki tabloya bakın:

Hedef veri depolarının coğrafyası Hedef veri deposunun bölgesi Veri taşıma için kullanılan bölge
Birleşik Devletler Doğu ABD Doğu ABD
  Doğu ABD 2 Doğu ABD 2
  Central US Central US
  Orta Kuzey ABD Orta Kuzey ABD
  Orta Güney ABD Orta Güney ABD
  Orta Batı ABD Orta Batı ABD
  Batı ABD Batı ABD
  Batı ABD 2 Batı ABD 2
Kanada Doğu Kanada Orta Kanada
  Orta Kanada Orta Kanada
Brezilya Güney Brezilya Güney Brezilya
Avrupa Kuzey Avrupa Kuzey Avrupa
  West Europe West Europe
Birleşik Krallık Batı Birleşik Krallık Güney Birleşik Krallık
  Güney Birleşik Krallık Güney Birleşik Krallık
Asya Pasifik Güneydoğu Asya Güneydoğu Asya
  Doğu Asya Güneydoğu Asya
Avustralya Doğu Avustralya Doğu Avustralya
  Güneydoğu Avustralya Güneydoğu Avustralya
Hindistan Orta Hindistan Orta Hindistan
  Batı Hindistan Orta Hindistan
  Güney Hindistan Orta Hindistan
Japonya Doğu Japonya Doğu Japonya
  Batı Japonya Doğu Japonya
Güney Kore Güney Kore - Orta Güney Kore - Orta
  Güney Kore - Güney Güney Kore - Orta

Alternatif olarak, Kopyalama Etkinliği typePropertiesaltında özelliği belirterek executionLocation kopyalamayı gerçekleştirmek için kullanılacak Data Factory hizmetinin bölgesini açıkça belirtebilirsiniz. Bu özellik için desteklenen değerler , veri taşıma sütunu için kullanılan bölge'nin üstünde listelenmiştir. Verilerinizin kopyalama sırasında kablo üzerinden bu bölgeden geçtiğine dikkat edin. Örneğin, Kore'deki Azure depoları arasında kopyalama yapmak için Japonya bölgesi üzerinden yönlendirmeyi belirtebilirsiniz "executionLocation": "Japan East" (başvuru olarak örnek JSON'a bakın).

Not

Hedef veri deposunun bölgesi önceki listede yoksa veya belirlenemiyorsa, varsayılan olarak, belirtilmediği sürece executionLocation alternatif bir bölgeden geçmek yerine Kopyalama Etkinliği başarısız olur. Desteklenen bölge listesi zaman içinde genişletilecektir.

Şirket içi veri deposu ile bulut veri deposu arasında veri kopyalama

Veriler şirket içi (veya Azure sanal makineleri/IaaS) ile bulut depoları arasında kopyalandığında, Veri Yönetimi Ağ Geçidi şirket içi makinede veya sanal makinede veri taşıma gerçekleştirir. Hazırlanmış kopyalama özelliğini kullanmadığınız sürece veriler buluttaki hizmetten akışı yapılmaz. Bu durumda veriler havuz veri deposuna yazılmadan önce hazırlama Azure Blob depolama alanı üzerinden akar.

Kopyalama Etkinliği ile işlem hattı oluşturma

Kopyalama Etkinliği ile işlem hattı oluşturmak için birkaç yöntem kullanabilirsiniz:

Kopyalama Sihirbazı'nı kullanarak

Data Factory Kopyalama Sihirbazı, Kopyalama Etkinliği ile işlem hattı oluşturmanıza yardımcı olur. Bu işlem hattı, bağlı hizmetler, veri kümeleri ve işlem hatları için JSON tanımları yazmadan desteklenen kaynaklardan hedeflere veri kopyalamanızı sağlar. Sihirbaz hakkındaki ayrıntılar için bkz. Data Factory Kopyalama Sihirbazı .

JSON betiklerini kullanarak

Data Factory Düzenleyicisi'ni Visual Studio veya Azure PowerShell kullanarak işlem hattı için JSON tanımı oluşturabilirsiniz (Kopyalama Etkinliği'ni kullanarak). Ardından Data Factory'de işlem hattını oluşturmak için dağıtabilirsiniz. Adım adım yönergeler içeren bir öğretici için bkz. Öğretici: Azure Data Factory işlem hattında Kopyalama Etkinliğini kullanma.

JSON özellikleri (ad, açıklama, giriş ve çıkış tabloları ve ilkeler gibi) tüm etkinlik türleri için kullanılabilir. Etkinliğin typeProperties bölümünde bulunan özellikler her etkinlik türüne göre değişir.

Kopyalama Etkinliği için typeProperties bölüm, kaynak ve havuz türlerine bağlı olarak değişir. Kopyalama Etkinliğinin bu veri deposu için desteklediği tür özellikleri hakkında bilgi edinmek için Desteklenen kaynaklar ve havuzlar bölümünde bir kaynağa/havuza tıklayın.

Örnek bir JSON tanımı aşağıda verilmiştir:

{
  "name": "ADFTutorialPipeline",
  "properties": {
    "description": "Copy data from Azure blob to Azure SQL table",
    "activities": [
      {
        "name": "CopyFromBlobToSQL",
        "type": "Copy",
        "inputs": [
          {
            "name": "InputBlobTable"
          }
        ],
        "outputs": [
          {
            "name": "OutputSQLTable"
          }
        ],
        "typeProperties": {
          "source": {
            "type": "BlobSource"
          },
          "sink": {
            "type": "SqlSink"
          },
          "executionLocation": "Japan East"          
        },
        "Policy": {
          "concurrency": 1,
          "executionPriorityOrder": "NewestFirst",
          "retry": 0,
          "timeout": "01:00:00"
        }
      }
    ],
    "start": "2016-07-12T00:00:00Z",
    "end": "2016-07-13T00:00:00Z"
  }
}

Çıkış veri kümesinde tanımlanan zamanlama, etkinliğin ne zaman çalıştırıldığını belirler (örneğin: günlük, gün olarak sıklık ve 1 olarak aralık). Etkinlik, verileri bir giriş veri kümesinden (kaynak) çıkış veri kümesine (havuz) kopyalar.

Kopyalama Etkinliği için birden fazla giriş veri kümesi belirtebilirsiniz. Etkinlik çalıştırilmeden önce bağımlılıkları doğrulamak için kullanılırlar. Ancak yalnızca ilk veri kümesindeki veriler hedef veri kümesine kopyalanır. Daha fazla bilgi için bkz . Zamanlama ve yürütme.

Performans ve ayar

Azure Data Factory'da veri taşıma (Kopyalama Etkinliği) performansını etkileyen önemli faktörleri açıklayan Kopyalama Etkinliği performansı ve ayarlama kılavuzuna bakın. Ayrıca iç test sırasında gözlemlenen performansı listeler ve Kopyalama Etkinliğinin performansını iyileştirmenin çeşitli yollarını ele alır.

Hataya dayanıklılık

Varsayılan olarak, kopyalama etkinliği kaynak ve havuz arasında uyumsuz verilerle karşılaştığında veri kopyalamayı durdurur ve hata döndürür; ancak uyumsuz satırları atlayıp günlüğe kaydedecek şekilde açıkça yapılandırabilir ve kopyanın başarılı olması için yalnızca bu uyumlu verileri kopyalayabilirsiniz. Daha fazla ayrıntı için Kopyalama Etkinliği hataya dayanıklılık bölümüne bakın.

Güvenlik konuları

Azure Data Factory'daki veri taşıma hizmetlerinin verilerinizin güvenliğini sağlamak için kullandığı güvenlik altyapısını açıklayan Güvenlikle ilgili dikkat edilmesi gerekenler bölümüne bakın.

Zamanlama ve sıralı kopyalama

Data Factory'de zamanlama ve yürütmenin nasıl çalıştığı hakkında ayrıntılı bilgi için bkz. Zamanlama ve yürütme. Birden çok kopyalama işlemini ardışık/sıralı bir şekilde ardışık olarak çalıştırmak mümkündür. Sıralı olarak kopyalama bölümüne bakın.

Tür dönüştürmeleri

Farklı veri depolarının farklı yerel tür sistemleri vardır. Kopyalama Etkinliği, aşağıdaki iki adımlı yaklaşımla kaynak türlerden havuz türlerine otomatik tür dönüştürmeleri gerçekleştirir:

  1. Yerel kaynak türlerinden .NET türüne dönüştürme.
  2. .NET türünden yerel havuz türüne dönüştürme.

Veri deposu için yerel bir tür sisteminden .NET türüne eşleme, ilgili veri deposu makalesinde yer alır. (Desteklenen veri depoları tablosunda belirli bir bağlantıya tıklayın). Tablolarınızı oluştururken uygun türleri belirlemek için bu eşlemeleri kullanabilirsiniz; böylece Kopyalama Etkinliği doğru dönüştürmeleri gerçekleştirir.

Sonraki adımlar