Azure Data Factory ve Azure purview 'a bağlanma

Bu belgede, veri kökenini izlemek için bir Azure Data Factory hesabını Azure purview hesabıyla bağlamak için gereken adımlar açıklanmaktadır. Belge ayrıca kapsam kapsamının ayrıntılarına ve desteklenen kökenini desenlerine de sahiptir.

Mevcut Data Factory bağlantılarını görüntüle

Birden çok Azure Veri Fabrikası, kökenini bilgilerini göndermek için tek bir Azure takip görünümüne bağlanabilir. Geçerli sınır, her seferinde bir kez 10 Data Factory hesabı bağlamanıza olanak tanır. Purview hesabınıza bağlı Data Factory hesaplarının listesini göstermek için aşağıdakileri yapın:

  1. Sol gezinti bölmesinde Yönetim ' i seçin.

  2. Kökenini bağlantıları altında Data Factory' yi seçin.

  3. Data Factory bağlantı listesi görüntülenir.

    Data Factory bağlantı listesini gösteren ekran görüntüsü.

  4. Bağlantı durumu için çeşitli değerlere dikkat edin:

    • Bağlandı: Data Factory, purview hesabına bağlanır.
    • Bağlantı kesildi: Data Factory 'nin kataloğa erişimi vardır, ancak başka bir kataloğa bağlıdır. Sonuç olarak, veri kökenini otomatik olarak kataloğa bildirilmez.
    • CannotAccess: geçerli kullanıcının veri fabrikasına erişimi yok, bu nedenle bağlantı durumu bilinmiyor.

Not

Data Factory bağlantılarını görüntülemek için aşağıdaki rolün atanması gerekir. Yönetim grubundan rol devralma desteklenmiyor.

  • 18 ağustos 2021 tarihinde veya sonrasında oluşturulan purview hesabı için: kök koleksiyonda koleksiyon yöneticileri rolü.
  • 18 ağustos 2021 tarihinden önce oluşturulan purview hesabı için: Azure yerleşik sahibi, katkıda bulunan, okuyucu veya Kullanıcı erişimi yönetici rolü.

Yeni Data Factory bağlantısı oluştur

Not

Data Factory bağlantıları eklemek veya kaldırmak için aşağıdaki rolün atanması gerekir. Yönetim grubundan rol devralma desteklenmiyor.

  • 18 ağustos 2021 tarihinde veya sonrasında oluşturulan purview hesabı için: kök koleksiyonda koleksiyon yöneticileri rolü.
  • 18 ağustos 2021 tarihinden önce oluşturulan purview hesabı için: sahip veya Kullanıcı erişimi yönetici rolü.

Ayrıca, kullanıcıların Data Factory 'nin "Owner" veya "katkıda bulunan" olması gerekir.

Mevcut bir veri fabrikasını purview hesabınıza bağlamak için aşağıdaki adımları izleyin. Ayrıca, ADF 'den Data Factory purview hesabına de bağlanabilirsiniz.

  1. Sol gezinti bölmesinde Yönetim ' i seçin.

  2. Kökenini bağlantıları altında Data Factory' yi seçin.

  3. Data Factory bağlantısı sayfasında Yeni' yi seçin.

  4. Listeden Data Factory hesabınızı seçin ve Tamam' ı seçin. Ayrıca, listenizi sınırlandırmak için abonelik adına göre filtreleyebilirsiniz.

    Azure Data Factory nasıl bağlanagösterileceğini gösteren ekran görüntüsü.

    Data Factory zaten geçerli purview hesabına bağlıysa veya Data Factory 'nin yönetilen bir kimliği yoksa bazı Data Factory örnekleri devre dışı bırakılabilir.

    Seçili veri fabrikaları zaten başka bir purview hesabına bağlıysa bir uyarı iletisi görüntülenir. Tamam ' ı seçtiğinizde, diğer purview hesabı ile Data Factory bağlantısının bağlantısı kesilir. Ek bir teyid gerekli değildir.

    Azure Data Factory bağlantısını kesmek için uyarı gösteren ekran görüntüsü.

Not

Artık aynı anda 10 ' dan fazla veri fabrikası eklemeyi destekliyoruz. Aynı anda 10 ' dan fazla veri fabrikası eklemek istiyorsanız, lütfen bir destek bileti dosyası sağlayın.

Kimlik doğrulamasının çalışması

Veri fabrikasının yönetilen kimliği, Data Factory 'den purview 'a kökenini anında iletme işlemlerinin kimliğini doğrulamak için kullanılır. Kullanıcı arabiriminde veri fabrikasını purview 'a bağlarken, rol atamasını otomatik olarak ekler.

Data Factory bağlantılarını kaldırma

Bir Data Factory bağlantısını kaldırmak için aşağıdakileri yapın:

  1. Data Factory bağlantısı sayfasında, bir veya daha fazla veri fabrikası bağlantısının yanındaki Kaldır düğmesini seçin.

  2. Seçili Veri Fabrikası bağlantılarını silmek için açılan pencerede Onayla ' yı seçin.

    Bağlantıyı kaldırmak için veri fabrikalarının nasıl seçileceğini gösteren ekran görüntüsü.

Desteklenen Azure Data Factory etkinlikleri

Azure purview, aşağıdaki Azure Data Factory etkinliklerinden çalışma zamanı kökenini yakalar:

Önemli

Kaynak veya hedef desteklenmeyen bir veri depolama sistemi kullanıyorsa Azure purview kökenini bırakır.

Data Factory ile takip görünümü arasındaki tümleştirme, aşağıdaki bölümlerde açıklandığı gibi, Data Factory tarafından desteklenen veri sistemlerinin yalnızca bir alt kümesini destekler.

Kopyalama etkinliği desteği

Veri deposu Desteklenir
Azure Blob Depolama Alanı Evet
Azure Bilişsel Arama Yes
Azure Cosmos DB (SQL apı)* Yes
mongodb için Azure Cosmos DB apı 'si* Yes
Azure Veri Gezgini * Evet
Azure Data Lake Storage 1. Nesil Evet
Azure Data Lake Storage Gen2 Evet
Maria DB için Azure veritabanı * Yes
MySQL için Azure veritabanı * Yes
PostgreSQL için Azure veritabanı * Yes
Azure Dosyaları Yes
Azure SQL Veritabanı * Yes
Azure SQL yönetilen örneği* Yes
Azure SYNAPSE Analizi * Evet
Azure Tablo Depolama Evet
Amazon S3 Yes
Yığını * Yes
Oracle * Yes
SAP tablosu (SAP ECC veya SAP S/4HANA 'ya bağlanırken) Yes
SQL Server * Yes
Teradata * Yes

* Azure purview Şu anda kökenini veya tarama için sorgu veya saklı yordamı desteklemiyor. Kökenini yalnızca tablo ve görünüm kaynaklarıyla sınırlandırılmıştır.

Şirket içinde barındırılan Integration Runtime kullanıyorsanız, için kökenini desteğinin en düşük sürümünü göz önünde bulabilirsiniz:

  • Oracle 'dan veri kopyalama: sürüm 5,10 veya sonrası
  • COPY komutu veya PolyBase aracılığıyla Azure SYNAPSE Analytics 'e veri kopyalama: sürüm 5,10 veya üzeri

Kopyalama etkinliğine ilişkin sınırlamalar kökenini

Şu anda, aşağıdaki kopyalama etkinliği özelliklerini kullanıyorsanız, kökenini henüz desteklenmemektedir:

  • ikili biçimi kullanarak Azure Data Lake Storage 1. verileri kopyalayın.
  • ikili, sınırlandırılmış metin, Excel, JSON ve XML dosyaları için sıkıştırma ayarı.
  • Azure SQL Veritabanı, azure SQL yönetilen örneği, azure Synapse Analytics, SQL Server ve SAP tablosu için kaynak bölüm seçenekleri.
  • Dosya başına en fazla satır ayarı ile verileri dosya tabanlı havuza kopyalayın.

Kökenini ek olarak, veri varlık şeması (varlık > Şeması sekmesinde gösterilir) aşağıdaki bağlayıcılar için raporlanır:

  • Azure blob, Azure dosyaları, ADLS 1., ADLS 2. ve Amazon S3 üzerindeki CSV ve Parquet dosyaları
  • azure Veri Gezgini, Azure SQL Veritabanı, azure SQL yönetilen örnek, azure Synapse Analytics, SQL Server, Teradata

veri Flow desteği

Veri deposu Desteklenir
Azure Blob Depolama Alanı Evet
Azure Cosmos DB (SQL apı)* Evet
Azure Data Lake Storage 1. Nesil Evet
Azure Data Lake Storage Gen2 Evet
MySQL için Azure veritabanı * Yes
PostgreSQL için Azure veritabanı * Yes
Azure SQL Veritabanı * Yes
Azure SQL yönetilen örneği* Yes
Azure SYNAPSE Analizi * Yes

* Azure purview Şu anda kökenini veya tarama için sorgu veya saklı yordamı desteklemiyor. Kökenini yalnızca tablo ve görünüm kaynaklarıyla sınırlandırılmıştır.

Veri akışı kökenini sınırlamaları

Şu anda, veri akışı kökenini, purview kaynak kümesiyletümleştirilemiyor.

SSIS paketi desteğini yürütme

Desteklenen veri depoları' na bakın.

Güvenli Azure purview hesabına erişin

Purview hesabınız güvenlik duvarı tarafından korunuyorsa, Özel uç noktalar aracılığıyla güvenli bir takip görünümü hesabına erişim Data Factory nasıl izin vereceğinizi öğrenin.

Data Factory kökenini bir takip görünümüne getirme

Uçtan uca izlenecek yol için öğreticiyi izleyin: Data Factory kökenini verilerini Azure purview 'A gönderin.

Desteklenen kökenini desenleri

Azure purview tarafından desteklenen birkaç kökenini deseni vardır. Oluşturulan kökenini verileri, Data Factory etkinliklerde kullanılan kaynak ve havuz türüne bağlıdır. Data Factory, 80 kaynak ve havuzları destekler, ancak desteklenen Azure Data Factory etkinliklerindelistelendiği gibi Azure purview yalnızca bir alt kümeyi destekler.

Kökenini bilgilerini göndermek üzere Data Factory yapılandırmak için, bkz. kökenini ile çalışmaya başlama.

Kökenini görünümünde bilgi bulmanın bazı diğer yolları şunları içerir:

  • Araç ipucunda varlık hakkındaki ek bilgileri önizlemek için kökenini sekmesinde şekillerin üzerine gelin.
  • Ait olduğu varlık türünü görmek veya varlıkları değiştirmek için düğümü veya kenarı seçin.
  • Bir veri kümesinin sütunları kökenini sekmesinin sol tarafında görüntülenir. Sütun düzeyi kökenini hakkında daha fazla bilgi için bkz. DataSet Column kökenini.

1:1 işlemleri için veri kökenini

Veri kökenini yakalama için en yaygın model, tek bir giriş veri kümesinden verileri arasında bir işlemle birlikte tek bir çıkış veri kümesine taşımaktır.

Bu düzene bir örnek aşağıdaki gibi olabilir:

  • 1 kaynak/giriş: müşteri (SQL tablo)
  • 1 havuz/çıkış: Customer1.csv (Azure blob)
  • 1 işlem: CopyCustomerInfo1 #Customer1.csv (Data Factory kopyalama etkinliği)

Tek bir Data Factory kopyalama işlemi için kökenini gösteren ekran görüntüsü.

1:1 kökenini ve joker karakter desteğiyle veri taşıma

Kökenini yakalamaya yönelik başka bir yaygın senaryo, dosyaları tek bir giriş veri kümesinden tek bir çıkış veri kümesine kopyalamak için bir joker karakter kullanmaktır. Joker karakter kopyalama etkinliğinin dosya adının ortak bir bölümünü kullanarak kopyalama için birden çok dosya ile eşleşmesini sağlar. Azure purview, ilgili kopyalama etkinliği tarafından kopyalanmış her bir dosya için dosya düzeyi kökenini yakalar.

Bu düzene bir örnek aşağıdaki gibi olabilir:

  • Kaynak/giriş: Customercall *.csv (ADLS 2. yol)
  • Havuz/çıkış: Customercall *.csv (Azure Blob dosyası)
  • 1 işlem: CopyGen2ToBlob #CustomerCall.csv (Data Factory kopyalama etkinliği)

Joker karakter desteğiyle tek bir kopyalama işlemi için kökenini gösteren ekran görüntüsü.

N:1 kökenini ile veri taşıma

birleştirme, birleştirme, vb. gibi veri işlemleri gerçekleştirmek için veri Flow etkinliklerini kullanabilirsiniz. Hedef veri kümesi oluşturmak için birden fazla kaynak veri kümesi kullanılabilir. bu örnekte, Azure purview, bireysel giriş dosyaları için dosya düzeyi kökenini, veri Flow etkinliğinin parçası olan bir SQL tablosuna yakalar.

Bu düzene bir örnek aşağıdaki gibi olabilir:

  • 2 kaynak/giriş: Customer.csv, Sales. Parquet (ADLS 2. yolu)
  • 1 havuz/çıkış: şirket verileri (Azure SQL tablosu)
  • 1 işlem: dataflowblobstosql (Data Factory Data Flow etkinliği)

bir n-bir D F veri Flow işlemine ait kökenini gösteren ekran görüntüsü.

Kaynak kümeleri için kökenini

Kaynak kümesi, katalogdaki, temel depolamadaki birçok bölüm dosyasını temsil eden mantıksal bir nesnedir. Daha fazla bilgi için bkz. kaynak kümelerini anlama. Azure purview, Azure Data Factory kökenini yakalar, tek tek bölüm dosyalarını normalleştirmek ve tek bir mantıksal nesne oluşturmak için kuralları uygular.

Aşağıdaki örnekte, bir Azure Blobundan Azure Data Lake Gen2 kaynak kümesi üretilir:

  • 1 Kaynak/giriş: çalışan _management.csv (Azure blob)
  • 1 havuz/çıkış: çalışan _management.csv (Azure Data Lake Gen 2)
  • 1 işlem: CopyBlobToAdlsGen2 _ RS (Data Factory kopyalama etkinliği)

Bir kaynak kümesi için kökenini gösteren ekran görüntüsü.

Sonraki adımlar

Öğretici: Azure purview 'a Data Factory kökenini verileri gönderme

Catalog kökenini Kullanıcı Kılavuzu

Kökenini için Azure veri paylaşımıyla bağlantı