Azure Data Factory ve Azure Purview'a bağlanma
Bu belgede veri veri verisi verilerini izlemek için Azure Data Factory hesabıyla Azure Purview hesabı bağlamak için gereken adımlar açıklanır. Belge ayrıca kapsam kapsamının ve desteklenen veri verisi desenlerinin ayrıntılarına da yer alır.
Mevcut Data Factory görüntüleme
Birden çok Azure Veri Fabrikası, veri verisi bilgilerini itmek için tek bir Azure Purview'a bağlanabiliyor. Geçerli sınır, Purview yönetim merkezinden aynı Data Factory 10 adede kadar hesap bağlamanıza olanak sağlar. Purview hesabınıza Data Factory hesapların listesini göstermek için şunları yapın:
Sol gezinti bölmesinde Yönetim'i seçin.
Veri verisi bağlantıları'nın altında, Data Factory.
Bağlantı Data Factory listesi görüntülenir.
Bağlantı Durumu için çeşitli değerlere dikkat edin:
- Bağlı: Veri fabrikası Purview hesabına bağlanır.
- Bağlantısı kesildi: Veri fabrikasının katalete erişimi vardır, ancak başka bir kataloga bağlanır. Sonuç olarak, veri veri verisi otomatik olarak katalete raporlanmayacak.
- CannotAccess: Geçerli kullanıcının veri fabrikasına erişimi yoktur, bu nedenle bağlantı durumu bilinmiyor.
Not
Bu Data Factory görüntülemek için aşağıdaki rolün size atanmış olması gerekir. Yönetim grubundan rol devralma desteklenmiyor. Kök koleksiyonda koleksiyon yöneticileri rolü.
Yeni Data Factory oluşturma
Not
Yeni bağlantı eklemek Data Factory kaldırmak için aşağıdaki rolün size atanmış olması gerekir. Yönetim grubundan rol devralma desteklenmiyor. Kök koleksiyonda koleksiyon yöneticileri rolü.
Ayrıca, kullanıcıların veri fabrikasının "Sahibi" veya "Katkıda Bulunan" olması gerekir.
Mevcut bir veri fabrikasını Purview hesabınıza bağlamak için aşağıdaki adımları izleyin. Ayrıca ADF'Data Factory Purview hesabına da bağlanabilirsiniz.
Sol gezinti bölmesinde Yönetim'i seçin.
Veri verisi bağlantıları'nın altında, Data Factory.
Bağlantı Data Factory Yeni'yi seçin.
Listeden Data Factory hesabını seçin ve Tamam'ı seçin. Listenizi sınırlamak için abonelik adına göre de filtre edebilirsiniz.
Veri Data Factory zaten geçerli Purview hesabına bağlı olması veya veri fabrikasının yönetilen kimliği yoksa bazı örneklerde devre dışı bırakılabilir.
Seçili Veri Fabrikalarından herhangi biri başka bir Purview hesabına zaten bağlı ise bir uyarı iletisi görüntülenir. Tamam'ı seçerek Data Factory Purview hesabıyla bağlantı kesilir. Ek onay gerekmez.
Not
Artık aynı anda en fazla 10 veri fabrikası eklemeyi destekliyoruz. Aynı anda 10'dan fazla veri fabrikası eklemek için lütfen bir destek bileti kaydedin.
Kimlik doğrulaması nasıl çalışır?
Veri fabrikasının yönetilen kimliği, veri fabrikasından Purview'a veri verisi alma işlemlerinin kimliğini doğrulamak için kullanılır. Veri fabrikasını kullanıcı arabiriminde Purview'a bağlarken rol atamasını otomatik olarak ekler.
Purview kök koleksiyonunda veri fabrikasının yönetilen kimliği Veri Curator rolünü ver. Azure Purview'da erişim denetimi ve Rol ekleme ve koleksiyonlar aracılığıyla erişimi kısıtlama hakkında daha fazla bilgi edinin.
Veri fabrikası bağlantılarını kaldırma
Veri fabrikası bağlantısını kaldırmak için şunları yapın:
Veri Data Factory sayfasında, bir veya daha fazla veri fabrikası bağlantısının yanındaki Kaldır düğmesini seçin.
Seçili veri fabrikası bağlantılarını silmek için açılan pencerede Onayla'ya tıklayın.
Desteklenen Azure Data Factory etkinlikleri
Azure Purview, çalışma zamanı veri Azure Data Factory yakalar:
Önemli
Kaynak veya hedef desteklenmeyen bir veri depolama sistemi kullanıyorsa Azure Purview veri verisi kullanır.
Data Factory ve Purview arasındaki tümleştirme, aşağıdaki bölümlerde açıklandığı gibi Data Factory veri sistemlerinin yalnızca bir alt kümesini destekler.
Kopyalama etkinliği desteği
| Veri deposu | Desteklenir |
|---|---|
| Azure Blob Depolama Alanı | Evet |
| Azure Bilişsel Arama | Yes |
| Azure Cosmos DB (SQL apı)* | Yes |
| mongodb için Azure Cosmos DB apı 'si* | Yes |
| Azure Veri Gezgini * | Evet |
| Azure Data Lake Storage 1. Nesil | Evet |
| Azure Data Lake Storage Gen2 | Evet |
| Maria DB için Azure veritabanı * | Yes |
| MySQL için Azure veritabanı * | Yes |
| PostgreSQL için Azure veritabanı * | Yes |
| Azure Dosyaları | Yes |
| Azure SQL Veritabanı * | Yes |
| Azure SQL yönetilen örneği* | Yes |
| Azure SYNAPSE Analizi * | Yes |
| Azure adanmış SQL havuzu (eskiden SQL DW)* | Evet |
| Azure Tablo Depolama | Evet |
| Amazon S3 | Yes |
| Yığını * | Yes |
| Oracle * | Yes |
| SAP tablosu (SAP ECC veya SAP S/4HANA 'ya bağlanırken) | Yes |
| SQL Server * | Yes |
| Teradata * | Yes |
* Azure purview Şu anda kökenini veya tarama için sorgu veya saklı yordamı desteklemiyor. Kökenini yalnızca tablo ve görünüm kaynaklarıyla sınırlandırılmıştır.
Şirket içinde barındırılan Integration Runtime kullanıyorsanız, için kökenini desteğinin en düşük sürümünü göz önünde bulabilirsiniz:
- Herhangi bir kullanım durumu: sürüm 5.9.7885.3 veya üzeri
- Oracle 'dan veri kopyalama: sürüm 5,10 veya sonrası
- COPY komutu veya PolyBase aracılığıyla Azure SYNAPSE Analytics 'e veri kopyalama: sürüm 5,10 veya üzeri
Kopyalama etkinliğine ilişkin sınırlamalar kökenini
Şu anda, aşağıdaki kopyalama etkinliği özelliklerini kullanıyorsanız, kökenini henüz desteklenmemektedir:
- ikili biçimi kullanarak Azure Data Lake Storage 1. verileri kopyalayın.
- ikili, sınırlandırılmış metin, Excel, JSON ve XML dosyaları için sıkıştırma ayarı.
- Azure SQL Veritabanı, azure SQL yönetilen örneği, azure Synapse Analytics, SQL Server ve SAP tablosu için kaynak bölüm seçenekleri.
- Dosya başına en fazla satır ayarı ile verileri dosya tabanlı havuza kopyalayın.
Kökenini ek olarak, veri varlık şeması (varlık > Şeması sekmesinde gösterilir) aşağıdaki bağlayıcılar için raporlanır:
- Azure blob, Azure dosyaları, ADLS 1., ADLS 2. ve Amazon S3 üzerindeki CSV ve Parquet dosyaları
- azure Veri Gezgini, Azure SQL Veritabanı, azure SQL yönetilen örnek, azure Synapse Analytics, SQL Server, Teradata
veri Flow desteği
| Veri deposu | Destekleniyor |
|---|---|
| Azure Blob Depolama Alanı | Evet |
| Azure Cosmos DB (SQL apı)* | Evet |
| Azure Data Lake Storage 1. Nesil | Evet |
| Azure Data Lake Storage Gen2 | Evet |
| MySQL için Azure veritabanı * | Yes |
| PostgreSQL için Azure veritabanı * | Yes |
| Azure SQL Veritabanı * | Yes |
| Azure SQL yönetilen örneği* | Yes |
| Azure SYNAPSE Analizi * | Yes |
| Azure adanmış SQL havuzu (eskiden SQL DW)* | Yes |
* Azure purview Şu anda kökenini veya tarama için sorgu veya saklı yordamı desteklemiyor. Kökenini yalnızca tablo ve görünüm kaynaklarıyla sınırlandırılmıştır.
Veri akışı kökenini sınırlamaları
Şu anda, veri akışı kökenini, purview kaynak kümesiyletümleştirilemiyor.
SSIS Paketi yürütme desteği
Desteklenen veri depolarına bakın.
Güvenli Azure Purview hesabına erişme
Purview hesabınız güvenlik duvarı tarafından korunuyorsa, Purview özel uç noktaları Data Factory güvenli bir Purview hesabına erişmesine izin verme hakkında bilgi alın.
Bir Data Factory Purview'a getirme
Sona kadar izlenecek yol için Öğretici: Veri verisi Data Factory Azure Purview'a itme adımlarını izleyin.
Desteklenen veri verisi desenleri
Azure Purview'ın desteklediği çeşitli veri desenleri vardır. Oluşturulan veri verisi, veri kaynağı ve havuz türüne dayalıdır ve Data Factory kullanılır. Azure Data Factory 80'den fazla kaynak ve havuzu desteklese de, Azure Purview yalnızca bir alt kümeyi destekler, desteklenen Azure Data Factory etkinlikler altında listelenmiştir.
Bu bilgileri Data Factory bilgileri gönderecek şekilde yapılandırmak için bkz. Kullanmaya başlayın ile yapılandırma.
Alan görünümünde bilgi bulmanın diğer yollarından bazıları şunlardır:
- Araç ipucunda varlık hakkında ek bilgilerin önizlemesini görmek için, Lineage sekmesinde şekillerin üzerine gelin.
- Ait olduğu varlık türünü görmek veya varlıkları değiştirmek için düğümü veya kenarı seçin.
- Veri kümesi sütunları, Veri Kümesi sekmesinin sol tarafında görüntülenir. Sütun düzeyinde veri verisi hakkında daha fazla bilgi için bkz. Veri kümesi sütun verisi.
1:1 işlemleri için veri veri verisi
Veri veri verisi yakalamanın en yaygın deseni, verileri tek bir giriş veri kümesinden tek bir çıkış veri kümesine ve aralarında bir işlem olacak şekilde taşımadır.
Bu desene bir örnek aşağıdaki gibi olabilir:
- 1 kaynak/giriş: Müşteri (SQL Tablosu)
- 1 havuz/çıkış: Customer1.csv (Azure Blob)
- 1 işlem: CopyCustomerInfo1 #Customer1.csv (Data Factory Kopyalama etkinliği)
1:1 veri taşıma ve joker karakter desteği
Veri verisi yakalamanın bir diğer yaygın senaryosu, tek bir giriş veri kümesinden tek bir çıkış veri kümesine dosya kopyalamak için joker karakter kullanmaktır. Joker karakter, kopyalama etkinliğinin dosya adının ortak bir bölümünü kullanarak kopyalama için birden çok dosyayla eşleşmesini sağlar. Azure Purview, karşılık gelen kopyalama etkinliği tarafından kopyalanan her bir dosya için dosya düzeyinde veri verisi yakalar.
Bu desene bir örnek aşağıdaki gibi olabilir:
- Kaynak/giriş: CustomerCall *.csv (ADLS 2. Nesil yolu)
- Havuz/çıktı: CustomerCall *.csv (Azure blob dosyası)
- 1 işlem: CopyGen2ToBlob #CustomerCall.csv (Data Factory Kopyalama etkinliği)
n:1 verilerle veri taşıma
Birleştirme, birleştirme Flow gibi veri işlemlerini gerçekleştirmek için Data Flow etkinliklerini kullanabilirsiniz. Hedef veri kümesi üretmek için birden fazla kaynak veri kümesi kullanılabilir. Bu örnekte Azure Purview, tek tek giriş dosyaları için dosya düzeyindeki veri SQL veri kaynağı etkinliğinin bir parçası olan bir Flow yakalar.
Bu desene bir örnek aşağıdaki gibi olabilir:
- 2 kaynak/giriş: Customer.csv, Sales.parquet (ADLS 2. Nesil Yolu)
- 1 havuz/çıkış: Şirket verileri (Azure SQL tablosu)
- 1 işlem: DataFlowBlobsToSQL (Data Factory Data Flow etkinliği)
Kaynak kümeleri için veri çizgisi
Kaynak kümesi, katalogdaki temel alınan depolamadaki birçok bölüm dosyası temsil eden mantıksal bir nesnedir. Daha fazla bilgi için bkz. Kaynak kümelerini anlama. Azure Purview verilerden veri Azure Data Factory, tek tek bölüm dosyalarını normalleştirmek ve tek bir mantıksal nesne oluşturmak için kuralları uygular.
Aşağıdaki örnekte, Azure Blob'dan bir Azure Data Lake 2. Nesil kaynak kümesi üretilmiştir:
- 1 kaynak/giriş: Çalışan _management.csv (Azure Blob)
- 1 havuz/çıkış: Çalışan _management.csv (Azure Data Lake 2. Nesil)
- 1 işlem: CopyBlobToAdlsGen2 _ RS (Data Factory Kopyalama etkinliği)
Sonraki adımlar
Öğretici: Data Factory verilerini Azure Purview'a itme