Microsoft Fabric'te Data Factory hakkında SSS

Azure Data Factory (ADF) ve Azure Synapse işlem hatları ayrı bir Hizmet Olarak Platform (PaaS) yol haritaları tutar. Bu iki çözüm, Hizmet Olarak Yazılım (SaaS) teklifi olarak hizmet veren Fabric Data Factory ile birlikte varolmaya devam ediyor. ADF ve Synapse işlem hatları tam olarak desteklenmeye devam eder ve kullanımdan kaldırma planı yoktur. Gelecek tüm projeler için bunları Fabric Data Factory kullanarak başlatma önerimiz olduğunu vurgulamak önemlidir. Buna ek olarak, ADF ve Synapse işlem hatlarının Doku Data Factory'ye geçişini kolaylaştıracak ve yeni Doku işlevlerinden yararlanmalarını sağlayacak stratejilere sahibiz. Bu konu hakkında buradan daha fazla bilgi edinebilirsiniz.

İşlevsellik boşluklarını kapatmaya ve ADF /Azure Synapse işlem hatlarında bulunan güçlü veri işlem hattı düzenleme ve iş akışı özelliklerini Fabric Data Factory'ye dahil etmeye çalışıyoruz. ADF/Synapse işlem hatlarında bulunan belirli özelliklerin gereksinimleriniz için gerekli olabileceğini kabul ediyoruz. Bu özellikler gerekliyse ADF / Synapse işlem hatlarını kullanmaya devam etmeye devam etmeye teşvik edilirken, önce Doku'da yeni veri tümleştirme olanaklarınızı keşfetmenizi öneririz. Başarınız için hangi özelliklerin önemli olduğuna ilişkin geri bildiriminiz çok değerlidir. Bunu kolaylaştırmak için, mevcut veri fabrikalarınızın Azure'dan Doku çalışma alanlarına geçişini sağlayarak yeni bir özellik sunma konusunda etkin bir şekilde çalışıyoruz.

Doku işlem hatlarından yeni özellikleri ADF /Synapse işlem hatlarına geri aktarmayız. Fabric Data Factory ve ADF/Synapse için iki ayrı yol haritasına sahipiz. Gelen geri bildirimlere yanıt olarak geri aktarma isteklerini değerlendiririz.

Doku işlem hattının ana işlevi Azure Synapse işlem hattına benzer, ancak Kullanıcılar Doku işlem hattını kullanarak Doku platformundaki tüm veri analizi özelliklerini uygulayabilir. Doku işlem hattı ile Azure Synapse işlem hattı arasındaki önemli farklar ve özellik eşlemeleri burada bulunabilir: Dokudaki Data Factory ile Azure arasındaki farklar.

Data Factory, bulut ölçeğinde veri taşıma ve veri dönüştürme hizmetleriyle karmaşık veri tümleştirme ve ETL senaryolarını çözmenize yardımcı olurken, veri mühendisliği lake house oluşturmanıza, apache Spark kullanarak verilerinizi dönüştürmenize ve hazırlamanıza yardımcı olur. Doku terimlerinin /deneyimlerinin her biri arasındaki farklar Microsoft Fabric terminolojisi altında sağlanır.

Doku aylık güncelleştirmelerini Microsoft Fabric Blogu'nda bulabilirsiniz.

Müşterilerin Azure Data Factory'den (ADF) Microsoft Fabric'e geçişini kolaylaştırmak için bir dizi temel özellik ve destek mekanizması sunuyoruz. İlk olarak, Teams ve Outlook işlevleri gibi bildirimler için uyarlanmış yeni etkinliklerin eklenmesiyle birlikte Doku içinde ADF'de kullanılan etkinliklerin çoğu için kapsamlı destek sağlıyoruz. Müşteriler, Doku içindeki Data Factory'deki kullanılabilir etkinliklerin ayrıntılı listesine erişebilir. Ayrıca, ADF müşterileri için Fabric'in OneLake ortamına sorunsuz veri tümleştirmesi sağlayan Fabric Lakehouse / Warehouse bağlayıcılarını Azure Data Factory'de kullanıma sunmuştuk. Ayrıca, mevcut eşleme veri akışı dönüşümlerinizi yeni Veri Akışı 2. Nesil dönüşümleriyle eşlemenize yardımcı olan ADF müşterileri için bir kılavuz sağlıyoruz. Yol haritamızın bir parçası olarak, Doku'yu keşfederken ve kapsamlı yükseltme stratejilerini planlarken müşterilerin Azure'da mevcut ADF işlem hatlarının işlevselliğini korumasına olanak sağlayan ADF kaynaklarını Doku'ya bağlama özelliğini de dahil ediyoruz. Veri işlem hatlarının ADF'den Doku'ya geçişini desteklemenin en etkili yollarını belirlemek için müşteriler ve toplulukla yakın işbirliği yapıyoruz. Bu çabanın bir parçası olarak, mevcut veri işlem hatlarınızı bağlama ve yükseltme sürecinde Doku'da test etmenizi sağlayan bir yükseltme deneyimi sağlayacağız.

Microsoft Fabric kapasite yöneticileri, kapasite kaynaklarına görünürlük sağlamak için ölçüm uygulaması olarak da bilinen Microsoft Fabric Kapasite Ölçümleri uygulamasını kullanabilir. Bu uygulama yöneticilerin Doku kapasitesi etkinleştirilmiş çalışma alanlarındaki veri işlem hatları, veri akışları ve diğer öğeler tarafından ne kadar CPU kullanımı, işlem süresi ve bellek kullanıldığına bakmasına olanak tanır. Aşırı yükleme nedenleri, yoğun talep süreleri, kaynak tüketimi ve daha fazlası hakkında görünürlük elde edin ve en zorlu veya en popüler öğeleri kolayca belirleyin.

ADF içindeki Power Query etkinliği Dataflow 2. Nesil ile benzerlikler paylaşır, ancak belirli veri hedeflerine yazma gibi eylemleri etkinleştiren ek özelliklere sahiptir. Bu karşılaştırma, Veri Akışı 1. Nesil (Power BI veri akışları veya Power Apps veri akışları) ile daha adil bir şekilde hizalanır. Daha fazla ayrıntı için buraya göz atın: Veri Akışı 1. Nesil ile Veri Akışı 2. Nesil arasındaki farklar.

Şirket içi Data Gateway'i kullanarak müşteriler artık Microsoft Fabric'te Data Factory ile veri akışlarını ve veri işlem hatlarını (önizleme) kullanarak şirket içi veri kaynaklarına bağlanabilir. Daha fazla bilgi edinmek için bkz . Data Factory'de şirket içi veri kaynaklarına erişme.

Sanal ağ geçidi şu anda sanal ağınızla sorunsuz bir şekilde tümleştirmek için enjektörlü bir yöntem sunar ve veri depolarınıza güvenli bağlantılar kurmak için özel uç noktaları kullanmak için sağlam bir yol sağlar. Sanal ağ geçidinin şu anda yalnızca Doku veri akışlarını barındırdığını unutmayın. Ancak, yaklaşan girişimlerimiz, yapı işlem hatlarını kapsayacak şekilde yeteneklerini genişletmeyi kapsıyor.

Fabric Data Factory, ortamınız için veri taşıma aktarım hızını en üst düzeye çıkaran işlem hatları geliştirmenizi sağlar. Bu işlem hatları aşağıdaki kaynakları tam olarak kullanır:

• Kaynak ve hedef veri depoları arasındaki ağ bant genişliği
• Kaynak veya hedef veri deposu giriş/çıkış işlemleri /saniye başına giriş/çıkış işlemleri (IOPS) ve bant genişliği Bu tam kullanım, aşağıdaki kaynaklarla sağlanan en düşük aktarım hızını ölçerek genel aktarım hızını tahmin edebilirsiniz anlamına gelir:
• Kaynak veri deposu
• Hedef veri deposu
• Kaynak ve hedef veri depoları arasındaki ağ bant genişliği Bu arada, elde edilebilecek en iyi aktarım hızını artırmak için yenilikler üzerinde sürekli çalışıyoruz. Bugün hizmet, 1 TB TPC-DI veri kümesini (parquet dosyaları) 5 dakika içinde hem Fabric Lakehouse tablosuna hem de Veri Ambarı'na taşıyabilir ve 1B satırı 1 dk'nın altına taşır; Bu performansın yalnızca yukarıdaki test veri kümesini çalıştırarak bir başvuru olduğunu unutmayın. Gerçek aktarım hızı yine de daha önce listelenen faktörlere bağlıdır. Ayrıca, birden çok kopyalama etkinliğini paralel olarak çalıştırarak her zaman aktarım hızınızı çarpabilirsiniz. Örneğin, ForEach döngüsünü kullanma.

Çalışma alanları arasındaki farklı iş yüklerini ayırabilir ve üye ve görüntüleyici gibi rolleri kullanarak rapor veya yapay zeka eğitimi için kullanılan bir çalışma alanının verilerini önleyen bir veri mühendisliği çalışma alanına sahip olabilirsiniz. Görüntüleyici rolüyle, veri mühendisliği çalışma alanından verileri kullanabilirsiniz.

Geçerli odak noktamız, Data Factory In Fabric içinde CDC özelliğinin etkin bir şekilde geliştirilmesini içerir. Bu yaklaşan özellik, toplu/toplu kopyalama deseni, artımlı/sürekli kopya deseni (CDC) ve gerçek zamanlı kopyalama deseni gibi farklı kopyalama desenlerini birleştiren verileri birden çok veri kaynağı arasında tek bir 5x5 deneyiminde taşımanızı sağlar.

Bazı kullanıcı deneyimlerinde etkileşime yönelik olmayan sistem yapıtlarıyla karşılaşabilirsiniz. Gelecekte Veri Al deneyimlerinden kaldırılacağından bu yapıtları göz ardı etmek en iyisidir.

Microsoft Fabric'teki Data Factory fiyatlandırması, Veri işlem hatları ve Veri Akışı 2. Nesil için maliyetlerin nasıl hesaplandıklarına ilişkin kapsamlı bir kılavuz sağlar. Fiyatlandırma modelini daha iyi anlamanıza yardımcı olmak için çeşitli fiyatlandırma örnekleri senaryoları içerir.

Microsoft Fabric'teki Data Factory'deki yenilikler ve planlanan özellikler, önümüzdeki birkaç ay içinde yaklaşan özellikler ve bunların tahmini sürüm zaman çizelgeleri hakkında içgörüler sağlar.

Sonraki adımlar

Giriş - Data Factory öğreticisi