Örneklerle Data Factory fiyatlandırmasını anlama

AŞAĞıDAKILER IÇIN GEÇERLIDIR: Azure Data Factory Azure Synapse Analytics

Bu makalede ayrıntılı örneklerle Azure Data Factory fiyatlandırma modeli açıklanmıştır ve açıklanmıştır. Daha belirli senaryolar ve hizmeti kullanmak için gelecekteki maliyetlerinizi tahmin etmek üzere Azure Fiyatlandırma Hesaplayıcısı'ne de başvurabilirsiniz.

AWS S3'den Azure Blob depolama alanına saatlik veri kopyalama

Bu senaryoda verileri AWS S3'den saatlik bir zaman çizelgesiyle Azure Blob depolama alanına kopyalamak istiyor musunuz?

Senaryoyu gerçekleştirmek için aşağıdaki öğelerle bir işlem hattı oluşturmanız gerekir:

1. AWS S3'den kopyalanan verilere yönelik giriş veri kümesine sahip kopyalama etkinliği.

2. Azure Depolama'de veriler için çıkış veri kümesi.

3. İşlem hattını saatte bir yürütmek için bir zamanlama tetikleyicisi.

   

Toplam Senaryo fiyatlandırması: 0,16811 ABD doları

• Data Factory İşlemleri = 0,0001 ABD Doları
  • Okuma/Yazma = 10 * 0,00001 = $0,0001 [1 R/W = $0,50/50000 = 0,00001]
  • İzleme = 2 * 0,000005 = $0,00001 [1 İzleme = $0,25/50000 = 0,000005]
• İşlem Hattı Düzenleme & yürütmesi = 0,168 ABD doları
  • Etkinlik Çalıştırmaları = 0,001 * 2 = $0,002 [1 çalıştırma = $1/1000 = 0,001]
  • Veri Taşıma Etkinlikleri = 0,166 ABD doları (10 dakikalık yürütme süresi için Prorated. Saat başına 0,25 ABD doları Azure Integration Runtime)

Verileri kopyalama ve saatlik Azure Databricks dönüştürme

Bu senaryoda verileri AWS S3'den Azure Blob depolama alanına kopyalamak ve saatlik bir zaman Azure Databricks verileri dönüştürmek istiyor musunuz?

Senaryoyu gerçekleştirmek için aşağıdaki öğelerle bir işlem hattı oluşturmanız gerekir:

1. AWS S3'den kopyalanan veriler için giriş veri kümesine sahip bir kopyalama etkinliği ve Azure depolama alanı verileri için bir çıkış veri kümesi.
2. Bir Azure Databricks veri dönüştürme etkinliği.
3. İşlem hattını saatte bir yürütmek için bir zamanlama tetikleyicisi.

Toplam Senaryo fiyatlandırması: 0,16916 ABD doları

• Data Factory İşlemleri = 0,00012 ABD Doları
  • Okuma/Yazma = 11 * 0,00001 = $0,00011 [1 R/W = $0,50/50000 = 0,00001]
  • İzleme = 3 * 0,000005 = $0,00001 [1 İzleme = $0,25/50000 = 0,000005]
• İşlem Hattı Düzenleme & yürütmesi = 0,16904 ABD doları
  • Etkinlik Çalıştırmaları = 0,001 * 3 = $0,003 [1 çalıştırma = $1/1000 = 0,001]
  • Veri Taşıma Etkinlikleri = 0,166 ABD doları (10 dakikalık yürütme süresi için Prorated. Saat başına 0,25 ABD doları Azure Integration Runtime)
  • Dış İşlem Hattı Etkinliği = 0,000041 ABD doları (10 dakikalık yürütme süresi için Prorated. Saat başına 0,00025 ABD doları Azure Integration Runtime)

Dinamik parametrelerle verileri kopyalama ve saatlik dönüştürme

Bu senaryoda verileri AWS S3'den Azure Blob depolama alanına kopyalamak ve saatlik bir Azure Databricks kullanarak (betikte dinamik parametrelerle) dönüştürme yapmak istiyor musunuz?

Senaryoyu gerçekleştirmek için aşağıdaki öğelerle bir işlem hattı oluşturmanız gerekir:

1. Verilerin AWS S3'den kopyalanması için giriş veri kümesine sahip bir kopyalama etkinliği, Azure depolama alanı üzerinde veriler için bir çıkış veri kümesi.
2. Parametreleri dönüştürme betiğine dinamik olarak geçirmeye ilişkin bir Arama etkinliği.
3. Bir Azure Databricks veri dönüştürme etkinliği.
4. İşlem hattını saatte bir yürütmek için bir zamanlama tetikleyicisi.

Toplam Senaryo fiyatlandırması: 0,17020 ABD doları

• Data Factory İşlemleri = 0,00013 ABD Doları
  • Okuma/Yazma = 11 * 0,00001 = $0,00011 [1 R/W = $0,50/50000 = 0,00001]
  • İzleme = 4 * 0,000005 = $0,00002 [1 İzleme = $0,25/50000 = 0,000005]
• İşlem Hattı Düzenleme & Yürütmesi = 0,17007 ABD Doları
  • Etkinlik Çalıştırmaları = 0,001 * 4 = $0,004 [1 çalıştırma = $1/1000 = 0,001]
  • Veri Taşıma Etkinlikleri = 0,166 ABD doları (10 dakikalık yürütme süresi için Prorated. Saat başına 0,25 ABD doları Azure Integration Runtime)
  • İşlem Hattı Etkinliği = 0,00003 ABD doları (1 dakikalık yürütme süresi için Prorated. Saat başına 0,002 ABD doları Azure Integration Runtime)
  • Dış İşlem Hattı Etkinliği = 0,000041 ABD doları (10 dakikalık yürütme süresi için Prorated. Saat başına 0,00025 ABD doları Azure Integration Runtime)

Azure-SSIS tümleştirme çalışma zamanında SSIS paketlerini çalıştırma

Azure-SSIS tümleştirme çalışma zamanı (IR), Azure'da (ADF) SSIS paketi yürütmeleri için azure sanal makinelerinin (VM) özel Azure Data Factory kümesidir. SSIS paketlerini yürütmek için kullanıp kullanmama durumuna bakılmaksızın, sağlamayı sizin için ayrı bir şekilde gerçekleştirebilirsiniz. Bu nedenle, SSIS paketlerini yürütmek için kullanıp kullanmama durumuna bakılmaksızın, siz bunu çalıştırmaya devam ettiyceniz diğer ayrılmış Azure VM'leri gibi ücret tahsil edilir. Çalışma maliyetine göre ADF portalında kurulum bölmesinde saatlik tahmini görebilirsiniz, örneğin:

Yukarıdaki örnekte, Azure-SSIS IR 2 saat boyunca devam ediyorsanız ücret tahsil edilecektir: 2 (saat) x US$1,158/saat = US$2,316.

Azure-SSIS IR çalıştırma maliyetinizi yönetmek için VM boyutunun ölçeğini azaltabilirsiniz, kümenizin boyutunu ölçeklendirebilir, önemli tasarruflar sağlayan Azure Hibrit Avantajı (AHB) seçeneği aracılığıyla kendi SQL Server lisansınızı getirebilirsiniz, bkz. Azure-SSIS IRfiyatlandırması ve SSIS iş yüklerinizi işlemeye uygun/isteğe bağlı/tam zamanında & Azure-SSIS IR'nizi durdurabilirsiniz, bkz. Azure-SSIS IR'i yeniden yapılandırma ve Azure-SSIS IR.

Normal bir workday için eşleme veri akışı hata ayıklamasını kullanma

Bir Veri Mühendisi olarak Sam, eşleme veri akışlarını her gün tasarlamak, tasarlamak ve test etmekle sorumludur. Sam, sabah ADF kullanıcı arabiriminde oturum alar ve Veri Akışları için Hata Ayıklama modunu sağlar. Hata Ayıklama oturumları için varsayılan TTL 60 dakikadır. Sam gün boyunca 8 saat boyunca çalışır, bu nedenle Hata Ayıklama oturumunun süresi hiçbir zaman dolmaz. Bu nedenle, Sam'in günlük ücretleri şöyle olur:

8 (saat) x 8 (işlem için iyileştirilmiş çekirdekler) x 0,193 = 12,35 ABD doları

Aynı zamanda başka bir kullanıcı Veri Mühendisi Chris, veri profili oluşturma ve ETL tasarım çalışması için ADF tarayıcı kullanıcı arabiriminde de oturum açtığını da ifade ediyor. Chris, Sam gibi tüm gün ADF'de çalışmıyor. Chris'in veri akışı hata ayıklayıcısını yalnızca yukarıdaki Sam ile aynı süre boyunca ve aynı gün boyunca 1 saat boyunca kullanması gerekir. Chris'in hata ayıklama kullanımı için ücret ödemesi şu şekildedir:

1 (saat) x 8 (genel amaçlı çekirdek) x 0,274 = 2,19 ABD doları

Eşleme veri akışlarıyla blob deposu verilerini dönüştürme

Bu senaryoda, ADF eşleme veri akışlarında Blob Deposu'daki verileri saatlik bir zaman çizelgesine göre görsel olarak dönüştürmek istediğiniz senaryodur.

Senaryoyu gerçekleştirmek için aşağıdaki öğelerle bir işlem hattı oluşturmanız gerekir:

1. Veri Flow dönüştürme mantığına sahip bir etkinliktir.

2. Azure Depolama'da veriler için giriş veri kümesi.

3. Azure Depolama'de veriler için çıkış veri kümesi.

4. İşlem hattını saatte bir yürütmek için bir zamanlama tetikleyicisi.

Toplam Senaryo fiyatlandırması: 1,4631 ABD doları

• Data Factory İşlemleri = 0,0001 ABD Doları
  • Okuma/Yazma = 10 * 0,00001 = $0,0001 [1 R/W = $0,50/50000 = 0,00001]
  • İzleme = 2 * 0,000005 = $0,00001 [1 İzleme = $0,25/50000 = 0,000005]
• İşlem Hattı Düzenleme & yürütmesi = 1,463 ABD doları
  • Etkinlik Çalıştırmaları = 0,001 * 2 = $0,002 [1 çalıştırma = $1/1000 = 0,001]
  • Veri Flow Etkinlikleri = 20 dakika (10 dakikalık yürütme süresi + 10 dakika TTL) için proratılmış 1,461 ABD doları. 16 çekirdekli genel işlemle Azure Integration Runtime saatte 0,274 ABD doları

Yönetilen sanal Azure Data Factory veri tümleştirmesi

Bu senaryoda, Azure Blob Depolama'daki özgün dosyaları silmek Depolama verileri Azure SQL Veritabanı Azure Blob Depolama'ya Depolama. Bu yürütmeyi farklı işlem hatlarında iki kez yapacaktır. Bu iki işlem hattının yürütme süresi çakışıyor. Senaryoyu gerçekleştirmek için aşağıdaki öğelerle iki işlem hattı oluşturmanız gerekir:

• İşlem hattı etkinliği – Silme Etkinliği.
• Azure Blob depolamadan kopyalanması için giriş veri kümesine sahip kopyalama etkinliği.
• Veri kümesi üzerinde veriler için bir çıkış Azure SQL Veritabanı.
• İşlem hattını yürütmek için bir zamanlama tetikleyicileri.

Toplam Senaryo fiyatlandırması: 1,45523 ABD doları

• Data Factory İşlemleri = 0,00023 ABD Doları
  • Okuma/Yazma = 20*0,00001 = $0,0002 [1 R/W = $0,50/50000 = 0,00001]
  • İzleme = 6*0,000005 = $0,00003 [1 İzleme = $0,25/50000 = 0,000005]
• İşlem Hattı Düzenleme & Yürütme = 1,455 ABD Doları
  • Etkinlik Çalıştırmaları = 0,001*6 = $0,006 [1 çalıştırma = $1/1000 = 0,001]
  • Veri taşıma etkinlikleri = $0,333 (10 dakikalık yürütme süresi için günlere eşit olarak dağıtılır. Azure Integration Runtime) $0,25/saat)
  • İşlem hattı etkinliği = $1,116 (7 dakikalık yürütme süresi ve 60 dakikalık TTL için eşit olarak dağıtılır. Azure Integration Runtime 1/saat)

SSS

S: 50 'den fazla işlem hattı etkinliği çalıştırmak istersem, bu etkinlikler eşzamanlı olarak çalıştırılabilir mi?

Y: en fazla 50 eşzamanlı işlem hattı etkinliğine izin verilir. "Ücretsiz yuva" kapatılıncaya kadar 51th ardışık düzen etkinliği sıraya alınacaktır. Dış etkinlik için aynı. Maksimum 800 eşzamanlı dış etkinliğe izin verilir.

Sonraki adımlar

Azure Data Factory için fiyatlandırmayı anladığınıza göre, şimdi kullanmaya başlayın!

• Azure Data Factory UI kullanarak veri fabrikası oluşturma

• Azure Data Factory'ye giriş

• Azure Data Factory 'de görsel yazma