Azure Databricks ile veri mühendisliği

Orta
Veri Mühendisi
Databricks

Büyük veri mühendisliği iş yüklerini bulutta çalıştırmak için Azure Databricks platformunda çalışan güçlü kümelerin ve Apache Spark’ın gücünden yararlanmayı öğrenin.

Önkoşullar

Hiçbiri

Bu öğrenme yolundaki modüller

Büyük dosyaları işlemeye Azure Databricks Apache Spark not defterinin özelliklerini keşfedin. platformunu Azure Databricks ve bu platform için uygun görev türlerini Apache Spark.

Spark Kümesi ve Spark Azure Databricks mimarisini anlama.

Farklı ham biçimlerdeki birden fazla kaynaktan gelen büyük miktarda verilerle çalışın. Azure Databricks, okuma, yazma ve sorgular gibi günlük veri işleme işlevlerini destekler.

Azure Databricks veri işleme, verileri okumak ve işlemek için veri çerçeveleri tanımlayarak yapılır. Veri çerçevelerinde veri dönüştürmeleri gerçekleştirmeyi ve dönüştürülen verileri göstermek için eylemleri çalıştırmayı öğrenin.

Bir dönüşüm ve eylem, geç ve Eager değerlendirmeleri, geniş ve dar dönüşümler ve Azure Databricks içindeki diğer iyileştirmeler arasındaki farkı anlayın.

Sıralama, filtre ve toplama gibi sütun düzeyi dönüştürmeleri uygulamak için Azure Databricks DataFrame sütun sınıfını kullanın.

Verileri işlemek, toplamaları uygulamak ve veri kümelerini verilerle aynı anda tarih ve saat işlemleri gerçekleştirmek için gelişmiş DataFrame işlevleri Azure Databricks.

Databricks yerel özellikleri ve Azure hizmetleriyle tümleştirerek çalışma alanınızı güvenli hale getirmek için Azure Databricks platform bileşenlerini ve en iyi yöntemleri anlayın.

Yerleşik güvenilirlik ve iyileştirmelerden faydalanarak Delta Lake'i kullanarak veri oluşturma, Apache Spark ve upsert etmeyi öğrenin.

Yapılandırılmış akış, akış verilerini gerçek zamanlı olarak nasıl işleyebileceğinizi ve zaman içindeki verileri nasıl toplayacağınızı öğrenin.

Birleşik akış + Batch verileri Işlem hatları içinde güvenilirlik ve düşük gecikme süresi sağlamak için, Delta Lakes 'i blob depolamanın üzerinde en iyi duruma getirme katmanı olarak kullanın.

Azure Data Factory, veri taşıma ve dönüştürme ölçeğini düzenleyen iş akışları oluşturmanıza yardımcı olur. Not defterlerini ve kitaplıkları çağırarak üretim işlem hatlarınıza Azure Databricks tümleştirin.

CI/CıD yalnızca geliştiriciler için değildir. sürüm denetimi altına Azure Databricks not defterlerini Azure DevOps depoya nasıl koyacağınızı ve yayın işleminizi yönetmek için dağıtım işlem hatlarını oluşturmayı öğrenin.

Azure Databricks, Azure'daki birçok güçlü veri hizmetlerinden yalnızca biri. Veri mimarinizin bir Azure Synapse Analytics olarak verilerle nasıl tümleştirebilirsiniz?

Çalışma alanı yönetimi, güvenlik, araçlar, tümleştirme, databricks runtime, HA/DR ve kümeler için en iyi Azure Databricks.