U-SQL geliştiricileri için Apache Spark'ı anlama

  • Makale

Önemli

Azure Data Lake Analytics 29 Şubat 2024'te kullanımdan kaldırıldı. Bu duyuru ile daha fazla bilgi edinin.

Veri analizi için kuruluşunuz Azure Synapse Analytics veya Microsoft Fabric kullanabilir.

Microsoft, Azure Databricks, Azure HDInsight ve Azure Data Lake Analytics gibi çeşitli Analiz hizmetlerini destekler. Geliştiricilerden analiz işlem hatları oluştururken açık kaynak çözümleri için net bir tercihe sahip olduklarını duyuyoruz. U-SQL geliştiricilerinin Apache Spark'ı anlamasına ve U-SQL betiklerinizi Apache Spark'a dönüştürmenize yardımcı olmak için bu kılavuzu oluşturduk.

Uygulayabileceğiniz adımları ve çeşitli alternatifleri içerir.

U-SQL'i Apache Spark'a dönüştürme adımları

  1. İş düzenleme işlem hatlarınızı dönüştürün.

    Azure Data Lake Analytics betiklerinizi düzenlemek için Azure Data Factory kullanıyorsanız, bunları yeni Spark programlarını düzenlayacak şekilde ayarlamanız gerekir.

  2. U-SQL ile Spark'ın verileri yönetme şekli arasındaki farkları anlayın.

    Verilerinizi Azure Data Lake Storage 1. Nesil'den Azure Data Lake Storage 2. Nesil taşımak istiyorsanız, hem dosya verilerini hem de katalogda tutulan verileri kopyalamanız gerekir. Azure Data Lake Analytics yalnızca 1. Nesil Azure Data Lake Storage destekler. Daha fazla bilgi için bkz. Spark veri biçimlerini anlama.

  3. U-SQL betiklerinizi Spark'a dönüştürün.

    U-SQL betiklerinizi dönüştürmeden önce bir analiz hizmeti seçmeniz gerekir. Kullanılabilir işlem hizmetlerinden bazıları şunlardır:

    • Azure Data Factory Veri Akışı Eşlemesi veri akışları, veri mühendislerinin kod yazmadan grafik veri dönüştürme mantığı geliştirmesine olanak sağlayan görsel olarak tasarlanmış veri dönüştürmeleridir. Karmaşık kullanıcı kodu yürütmek için uygun olmasa da, geleneksel SQL benzeri veri akışı dönüşümlerini kolayca temsil edebilir
    • Azure HDInsight Hive HDInsight üzerinde Apache Hive Ayıklama, Dönüştürme ve Yükleme (ETL) işlemlerine uygundur. Bu, U-SQL betiklerinizi Apache Hive'a çevirdiğiniz anlamına gelir.
    • Azure HDInsight Spark veya Azure Databricks gibi Apache Spark Altyapıları Bu, U-SQL betiklerinizi Spark'a çevirdiğiniz anlamına gelir. Daha fazla bilgi için bkz . Spark veri biçimlerini anlama

Dikkat

Hem Azure Databricks hem de Azure HDInsight Spark, Azure Data Lake Analytics gibi sunucusuz işler değil küme hizmetleridir. Uygun maliyet/performans oranını elde etmek için kümeleri sağlamayı ve maliyetlerinizi en aza indirmek için bunların yaşam süresini yönetmeyi göz önünde bulundurmanız gerekir. Bu hizmetler .NET'te yazılmış kullanıcı koduyla farklı performans özelliklerine sahiptir, bu nedenle sarmalayıcılar yazmanız veya kodunuzu desteklenen bir dilde yeniden yazmanız gerekir. Daha fazla bilgi için bkz . Spark veri biçimlerini anlama, U-SQL geliştiricileri için Apache Spark kod kavramlarını anlama, Apache Spark için .NET

Sonraki adımlar