Apache Spark için .NET nedir?

Apache Spark, genellikle terabaytlarca veya petabaytlarca veri üzerinde analize yönelik genel amaçlı bir dağıtılmış işleme altyapısıdır. Apache Spark için .NET, popüler açık kaynak büyük veri analizi çerçevesi için ücretsiz,açık kaynak ve platformlar arası .NET Desteği ile, artık zaten biliyor olduğunuz dilleri kullanarak Apache Spark'nin gücünü büyük veri uygulamalarınıza abilirsiniz.

Neden .NET'i Apache Spark?

.NET for Apache Spark, geliştiricileri .NET deneyimi veya kod tabanları ile güçlendirerek büyük veri analizi dünyasına katılmalarını sağlar. .NET for Apache Spark, C# ve F# ile Spark'ı kullanmak için yüksek performanslı API'ler sağlar. C# ve F# ile şu erişime sahipsiniz:

• Yapılandırılmış verilerle çalışmak için DataFrame ve SparkSQL.
• Akış verileriyle çalışmak için Spark Yapılandırılmış Akışı.
• Spark SQL söz dizimi ile sorgu SQL için kullanılır.
• Daha hızlı eğitim ve tahmin için makine öğrenmesi tümleştirmesi (Apache Spark ML.NETile birlikte .NET kullanın).

.NET for Apache Spark, .NET .NET Standard ortak olan .NET API'lerinin resmi belirtimi olan .NET api'leri ile uyumludur. Bu da .NET geliştiricisi olarak sahip Apache Spark, beceri, kod ve kitaplıkları yeniden kullanmanıza olanak sağlayan .NET kodu yazmanız gereken her yerde .NET'i kullanabileceğiniz anlamına gelir.

.NET for Apache Spark. .NET Core Windows, Linux ve macOS üzerinde çalışır. Ayrıca, Windows kullanarak .NET Framework. Uygulamalarınızı aws üzerinde Azure HDInsight Spark, Amazon EMR Spark, Azure Databricks ve Databricks gibi tüm büyük bulut sağlayıcılarına dağıtabilirsiniz.

Apache Spark mimarisi için .NET

Spark'a C#/ F# dil bağlaması, daha kolay genişletilebilirlik sunan yeni bir Spark birlikte çalışma katmanında yazılır. Bu yeni Spark birlikte çalışma katmanı, dil uzantısı için en iyi yöntemler kullanılarak yazılmıştır ve birlikte çalışma ve performans için iyileştiriciler. Uzun vadede bu genişletilebilirlik Spark'ta diğer diller için destek eklemek için kullanılabilir.

Tekliften Spark dil uzantıları için birlikte çalışma desteği hakkında bilgi edinmek için bkz..

Performans için .NET Apache Spark

TPC-Hkarşılaştırması kullanılarak Python ve Scala ile karşılaştırıldığında , Apache Spark için .NET çoğu durumda iyi performans gösterir ve kullanıcı tanımlı işlev performansı kritik öneme sahip olduğunda Python'dan 2 kat daha hızlıdır. Performansı geliştirmek ve kıyaslama yapmak için devam eden bir çalışma var.

Kendi karşılaştırmanızı yapmak için .NET'debulunan karşılaştırmalara bakın ve Apache Spark GitHub.

Apache Spark için .NET yol haritası

Resmi .NET'in kısa vadeli ve uzun vadeli planları hakkında bilgi Apache Spark öğrenin.

.NET Foundation

.NET for Apache Spark projesi .NET Foundation'ın bir parçası.

Katkılar

Apache Spark için .NET ekibi hem sorunlar hem de GitHub katkıları teşvik ediyor. İlk olarak, var olan bir sorunu bakın. Mevcut bir sorunu bulamıyorsanız yeni bir sorun açın.

Sonraki adımlar

.NET'i Apache Spark.