Mi az Apache Sparkhoz készült .NET?

Az Apache Spark egy általános célú elosztott feldolgozási motor nagy adatkészletek – általában terabájt vagy petabájtnyi adat – elemzéséhez. Az Apache Sparkhoz készült .NET, a népszerű nyílt forráskódú big data-elemzési keretrendszer ingyenes, nyílt forráskódú és platformfüggetlen .NET-támogatása révén mostantól a már ismert nyelvekkel bővítheti az Apache Spark hatékonyságát a big data-alkalmazásokban.

Miért érdemes az Apache Sparkhoz készült .NET-et választani?

Az Apache Sparkhoz készült .NET segítségével a fejlesztők .NET-tapasztalatokkal vagy kódbázisokkal vehetnek részt a big data-elemzések világában. Az Apache Sparkhoz készült .NET nagy teljesítményű API-kat biztosít a Spark C#-ból és F#-ból való használatához. A C# és az F# segítségével a következőhöz férhet hozzá:

  • DataFrame és SparkSQL strukturált adatokkal való munkához.
  • Spark strukturált streamelés streamelési adatokkal való munkához.
  • Spark-SQL SQL szintaxist tartalmazó lekérdezések írásához.
  • Gépi tanulási integráció a gyorsabb betanításhoz és előrejelzéshez (azaz a .NET használata az Apache Sparkhoz ML.NET mellett).

Az Apache Sparkhoz készült .NET megfelel a .NET Standard szabványnak, amely a .NET-implementációkban gyakran használt .NET API-k formális specifikációja. Ez azt jelenti, hogy bárhol használhatja az Apache Sparkhoz készült .NET-kódot, ahol .NET-kódot ír, így újra felhasználhatja a .NET-fejlesztőként már meglévő összes tudást, képességet, kódot és kódtárat.

Az Apache Sparkhoz készült .NET Windows, Linux és macOS rendszeren fut a .NET Core használatával. Emellett Windows .NET-keretrendszer használatával is fut. Az alkalmazásokat az összes nagy felhőszolgáltatónál üzembe helyezheti, beleértve az Azure HDInsight Sparkot, az Amazon EMR Sparkot, az Azure Databrickset és a Databrickset az AWS-en.

.NET apache Spark-architektúrához

A Sparkhoz való C#/ F# nyelvi kötés egy új Spark interop rétegre van írva, amely könnyebb bővíthetőséget biztosít. A Spark-együttműködés ezen új rétege a nyelvi bővítmény ajánlott eljárásainak, valamint az együttműködésre és a teljesítményre optimalizált eljárásoknak a használatával lett megírva. Hosszú távon ez a bővíthetőség használható más nyelvek támogatásának támogatására a Sparkban.

.NET for Apache Spark architecture

A javaslatból megismerheti a Spark nyelvi bővítményeinek együttműködési támogatását.

.NET az Apache Spark teljesítményéhez

Ha a Pythonnal és a Scalával összehasonlítjuk a TPC-H teljesítménytesztet, az Apache Sparkhoz készült .NET a legtöbb esetben jól teljesít, és 2x gyorsabb, mint a Python, ha a felhasználó által meghatározott függvényteljesítmény kritikus fontosságú. Folyamatosan törekszünk a teljesítmény javítására és teljesítményértékelésére.

Saját teljesítményteszteléshez tekintse meg az Apache Spark GitHub.NET-en elérhető teljesítményteszteket.

Az Apache Sparkhoz készült .NET ütemterve

Az Apache Sparkhoz készült hivatalos .NET-ütemterv rövid és hosszú távú terveinek ismertetése.

.NET Foundation

Az Apache Sparkhoz készült .NET-projekt a .NET Foundation része.

Közreműködések

Az Apache Sparkhoz készült .NET csapata támogatja a hozzájárulásokat, GitHub problémákat és lekéréses kérelmeket is. Először keressen egy meglévő problémát. Ha nem talál egy meglévő problémát, nyisson meg egy új problémát.

Következő lépések

Próbálja ki a .NET-et az Apache Sparkhoz.