AKS üzerinde HDInsight'ta Apache Spark™ nedir? (Önizleme)

Önemli

Bu özellik şu anda önizlemededir. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları, beta, önizleme aşamasında olan veya henüz genel kullanıma sunulmamış Azure özellikleri için geçerli olan daha fazla yasal hüküm içerir. Bu belirli önizleme hakkında bilgi için bkz . AKS üzerinde Azure HDInsight önizleme bilgileri. Sorular veya özellik önerileri için lütfen AskHDInsight'ta ayrıntıları içeren bir istek gönderin ve Azure HDInsight Topluluğu hakkında daha fazla güncelleştirme için bizi takip edin.

Apache Spark™, büyük veri analizi uygulamalarının performansını artırmak için bellek içi işlemeyi destekleyen paralel bir işleme çerçevesidir.

Apache Spark™, bellek içi küme bilgi işlem için temel bilgiler sağlar. Bir Spark işi, verileri belleğe yükleyip önbelleğe alarak tekrar tekrar sorgulayabilir. Bellek içi bilgi işlem, Hadoop dağıtılmış dosya sistemi (HDFS) aracılığıyla veri paylaşan Hadoop gibi disk tabanlı uygulamalardan daha hızlıdır. Apache Spark, yerel koleksiyonlar gibi dağıtılmış veri kümelerini işlemenizi sağlamak için Scala ve Python programlama dilleri ile tümleştirmeye olanak tanır. Her şeyi harita olarak yapılandırmaya gerek olmadığı için işlem sayısı azalmış olur.

AKS üzerinde HDInsight ile Apache Spark kümesi

Azure HDInsight kuruluşlara yönelik, yönetilen, tam spektrumlu ve açık kaynaklı bir analiz hizmetidir.

AKS üzerinde Azure HDInsight'ta Apache Spark™, Microsoft Azure'da yönetilen spark hizmetidir. AKS üzerinde Azure HDInsight'ta Apache Spark ile verilerinizin tümünü Azure'da depolayabilir ve işleyebilirsiniz. HDInsight'taki Spark kümeleri ile uyumludur veya Azure Data Lake Storage 2. Nesil, spark işlemeyi mevcut veri depolarınıza uygulamanıza olanak tanır.

AKS üzerinde HDInsight için Apache Spark çerçevesi, bellek içi işlemeyi kullanarak hızlı veri analizi ve küme bilişimi sağlar. Jupyter Notebook verilerinizle etkileşim kurmanıza, kodu markdown metniyle birleştirmenize ve basit görselleştirmeler yapmanıza olanak tanır.

BIRDEN çok bileşenden pod olarak oluşan HDInsight'ta AKS üzerinde Apache Spark.

Küme Denetleyicileri

Küme denetleyicileri ilgili hizmeti yüklemek ve yönetmekle sorumludur. Spark kümesinde çeşitli denetleyiciler yüklenir ve yönetilir.

Apache Spark hizmet bileşenleri

Zookeeper hizmeti: Üç düğümlük zookeeper kümesi, diğer hizmetler için dağıtılmış koordinatör veya Yüksek Kullanılabilirlik depolama alanı görevi görür.

Yarn hizmeti: Hadoop Yarn kümesi, Spark işleri kümede Yarn uygulamaları olarak zamanlanabilir.

İstemci Arabirimleri: AKS üzerinde HDInsight'taki Apache Spark kümeleri, çeşitli istemci arabirimleri sağlar. Livy Server, Jupyter Notebook, Spark Geçmiş Sunucusu, AKS kullanıcıları üzerinde HDInsight'a Spark hizmetleri sağlar.

Başvuru

• Apache, Apache Spark, Spark ve ilişkili açık kaynak proje adları Apache Software Foundation'ın (ASF) ticari markalarıdır.