Share via

ما هو Apache Spark™ في HDInsight على AKS؟ (معاينة)

  • مقالة

هام

هذه الميزة في وضع المعاينة حاليًا. تتضمن شروط الاستخدام التكميلية لمعاينات Microsoft Azure المزيد من الشروط القانونية التي تنطبق على ميزات Azure الموجودة في الإصدار التجريبي أو قيد المعاينة أو التي لم يتم إصدارها بعد في التوفر العام. للحصول على معلومات حول هذه المعاينة المحددة، راجع معلومات معاينة Azure HDInsight على AKS. للأسئلة أو اقتراحات الميزات، يرجى إرسال طلب على AskHDInsight مع التفاصيل ومتابعتنا لمزيد من التحديثات على مجتمع Azure HDInsight.

Apache Spark™ هو إطار معالجة متوازي يدعم المعالجة في الذاكرة لتعزيز أداء التطبيقات التحليلية للبيانات الضخمة.

يوفر Apache Spark™ أساسيات لحوسبة نظام المجموعة في الذاكرة. يمكن لوظيفة Spark تحميل البيانات وتخزينها في الذاكرة والاستعلام عنها بشكل متكرر. الحوسبة في الذاكرة أسرع من التطبيقات المستندة إلى القرص، مثل Hadoop، التي تشارك البيانات من خلال نظام الملفات الموزعة Hadoop (HDFS). يسمح Apache Spark بالتكامل مع لغات البرمجة Scala وPython للسماح لك بمعالجة مجموعات البيانات الموزعة مثل المجموعات المحلية. لا حاجة لهيكلة كل شيء كخريطة وتقليل العمليات.

رسم تخطيطي يوضح نظرة عامة على Spark في HDInsight على AKS.

مجموعة Apache Spark مع HDInsight على AKS

Azure HDInsight هي خدمة تحليلات مدارة كاملة الطيف ومفتوحة المصدر للمؤسسات.

Apache Spark™ في Azure HDInsight على AKS هي خدمة spark المدارة في Microsoft Azure. باستخدام Apache Spark في Azure HDInsight على AKS، يمكنك تخزين بياناتك ومعالجتها كلها داخل Azure. أنظمة مجموعات Spark في HDInsight متوافقة مع أو Azure Data Lake Storage Gen2، تسمح لك بتطبيق معالجة Spark على مخازن البيانات الموجودة.

يتيح إطار عمل Apache Spark ل HDInsight على AKS تحليلات البيانات السريعة وحوسبة نظام المجموعة باستخدام المعالجة في الذاكرة. دفتر ملاحظات Jupyter يسمح لك بالتفاعل مع بياناتك، ودمج الرمز مع نص من مرجع markdown، والقيام بتصور بسيط.

Apache Spark على AKS في HDInsight يتكون من مكونات متعددة كقرون.

وحدات تحكم نظام المجموعة

وحدات تحكم نظام المجموعة مسؤولة عن تثبيت وإدارة الخدمة المعنية. يتم تثبيت وحدات تحكم مختلفة وإدارتها في مجموعة Spark.

مكونات خدمة Apache Spark

خدمة Zookeeper: مجموعة Zookeeper ثلاثية العقد، تعمل كمنسق موزع أو تخزين عالي التوفر لخدمات أخرى.

خدمة Yarn: مجموعة Hadoop Yarn، ستتم جدولة مهام Spark في نظام المجموعة كتطبيقات Yarn.

واجهات العميل: توفر مجموعات Apache Spark في HDInsight على AKS واجهات عميل مختلفة. يوفر Livy Server وJupyter Notebook وSpark History Server خدمات Spark إلى HDInsight على مستخدمي AKS.

المرجع