Databricks Runtime 8.0 (غير مدعوم)

  • مقالة

أصدرت Databricks هذه الصورة في مارس 2021.

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 8.0، مدعومة من Apache Spark 3.1.1.

الميزات الجديدة

يتضمن Databricks Runtime 8.0 Apache Spark 3.1.1. للحصول على التفاصيل، راجع Apache Spark.

التحسينات

Delta هو الآن التنسيق الافتراضي عندما لا يتم تحديد تنسيق

يقوم Databricks Runtime 8.0 بتغيير التنسيق delta الافتراضي لجعل إنشاء جدول Delta أبسط. عند إنشاء جدول باستخدام أوامر SQL أو {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} واجهات برمجة التطبيقات، وعدم تحديد تنسيق، يكون التنسيق الافتراضي هو delta.

باستخدام Delta Lake، يمكنك الحصول على أداء أفضل على Parquet، وموثوقية بيانات أفضل مع التحقق من صحة المخطط الغني، وقيود الجودة، وضمانات المعاملات. باستخدام Delta Lake، يمكنك تبسيط مسارات البيانات الخاصة بك مع التدفق المنظم الموحد ومعالجة الدفعات على مصدر بيانات واحد.

بينما توصي Databricks باستخدام Delta Lake لتخزين بياناتك، قد يكون لديك مهام سير عمل قديمة تتطلب الترحيل إلى Delta Lake. للحصول على معلومات حول ترحيل مهام سير العمل الموجودة، راجع ما هو Delta Lake؟.

يقلل الفاصل الزمني الافتراضي لمشغل Structured Streaming الجديد من التكاليف

إذا لم تقم بتعيين فاصل تشغيل باستخدام Trigger.ProcessingTime في استعلام الدفق، يتم تعيين الفاصل الزمني إلى 500 مللي ثانية. في السابق، كان الفاصل الزمني الافتراضي 0 مللي ثانية. يجب أن يقلل هذا التغيير من عدد المشغلات الفارغة ويقلل من تكاليف التخزين السحابي مثل الإدراج.

استخدام دالة تحويل LDA مع تمرير بيانات الاعتماد (معاينة عامة)

يمكنك الآن استخدام دالة تحويل LDA على نظام مجموعة تم تكوينه لاستخدام تمرير بيانات الاعتماد للمصادقة.

لم تعد مجموعات المستخدمين الفرديين التي تم تكوينها باستخدام تمرير بيانات الاعتماد تتطلب أنظمة ملفات موثوق بها (معاينة عامة)

لم تعد بحاجة إلى تكوين أنظمة الملفات المحلية كأنظمة ملفات موثوق بها عند استخدام مجموعة قياسية أو مهمة تم تكوينها لتمرير بيانات الاعتماد مع مستخدم واحد. يزيل هذا التغيير قيود نظام الملفات غير الضرورية عند تشغيل المهام على نظام مجموعة مستخدم واحد.

ترقيات المكتبة

Apache Spark

يتضمن Databricks Runtime 8.0 Apache Spark 3.1.1.

في هذا القسم:

Core وSpark SQL

تمييز

تحسينات توافق ANSI SQL

  • دعم نوع بيانات char/varchar (SPARK-33480)
  • وضع ANSI: أخطاء وقت التشغيل بدلا من إرجاع القيمة الخالية (SPARK-33275)
  • وضع ANSI: قواعد بناء جملة صريحة جديدة (SPARK-33354)
  • إضافة أمر SET TIME ZONE SQL القياسي (SPARK-32272)
  • توحيد إنشاء بناء جملة جدول SQL (SPARK-31257)
  • توحيد طريقة العرض المؤقتة وسلوكيات العرض الدائمة (SPARK-33138)
  • قائمة أعمدة الدعم في INSERT عبارة (SPARK-32976)
  • دعم التعليقات المتداخلة بين قوسين ANSI (SPARK-28880)

تحسينات في الأداء

  • قراءة بيانات تبديل المضيف المحلي دون خدمة التبديل العشوائي (SPARK-32077)
  • إزالة عمليات الفرز المكررة قبل عقد إعادة تقسيمها (SPARK-32276)
  • دفع دالات التقييم جزئيا (SPARK-32302، SPARK-32352)
  • دفع عوامل التصفية لأسفل من خلال التوسيع (SPARK-33302)
  • دفع المزيد من التقييمات الممكنة من خلال الانضمام عبر تحويل CNF (SPARK-31705)
  • إزالة التبديل العشوائي عن طريق الحفاظ على تقسيم الإخراج للانضمام إلى تجزئة البث (SPARK-31869)
  • إزالة التبديل العشوائي عن طريق تحسين إعادة ترتيب مفاتيح الصلة (SPARK-32282)
  • إزالة التبديل العشوائي عن طريق تسوية تقسيم الإخراج وأداة الفرز (SPARK-33399)
  • تحسين الانضمام إلى تجزئة عشوائية (SPARK-32461)
    • الاحتفاظ بالتقسيم الجانبي لبناء تجزئة مقسمة عشوائيا (SPARK-32330)
    • الحفاظ على ترتيب دفق ربط التجزئة (BHJ وSHJ) (SPARK-32383)
    • دمج الجداول بالمستودعات للانضمام إلى دمج الفرز (SPARK-32286)
    • إضافة code-gen للانضمام إلى التجزئة العشوائية (SPARK-32421)
    • دعم الصلة الخارجية الكاملة في ربط التجزئة العشوائي (SPARK-32399)
  • دعم إزالة التعبير الفرعي في المشروع مع codegen للمرحلة الكاملة (SPARK-33092)
  • دعم إزالة التعبير الفرعي في التعبيرات الشرطية (SPARK-33337)
  • دعم إزالة التعبير الفرعي لتقييم التعبير المفسر (SPARK-33427)
  • دعم إزالة التعبير الفرعي للمسند المفسر (SPARK-33540)
  • قواعد المحسن الأخرى
    • القاعدة ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
    • القاعدة EliminateNullAwareAntiJoin (SPARK-32573)
    • القاعدة EliminateAggregateFilter (SPARK-32540)
    • القاعدة UnwrapCastInBinaryComparison (SPARK-32858)
    • القاعدة DisableUnnecessaryBucketedScan (SPARK-32859)
    • القاعدة CoalesceBucketsInJoin (SPARK-31350)
    • قم بتقليم الحقول المتداخلة غير الضرورية من الإنشاء بدون مشروع (SPARK-29721)
    • قم بتقليم الحقول المتداخلة غير الضرورية من التجميع والتوسيع (SPARK-27217)
    • اقتطاع الحقول المتداخلة غير الضرورية من إعادة تقسيم حسب التعبير والصلة (SPARK-31736)
    • اقتطاع الحقول المتداخلة غير الضرورية على الاختلافات التجميلية (SPARK-32163)
    • اقتطاع الحقول المتداخلة غير الضرورية من النافذة والفرز (SPARK-32059)
    • تحسين حجم CreateArray/CreateMap ليكون حجم توابعه (SPARK-33544)

تحسينات القابلية للتوسعة

  • إضافة SupportsPartitions واجهات برمجة التطبيقات على DataSourceV2 (SPARK-31694)
  • إضافة SupportsMetadataColumns API على DataSourceV2 (SPARK-31255)
  • جعل تسلسل ذاكرة التخزين المؤقت SQL قابلا للتوصيل (SPARK-32274)
  • purge تقديم الخيار في TableCatalog.dropTable لكتالوج v2 (SPARK-33364)

تحسينات الاتصال أو

  • تحسين عامل تصفية قسم Hive Metastore (SPARK-33537)
    • يحتوي الدعم على عوامل التصفية ويبدأ بها وينتهي بها (SPARK-33458)
    • عامل تصفية الدعم حسب نوع التاريخ (SPARK-33477)
    • عامل تصفية الدعم حسب not-equals (SPARK-33582)
  • الباركيه
    • السماح بنوع معقد في نوع مفتاح الخريطة في Parquet (SPARK-32639)
    • السماح بحفظ INT96 وتحميله في Parquet دون إعادة قاعدة (SPARK-33160)
  • ORC
    • دفع دالة تقييم العمود المتداخلة ل ORC (SPARK-25557)
    • ترقية Apache ORC إلى 1.5.12 (SPARK-33050)
  • Csv
    • الاستفادة من مصدر بيانات نص SQL أثناء استنتاج مخطط CSV (SPARK-32270)
  • Json
    • دفع عوامل تصفية الدعم في مصدر بيانات JSON (SPARK-30648)
  • جدبك
    • تنفيذ واجهات برمجة تطبيقات الكتالوج ل JDBC (SPARK-32375، SPARK-32579، SPARK-32402، SPARK-33130)
    • إنشاء واجهة برمجة تطبيقات مطور موفر مصادقة JDBC (SPARK-32001)
    • إضافة إمكانية تعطيل موفر اتصال JDBC (SPARK-32047)
  • افرو
    • دفع عوامل تصفية الدعم في مصدر بيانات Avro (SPARK-32346)

تحسينات الميزات

  • إيقاف تشغيل العقدة (SPARK-20624)
    • إطار العمل الأساسي (SPARK-20628)
    • ترحيل كتل RDD أثناء إيقاف التشغيل (SPARK-20732)
    • إيقاف التشغيل بأمان كجزء من التحجيم الديناميكي (SPARK-31198)
    • ترحيل كتل التبديل العشوائي أثناء إيقاف التشغيل (SPARK-20629)
    • إنهاء المنفذ فقط عند انتهاء المهام وترحيل الحظر (SPARK-31197)
    • دعم التخزين الاحتياطي أثناء إيقاف التشغيل (SPARK-33545)
  • دالات مضمنة جديدة
  • تحسين أمر EXPLAIN (SPARK-32337، SPARK-31325)
  • توفير خيار لتعطيل التلميحات التي يوفرها المستخدم (SPARK-31875)
  • دعم بناء جملة REPLACE COLUMNS لنمط Hive (SPARK-30613)
  • الدعم LIKE ANY وعوامل LIKE ALL التشغيل (SPARK-30724)
  • دعم غير محدود MATCHED وفي MERGE INTONOT MATCHED (SPARK-32030)
  • دعم Fالقيم الحرفية العائمة اللاحقة (SPARK-32207)
  • دعم RESET بناء الجملة لإعادة تعيين التكوين الفردي (SPARK-32406)
  • يسمح تعبير عامل تصفية الدعم باستخدام DISTINCT (SPARK-30276) بشكل متزامن
  • دعم تغيير الجدول إضافة/إسقاط أمر القسم ل DSv2 (SPARK-32512)
  • دعم NOT IN الاستعلامات الفرعية داخل الشروط المتداخلة OR (SPARK-25154)
  • أمر الدعم REFRESH FUNCTION (SPARK-31999)
  • إضافة sameSemantics وأساليب sementicHash في مجموعة البيانات (SPARK-30791)
  • دعم مكون من نوع فئة الحالة في UDF (SPARK-31826)
  • تعداد الدعم في أدوات الترميز (SPARK-32585)
  • دعم واجهات برمجة تطبيقات withField الحقول المتداخلة و dropFields (SPARK-31317، SPARK-32511)
  • دعم تعبئة القيم الخالية للأعمدة المفقودة في unionByName (SPARK-29358)
  • دعم DataFrameReader.table اتخاذ الخيارات المحددة (SPARK-32592، SPARK-32844)
  • دعم موقع HDFS في spark.sql.hive.metastore.jars (SPARK-32852)
  • خيار الدعم --archives في الأصل (SPARK-33530، SPARK-33615)
  • تحسين ExecutorPlugin واجهة برمجة التطبيقات لتضمين أساليب لأحداث بدء المهمة وانتهاءها (SPARK-33088)

تغييرات ملحوظة أخرى

  • توفير وظيفة البحث في موقع مستندات Spark (SPARK-33166)
  • ترقية سهم Apache إلى 2.0.0 (SPARK-33213)
  • تمكين Java 8 time API في خادم التوفير (SPARK-31910)
  • تمكين واجهة برمجة تطبيقات Java 8 time في UDFs (SPARK-32154)
  • التحقق من تجاوز السعة لمجموع إجمالي بالأرقام العشرية (SPARK-28067)
  • إصلاح تضارب التثبيت في وضع الكتابة فوق القسم الديناميكي (SPARK-27194، SPARK-29302)
  • تمت إزالة الإشارات إلى الرقيق، وقائمة سوداء وقائمة بيضاء (SPARK-32004، SPARK-32036، SPARK-32037)
  • إزالة التحقق من حجم نتيجة المهمة لمرحلة خريطة التبديل العشوائي (SPARK-32470)
  • التعميم ExecutorSource لعرض أنظمة نظام الملفات المقدمة من المستخدم (SPARK-33476)
  • إضافة StorageLevel.DISK_ONLY_3 (SPARK-32517)
  • كشف مقاييس ذاكرة المنفذ في واجهة مستخدم الويب للمنفذين (SPARK-23432)
  • كشف مقاييس ذاكرة المنفذ على مستوى المرحلة، في علامة التبويب المراحل (SPARK-26341)
  • إصلاح مجموعة بشكل صريح في spark.ui.port وضع نظام مجموعة YARN (SPARK-29465)
  • إضافة spark.submit.waitForCompletion تكوين للتحكم في الخروج من spark-submit في وضع المجموعة المستقلة (SPARK-31486)
  • إعداد yarn.Client لطباعة ارتباطات مباشرة إلى stdout/stderr لبرنامج التشغيل (SPARK-33185)
  • إصلاح تسرب الذاكرة عند فشل تخزين أجزاء البث (SPARK-32715)
  • جعل BlockManagerMaster مهلة رسالة كشف أخطاء تشغيل الجهاز قابلة للتكوين (SPARK-34278)
  • توحيد سلوكيات ذاكرة التخزين المؤقت وإكمالها (SPARK-33507)

تغييرات السلوك

راجع أدلة الترحيل لكل مكون: Spark Core وSpark SQL.

PySpark

Project Zen

  • Project Zen: تحسين قابلية استخدام Python (SPARK-32082)
  • دعم تلميحات نوع PySpark (SPARK-32681)
  • إعادة تصميم وثائق PySpark (SPARK-31851)
  • الترحيل إلى نمط وثائق NumPy (SPARK-32085)
  • خيار التثبيت لمستخدمي PyPI (SPARK-32017)
  • إلغاء إهمال استنتاج مخطط DataFrame من قائمة الإملاء (SPARK-32686)
  • تبسيط رسالة الاستثناء من Python UDFs (SPARK-33407)

تغييرات ملحوظة أخرى

  • إلغاء تكرار مكالمات PythonUDF المحددة (SPARK-33303)
  • دعم دوال الترتيب الأعلى في وظائف PySpark (SPARK-30681)
  • دعم واجهات برمجة التطبيقات لكتابة مصدر البيانات v2x (SPARK-29157)
  • الدعم percentile_approx في وظائف PySpark (SPARK-30569)
  • الدعم inputFiles في PySpark DataFrame (SPARK-31763)
  • الدعم withField في عمود PySpark (SPARK-32835)
  • الدعم dropFields في عمود PySpark (SPARK-32511)
  • الدعم nth_value في وظائف PySpark (SPARK-33020)
  • دعم acoshو asinhatanh (SPARK-33563)
  • أسلوب الدعم getCheckpointDir في PySpark SparkContext (SPARK-33017)
  • دعم تعبئة القيم الخالية للأعمدة المفقودة في unionByName (SPARK-32798)
  • التحديث cloudpickle إلى الإصدار 1.5.0 (SPARK-32094)
  • إضافة MapType دعم ل PySpark باستخدام السهم (SPARK-24554)
  • DataStreamReader.table و DataStreamWriter.toTable (SPARK-33836)

تغييرات السلوك

راجع أدلة الترحيل ل [PySpark]https://spark.apache.org/docs/3.1.1/pyspark-migration-guide.html).

دفق منظم

تحسينات في الأداء

  • قائمة الملفات التي جلبتها ذاكرة التخزين المؤقت خارج maxFilesPerTrigger كملف غير مقروء (SPARK-30866)
  • تبسيط المنطق على مصدر دفق الملفات وسجل بيانات تعريف المتلقي (SPARK-30462)
  • تجنب قراءة سجل بيانات التعريف المضغوط مرتين إذا تم إعادة تشغيل الاستعلام من الدفعة المضغوطة (SPARK-30900)

تحسينات الميزات

  • إضافة DataStreamReader.table API (SPARK-32885)
  • إضافة DataStreamWriter.toTable API (SPARK-32896)
  • صلة شبه دفق يسرى (SPARK-32862)
  • ربط دفق خارجي كامل (SPARK-32863)
  • توفير خيار جديد للاحتفاظ بملفات الإخراج (SPARK-27188)
  • إضافة دعم Spark Structured Streaming History Server (SPARK-31953)
  • تقديم التحقق من صحة مخطط الحالة بين إعادة تشغيل الاستعلام (SPARK-27237)

تغييرات ملحوظة أخرى

  • تقديم التحقق من صحة المخطط لمخزن حالة البث (SPARK-31894)
  • دعم استخدام برنامج ترميز ضغط مختلف في مخزن الحالة (SPARK-33263)
  • انتظار لا نهائي لموصل Kafka لأن بيانات التعريف لم يتم تحديثها أبدا (SPARK-28367)
  • ترقية Kafka إلى 2.6.0 (SPARK-32568)
  • دعم ترقيم الصفحات لصفحات واجهة مستخدم الدفق المنظم (SPARK-31642، SPARK-30119)
  • معلومات الحالة في واجهة مستخدم الدفق المنظم (SPARK-33223)
  • معلومات فجوة العلامة المائية في واجهة مستخدم الدفق المنظم (SPARK-33224)
  • كشف معلومات المقاييس المخصصة للحالة على واجهة مستخدم SS (SPARK-33287)
  • إضافة مقياس جديد فيما يتعلق بعدد الصفوف الأحدث من العلامة المائية (SPARK-24634)

تغييرات السلوك

راجع أدلة الترحيل ل Structured Streaming.

MLlib

النقاط الرئيسية

  • يمنع LinearSVC متجهات الإدخال (SPARK-30642)
  • حظر الدخول اللوجستي لحظر متجهات الإدخال (SPARK-30659)
  • يمنع LinearRegression متجهات الإدخال (SPARK-30660)
  • حظر AFT لمتجهات الإدخال (SPARK-31656)
  • إضافة دعم لقواعد الاقتران في التعلم الآلي (SPARK-19939)
  • إضافة ملخص تدريب ل LinearSVCModel (SPARK-20249)
  • إضافة ملخص إلى RandomForestClassificationModel (SPARK-23631)
  • إضافة ملخص التدريب إلى FMClassificationModel (SPARK-32140)
  • إضافة ملخص إلى MultilayerPerceptronClassificationModel (SPARK-32449)
  • إضافة FMClassifier إلى SparkR (SPARK-30820)
  • إضافة برنامج تضمين SparkR LinearRegression (SPARK-30818)
  • إضافة برنامج تضمين FMRegressor إلى SparkR (SPARK-30819)
  • إضافة برنامج تضمين SparkR ل vector_to_array (SPARK-33040)
  • حظر المثيلات بشكل تكيفي - LinearSVC (SPARK-32907)
  • جعل CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer يدعم Python backend estimator/المقيم (SPARK-33520)
  • تحسين أداء ML ALS توصيةForAll بواسطة GEMV (SPARK-33518)
  • إضافة UnivariateFeatureSelector (SPARK-34080)

التغييرات البارزة الأخرى

  • ملخص حساب GMM وتوزيعات التحديث في مهمة واحدة (SPARK-31032)
  • إزالة تبعية ChiSqSelector على mllib. ChiSqSelectorModel (SPARK-31077)
  • تبسيط إطار بيانات النتيجة للاختبارات في testChiSquare (SPARK-31301)
  • تحسين مفتاح MinHash KeyDistance (SPARK-31436)
  • تحسين KMeans استنادا إلى عدم المساواة في المثلثات (SPARK-31007)
  • إضافة دعم الوزن في ClusteringEvaluator (SPARK-31734)
  • إضافة getMetrics في المقيمين (SPARK-31768)
  • إضافة دعم وزن المثيل في LinearRegressionSummary (SPARK-31944)
  • إضافة عمود طية محدد من قبل المستخدم إلى CrossValidator (SPARK-31777)
  • معلمات التعلم الآلي تماثل القيمة الافتراضي في الميزة والضبط (SPARK-32310)
  • إصلاح التخزين المؤقت المزدوج في KMeans/BiKMeans (SPARK-32676)
  • تحسين تحويل aft (SPARK-33111)
  • تحسين تحويل FeatureHasher (SPARK-32974)
  • إضافة دالة array_to_vector لعمود إطار البيانات (SPARK-33556)
  • معلمات التعلم الآلي تماثل القيمة الافتراضية في التصنيف والانحدار والتكتمل وfpm (SPARK-32310)
  • Summary.totalIterations أكبر من maxIters (SPARK-31925)
  • تحسين توقع نماذج الشجرة (SPARK-32298)

تغييرات السلوك

راجع أدلة الترحيل ل MLlib.

سبارك

  • إضافة واجهة SparkR للوظائف ذات الترتيب الأعلى (SPARK-30682)
  • دعم تعبئة القيم الخالية للأعمدة المفقودة في unionByName (SPARK-32798)
  • دعم معColumn في وظائف SparkR (SPARK-32946)
  • دعم timestamp_seconds في وظائف SparkR (SPARK-32949)
  • دعم nth_value في وظائف SparkR (SPARK-33030)
  • تم رفع الحد الأدنى لإصدار السهم إلى 1.0.0 (SPARK-32452)
  • دعم array_to_vector في وظائف SparkR (SPARK-33622)
  • دعم acosh وasinh و atanh (SPARK-33563)
  • دعم from_avro to_avro (SPARK-33304)

تغييرات السلوك

راجع أدلة الترحيل ل SparkR (R على Spark).

الرسم البياني X

دليل البرمجة: دليل برمجة GraphX.

تحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 8.0.

بيئة النظام

  • نظام التشغيل: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (النسخة 1.8.0_275-b01)
  • Scala: 2.12.10
  • Python: 3.8.8 (تم التحديث من 3.8.6 في تحديث الصيانة في 26 مايو 2021)
  • R: R الإصدار 4.0.3 (2020-10-10)
  • Delta Lake 0.8.0

مكتبات Python المثبتة

مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار
dirs 1.4.4 asn1crypto 1.4.0 تثبيت خلفي 0.2.0
boto3 1.16.7 روبوت الدردشة 1.19.7 قصبات البروتليب 0.7.0
شهادة 2020.12.5 cffi 1.14.3 تجزئة 3.0.4
التشفير 3.1.1 دورة 0.10.0 Cython 0.29.21
ديكور 4.4.2 استياء 0.3.1 docutils 0.15.2
نقاط الإدخال 0.3 قفل الملف 3.0.12 idna 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
جدي 0.17.2 مسار jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
الكوالا 1.5.0 matplotlib 3.2.2 numpy 1.19.2
pandas 1.1.3 parso 0.7.0 باتسي 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pip 20.2.4
مجموعة أدوات المطالبة 3.0.8 psycopg2 2.8.5 عملية ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.1 pyzmq 19.0.2
الطلبات 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
شفرة 1.5.2 بحر محمول 0.10.0 أدوات الإعداد 50.3.1
ستة 1.15.0 نماذج الإحصائيات 0.12.0 threadpoolctl 2.1.0
اعصار 6.0.4 سمات السمات 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 عجله 0.35.1

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN في 2020-11-02.

مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار
askpass 1.1 assertthat 0.2.1 backports 1.2.1
الأساس 4.0.3 base64enc 0.1-3 BH 1.72.0-3
بت 4.0.4 bit64 4.0.5 كائن ثنائي كبير الحجم 1.2.1
boot 1.3-25 المشروب 1.0-6 بريو 1.1.0
broom 0.7.2 callr 3.5.1 علامة إقحام 6.0-86
cellranger 1.1.0 كرون 2.3-56 فئة 7.3-17
cli 2.2.0 clipr 0.7.1 نظام مجموعة 2.1.0
codetools 0.2-18 colorspace 2.0-0 العلامة الشائعة 1.7
compiler 4.0.3 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 بيانات الاعتماد 1.3.0
خط متقاطع 1.1.0.1 curl 4.3 data.table 1.13.4
مجموعات البيانات 4.0.3 DBI 1.1.0 dbplyr 2.0.0
تنازلي 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
علامة الحذف 0.3.1 التقييم 0.14 fansi 0.4.1
مسافة بعيدة 2.0.3 خريطة سريعة 1.0.1 forcats 0.5.0
Foreach 1.5.1 foreign 0.8-79 صياغه 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
غيرت 1.0.2 ggplot2 3.3.2 غ 1.2.0
صور gitcred 0.1.1 glmnet 4.0-2 Globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.0.3
grDevices 4.0.3 grid 4.0.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1.30
labeling 0.4.2 لاحقا 1.1.0.1 lattice 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 دورة الحياة 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-53 المصفوفة 1.2-18
المذكرة 1.1.0 الأساليب 4.0.3 mgcv 1.8-33
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.3
بالتوازي 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 الثناء 1.0.0 prettyunits 1.1.1
بروك 1.16.2 processx 3.4.5 prodlim 2019.11.13
التقدم 1.2.2 وعود 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 طيور الراب 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl ⁦⁩⁦⁩1.3.1 recipes 0.1.15
rematch 1.0.1 إعادة المباراة2 2.1.2 Remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 ريكس 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0.13
تحويلات 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 معلومات الجلسة 1.1.1 الشكل 1.4.5
لامعه 1.5.0 قوالب المصدر 0.1.7 sparklyr 1.5.2
سبارك 3.1.0 spatial 7.3-11 splines 4.0.3
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.3
stats4 4.0.3 stringi 1.5.3 stringr 1.4.0
survival 3.2-7 sys 3.4 tcltk 4.0.3
TeachingDemos 2.10 اختبار الذي 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 الأدوات 4.0.3
استخدام هذا 2.0.0 utf8 1.1.4 utils 4.0.3
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
والدو 0.2.3 whisker 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)

معرف مجموعة معرف البيانات الاصطناعية ‏‏الإصدار
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws دعم aws-java-sdk 1.11.655
com.amazonaws مكتبات aws-java-sdk-swf 1.11.22
com.amazonaws مساحات عمل aws-java-sdk 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics تيار 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo مظلل 4.0.2
com.esotericsoftware سجل الحد الأدنى 1.3.0
com.fasterxml زميل 1.3.4
com.fasterxml.jackson.core التعليقات التوضيحية ل جاكسون 2.10.0
com.fasterxml.jackson.core جاكسون النواة 2.10.0
com.fasterxml.jackson.core جاكسون-databind 2.10.0
com.fasterxml.jackson.dataformat جاكسون-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype جاكسون-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.كافيين الكافيين 2.3.4
com.github.fommil أداة تحميل jniloader 1.1
com.github.fommil.netlib الذاكرة الأساسية 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava الجوافه 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox cp عظمي 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning ضغط lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter برد-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity محللات أحادية التكافؤ 2.9.0
com.zaxxer HikariCP 3.1.0
شائعات-beanutils شائعات-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
المجموعات المشتركة المجموعات المشتركة 3.2.2
تكوين المشتركات تكوين المشتركات 1.6
commons-dbcp commons-dbcp 1.4
أداة تجزئة الشائعات أداة تجزئة الشائعات 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
تسجيل المشتركات تسجيل المشتركات 1.1.3
commons-net commons-net 3.1
تجمع مشترك تجمع مشترك 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift أداة ضغط الهواء 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics المقاييس-الفحوصات الصحية 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus واجهة سطر الأوامر البسيطة 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx جامع 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation التنشيط 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction واجهة برمجة تطبيقات المعاملات 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
التفاف دائري التفاف دائري 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr وقت تشغيل antlr 3.5.2
org.antlr وقت تشغيل antlr4 4.8-1
org.antlr سلسلة قوالب 3.2.1
org.apache.ant النمل 1.9.2
org.apache.ant نملة-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.سهم تنسيق السهم 2.0.0
org.apache.سهم ذاكرة أساسية للسهم 2.0.0
org.apache.سهم سهم-ذاكرة-netty 2.0.0
org.apache.سهم خط متجه للسهم 2.0.0
org.apache.avro افرو 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons ضغط الشائعات 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator عميل أمين 2.7.1
org.apache.curator إطار عمل أمين 2.7.1
org.apache.curator وصفات أمين 2.7.1
org.apache.derby ديربي 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop تعليقات توضيحية ل hadoop 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop عميل hadoop 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive عميل hive-llap 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 حاضنة
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy اللبلاب 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet عمود باركيه 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet ترميز باركيه 1.10.1-databricks6
org.apache.parquet تنسيق باركيه 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet باركيه جاكسون 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity السرعة 1.5
org.apache.xbean xbean-asm7 مظلل 4.15
org.apache.yetus التعليقات التوضيحية للجمهور 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson جاكسون جاكرس 1.9.13
org.codehaus.jackson جاكسون-mapper-asl 1.9.13
org.codehaus.jackson جاكسون-xc 1.9.13
org.codehaus.janino محول برمجي مشترك 3.0.16
org.codehaus.janino جانينو 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty عميل jetty 9.4.34.v20201102
org.eclipse.jetty متابعة jetty 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty jetty-plus 9.4.34.v20201102
org.eclipse.jetty وكيل jetty 9.4.34.v20201102
org.eclipse.jetty jetty-security 9.4.34.v20201102
org.eclipse.jetty خادم jetty 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 محدد موقع hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external إعادة حزم الأوبالين 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers جيرسي حاوية-servlet 2.30
org.glassfish.jersey.containers جيرسي-حاوية-servlet-core 2.30
org.glassfish.jersey.core جيرسي-العميل 2.30
org.glassfish.jersey.core جيرسي المشتركة 2.30
org.glassfish.jersey.core خادم جيرسي 2.30
org.glassfish.jersey.inject جيرسي-hk2 2.30
org.glassfish.jersey.media جيرسي-وسائل الإعلام-جاكسب 2.30
org.hibernate.validator مدقق الإسبات 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging تسجيل jboss 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis داء objenesis 2.5.1
org.postgresql الانترنت 42.1.4
org.roaringbitmap هديرBitmap 0.9.0
org.roaringbitmap الحشوات 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt واجهة الاختبار 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark غير مستخدم 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten ثلاثتين إضافية 1.5.0
org.tukaani xz 1.5
مستوى org.typelevel algebra_2.12 2.0.0-M2
مستوى org.typelevel cats-kernel_2.12 2.0.0-M4
مستوى org.typelevel machinist_2.12 0.6.8
مستوى org.typelevel ماكرو-compat_2.12 1.1.1
مستوى org.typelevel spire-macros_2.12 0.17.0-M1
مستوى org.typelevel spire-platform_2.12 0.17.0-M1
مستوى org.typelevel spire-util_2.12 0.17.0-M1
مستوى org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml ثعبان الثعبان 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52