Databricks Runtime 7.0 (غير مدعوم)

  • مقالة

أصدرت Databricks هذه الصورة في يونيو 2020.

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 7.0، مدعومة من Apache Spark 3.0.

الميزات الجديدة

يتضمن Databricks Runtime 7.0 الميزات الجديدة التالية:

  • Scala 2.12

    يعمل Databricks Runtime 7.0 على ترقية Scala من 2.11.12 إلى 2.12.10. توجد قائمة التغيير بين Scala 2.12 و2.11 في ملاحظات إصدار Scala 2.12.0.

  • تم تحسين أداة التحميل التلقائي (المعاينة العامة)، التي تم إصدارها في Databricks Runtime 6.4، في Databricks Runtime 7.0

    يمنحك التحميل التلقائي طريقة أكثر كفاءة لمعالجة ملفات البيانات الجديدة بشكل متزايد عند وصولها إلى مخزن كائن ثنائي كبير الحجم على السحابة أثناء ETL. هذا تحسين على الدفق المنظم المستند إلى الملفات، والذي يحدد الملفات الجديدة من خلال سرد الدليل السحابي بشكل متكرر وتتبع الملفات التي تمت رؤيتها، ويمكن أن يكون غير فعال للغاية مع نمو الدليل. يعد التحميل التلقائي أيضا أكثر ملاءمة وفعالية من الدفق المنظم المستند إلى إعلامات الملفات، والذي يتطلب تكوين خدمات إعلام الملفات يدويا على السحابة ولا يتيح لك إعادة تعبئة الملفات الموجودة. للحصول على التفاصيل، راجع ما المقصود بالتحميل التلقائي؟.

    في Databricks Runtime 7.0، لم تعد بحاجة إلى طلب صورة Databricks Runtime مخصصة لاستخدام "التحميل التلقائي".

  • COPY INTO (معاينة عامة)، والذي يتيح لك تحميل البيانات في Delta Lake مع عمليات إعادة المحاولة المتكررة، تم تحسينه في Databricks Runtime 7.0

    تم إصداره كمعاينة عامة في Databricks Runtime 6.4، COPY INTO يتيح لك أمر SQL تحميل البيانات في Delta Lake مع إعادة المحاولة المتكررة. لتحميل البيانات في Delta Lake اليوم، يجب عليك استخدام واجهات برمجة تطبيقات Apache Spark DataFrame. إذا كانت هناك حالات فشل أثناء الأحمال، يجب عليك التعامل معها بفعالية. يوفر الأمر الجديد COPY INTO واجهة تعريفية مألوفة لتحميل البيانات في SQL. يتعقب الأمر الملفات التي تم تحميلها مسبقا ويمكنك إعادة تشغيلها بأمان في حالة الفشل. للحصول على التفاصيل، راجع COPY INTO.

التحسينات

  • يدعم موصل Azure Synapse (المعروف سابقا بمستودع بيانات SQL) العبارة COPY .

    الفائدة الرئيسية من COPY هو أن المستخدمين الأقل امتيازا يمكنهم كتابة البيانات إلى Azure Synapse دون الحاجة إلى أذونات صارمة CONTROL على Azure Synapse.

  • %matplotlib inline لم يعد الأمر السحري مطلوبا لعرض كائنات Matplolib المضمنة في خلايا دفتر الملاحظات. يتم عرضها دائما مضمنة بشكل افتراضي.

  • يتم الآن عرض أرقام Matplolib مع transparent=False، بحيث لا يتم فقدان الخلفيات المحددة من قبل المستخدم. يمكن تجاوز هذا السلوك عن طريق تعيين تكوين spark.databricks.workspace.matplotlib.transparent trueSpark .

  • عند تشغيل مهام إنتاج Structured Streaming على أنظمة مجموعات وضع التزامن العالي، قد تفشل أحيانا عمليات إعادة تشغيل الوظيفة، لأنه لم يتم إنهاء المهمة قيد التشغيل مسبقا بشكل صحيح. قدم Databricks Runtime 6.3 القدرة على تعيين تكوين spark.sql.streaming.stopActiveRunOnRestart true SQL على نظام المجموعة الخاص بك للتأكد من توقف التشغيل السابق. يتم تعيين هذا التكوين بشكل افتراضي في Databricks Runtime 7.0.

تغييرات المكتبة الرئيسية

حزم Python

تمت ترقية حزم Python الرئيسية:

  • boto3 1.9.162 -> 1.12.0
  • matplotlib 3.0.3 -> 3.1.3
  • numpy 1.16.2 -> 1.18.1
  • بانداز 0.24.2 -> 1.0.1
  • pip 19.0.3 -> 20.0.2
  • pyarrow 0.13.0 -> 0.15.1
  • psycopg2 2.7.6 -> 2.8.4
  • scikit-learn 0.20.3 -> 0.22.1
  • scipy 1.2.1 -> 1.4.1
  • seaborn 0.9.0 -> 0.10.0

تمت إزالة حزم Python:

  • boto (استخدام boto3)
  • pycurl

إشعار

تستخدم بيئة Python في Databricks Runtime 7.0 Python 3.7، والتي تختلف عن نظام Ubuntu المثبت Python: /usr/bin/python وترتبط /usr/bin/python2 ب Python 2.7 وترتبط /usr/bin/python3 ب Python 3.6.

حزم R

تمت إضافة حزم R:

  • broom
  • highr
  • isoband
  • knitr
  • markdown
  • modelr
  • reprex
  • rmarkdown
  • rvest
  • selectr
  • tidyverse
  • tinytex
  • xfun

تمت إزالة حزم R:

  • abind
  • bitops
  • car
  • carData
  • doMC
  • غيغابايت
  • H2o
  • أكثر طفاية
  • lme4
  • مشروع الخريطة
  • خرائط
  • أصنام الخرائط
  • نماذج المصفوفة
  • مينقا
  • mvtnorm
  • nloptr
  • openxlsx
  • pbkrtest
  • pkgKitten
  • quantreg
  • R.methodsS3
  • R.oo
  • R.utils
  • RcppEigen
  • RCurl
  • ريو
  • sp
  • SparseM
  • statmod
  • zip

مكتبات Java وSc scala

  • تم ترقية إصدار Apache Hive المستخدم لمعالجة الوظائف المعرفة من قبل مستخدم Apache Hive وHive SerDes إلى 2.3.
  • في السابق، تم حزم Azure Storage وKey Vault jars كجزء من Databricks Runtime، مما يمنعك من استخدام إصدارات مختلفة من تلك المكتبات المرفقة بالمجموعة. الفئات ضمن com.microsoft.azure.storage ولم com.microsoft.azure.keyvault تعد على مسار الفئة في Databricks Runtime. إذا كنت تعتمد على أي من مسارات الفئة هذه، يجب عليك الآن إرفاق Azure Storage SDK أو Azure Key Vault SDK إلى مجموعاتك.

تغييرات السلوك

يسرد هذا القسم تغييرات السلوك من Databricks Runtime 6.6 إلى Databricks Runtime 7.0. يجب أن تكون على علم بهذه أثناء ترحيل أحمال العمل من إصدارات وقت تشغيل Databricks الأقل إلى Databricks Runtime 7.0 وما فوق.

تغييرات سلوك Spark

نظرا لأن Databricks Runtime 7.0 هو أول وقت تشغيل Databricks مبني على Spark 3.0، فهناك العديد من التغييرات التي يجب أن تكون على علم بها عند ترحيل أحمال العمل من Databricks Runtime 5.5 LTS أو 6.x، والتي تم إنشاؤها على Spark 2.4. يتم سرد هذه التغييرات في قسم "تغييرات السلوك" في كل منطقة وظيفية في قسم Apache Spark من مقالة ملاحظات الإصدار هذه:

تغييرات السلوك الأخرى

  • تتضمن الترقية إلى Scala 2.12 التغييرات التالية:

    • تتم معالجة تسلسل خلية الحزمة بشكل مختلف. يوضح المثال التالي تغيير السلوك وكيفية التعامل معه.

      تشغيل foo.bar.MyObjectInPackageCell.run() كما هو محدد في خلية الحزمة التالية سيؤدي إلى ظهور الخطأ java.lang.NoClassDefFoundError: Could not initialize class foo.bar.MyObjectInPackageCell$

      package foo.bar

case class MyIntStruct(int: Int)

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._
import org.apache.spark.sql.Column

object MyObjectInPackageCell extends Serializable {

  // Because SparkSession cannot be created in Spark executors,
  // the following line triggers the error
  // Could not initialize class foo.bar.MyObjectInPackageCell$
  val spark = SparkSession.builder.getOrCreate()

  def foo: Int => Option[MyIntStruct] = (x: Int) => Some(MyIntStruct(100))

  val theUDF = udf(foo)

  val df = {
    val myUDFInstance = theUDF(col("id"))
    spark.range(0, 1, 1, 1).withColumn("u", myUDFInstance)
  }

  def run(): Unit = {
    df.collect().foreach(println)
  }
}

      للتغلب على هذا الخطأ، يمكنك الالتفاف MyObjectInPackageCell داخل فئة قابلة للتسلسل.

    • تتطلب بعض الحالات التي تستخدم DataStreamWriter.foreachBatch تحديث التعليمات البرمجية المصدر. ويرجع هذا التغيير إلى حقيقة أن Scala 2.12 لديه تحويل تلقائي من تعبيرات lambda إلى أنواع SAM ويمكن أن يسبب الغموض.

      على سبيل المثال، لا يمكن تحويل التعليمات البرمجية Scala التالية برمجيا:

      streams
  .writeStream
  .foreachBatch { (df, id) => myFunc(df, id) }

      لإصلاح خطأ التحويل البرمجي، قم بالتغيير foreachBatch { (df, id) => myFunc(df, id) } إلى foreachBatch(myFunc _) واجهة برمجة تطبيقات Java أو استخدامها بشكل صريح: foreachBatch(new VoidFunction2 ...).

  • نظرا لأن إصدار Apache Hive المستخدم لمعالجة الوظائف المعرفة من قبل مستخدم Apache Hive وHive SerDes تتم ترقيته إلى 2.3، يلزم إجراء تغييرين:

    • يتم استبدال واجهة Apache Hive SerDe بفئة AbstractSerDeمجردة . بالنسبة إلى أي تطبيق Apache Hive SerDe مخصص، يلزم الترحيل إلى AbstractSerDe .
    • الإعداد spark.sql.hive.metastore.jars إلى builtin يعني أنه سيتم استخدام عميل Hive 2.3 metastore للوصول إلى metastores لوقت تشغيل Databricks 7.0. إذا كنت بحاجة إلى الوصول إلى metastores الخارجية المستندة إلى Hive 1.2، فقم بتعيين spark.sql.hive.metastore.jars إلى المجلد الذي يحتوي على جرات Hive 1.2.

الإهمال والإزالة

  • تم إهمال فهرس تخطي البيانات في Databricks Runtime 4.3 وإزالته في Databricks Runtime 7.0. نوصي باستخدام جداول Delta بدلا من ذلك، والتي توفر قدرات محسنة لتخطي البيانات.
  • في Databricks Runtime 7.0، يستخدم الإصدار الأساسي من Apache Spark Scala 2.12. نظرا لأن المكتبات التي تم تجميعها مقابل Scala 2.11 يمكنها تعطيل مجموعات Databricks Runtime 7.0 بطرق غير متوقعة، فإن المجموعات التي تعمل على Databricks Runtime 7.0 وما فوق لا تثبت المكتبات التي تم تكوينها ليتم تثبيتها على جميع المجموعات. تعرض علامة التبويب مكتبات نظام المجموعة حالة Skipped ورسالة إهمال توضح التغييرات في معالجة المكتبة. ومع ذلك، إذا كان لديك نظام مجموعة تم إنشاؤه على إصدار سابق من Databricks Runtime قبل إصدار نظام Azure Databricks الأساسي 3.20 إلى مساحة العمل الخاصة بك، وقمت الآن بتحرير نظام المجموعة هذا لاستخدام Databricks Runtime 7.0، فسيتم تثبيت أي مكتبات تم تكوينها ليتم تثبيتها على جميع المجموعات على تلك المجموعة. في هذه الحالة، يمكن أن تتسبب أي JARs غير متوافقة في المكتبات المثبتة في تعطيل نظام المجموعة. الحل البديل هو إما استنساخ نظام المجموعة أو لإنشاء نظام مجموعة جديد.

Apache Spark

يتضمن Databricks Runtime 7.0 Apache Spark 3.0.

في هذا القسم:

Core، Spark SQL، Structured Streaming

النقاط الرئيسية

  • (مشروع هيدروجين) المجدول المدرك للمسرعات (SPARK-24615)
  • تنفيذ الاستعلام التكيفي (SPARK-31412)
  • تشذيب التقسيم الديناميكي (SPARK-11150)
  • واجهة برمجة تطبيقات Pandas UDF المعاد تصميمها مع تلميحات النوع (SPARK-28264)
  • واجهة مستخدم دفق منظم (SPARK-29543)
  • واجهة برمجة تطبيقات المكون الإضافي للكتالوج (SPARK-31121)
  • توافق أفضل ل ANSI SQL

تحسينات في الأداء

  • تنفيذ الاستعلام التكيفي (SPARK-31412)
    • إطار العمل الأساسي (SPARK-23128)
    • بعد تعديل رقم القسم العشوائي (SPARK-28177)
    • إعادة استخدام الاستعلام الفرعي الديناميكي (SPARK-28753)
    • قارئ التبديل العشوائي المحلي (SPARK-28560)
    • تحسين الانضمام إلى انحراف (SPARK-29544)
    • تحسين قراءة كتل التبديل المتجاورة (SPARK-9853)
  • تشذيب التقسيم الديناميكي (SPARK-11150)
  • قواعد المحسن الأخرى
    • Rule ReuseSubquery (SPARK-27279)
    • Rule PushDownLeftSemiAntiJoin (SPARK-19712)
    • القاعدة PushLeftSemiLeftAntiThroughJoin (SPARK-19712)
    • قاعدة ReplaceNullWithFalse (SPARK-25860)
    • قاعدة إزالة الفرز دون حد في الاستعلام الفرعي للانضمام/التجميع (SPARK-29343)
    • Rule PruneHiveTablePartitions (SPARK-15616)
    • اقتطاع الحقول المتداخلة غير الضرورية من Generate (SPARK-27707)
    • Rule RewriteNonCorrelatedExists (SPARK-29800)
  • تقليل تكاليف مزامنة ذاكرة التخزين المؤقت للجدول (SPARK-26917)، (SPARK-26617)، (SPARK-26548)
  • تقسيم التعليمات البرمجية للتجميع إلى وظائف صغيرة (SPARK-21870)
  • إضافة دفعات في الأمر INSERT وALTER TABLE ADD PARTITION (SPARK-29938)

تحسينات القابلية للتوسعة

  • واجهة برمجة تطبيقات المكون الإضافي للكتالوج (SPARK-31121)
  • إعادة بناء التعليمات البرمجية لمصدر البيانات V2 API (SPARK-25390)
  • دعم Hive 3.0 و3.1 metastore (SPARK-27970)،(SPARK-24360)
  • توسيع واجهة المكون الإضافي Spark إلى برنامج التشغيل (SPARK-29396)
  • توسيع نظام مقاييس Spark باستخدام مقاييس معرفة من قبل المستخدم باستخدام المكونات الإضافية للمنفذ (SPARK-28091)
  • واجهات برمجة تطبيقات المطور لدعم معالجة الأعمدة الموسع (SPARK-27396)
  • ترحيل المصدر المضمن باستخدام DSV2: parquet، ORC، CSV، JSON، Kafka، Text، Avro (SPARK-27589)
  • السماح ب FunctionInjection في SparkExtensions (SPARK-25560)
  • يسمح بتسجيل Aggregator ك UDAF (SPARK-27296)

تحسينات الاتصال أو

  • تقليم العمود من خلال تعبيرات غير محددة (SPARK-29768)
  • الدعم spark.sql.statistics.fallBackToHdfs في جداول مصدر البيانات (SPARK-25474)
  • السماح بتقليم القسم باستخدام عوامل تصفية الاستعلام الفرعي على مصدر الملف (SPARK-26893)
  • تجنب دفع الاستعلامات الفرعية في عوامل تصفية مصدر البيانات (SPARK-25482)
  • تحميل البيانات المتكررة من مصادر الملفات (SPARK-27990)
  • Parquet/ORC
    • دفع دالات التقييم المفككة (SPARK-27699)
    • تعميم تشذيب الأعمدة المتداخلة (SPARK-25603) وتشغيله افتراضيا (SPARK-29805)
    • باركيه فقط
      • ضغط دالة التقييم Parquet للحول المتداخلة (SPARK-17636)
    • ORC فقط
  • Csv
    • الضغط على عوامل تصفية الدعم في مصدر بيانات CSV (SPARK-30323)
  • Hive SerDe
    • لا يوجد استنتاج مخطط عند قراءة جدول Hive serde مع مصدر بيانات أصلي (SPARK-27119)
    • يجب أن تستخدم أوامر Hive CTAS مصدر البيانات إذا كان قابلا للتحويل (SPARK-25271)
    • استخدام مصدر البيانات الأصلي لتحسين إدراج جدول Hive المقسم (SPARK-28573)
  • Apache Kafka
    • إضافة دعم لرؤوس Kafka (SPARK-23539)
    • إضافة دعم الرمز المميز لتفويض Kafka (SPARK-25501)
    • تقديم خيار جديد لمصدر Kafka: إزاحة بواسطة الطابع الزمني (البدء/الانتهاء) (SPARK-26848)
    • minPartitions دعم الخيار في مصدر دفعة Kafka ومصدر الدفق v1 (SPARK-30656)
    • ترقية Kafka إلى 2.4.1 (SPARK-31126)
  • مصادر بيانات مضمنة جديدة
    • مصادر بيانات ملفات ثنائية مضمنة جديدة (SPARK-25348)
    • مصادر بيانات دفعية جديدة بدون عمليات (SPARK-26550) ومتلقي تدفق بدون عمليات (SPARK-26649)

تحسينات الميزات

تحسينات توافق SQL

  • التبديل إلى التقويم الميلادي Proleptic (SPARK-26651)
  • إنشاء تعريف نمط التاريخ والوقت الخاص ب Spark (SPARK-31408)
  • تقديم نهج تعيين مخزن ANSI لإدراج الجدول (SPARK-28495)
  • اتبع قاعدة تعيين مخزن ANSI في إدراج الجدول بشكل افتراضي (SPARK-28885)
  • إضافة SQLConf spark.sql.ansi.enabled (SPARK-28989)
  • دعم عبارة عامل تصفية ANSI SQL للتعبير التجميعي (SPARK-27986)
  • دعم الدالة ANSI SQL OVERLAY (SPARK-28077)
  • دعم التعليقات المتداخلة بين قوسين ANSI (SPARK-28880)
  • طرح استثناء عند تجاوز السعة للأعداد الصحيحة (SPARK-26218)
  • فحص تجاوز السعة للعمليات الحسابية للفاصل الزمني (SPARK-30341)
  • طرح استثناء عند تحويل سلسلة غير صالحة إلى نوع رقمي (SPARK-30292)
  • جعل سلوك تجاوز الفاصل الزمني متناسقا مع العمليات الأخرى (SPARK-30919)
  • إضافة أسماء مستعارة لنوع ANSI لحرف وعشري (SPARK-29941)
  • يحدد محلل SQL الكلمات الأساسية المحجوزة المتوافقة مع ANSI (SPARK-26215)
  • منع الكلمات الأساسية المحجوزة كمعرفات عند تشغيل وضع ANSI (SPARK-26976)
  • دعم بناء جملة ANSI SQL LIKE ... ESCAPE (SPARK-28083)
  • دعم بناء جملة ANSI SQL Boolean-Predicate (SPARK-27924)
  • دعم أفضل لمعالجة الاستعلام الفرعي المترابط (SPARK-18455)

تحسينات المراقبة وتتبع الأخطاء

  • واجهة مستخدم دفق منظم جديدة (SPARK-29543)
  • SHS: السماح بتجاوز سجلات الأحداث لتشغيل تطبيقات الدفق (SPARK-28594)
  • إضافة واجهة برمجة تطبيقات تسمح للمستخدم بتحديد ومراقبة المقاييس العشوائية على الاستعلامات الدفعية والمتدفقة (SPARK-29345)
  • تقرير عن حالة النظام لتعقب وقت التخطيط لكل استعلام (SPARK-26129)
  • وضع مقاييس التبديل العشوائي الأساسية في عامل تشغيل تبادل SQL (SPARK-26139)
  • يتم عرض عبارة SQL في علامة تبويب SQL بدلا من موقع الاستدعاء (SPARK-27045)
  • إضافة تعريف الأدوات إلى SparkUI (SPARK-29449)
  • تحسين الأداء المتزامن لخادم المحفوظات (SPARK-29043)
  • EXPLAIN FORMATTED الأمر (SPARK-27395)
  • دعم تفريغ الخطط المقتطعة والرمز الذي تم إنشاؤه إلى ملف (SPARK-26023)
  • تحسين إطار عمل الوصف لوصف إخراج استعلام (SPARK-26982)
  • إضافة SHOW VIEWS أمر (SPARK-31113)
  • تحسين رسائل الخطأ من محلل SQL (SPARK-27901)
  • دعم مراقبة Prometheus أصلا (SPARK-29429)

تحسينات PySpark

  • Pandas UDFs المعاد تصميمها مع تلميحات النوع (SPARK-28264)
  • خط أنابيب Pandas UDF (SPARK-26412)
  • دعم StructType كوسيطات وأنواع إرجاع ل Scalar Pandas UDF (SPARK-27240 )
  • دعم Dataframe Cogroup عبر Pandas UDFs (SPARK-27463)
  • إضافة mapInPandas للسماح بمكرر DataFrames (SPARK-28198)
  • يجب أن تأخذ بعض وظائف SQL أسماء الأعمدة أيضا (SPARK-26979)
  • جعل استثناءات PySpark SQL أكثر Pythonic (SPARK-31849)

تحسينات تغطية الوثائق والاختبار

  • إنشاء مرجع SQL (SPARK-28588)
  • إنشاء دليل مستخدم ل WebUI (SPARK-28372)
  • إنشاء صفحة لوثائق تكوين SQL (SPARK-30510)
  • إضافة معلومات الإصدار لتكوين Spark (SPARK-30839)
  • اختبارات تراجع المنفذ من PostgreSQL (SPARK-27763)
  • تغطية اختبار Thrift-server (SPARK-28608)
  • اختبار تغطية UDFs (python UDF، Pandas UDF، scala UDF) (SPARK-27921)

تغييرات ملحوظة أخرى

  • ترقية تنفيذ Apache Hive المضمنة من 1.2.1 إلى 2.3.6 (SPARK-23710 وSPARK-28723 وSPARK-31381)
  • استخدام تبعية Apache Hive 2.3 بشكل افتراضي (SPARK-30034)
  • GA Scala 2.12 وإزالة 2.11 (SPARK-26132)
  • تحسين المنطق لتوقيت المنفذين في التخصيص الديناميكي (SPARK-20286)
  • كتل RDD المستمرة على القرص التي يتم تقديمها بواسطة خدمة التبديل العشوائي ويتم تجاهلها للتخصيص الديناميكي (SPARK-27677)
  • الحصول على منفذين جدد لتجنب التوقف بسبب قائمة الحظر (SPARK-22148)
  • السماح بمشاركة تخصيصات تجمع ذاكرة Netty (SPARK-24920)
  • إصلاح حالة التوقف التام بين TaskMemoryManager و UnsafeExternalSorter$SpillableIterator (SPARK-27338)
  • تقديم AdmissionControl واجهات برمجة التطبيقات ل StructuredStreaming (SPARK-30669)
  • تحسين أداء الصفحة الرئيسية لمحفوظات Spark (SPARK-25973)
  • تسريع التجميع المتري وخفضه في وحدة استماع SQL (SPARK-29562)
  • تجنب الشبكة عند إحضار كتل التبديل العشوائي من نفس المضيف (SPARK-27651)
  • تحسين قائمة الملفات ل DistributedFileSystem (SPARK-27801)

تغييرات السلوك ل Spark core وSpark SQL وSpark Structured Streaming

تسرد إرشادات الترحيل التالية تغييرات السلوك بين Apache Spark 2.4 و3.0. قد تتطلب هذه التغييرات تحديثات للوظائف التي كنت تقوم بتشغيلها على إصدارات وقت تشغيل Databricks الأقل:

لا تتم تغطية تغييرات السلوك التالية في أدلة الترحيل هذه:

  • في Spark 3.0، تمت إزالة الفئة org.apache.spark.sql.streaming.ProcessingTime المهملة. استخدم org.apache.spark.sql.streaming.Trigger.ProcessingTime بدلاً من ذلك. وبالمثل ، org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger تمت إزالتها لصالح Trigger.Continuous، وتم org.apache.spark.sql.execution.streaming.OneTimeTrigger إخفاؤها لصالح Trigger.Once. (SPARK-28199)
  • في Databricks Runtime 7.0، عند قراءة جدول Hive SerDe، بشكل افتراضي، لا تسمح Spark بقراءة الملفات ضمن دليل فرعي ليس قسم جدول. لتمكينه، قم بتعيين التكوين spark.databricks.io.hive.scanNonpartitionedDirectory.enabled ك true. لا يؤثر هذا على قراء الجدول الأصليين وقارئات الملفات في Spark.

أدلة البرمجة:

MLlib

النقاط الرئيسية

تغييرات السلوك ل MLlib

يسرد دليل الترحيل التالي تغييرات السلوك بين Apache Spark 2.4 و3.0. قد تتطلب هذه التغييرات تحديثات للوظائف التي كنت تقوم بتشغيلها على إصدارات وقت تشغيل Databricks الأقل:

لا تتم تغطية تغييرات السلوك التالية في دليل الترحيل:

  • في Spark 3.0، سيرجع LogisticRegressionSummaryالانحدار اللوجستي متعدد الفئات في Pyspark الآن (بشكل صحيح) ، وليس الفئة BinaryLogisticRegressionSummaryالفرعية . لن تعمل الأساليب الإضافية التي كشفها BinaryLogisticRegressionSummary في هذه الحالة على أي حال. (SPARK-31681)
  •  في Spark 3.0، pyspark.ml.param.shared.Has* لا توفر mixins أي set*(self, value) أساليب setter بعد الآن، استخدم كل منها self.set(self.*, value) بدلا من ذلك. راجع SPARK-29093 للحصول على التفاصيل. (SPARK-29093)

دليل البرمجة

سبارك

  • تحسين السهم في إمكانية التشغيل التفاعلي ل SparkR (SPARK-26759)
  • تحسين الأداء عبر R gapply()، dapply()، createDataFrame، collect()
  • "تنفيذ حريص" ل R shell، IDE (SPARK-24572)
  • R API ل Power Iteration Clustering (SPARK-19827)

تغييرات السلوك ل SparkR

يسرد دليل الترحيل التالي تغييرات السلوك بين Apache Spark 2.4 و3.0. قد تتطلب هذه التغييرات تحديثات للوظائف التي كنت تقوم بتشغيلها على إصدارات وقت تشغيل Databricks الأقل:

دليل البرمجة

الرسم البياني X

دليل البرمجة: دليل برمجة GraphX.

عمليات الإهمال

مشكلات معروفة

  • يقوم تحليل يوم السنة باستخدام حرف النمط 'D' بإرجاع النتيجة الخاطئة إذا كان حقل السنة مفقودا. يمكن أن يحدث هذا في دالات SQL مثل to_timestamp التي تحلل سلسلة التاريخ والوقت إلى قيم التاريخ والوقت باستخدام سلسلة نمط. (SPARK-31939)
  • قد يؤدي الانضمام/النافذة/التجميع داخل الاستعلامات الفرعية إلى نتائج خاطئة إذا كانت المفاتيح تحتوي على قيم -0.0 و0.0. (SPARK-31958)
  • قد يفشل استعلام النافذة مع حدوث خطأ غامض في الانضمام الذاتي بشكل غير متوقع. (SPARK-31956)
  • قد لا تتمكن الاستعلامات المتدفقة مع dropDuplicates عامل التشغيل من إعادة التشغيل مع نقطة التحقق المكتوبة بواسطة Spark 2.x. (SPARK-31990)

تحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 7.0.

بيئة النظام

  • نظام التشغيل: Ubuntu 18.04.4 LTS
  • Java: 1.8.0_252
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R الإصدار 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

مكتبات Python المثبتة

مكتبة إصدار مكتبة إصدار مكتبة إصدار
asn1crypto 1.3.0 تثبيت خلفي 0.1.0 boto3 1.12.0
روبوت الدردشة 1.15.0 شهادة 2020.4.5 cffi 1.14.0
تجزئة 3.0.4 التشفير 2.8 دورة 0.10.0
Cython 0.29.15 ديكور 4.4.1 docutils 0.15.2
نقاط الإدخال 0.3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 جدي 0.14.1
مسار jmespath 0.9.4 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 matplotlib 3.1.3
numpy 1.18.1 pandas 1.0.1 parso 0.5.2
باتسي 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pip 20.0.2 مجموعة أدوات المطالبة 3.0.3 psycopg2 2.8.4
عملية ptyprocess 0.6.0 pyarrow 0.15.1 pycparser 2.19
Pygments 2.5.2 PyGObject 3.26.1 pyOpenSSL 19.1.0
pyparsing 2.4.6 PySocks 1.7.1 python-apt 1.6.5+ubuntu0.3
python-dateutil 2.8.1 pytz 2019.3 pyzmq 18.1.1
الطلبات 2.22.0 s3transfer 0.3.3 scikit-learn 0.22.1
شفرة 1.4.1 بحر محمول 0.10.0 أدوات الإعداد 45.2.0
ستة 1.14.0 ssh-import-id 5.7 نماذج الإحصائيات 0.11.0
اعصار 6.0.3 سمات السمات 4.3.3 ترقيات غير مراقبة 0.1
urllib3 1.25.8 virtualenv 16.7.10 wcwidth 0.1.8
عجله 0.34.2

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN على 2020-04-22.

مكتبة إصدار مكتبة إصدار مكتبة إصدار
askpass 1.1 assertthat 0.2.1 backports 1.1.6
الأساس 3.6.3 base64enc 0.1-3 BH 1.72.0-3
بت 1.1-15.2 bit64 0.9-7 كائن ثنائي كبير الحجم 1.2.1
boot 1.3-25 المشروب 1.0-6 broom 0.5.6
callr 3.4.3 علامة إقحام 6.0-86 cellranger 1.1.0
كرون 2.3-55 فئة 7.3-17 cli 2.0.2
clipr 0.7.0 نظام مجموعة 2.1.0 codetools 0.2-16
colorspace 1.4-1 العلامة الشائعة 1.7 compiler 3.6.3
config 0.3 covr 3.5.0 crayon 1.3.4
خط متقاطع 1.1.0.1 curl 4.3 data.table 1.12.8
مجموعات البيانات 3.6.3 DBI 1.1.0 dbplyr 1.4.3
تنازلي 1.2.0 devtools 2.3.0 digest 0.6.25
dplyr 0.8.5 DT 0.13 علامة الحذف 0.3.0
التقييم 0.14 fansi 0.4.1 مسافة بعيدة 2.0.3
خريطة سريعة 1.0.1 forcats 0.5.0 Foreach 1.5.0
foreign 0.8-76 صياغه 0.2.0 fs 1.4.1
generics 0.0.2 ggplot2 3.3.0 غ 1.1.0
git2r 0.26.1 glmnet 3.0-2 Globals 0.12.5
glue 1.4.0 gower 0.2.1 graphics 3.6.3
grDevices 3.6.3 grid 3.6.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.2.0
highr 0.8 hms 0.5.3 htmltools 0.4.0
htmlwidgets 1.5.1 httpuv 1.5.2 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
ipred 0.9-9 isoband 0.2.1 iterators 1.0.12
jsonlite 1.6.1 KernSmooth 2.23-17 knitr 1.28
labeling 0.3 لاحقا 1.0.0 lattice 0.20-41
lava 1.6.7 lazyeval 0.2.2 دورة الحياة 0.2.0
lubridate 1.7.8 magrittr 1.5 markdown 1.1
MASS 7.3-51.6 مصفوفة 1.2-18 المذكرة 1.1.0
الأساليب 3.6.3 mgcv 1.8-31 mime 0.9
ModelMetrics 1.2.2.2 modelr 0.1.6 munsell 0.5.0
nlme 3.1-147 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.1 parallel 3.6.3 pillar 1.4.3
pkgbuild 1.0.6 pkgconfig 2.0.3 pkgload 1.0.2
plogr 0.2.0 plyr 1.8.6 الثناء 1.0.0
prettyunits 1.1.1 بروك 1.16.2 processx 3.4.2
prodlim 2019.11.13 التقدم 1.2.2 وعود 1.1.0
proto 1.0.0 ps 1.3.2 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
طيور الراب 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.4.6 readr ⁦⁩⁦⁩1.3.1 readxl ⁦⁩⁦⁩1.3.1
recipes 0.1.10 rematch 1.0.1 إعادة المباراة2 2.1.1
Remotes 2.1.1 reprex 0.3.0 reshape2 1.4.4
ريكس 1.2.0 rjson 0.2.20 rlang 0.4.5
rmarkdown 2.1 RODBC 1.3-16 roxygen2 7.1.0
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-6
RSQLite 2.2.0 rstudioapi 0.11 تحويلات 2.0.1
rvest 0.3.5 scales 1.1.0 selectr 0.4-2
معلومات الجلسة 1.1.1 الشكل 1.4.4 لامعه 1.4.0.2
قوالب المصدر 0.1.7 sparklyr 1.2.0 سبارك 3.0.0
spatial 7.3-11 splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.2 stats 3.6.3 stats4 3.6.3
stringi 1.4.6 stringr 1.4.0 survival 3.1-12
sys 3.3 tcltk 3.6.3 TeachingDemos 2.10
اختبار الذي 2.3.2 tibble 3.0.1 tidyr 1.0.2
tidyselect 1.0.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0.22 الأدوات 3.6.3 استخدام هذا 1.6.0
utf8 1.1.4 utils 3.6.3 vctrs 0.2.4
viridisLite 0.3.0 whisker 0.4 withr 2.2.0
xfun 0.13 xml2 ⁦⁩⁦⁩1.3.1 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)

معرف مجموعة معرف البيانات الاصطناعية إصدار
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws دعم aws-java-sdk 1.11.655
com.amazonaws مكتبات aws-java-sdk-swf 1.11.22
com.amazonaws مساحات عمل aws-java-sdk 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics تيار 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo مظلل 4.0.2
com.esotericsoftware سجل الحد الأدنى 1.3.0
com.fasterxml زميل 1.3.4
com.fasterxml.jackson.core التعليقات التوضيحية ل جاكسون 2.10.0
com.fasterxml.jackson.core جاكسون النواة 2.10.0
com.fasterxml.jackson.core جاكسون-databind 2.10.0
com.fasterxml.jackson.dataformat جاكسون-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype جاكسون-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.كافيين الكافيين 2.3.4
com.github.fommil أداة تحميل jniloader 1.1
com.github.fommil.netlib الذاكرة الأساسية 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava الجوافه 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox cp عظمي 0.8.0.RELEASE
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning ضغط lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter برد-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity محللات أحادية التكافؤ 2.8.3
com.zaxxer HikariCP 3.1.0
شائعات-beanutils شائعات-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
المجموعات المشتركة المجموعات المشتركة 3.2.2
تكوين المشتركات تكوين المشتركات 1.6
commons-dbcp commons-dbcp 1.4
أداة تجزئة الشائعات أداة تجزئة الشائعات 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
تسجيل المشتركات تسجيل المشتركات 1.1.3
commons-net commons-net 3.1
تجمع مشترك تجمع مشترك 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift أداة ضغط الهواء 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics المقاييس-الفحوصات الصحية 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation التنشيط 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction واجهة برمجة تطبيقات المعاملات 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
التفاف دائري التفاف دائري 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.0
net.snowflake spark-snowflake_2.12 2.5.9-spark_2.4
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr وقت تشغيل antlr 3.5.2
org.antlr وقت تشغيل antlr4 4.7.1
org.antlr سلسلة قوالب 3.2.1
org.apache.ant النمل 1.9.2
org.apache.ant نملة-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.سهم تنسيق السهم 0.15.1
org.apache.سهم ذاكرة الأسهم 0.15.1
org.apache.سهم خط متجه للسهم 0.15.1
org.apache.avro افرو 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons ضغط الشائعات 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator عميل أمين 2.7.1
org.apache.curator إطار عمل أمين 2.7.1
org.apache.curator وصفات أمين 2.7.1
org.apache.derby ديربي 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop تعليقات توضيحية ل hadoop 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop عميل hadoop 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive عميل hive-llap 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 حاضنة
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy اللبلاب 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet عمود باركيه 1.10.1.2-databricks4
org.apache.parquet parquet-common 1.10.1.2-databricks4
org.apache.parquet ترميز باركيه 1.10.1.2-databricks4
org.apache.parquet تنسيق باركيه 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.2-databricks4
org.apache.parquet باركيه جاكسون 1.10.1.2-databricks4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity السرعة 1.5
org.apache.xbean xbean-asm7 مظلل 4.15
org.apache.yetus التعليقات التوضيحية للجمهور 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson جاكسون جاكرس 1.9.13
org.codehaus.jackson جاكسون-mapper-asl 1.9.13
org.codehaus.jackson جاكسون-xc 1.9.13
org.codehaus.janino محول برمجي مشترك 3.0.16
org.codehaus.janino جانينو 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty عميل jetty 9.4.18.v20190429
org.eclipse.jetty متابعة jetty 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty وكيل jetty 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty خادم jetty 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 محدد موقع hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external إعادة حزم الأوبالين 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers جيرسي حاوية-servlet 2.30
org.glassfish.jersey.containers جيرسي-حاوية-servlet-core 2.30
org.glassfish.jersey.core جيرسي-العميل 2.30
org.glassfish.jersey.core جيرسي المشتركة 2.30
org.glassfish.jersey.core خادم جيرسي 2.30
org.glassfish.jersey.inject جيرسي-hk2 2.30
org.glassfish.jersey.media جيرسي-وسائل الإعلام-جاكسب 2.30
org.hibernate.validator مدقق الإسبات 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging تسجيل jboss 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis داء objenesis 2.5.1
org.postgresql الانترنت 42.1.4
org.roaringbitmap هديرBitmap 0.7.45
org.roaringbitmap الحشوات 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt واجهة الاختبار 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark غير مستخدم 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten ثلاثتين إضافية 1.5.0
org.tukaani xz 1.5
مستوى org.typelevel algebra_2.12 2.0.0-M2
مستوى org.typelevel cats-kernel_2.12 2.0.0-M4
مستوى org.typelevel machinist_2.12 0.6.8
مستوى org.typelevel ماكرو-compat_2.12 1.1.1
مستوى org.typelevel spire-macros_2.12 0.17.0-M1
مستوى org.typelevel spire-platform_2.12 0.17.0-M1
مستوى org.typelevel spire-util_2.12 0.17.0-M1
مستوى org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml ثعبان الثعبان 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52