Share via

Databricks Runtime 11.0 (غير مدعوم)

  • مقالة

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 11.0، مدعومة من Apache Spark 3.3.0. أصدرت Databricks هذه الصور في يونيو 2022.

ميزات وتحسينات جديدة

إصدار جديد من Apache Spark

Databricks Runtime 11.0 وDatabricks Runtime 11.0 Photon تتضمن Apache Spark 3.3.0. للحصول على التفاصيل، راجع Apache Spark.

تستخدم دفاتر ملاحظات Python الآن نواة IPython

في Databricks Runtime 11.0 وما فوق، تستخدم دفاتر ملاحظات Python نواة IPython لتنفيذ التعليمات البرمجية ل Python. راجع نواة IPython.

دعم ipywidgets

يمكنك الآن استخدام ipywidgets لجعل دفاتر ملاحظات Databricks Python تفاعلية. راجع ipywidgets.

يكتب موصل Synapse الآن بيانات Parquet في الوضع غير القديم

يكتب موصل Azure Synapse الآن بيانات Parquet في الوضع غير القديم. يحافظ على INT96 تنسيق الطابع الزمني عند استخدام PolyBase والأوامر COPY لكل من أحمال العمل الدفعية وأحمال العمل المتدفقة.

يتم فرض نظام HTTPS الآن عندما يستخدم عميل ABFS رمز SAS المميز

عندما يستخدم عميل نظام ملفات Azure Blob (ABFS) الرمز المميز لتوقيع الوصول المشترك (SAS)، يتم الآن فرض نظام HTTPS.

SQL: DESC هو الآن اسم مستعار ل DESCRIBE

يمكنك الآن استخدام DESC ك اسم مستعار عندما DESCRIBE تصف المواقع الخارجية أو بيانات اعتماد التخزين. على سبيل المثال:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: دالة جديدة current_version مخرجات تفاصيل الإصدار

تقوم الدالة الجديدة current_version إخراج إصدار Databricks Runtime الحالي إذا كان متوفرا، وإصدار Databricks SQL الحالي إذا كان متوفرا، وتفاصيل الإصدار الأخرى ذات الصلة. استخدم هذه الدالة الجديدة للاستعلام عن المعلومات المتعلقة بالإصدار. راجع الدالة current_version.

يؤدي إسقاط قيد جدول Delta مفقود الآن إلى ظهور خطأ

إذا حاولت الآن إسقاط قيد جدول Delta بالاسم، ولم يكن هذا القيد موجودا، فستتلقى خطأ. للحصول على السلوك السابق، الذي لا يطرح خطأ إذا لم يكن القيد موجودا، يجب عليك الآن استخدام العبارة IF EXISTS . راجع ALTER TABLE.

SQL: جملة جديدة EXCEPT في SELECT عبارة تستبعد الأعمدة من التحديد

SELECT تدعم EXCEPT عبارات الآن عبارة لاستبعاد الأعمدة من التحديد. على سبيل المثال، SELECT * EXCEPT (x) FROM table إرجاع كافة الأعمدة tableباستثناء x. يسمح أيضا بأعمدة متداخلة. على سبيل المثال، SELECT * EXCEPT (x.a) FROM table ترجع كافة الأعمدة tableولكنها تحذف الحقل a من البنية x.

دعم إسقاط الأعمدة في جداول Delta (معاينة عامة)

يمكنك استخدام ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> عمود أو قائمة أعمدة أو ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) إسقاطها، على التوالي، من جدول Delta كلعملية بيانات تعريف فقط. تكون الأعمدة "محذوفة بشكل مبدئي" بشكل فعال، لأنها لا تزال في ملفات Parquet الأساسية ولكنها لم تعد مرئية لجدول Delta.

يمكنك استخدام REORG TABLE <table-name> APPLY (PURGE) لتشغيل إعادة كتابة ملف على الملفات التي تحتوي على أي بيانات محذوفة مبدئيا مثل الأعمدة التي تم إسقاطها.

يمكنك استخدام VACUUM لإزالة الملفات المحذوفة من التخزين الفعلي، بما في ذلك الملفات القديمة التي تحتوي على أعمدة تم إسقاطها وتمت إعادة كتابتها بواسطة REORG TABLE.

COPY INTO التحسينات

يمكنك الآن إنشاء جداول دلتا للعناصر النائبة الفارغة بحيث يتم استنتاج المخطط لاحقا أثناء أمر COPY INTO :

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

عبارة SQL السابقة متكررة ويمكن جدولتها للتشغيل لاستيعاب البيانات مرة واحدة بالضبط في جدول Delta.

إشعار

جدول Delta الفارغ غير قابل للاستخدام خارج COPY INTO. لا يمكنك استخدام INSERT INTO وكتابة MERGE INTO البيانات في جداول دلتا بدون مخطط. بعد إدراج البيانات في الجدول باستخدام COPY INTO، يكون الجدول قابلا للاستعلام.

إذا تعذرت قراءة البيانات التي تستخدمها بسبب مشكلة تلف، يمكنك تخطي الملفات التالفة عن طريق تعيين ignoreCorruptFiles إلى true في FORMAT_OPTIONS:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

يقوم COPY INTO الأمر بإرجاع عدد الملفات التي تم تخطيها بسبب تلف في num_skipped_corrupt_files العمود. يظهر هذا المقياس أيضا في operationMetrics العمود الموجود أسفل numSkippedCorruptFiles بعد التشغيل DESCRIBE HISTORY على جدول Delta.

لا يتم تعقب الملفات التالفة بواسطة COPY INTO، لذلك يمكن إعادة تحميلها في تشغيل لاحق إذا تم إصلاح التلف. يمكنك معرفة الملفات التالفة عن طريق التشغيل COPY INTO في VALIDATE الوضع.

CONVERT TO DELTA مدعوم الآن في بيئات تمكين كتالوج Unity (معاينة عامة)

في البيئات الممكنة لكتالوج Unity، CONVERT TO DELTA يمكنك الآن:

  • تحويل ملفات Parquet في مواقع خارجية إلى Delta Lake.
  • تحويل جداول Parquet الخارجية إلى جداول Delta.

تغييرات السلوك

SQL: lpad تدعم rpad الدالات وتسلسلات البايت الآن

تم تحديث دالات lpad وrpad لإضافة دعم لتسلسلات البايت بالإضافة إلى السلاسل.

تنسيق السلسلة في format_string ولم printf يعد يسمح %0$

يؤدي تحديد التنسيق %0$ في format_string الدالتين و printf الآن إلى ظهور خطأ بشكل افتراضي. هذا التغيير هو للحفاظ على السلوك المتوقع مع الإصدارات السابقة من Databricks Runtime وقواعد بيانات الجهات الخارجية الشائعة. يجب أن تشير %1$ الوسيطة الأولى دائما عند استخدام فهرس وسيطة للإشارة إلى موضع الوسيطة في قائمة الوسيطات.

تتم الآن كتابة القيم الخالية في ملفات CSV كسلاسل فارغة غير موقوفة بشكل افتراضي

تمت كتابة القيم الخالية في ملفات CSV مسبقا كسلاسل فارغة مقتبسة. باستخدام هذا الإصدار، تتم الآن كتابة القيم الخالية في ملفات CSV كسلاسل فارغة غير موقوفة بشكل افتراضي. للتغيير مرة أخرى إلى السلوك السابق، قم بتعيين nullValue الخيار إلى "" لعمليات الكتابة.

خاصية external الجدول محجوزة الآن

أصبحت الخاصية external الآن خاصية جدول محجوزة بشكل افتراضي. يتم طرح الاستثناءات الآن عند استخدام الخاصية external مع CREATE TABLE ... TBLPROPERTIES عبارات و ALTER TABLE ... SET TBLPROPERTIES .

تمت ترقية Log4j من Log4j 1 إلى Log4j 2

يتم ترقية Log4j 1 إلى Log4j 2. تتم إزالة تبعيات Log4j 1 القديمة.

إذا كنت تعتمد على فئات Log4j 1 التي تم تضمينها مسبقا داخل Databricks Runtime، فإن هذه الفئات لم تعد موجودة. يجب ترقية تبعياتك إلى Log4j 2.

إذا كان لديك مكونات إضافية مخصصة أو ملفات تكوين تعتمد على Log4j 2، فقد لا تعمل مع إصدار Log4j 2 في هذا الإصدار. للحصول على المساعدة، اتصل بفريق حساب Azure Databricks.

يتم الآن حل المكتبات المثبتة من Maven في مستوى الحوسبة بشكل افتراضي

تحل مكتبات Maven الآن في مستوى الحوسبة بشكل افتراضي عند تثبيت المكتبات على نظام مجموعة. يجب أن يكون لديك نظام المجموعة حق الوصول إلى Maven Central. بدلا من ذلك، يمكنك العودة إلى السلوك السابق عن طريق تعيين خاصية تكوين Spark:

spark.databricks.libraries.enableMavenResolution false

إصلاح الأخطاء

  • تم إصلاح التوافق الثنائي ل LeafNodeو UnaryNodeو BinaryNode بين Apache Spark و Databricks Runtime وأصبحت الفئات متوافقة الآن مع Apache Spark 3.3.0 والإصدارات الأحدث. إذا واجهت ما يلي أو رسالة مشابهة عند استخدام حزمة جهة خارجية مع Databricks Runtime، فقم بإعادة إنشاء الحزمة باستخدام Apache Spark 3.3.0 أو أحدث: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

ترقيات المكتبة

  • مكتبات Python التي تمت ترقيتها:
    • المنصات من 2.5.1 إلى 2.5.2
    • protobuf من 3.20.0 إلى 3.20.1
  • مكتبات R التي تمت ترقيتها:
    • blob من 1.2.2 إلى 1.2.3
    • مكنسة من 0.7.12 إلى 0.8.0
    • علامة الإقطف من 6.0-91 إلى 6.0-92
    • cli من 3.2.0 إلى 3.3.0
    • dplyr من 1.0.8 إلى 1.0.9
    • في المستقبل من 1.24.0 إلى 1.25.0
    • future.apply من 1.8.1 إلى 1.9.0
    • غيرت من 1.5.0 إلى 1.6.0
    • ggplot2 من 3.3.5 إلى 3.3.6
    • glmnet من 4.1-3 إلى 4.1-4
    • haven من 2.4.3 إلى 2.5.0
    • httr من 1.4.2 إلى 1.4.3
    • من 1.38 إلى 1.39
    • magrittr من 2.0.2 إلى 2.0.3
    • بالتوازي من 1.30.0 إلى 1.31.1
    • ps من 1.6.0 إلى 1.7.0
    • RColorBrewer من 1.1-2 إلى 1.1-3
    • RcppEigen من 0.3.3.9.1 إلى 0.3.3.9.2
    • readxl من 1.3.1 إلى 1.4.0
    • rmarkdown من 2.13 إلى 2.14
    • rprojroot من 2.0.2 إلى 2.0.3
    • RSQLite من 2.2.11 إلى 2.2.13
    • مقاييس من 1.1.1 إلى 1.2.0
    • اختبار من 3.1.2 إلى 3.1.4
    • تبل من 3.1.6 إلى 3.1.7
    • نص صغير من 0.37 إلى 0.38
    • tzdb من 0.2.0 إلى 0.3.0
    • uuid من 1.0-4 إلى 1.1-0
    • vctrs من 0.3.8 إلى 0.4.1
  • مكتبات Java التي تمت ترقيتها:
    • com.fasterxml.jackson.core.jackson-annotations من 2.13.0 إلى 2.13.3
    • com.fasterxml.jackson.core.jackson-core من 2.13.0 إلى 2.13.3
    • com.fasterxml.jackson.core.jackson-databind من 2.13.0 إلى 2.13.3
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor من 2.13.0 إلى 2.13.3
    • com.fasterxml.jackson.datatype.jackson-datatype-joda من 2.13.0 إلى 2.13.3
    • com.fasterxml.jackson.module.jackson-module-paranamer من 2.13.0 إلى 2.13.3
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 من 2.13.0 إلى 2.13.3
    • com.google.crypto.tink.tink من 1.6.0 إلى 1.6.1
    • com.ning.compress-lzf من 1.0.3 إلى 1.1
    • dev.ludovic.netlib.arpack من 2.2.0 إلى 2.2.1
    • dev.ludovic.netlib.blas من 2.2.0 إلى 2.2.1
    • dev.ludovic.netlib.lapack من 2.2.0 إلى 2.2.1
    • io.netty.netty-all من 4.1.73.Final إلى 4.1.74.Final
    • io.netty.netty-buffer من 4.1.73.Final إلى 4.1.74.Final
    • io.netty.netty-codec من 4.1.73.Final إلى 4.1.74.Final
    • io.netty.netty-common من 4.1.73.Final إلى 4.1.74.Final
    • io.netty.netty-handler من 4.1.73.Final إلى 4.1.74.Final
    • io.netty.netty-resolver من 4.1.73.Final إلى 4.1.74.Final
    • فئات io.netty.netty-tcnative-classes من 2.0.46.Final إلى 2.0.48.Final
    • io.netty.netty-transport من 4.1.73.Final إلى 4.1.74.Final
    • io.netty.netty-transport-classes-epoll من 4.1.73.Final إلى 4.1.74.Final
    • io.netty.netty-transport-classes-kqueue من 4.1.73.Final إلى 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-aarch_64 من 4.1.73.Final إلى 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-x86_64 من 4.1.73.Final إلى 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-aarch_64 من 4.1.73.Final إلى 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-x86_64 من 4.1.73.Final إلى 4.1.74.Final
    • io.netty.netty-transport-native-unix-common من 4.1.73.Final إلى 4.1.74.Final
    • joda-time.joda-time من 2.10.12 إلى 2.10.13
    • org.apache.commons.commons-math3 من 3.4.1 إلى 3.6.1
    • org.apache.httpcomponents.httpcore من 4.4.12 إلى 4.4.14
    • org.apache.orc.orc-core من 1.7.3 إلى 1.7.4
    • org.apache.orc.orc-mapreduce من 1.7.3 إلى 1.7.4
    • org.apache.orc.orc-shims من 1.7.3 إلى 1.7.4
    • org.eclipse.jetty.jetty-client من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.jetty-continuation من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.jetty-http من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.jetty-io من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.jetty-jndi من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.jetty-plus من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.jetty-proxy من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.jetty-security من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.jetty-server من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlet من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlets من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util-ajax من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.jetty-webapp من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.jetty-xml من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-api من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-client من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-common من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-server من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-servlet من 9.4.43.v20210629 إلى 9.4.46.v20220331
    • org.mariadb.jdbc.mariadb-java-client من 2.2.5 إلى 2.7.4
    • org.postgresql.postgresql من 42.2.19 إلى 42.3.3
    • org.roaringbitmap.RoaringBitmap من 0.9.23 إلى 0.9.25
    • org.roaringbitmap.shims من 0.9.23 إلى 0.9.25
    • org.rocksdb.rocksdbjni من 6.20.3 إلى 6.24.2
    • org.slf4j.jcl-over-slf4j من 1.7.32 إلى 1.7.36
    • org.slf4j.jul-to-slf4j من 1.7.32 إلى 1.7.36
    • org.slf4j.slf4j-api من 1.7.30 إلى 1.7.36

Apache Spark

يتضمن Databricks Runtime 11.0 Apache Spark 3.3.0.

في هذا القسم:

Spark SQL و Core

وضع ANSI

  • قواعد بناء جملة صريحة جديدة في وضع ANSI (SPARK-33354)
  • يجب أن ترجع Elt() قيمة فارغة إذا كان الفهرس فارغا ضمن وضع ANSI (SPARK-38304)
  • إرجاع نتيجة فارغة اختياريا إذا لم يكن العنصر موجودا في الصفيف/الخريطة (SPARK-37750)
  • السماح بالصب بين النوع الرقمي ونوع الطابع الزمني (SPARK-37714)
  • تعطيل الكلمات الأساسية المحجوزة ANSI بشكل افتراضي (SPARK-37724)
  • استخدام قواعد تعيين المتجر لحل استدعاء الدالة (SPARK-37438)
  • إضافة تكوين للسماح بالصب بين التاريخ والوقت والرقم (SPARK-37179)
  • إضافة تكوين لفرض الكلمات الأساسية المحجوزة ANSI اختياريا (SPARK-37133)
  • عدم السماح بالعمليات الثنائية بين الفاصل الزمني والسلسلة الحرفية (SPARK-36508)

تحسينات الميزات

  • دعم أنواع الفاصل الزمني ل ANSI SQL (SPARK-27790)
  • تحسينات رسالة الخطأ (SPARK-38781)
  • دعم بيانات تعريف الملفات المخفية ل Spark SQL (SPARK-37273)
  • دعم القيمة الحرفية للسلسلة الأولية (SPARK-36371)
  • فئة المساعد ل batch Dataset.observe() (SPARK-34806)
  • يحدد الدعم رقم القسم الأولي لإعادة التوازن (SPARK-38410)
  • وضع تتالي الدعم لواجهة dropNamespace برمجة التطبيقات (SPARK-37929)
  • السماح بتعيين المتجر والتحويل الضمني بين أنواع التاريخ والوقت (SPARK-37707)
  • يجب أن يكون التجميع، الأول والأخير دالات تجميعية حتمية (SPARK-32940)
  • إضافة ExpressionBuilder للوظائف ذات التحميلات الزائدة المعقدة (SPARK-37164)
  • إضافة دعم الصفيف إلى الاتحاد حسب الاسم (SPARK-36546)
  • إضافة df.withMetadata: سكر بناء الجملة لتحديث بيانات التعريف لإطار البيانات (SPARK-36642)
  • دعم القيمة الحرفية للسلسلة الأولية (SPARK-36371)
  • استخدام CAST في تحليل التواريخ/الطوابع الزمنية مع النمط الافتراضي (SPARK-36418)
  • دعم فئة القيمة في المخطط المتداخل لمجموعة البيانات (SPARK-20384)
  • إضافة دعم بناء الجملة AS OF (SPARK-37219)
  • إضافة قابل للتكرار في TABLESAMPLE لتحديد البذور (SPARK-37165)
  • إضافة بناء جملة ansi لتغيير الكتالوج set catalog xxx الحالي (SPARK-36841)
  • دعم ILIKE (الكل | ANY | بعض) - مثل غير حساس لحالة الأحرف (SPARK-36674، SPARK-36736، SPARK-36778)
  • تظهر مرحلة استعلام الدعم إحصائيات وقت التشغيل في وضع الشرح المنسق (SPARK-38322)
  • إضافة مقاييس حجم الانسكاب للانضمام إلى دمج الفرز (SPARK-37726)
  • تحديث بناء جملة SQL من الدالات SHOW (SPARK-37777)
  • دعم بناء جملة عمود الإفلات [IF EXISTS] (SPARK-38939)
  • وظائف مضمنة جديدة وملحقاتها (SPARK-38783)
    • Datetime
      • إضافة الدالة TIMESTAMPADD() (SPARK-38195)
      • إضافة الدالة TIMESTAMPDIFF() (SPARK-38284)
      • DATEDIFF() إضافة الاسم المستعار ل TIMESTAMPDIFF() (SPARK-38389)
      • DATEADD() إضافة الاسم المستعار ل TIMESTAMPADD() (SPARK-38332)
      • إضافة الدالة convert\_timezone() (SPARK-37552، SPARK-37568)
      • كشف تعبير make_date في functions.scala (SPARK-36554)
    • دالات AES (SPARK-12567)
      • إضافة aes_encrypt ووظائف مضمنة aes_decrypt (SPARK-12567)
      • دعم وضع GCM بواسطة aes\_encrypt()/aes\_decrypt() (SPARK-37591)
      • تعيين GCM كوضع افتراضي في aes\_encrypt()aes\_decrypt()/(SPARK-37666)
      • إضافة و modepadding args إلى/aes\_decrypt()aes\_encrypt()(SPARK-37586)
    • دالة تجميع ANSI (SPARK-37671)
      • دعم الدالة التجميعية ANSI: regr_count (SPARK-37613)
      • دعم الدالة التجميعية ANSI: regr_avgx regr_avgy (SPARK-37614)
      • دعم دالة تجميع ANSI: percentile_cont (SPARK-37676، SPARK-38219)
      • دعم دالة تجميع ANSI: percentile_disc (SPARK-37691)
      • دعم الدالة التجميعية ANSI: regr_count (SPARK-37613)
      • دعم الدالة التجميعية ANSI: array_agg (SPARK-27974)
      • دعم الدالة التجميعية ANSI: regr_r2 (SPARK-37641)
      • دالة SQL الجديدة: try_avg (SPARK-38589)
    • مجموعات
      • تقديم ARRAY_SIZE الدالة SQL (SPARK-38345)
      • دالة SQL الجديدة: map_contains_key (SPARK-37584)
      • دالة SQL الجديدة: try_element_at (SPARK-37533)
      • دالة SQL الجديدة: try_sum (SPARK-38548)
    • تنسيق
    • سلسلة/ثنائي
      • إضافة دالة سلسلة CONTAINS() (SPARK-37508)
      • إضافة دالات startswith() السلسلة و endswith() (SPARK-37520)
      • إضافة دالات lpad وrpad للسلاسل الثنائية (SPARK-37047)
      • دالة split_part الدعم (SPARK-38063)
    • إضافة معلمة مقياس إلى دالات الأرضية وceil (SPARK-37475)
    • وظائف SQL الجديدة: try_subtract try_multiply (SPARK-38164)
    • تنفيذ دالة التجميع histogram_numeric التي تدعم التجميع الجزئي (SPARK-16280)
    • إضافة max_by/min_by إلى sql.functions (SPARK-36963)
    • إضافة وظائف SQL المضمنة الجديدة: SEC وCS (SPARK-36683)
    • array_intersect يعالج Double.NaN و Float.NaN المكررين (SPARK-36754)
    • إضافة cot كدالات Scala وPython (SPARK-36660)

تحسينات في الأداء

  • إنشاء التعليمات البرمجية روبوت Who مرحلة
    • إضافة code-gen لفرز التجميع دون مفاتيح التجميع (SPARK-37564)
    • إضافة code-gen للانضمام الكامل لدمج الفرز الخارجي (SPARK-35352)
    • إضافة code-gen للانضمام الكامل للتجزئة الخارجية العشوائية (SPARK-32567)
    • إضافة code-gen لوجود صلة دمج الفرز (SPARK-37316)
  • الضغط لأسفل (عوامل التصفية)
    • دفع عوامل التصفية لأسفل من خلال إعادة توازن الأقسام (SPARK-37828)
    • دفع عامل تصفية العمود المنطقي لأسفل (SPARK-36644)
    • الضغط لأسفل الحد 1 للجانب الأيمن من شبه/مكافحة الصلة اليسرى إذا كانت حالة الانضمام فارغة (SPARK-37917)
    • ترجمة المزيد من الوظائف التجميعية القياسية للدفع لأسفل (SPARK-37527)
    • نشر الدعم علاقة فارغة من خلال التجميع/الاتحاد (SPARK-35442)
    • تصفية وقت التشغيل على مستوى الصف (SPARK-32268)
    • دعم الصلة شبه اليسرى في عوامل تصفية وقت التشغيل على مستوى الصف (SPARK-38565)
    • دعم دفع دالة التقييم وتنقيح الأعمدة ل CTEs المنسوخة (SPARK-37670)
  • الخط المتجه
    • تنفيذ ConstantColumnVector وتحسين أداء بيانات تعريف الملف المخفية (SPARK-37896)
    • تمكين القراءة المتجهة ل VectorizedPlainValuesReader.readBooleans (SPARK-35867)
  • دمج/إزالة/استبدال العقد
    • الجمع بين الاتحادات إذا كان هناك مشروع بينهما (SPARK-37915)
    • الجمع بين المدلى بها واحدة إذا كنا يمكن أن تصل بأمان يلقي اثنين من المدلى بها (SPARK-37922)
    • إزالة الفرز إذا كان تابع RepartitionByExpression (SPARK-36703)
    • إزالة الصلة الخارجية إذا كان لها DISTINCT فقط على الجانب المتدفق مع الاسم المستعار (SPARK-37292)
    • استبدال التجزئة بتجميع الفرز إذا تم فرز التابع بالفعل (SPARK-37455)
    • طي المشاريع فقط إذا لم نكرر التعبيرات باهظة الثمن (SPARK-36718)
    • إزالة الأسماء المستعارة المكررة بعد RewritePredicateSubquery (SPARK-36280)
    • دمج الاستعلامات الفرعية العددية غير المرتبطة (SPARK-34079)
  • تقسيم
    • لا تقم بإضافة تشذيب قسم ديناميكي إذا كان هناك تشذيب قسم ثابت (SPARK-38148)
    • تحسين إعادة توازن الأقسام في قواعد المحسن (SPARK-37904)
    • إضافة عامل قسم صغير لإعادة توازن الأقسام (SPARK-37357)
  • الانضمام
    • ضبط المنطق لتقليل الانضمام إلى تجزئة البث في DynamicJoinSelection (SPARK-37753)
    • تجاهل مفاتيح الربط المكررة عند إنشاء علاقة لصلة التجزئة SEMI/ANTI العشوائية (SPARK-36794)
    • دعم تحسين الصلة المنحرفة حتى إذا قدم تبديلا إضافيا (SPARK-33832)
  • AQE
    • يلغي الدعم الحدود في AQE Optimizer (SPARK-36424)
    • تحسين خطة صف واحد في الوضع العادي ومحسن AQE (SPARK-38162)
  • يدعم Aggregate.groupOnly التعبيرات القابلة للطي (SPARK-38489)
  • يجب أن تتخطى ByteArrayMethods arrayEquals بسرعة التحقق من التوافق مع النظام الأساسي غير المتوافق (SPARK-37796)
  • إضافة تشذيب نمط شجرة إلى قاعدة CTESubstitution (SPARK-37379)
  • إضافة المزيد Not operator simplifications (SPARK-36665)
  • دعم BooleanType في UnwrapCastInBinaryComparison (SPARK-36607)
  • دمج إسقاط كافة التعبيرات بعد أول تعبير غير يقبل القيم الخالية (SPARK-36359)
  • إضافة زائر خطة منطقية لنشر السمات المميزة (SPARK-36194)

تحسينات موصل مضمنة

  • العامه
    • تسلسل متساهل للتاريخ والوقت من مصدر البيانات (SPARK-38437)
    • التعامل مع موقع الجدول على أنه مطلق عندما يكون الحرف الأول من مساره مائلا في إنشاء/تغيير الجدول (SPARK-38236)
    • إزالة الأصفار البادئة من قسم نوع الرقم الثابت الفارغ (SPARK-35561)
    • الدعم ignoreCorruptFiles وفي ignoreMissingFiles خيارات مصدر البيانات (SPARK-38767)
    • إضافة أمر SHOW CATALOGS (SPARK-35973)
  • الباركيه
    • تمكين أسماء أعمدة المخطط المطابقة حسب معرفات الحقول (SPARK-38094)
    • إزالة اسم حقل التحقق عند قراءة/كتابة البيانات في parquet (SPARK-27442)
    • يستخدم دعم القيم المنطقية المقروءة المتجهة ترميز RLE مع Parquet DataPage V2 (SPARK-37864)
    • دعم ترميز صفحة بيانات Parquet v2 (DELTA_BINARY_PACKED) للمسار المتجه (SPARK-36879)
    • إعادة قاعدة الطوابع الزمنية في المنطقة الزمنية للجلسة المحفوظة في بيانات تعريف Parquet/Avro (SPARK-37705)
    • دفع المجموعة لأسفل حسب عمود القسم للتجاميع (SPARK-36646)
    • التجميع (الحد الأدنى/الحد الأقصى/العدد) دفع لأسفل ل Parquet (SPARK-36645)
    • Parquet: تمكين مطابقة أعمدة المخطط حسب معرف الحقل (SPARK-38094)
    • تقليل حجم الصفحة الافتراضية LONG_ARRAY_OFFSET إذا تم استخدام G1GC ON_HEAP (SPARK-37593)
    • تنفيذ DELTA_BYTE_ARRAY المتجهة وترميزات DELTA_LENGTH_BYTE_ARRAY لدعم Parquet V2 (SPARK-37974)
    • دعم الأنواع المعقدة لقارئ Parquet المتجه (SPARK-34863)
  • ORC
    • إزالة اسم حقل التحقق عند قراءة/كتابة البيانات الموجودة في Orc (SPARK-37965)
    • دفع مجمع لأسفل ل ORC (SPARK-34960)
    • دعم قراءة وكتابة فواصل ANSI من/إلى مصادر بيانات ORC (SPARK-36931)
    • دعم أسماء أعمدة الأرقام فقط في مصادر بيانات ORC (SPARK-36663)
  • Json
    • احترام allowNonNumericNumbers عند تحليل قيم NaN و Infinity المقتبسة في قارئ JSON (SPARK-38060)
    • استخدام CAST للتاريخ والوقت في CSV/JSON بشكل افتراضي (SPARK-36536)
    • محاذاة رسالة الخطأ إلى أنواع المفاتيح غير المدعومة في MapType في قارئ Json (SPARK-35320)
  • Csv
    • إصلاح الإشارة إلى عمود السجل التالف من CSV (SPARK-38534)
    • يجب حفظ القيم الخالية على أنها لا شيء بدلا من السلاسل الفارغة المقتبسة "" بشكل افتراضي (SPARK-37575)
  • جدبك
    • إضافة عبارة IMMEDIATE إلى تنفيذ اقتطاع لهجة DB2 (SPARK-30062)
  • خليه
    • دعم كتابة جدول Apache Hive (تنسيقات ملفات Hive مع تجزئة Hive) (SPARK-32712)
    • استخدام التعبيرات لتصفية أقسام Hive من جانب العميل (SPARK-35437)
    • دعم تقليم التقسيم الديناميكي ل HiveTableScanExec (SPARK-36876)
    • يجب أن يستخدم InsertIntoHiveDir مصدر البيانات إذا كان قابلا للتحويل (SPARK-38215)
    • دعم كتابة جدول Hive ذو مستودع (تنسيق Parquet/ORC مع تجزئة Hive) (SPARK-32709)

إيقاف تشغيل العقدة

  • لا ينبغي أن يحاول FallbackStorage حل اسم المضيف العشوائي "البعيد" (SPARK-38062)
  • يجب أن يتعامل ExecutorMonitor.onExecutorRemoved مع ExecutorDecommission كانتهاء (SPARK-38023)

تغييرات ملحوظة أخرى

  • إضافة تأمين دقيق إلى BlockInfoManager (SPARK-37356)
  • دعم تعيين أنواع موارد Spark gpu/fpga إلى نوع مورد YARN المخصص (SPARK-37208)
  • الإبلاغ عن حجم كتلة التبديل العشوائي الدقيق إذا كان منحرفا (SPARK-36967)
  • دعم تسجيل Netty في طبقة الشبكة (SPARK-36719)

دفق منظم

الميزات الرئيسية

  • تقديم Trigger.AvailableNow لتشغيل استعلامات الدفق مثل Trigger.Once في دفعات متعددة (SPARK-36533)

تغييرات ملحوظة أخرى

  • استخدام StatefulOpClusteredDistribution للمشغلين ذوي الحالة مع احترام التوافق مع الإصدارات السابقة (SPARK-38204)
  • إصلاح مهلة flatMapGroupsWithState في دفعة مع بيانات المفتاح (SPARK-38320)
  • إصلاح مشكلة التصحيح في الصلة الخارجية دفق الدفق مع موفر مخزن حالة RocksDB (SPARK-38684)
  • مشغل الدعم.AvailableNow على مصدر بيانات Kafka (SPARK-36649)
  • تحسين مسار الكتابة على موفر مخزن حالة RocksDB (SPARK-37224)
  • تقديم مصدر بيانات جديد لتوفير مجموعة متسقة من الصفوف لكل ميكروباتش (SPARK-37062)
  • استخدام HashClusteredDistribution للمشغلين ذوي الحالة مع احترام التوافق مع الإصدارات السابقة (SPARK-38204)

PySpark

واجهة برمجة تطبيقات Pandas على Spark

تحسينات رئيسية
  • تحسين فهرس "التسلسل الموزع" مع كونه افتراضيا (SPARK-36559، SPARK-36338)
    • دعم لتحديد نوع الفهرس والاسم في Pandas API على Spark (SPARK-36709)
    • إظهار نوع الفهرس الافتراضي في خطط SQL لواجهة برمجة تطبيقات pandas على Spark (SPARK-38654)
الميزات الرئيسية
  • تنفيذ SparkSQL الأصلي ps.merge_asof (SPARK-36813)
  • دعم TimedeltaIndex في Pandas API على Spark (SPARK-37525)
  • دعم الجدول الزمني ل Python (SPARK-37275، SPARK-37510)
  • تنفيذ الدالات في CategoricalAccessor/CategoricalIndex (SPARK-36185)
  • يستخدم تنسيق سلسلة Python القياسي لواجهة برمجة تطبيقات SQL في Pandas API على Spark (SPARK-37436)
  • دعم العمليات الأساسية لسلسلة/فهرس الجدول الزمني (SPARK-37510)
  • دعم ps. MultiIndex.dtypes (SPARK-36930)
  • تنفيذ Index.map (SPARK-36469)
  • تنفيذ السلسلة.xor و Series.rxor (SPARK-36653)
  • تنفيذ عامل تشغيل invert أحادي ل ps المتكاملة. Series/Index (SPARK-36003)
  • تنفيذ DataFrame.cov (SPARK-36396)
  • سلسلة الدعم والطوابع الزمنية ل (Series|DataFrame).describe() (SPARK-37657)
  • دعم معلمة lambda column ل DataFrame.rename(SPARK-38763)

تغييرات ملحوظة أخرى

كسر التغييرات
  • إسقاط المراجع إلى دعم Python 3.6 في المستندات وpython/docs (SPARK-36977)
  • إزالة الاختراق المسمى عن طريق استبدال المخلل المضمن إلى cloudpickle (SPARK-32079)
  • الحد الأدنى لإصدار Pandas إلى 1.0.5 (SPARK-37465)
  • تحسينات رئيسية
    • توفير محلل ملفات تعريف ل Python/Pandas UDFs (SPARK-37443)
    • يستخدم تنسيق سلسلة Python القياسي لواجهة برمجة تطبيقات SQL في PySpark (SPARK-37516)
    • كشف حالة SQL وفئة الخطأ في استثناءات PySpark (SPARK-36953)
    • حاول التقاط عامل خطأ عند تعطل عامل Python (SPARK-36062)
الميزات الرئيسية
  • تنفيذ DataFrame.mapInArrow في Python (SPARK-37228)
  • يستخدم تنسيق سلسلة Python القياسي لواجهة برمجة تطبيقات SQL في PySpark (SPARK-37516)
  • إضافة df.withMetadata pyspark API (SPARK-36642)
  • دعم الجدول الزمني ل Python (SPARK-37275)
  • كشف tableExists في pyspark.sql.catalog (SPARK-36176)
  • كشف databaseExists في pyspark.sql.catalog (SPARK-36207)
  • كشف functionExists في كتالوج pyspark sql (SPARK-36258)
  • إضافة Dataframe.observation إلى PySpark (SPARK-36263)
  • إضافة max_by/min_by API إلى PySpark (SPARK-36972)
  • دعم الاستدلال على الإملاء المتداخل كبنية عند إنشاء DataFrame (SPARK-35929)
  • إضافة واجهات برمجة التطبيقات بت/octet_length إلى Scala وPython وR (SPARK-36751)
  • دعم واجهة برمجة تطبيقات ILIKE على Python (SPARK-36882)
  • إضافة أسلوب isEmpty لواجهة برمجة تطبيقات Python DataFrame (SPARK-37207)
  • إضافة أعمدة متعددة تضيف الدعم (SPARK-35173)
  • إضافة SparkContext.addArchive في PySpark (SPARK-38278)
  • جعل sql type reprs eval-able (SPARK-18621)
  • تلميحات النوع المضمنة fpm.py في python/pyspark/mllib (SPARK-37396)
  • تنفيذ dropna معلمة SeriesGroupBy.value_counts (SPARK-38837)

MLLIB

الميزات الرئيسية

  • إضافة معلمة distanceMeasure لتدريبKMeansModel (SPARK-37118)
  • كشف LogisticRegression.setInitialModel، مثل KMeans et al do (SPARK-36481)
  • دعم CrossValidatorModel الحصول على الانحراف المعياري للمقاييس لكل paramMap (SPARK-36425)

تحسينات رئيسية

  • تحسين بعض treeAggregates في MLlib عن طريق تأخير التخصيصات (SPARK-35848)
  • إعادة كتابة _shared_params_code_gen.py إلى تلميحات النوع المضمن ل ml/param/shared.py (SPARK-37419)

تغييرات ملحوظة أخرى

سبارك

  • ترحيل مستندات SparkR إلى pkgdown (SPARK-37474)
  • كشف تعبير make_date في R (SPARK-37108)
  • إضافة max_by/min_by API إلى SparkR (SPARK-36976)
  • دعم واجهة برمجة تطبيقات ILIKE على R (SPARK-36899)
  • إضافة sec وcsc كدالات R (SPARK-36824)
  • إضافة واجهات برمجة التطبيقات بت/octet_length إلى Scala وPython وR (SPARK-36751)
  • إضافة cot كدالة R (SPARK-36688)

واجهة المستخدم

  • ملخص مقاييس المضاربة على مستوى المرحلة (SPARK-36038)
  • وقت كتلة قراءة التبديل الموحد لتبديل وقت انتظار إحضار القراءة في StagePage (SPARK-37469)
  • إضافة تكوينات معدلة لتنفيذ SQL في واجهة المستخدم (SPARK-34735)
  • جعل ThriftServer يتعرف على spark.sql.redaction.string.regex (SPARK-36400)
  • إرفاق معالج وبدء تشغيله بعد بدء التطبيق في واجهة المستخدم (SPARK-36237)
  • إضافة مدة الالتزام إلى عقدة الرسم البياني لعلامة التبويب SQL (SPARK-34399)
  • دعم الواجهة الخلفية ل RocksDB في Spark History Server (SPARK-37680)
  • إظهار خيارات واجهة برمجة تطبيقات Pandas على Spark في واجهة المستخدم (SPARK-38656)
  • إعادة تسمية 'SQL' إلى 'SQL / DataFrame' في صفحة واجهة مستخدم SQL (SPARK-38657)

إنشاء

تحديثات الصيانة

راجع Databricks Runtime 11.0 (غير مدعوم).

بيئة النظام

  • نظام التشغيل: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

مكتبات Python المثبتة

مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 مولد غير متزامن 1.10
سلاسل السلاسل 21.2.0 تثبيت خلفي 0.2.0 backports.entry-points-selectable 1.1.1
التبييض 4.0.0 boto3 1.21.18 روبوت الدردشة 1.24.18
شهادة 2021.10.8 cffi 1.14.6 تجزئة 4.0.0
charset-normalizer 2.0.4 دورة 0.10.0 Cython 0.29.24
dbus-python 1.2.16 تصحيح الأخطاء 1.4.1 ديكور 5.1.0
defusedxml 0.7.1 استياء 0.3.4 معلومات توزيعية 0.23ubuntu1
نقاط الإدخال 0.3 نظرة عامة على الواجهات 1.0.0 قفل الملف 3.6.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 عناوين ipywidgets 7.7.0 جدي 0.18.0
جينجا 2 2.11.3 مسار jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver ⁦⁩⁦⁩1.3.1
العلامات خزينة 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
سوء الحظ 0.8.4 nbclient 0.5.3 nbconvert 6.1.0
تنسيق nbformat 5.1.3 nest-asyncio 1.5.1 notebook 6.4.5
numpy 1.20.3 التغليف 21.0 pandas 1.3.4
عوامل تصفية pandocfilter 1.4.3 parso 0.8.2 باتسي 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 وساده 8.4.0
pip 21.2.4 المنصات 2.5.2 بشكل مخطط 5.6.0
prometheus-client 0.11.0 مجموعة أدوات المطالبة 3.0.20 protobuf 3.20.1
psutil 5.8.0 psycopg2 2.9.3 عملية ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2.20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2
pytz 2021.3 pyzmq 22.2.1 الطلبات 2.26.0
requests-unixsocket 0.2.0 s3transfer 0.5.2 scikit-learn 0.24.2
شفرة 1.7.1 بحر محمول 0.11.2 Send2Trash 1.8.0
أدوات الإعداد 58.0.4 ستة 1.16.0 ssh-import-id 5.10
نماذج الإحصائيات 0.12.2 مثابره 8.0.1 terminado 0.9.4
مسار الاختبار 0.5.0 threadpoolctl 2.2.0 اعصار 6.1
سمات السمات 5.1.0 ترقيات غير مراقبة 0.1 urllib3 1.26.7
virtualenv 20.8.0 wcwidth 0.2.5 ترميزات الويب 0.5.1
عجله 0.37.0 عنصر واجهة المستخدم 3.6.0

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN على 2022-05-06.

مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار
askpass 1.1 assertthat 0.2.1 backports 1.4.1
الأساس 4.1.3 base64enc 0.1-3 بت 4.0.4
bit64 4.0.5 كائن ثنائي كبير الحجم 1.2.3 boot 1.3-28
المشروب 1.0-7 بريو 1.1.3 broom 0.8.0
bslib 0.3.1 ذاكرة التخزين المؤقت 1.0.6 callr 3.7.0
علامة إقحام 6.0-92 cellranger 1.1.0 كرون 2.3-56
فئة 7.3-20 cli 3.3.0 clipr 0.8.0
نظام مجموعة 2.1.3 codetools 0.2-18 colorspace 2.0-3
العلامة الشائعة 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 بيانات الاعتماد 1.3.2
curl 4.3.2 data.table 1.14.2 مجموعات البيانات 4.1.3
DBI 1.1.2 dbplyr 2.1.1 تنازلي 1.4.1
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.9 dtplyr 1.2.1 e1071 1.7-9
علامة الحذف 0.3.2 التقييم 0.15 fansi 1.0.3
مسافة بعيدة 2.1.0 خريطة سريعة 1.1.0 fontawesome 0.2.2
forcats 0.5.1 Foreach 1.5.2 foreign 0.8-82
صياغه 0.2.0 fs 1.5.2 future 1.25.0
future.apply 1.9.0 الغرغره 1.2.0 generics 0.1.2
غيرت 1.6.0 ggplot2 3.3.6 غ 1.3.0
صور gitcred 0.1.1 glmnet 4.1-4 Globals 0.14.0
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.3 grDevices 4.1.3
grid 4.1.3 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 هاردات 0.2.0 haven 2.5.0
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.3
ids 1.0.1 Ini 0.3.1 ipred 0.9-12
isoband 0.2.5 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.0 KernSmooth 2.23-20 knitr 1.39
labeling 0.4.2 لاحقا 1.3.0 lattice 0.20-45
lava 1.6.10 دورة الحياة 1.0.1 listenv 0.8.0
lubridate 1.8.0 magrittr 2.0.3 markdown 1.1
MASS 7.3-56 المصفوفة 1.4-1 المذكرة 2.0.1
الأساليب 4.1.3 mgcv 1.8-40 mime 0.12
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-157 nnet 7.3-17 numDeriv 2016.8-1.1
openssl 2.0.0 parallel 4.1.3 بالتوازي 1.31.1
pillar 1.7.0 pkgbuild ⁦⁩⁦⁩1.3.1 pkgconfig 2.0.3
pkgload 1.2.4 plogr 0.2.0 plyr 1.8.7
الثناء 1.0.0 prettyunits 1.1.1 بروك 1.18.0
processx 3.5.3 prodlim 2019.11.13 التقدم 1.2.2
متدرج التقدم 0.10.0 وعود 1.2.0.1 proto 1.0.0
الوكيل 0.4-26 ps 1.7.0 purrr 0.3.4
r2d3 0.2.6 R6 2.5.1 randomForest 4.7-1
طيور الراب 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.8.3 RcppEigen 0.3.3.9.2 readr 2.1.2
readxl 1.4.0 recipes 0.2.0 rematch 1.0.1
إعادة المباراة2 2.1.2 Remotes 2.4.2 reprex 2.0.1
reshape2 1.4.4 rlang 1.0.2 rmarkdown 2.14
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1.16
rprojroot 2.0.3 Rserve 1.8-10 RSQLite 2.2.13
rstudioapi 0.13 تحويلات 2.1.1 rvest 1.0.2
ساس 0.4.1 scales 1.2.0 selectr 0.4-2
معلومات الجلسة 1.2.2 الشكل 1.4.6 لامعه 1.7.1
قوالب المصدر 0.1.7 sparklyr 1.7.5 سبارك 3.3.0
spatial 7.3-11 splines 4.1.3 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.3 stats4 4.1.3
stringi 1.7.6 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.3 اختبار الذي 3.1.4
tibble 3.1.7 tidyr 1.2.0 tidyselect 1.1.2
tidyverse ⁦⁩⁦⁩1.3.1 timeDate 3043.102 tinytex 0.38
الأدوات 4.1.3 tzdb 0.3.0 استخدام هذا 2.1.5
utf8 1.2.2 utils 4.1.3 uuid 1.1-0
vctrs 0.4.1 viridisLite 0.4.0 غرفة vroom 1.5.7
والدو 0.4.0 whisker 0.4 withr 2.5.0
xfun 0.30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)

معرف مجموعة معرف البيانات الاصطناعية ‏‏الإصدار
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws دعم aws-java-sdk 1.12.189
com.amazonaws مكتبات aws-java-sdk-swf 1.11.22
com.amazonaws مساحات عمل aws-java-sdk 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics تيار 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo مظلل 4.0.2
com.esotericsoftware سجل الحد الأدنى 1.3.0
com.fasterxml زميل 1.3.4
com.fasterxml.jackson.core التعليقات التوضيحية ل جاكسون 2.13.3
com.fasterxml.jackson.core جاكسون النواة 2.13.3
com.fasterxml.jackson.core جاكسون-databind 2.13.3
com.fasterxml.jackson.dataformat جاكسون-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype جاكسون-datatype-joda 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.كافيين الكافيين 2.3.4
com.github.fommil أداة تحميل jniloader 1.1
com.github.fommil.netlib الذاكرة الأساسية 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink تينك 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava الجوافه 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox cp عظمي 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning ضغط lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter برد-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity محللات أحادية التكافؤ 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
المجموعات المشتركة المجموعات المشتركة 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
تسجيل المشتركات تسجيل المشتركات 1.1.3
تجمع مشترك تجمع مشترك 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib بلاس 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift أداة ضغط الهواء 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics المقاييس-الفحوصات الصحية 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty معالج netty 4.1.74.Final
io.netty محلل netty 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus واجهة سطر الأوامر البسيطة 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx جامع 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation التنشيط 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction واجهة برمجة تطبيقات المعاملات 1.1
javax.xml.bind jaxb-api 2.2.11
التفاف دائري التفاف دائري 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
أشجار maven hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine المخلل 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr وقت تشغيل antlr 3.5.2
org.antlr وقت تشغيل antlr4 4.8
org.antlr سلسلة قوالب 3.2.1
org.apache.ant النمل 1.9.2
org.apache.ant نملة-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.سهم تنسيق السهم 7.0.0
org.apache.سهم ذاكرة أساسية للسهم 7.0.0
org.apache.سهم سهم-ذاكرة-netty 7.0.0
org.apache.سهم خط متجه للسهم 7.0.0
org.apache.avro افرو 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons ضغط الشائعات 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator عميل أمين 2.13.0
org.apache.curator إطار عمل أمين 2.13.0
org.apache.curator وصفات أمين 2.13.0
org.apache.derby ديربي 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop وقت تشغيل عميل hadoop 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive عميل hive-llap 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy اللبلاب 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.4
org.apache.orc orc-mapreduce 1.7.4
org.apache.orc orc-shims 1.7.4
org.apache.parquet عمود باركيه 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet ترميز باركيه 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet باركيه جاكسون 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus التعليقات التوضيحية للجمهور 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework مدقق كهومي 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson جاكسون-mapper-asl 1.9.13
org.codehaus.janino محول برمجي مشترك 3.0.16
org.codehaus.janino جانينو 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty عميل jetty 9.4.46.v20220331
org.eclipse.jetty متابعة jetty 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty وكيل jetty 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty خادم jetty 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket عميل websocket 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket خادم websocket 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 محدد موقع hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external إعادة حزم الأوبالين 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers جيرسي حاوية-servlet 2.34
org.glassfish.jersey.containers جيرسي-حاوية-servlet-core 2.34
org.glassfish.jersey.core جيرسي-العميل 2.34
org.glassfish.jersey.core جيرسي المشتركة 2.34
org.glassfish.jersey.core خادم جيرسي 2.34
org.glassfish.jersey.inject جيرسي-hk2 2.34
org.hibernate.validator مدقق الإسبات 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging تسجيل jboss 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains التعليقات التوضيحية 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.objenesis داء objenesis 2.5.1
org.postgresql الانترنت 42.3.3
org.roaringbitmap هديرBitmap 0.9.25
org.roaringbitmap الحشوات 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt واجهة الاختبار 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark غير مستخدم 1.0.0
org.threeten ثلاثتين إضافية 1.5.0
org.tukaani xz 1.8
مستوى org.typelevel algebra_2.12 2.0.1
مستوى org.typelevel cats-kernel_2.12 2.1.1
مستوى org.typelevel ماكرو-compat_2.12 1.1.1
مستوى org.typelevel spire-macros_2.12 0.17.0
مستوى org.typelevel spire-platform_2.12 0.17.0
مستوى org.typelevel spire-util_2.12 0.17.0
مستوى org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml ثعبان الثعبان 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1