Databricks Runtime 13.3 LTS

  • مقالة

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 13.3 LTS، مدعوما ب Apache Spark 3.4.1.

أصدرت Databricks هذه الصور في أغسطس 2023.

ميزات وتحسينات جديدة

دعم Scala للمجموعات المشتركة

تدعم المجموعات المشتركة التي تدعم كتالوج Unity Scala الآن، عند استخدام Databricks Runtime 13.3 وما فوق.

قائمة السماح لنصوص init وJARs وإحداثيات Maven على المجموعات المشتركة لكتالوج Unity في المعاينة العامة

يمكنك الآن استخدام كتالوج allowlist Unity للتحكم في تثبيت البرامج النصية init وJARs وMaven على الحساب مع وضع الوصول المشترك الذي يقوم بتشغيل Databricks Runtime 13.3 وما فوق. راجع Allowlist libraries and init scripts on shared compute.

دعم وحدات التخزين للبرنامج النصي init وJARs في المعاينة العامة

يمكنك الآن استخدام وحدات تخزين كتالوج Unity لتخزين البرامج النصية init وJARs على الحساب مع أوضاع الوصول المعينة أو المشتركة التي تعمل على Databricks Runtime 13.3 وما فوق. راجع أين يمكن تثبيت البرامج النصية init؟ والمكتبات ذات نطاق نظام المجموعة.

خزينة عمليات الإرسال الممكنة افتراضيا لعمليات Delta Lake

ينتج عن Delta UPDATE والعمليات MERGE الآن خطأ عندما لا يمكن تحويل القيم بأمان إلى النوع في مخطط الجدول الهدف. تتبع spark.sql.storeAssignmentPolicy جميع القوالب الضمنية في Delta الآن بدلا من spark.sql.ansi.enabled. راجع توافق ANSI في وقت تشغيل Databricks.

تقديم العلامات باستخدام كتالوج Unity

باستخدام Databricks Runtime 13.3 LTS والإحدث، يمكنك تطبيق العلامات على العناصر القابلة للتأمين. تساعدك العلامات على تنظيم العناصر القابلة للتأمين وتبسيط البحث عن أصول البيانات واكتشافها. راجع تطبيق العلامات.

يقوم Databricks Runtime بإرجاع خطأ إذا تم تعديل ملف بين تخطيط الاستعلام والاستدعاء

تقوم استعلامات وقت تشغيل Databricks الآن بإرجاع خطأ إذا تم تحديث ملف بين تخطيط الاستعلام والاستدعاء. قبل هذا التغيير، كان وقت تشغيل Databricks يقرأ ملفا بين هذه المراحل، ما يؤدي أحيانا إلى نتائج غير متوقعة.

الكتابة فوق مخطط الحظر عند استخدام الكتابة فوق القسم الديناميكي

لا يمكنك التعيين overwriteSchema إلى true مع الكتابة فوق القسم الديناميكي في Delta Lake. يمنع هذا تلف الجدول المحتمل بسبب عدم تطابق المخطط. راجع الكتابة فوق القسم الديناميكي.

دمج copyFile API في dbutils.fs.cp

تم الآن تحسين أمر dbutils.fs.cp نسخ dbutils لنسخ أسرع. مع هذا التحسين، يمكن أن تصل عمليات النسخ إلى 100x أسرع، اعتمادا على حجم الملف. تتوفر الميزة عبر جميع أنظمة الملفات التي يمكن الوصول إليها في Azure Databricks، بما في ذلك وحدات تخزين كتالوج Unity وتركيبات Databricks Filesystem.

دعم برنامج تشغيل Databricks ODBC/JDBC

يدعم Azure Databricks برامج تشغيل ODBC وJDBC التي تم إصدارها في العامين الماضيين. قم بتنزيل أحدث برنامج تشغيل في تنزيل برنامج تشغيل ODBC وتنزيل برنامج تشغيل JDBC.

دعم علامات المعلمات (الموضعية) غير المسماة

SparkSession.sql() تدعم واجهة برمجة التطبيقات الآن الاستعلامات ذات المعلمات باستخدام بناء الجملة ? بالإضافة إلى الاستعلامات ذات المعلمات باستخدام بناء الجملة:parm. راجع علامات المعلمات.

تمكين تسمية أعمدة السلسلة الزمنية

يمكنك الآن تسمية أعمدة السلاسل الزمنية عند إنشاء قيود المفتاح الأساسي.

وظائف SQL الجديدة للخريطة النقطية

قدمت Azure Databricks الآن مجموعة من الوظائف التي يمكن استخدامها لتعيين القيم الرقمية المتكاملة على صورة نقطية وتجميعها. يمكن استخدام هذا لحساب عدد من القيم المميزة مسبقا.

وظائف التشفير المحسنة

تم تحسين وظائف aes_encrypt aes_decrypt try_aes_decrypt مع دعم متجهات التهيئة (IV) والبيانات الإضافية المصادق عليها (AAD (دليل Azure النشط)).

دعم كتالوج Unity ل REFRESH FOREIGN

يمكنك الآن تحديث الكتالوجات والمخططات والجداول الخارجية في كتالوج Unity باستخدام REFRESH FOREIGN CATALOGو REFRESH FOREIGN SCHEMAو REFRESH FOREIGN TABLE. راجع تحديث الخارجي (كتالوج ومخطط وجدول) .

إدراج حسب الاسم

عند إدراج صفوف في جدول، يمكنك الآن السماح ل Azure Databricks بتعيين الأعمدة والحقول في الاستعلام المصدر تلقائيا إلى أعمدة الجدول حسب اسمها. راجع إدراج في.

مشاركة طرق العرض المجسدة باستخدام Delta Sharing

تدعم عبارة ALTER SHARE الآن طرق العرض المجسدة.

كسر التغييرات

التغييرات في التحويل الضمني عند تخزين الصفوف في جدول باستخدام MERGE INTO و UPDATE

يتبع Azure Databricks الآن التكوين spark.sql.storeAssignmentPolicy للصب الضمني عند تخزين الصفوف في جدول. تطرح القيمة ANSI الافتراضية خطأ عند تخزين القيم التي تتجاوز الحد الأقصى. في السابق، سيتم تخزين القيم بشكل NULL افتراضي.

كما في المثال التالي، يمكنك معالجة التجاوز عن طريق إعادة كتابة الجدول لاستخدام نوع أوسع للعمود الذي يسبب الخطأ.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

ترقيات المكتبة

  • مكتبات Python التي تمت ترقيتها:
    • تصحيح الأخطاء من 1.5.1 إلى 1.6.0
    • استياء من 0.3.6 إلى 0.3.7
    • fastjsonschema من 2.16.3 إلى 2.18.0
    • filelock من 3.12.0 إلى 3.12.2
  • مكتبات R التي تمت ترقيتها:
    • SparkR من 3.4.0 إلى 3.4.1
  • مكتبات Java التي تمت ترقيتها:
    • org.apache.orc.orc-core من 1.8.3-shaded-protobuf إلى 1.8.4-shaded-protobuf
    • org.apache.orc.orc-mapreduce من 1.8.3-shaded-protobuf إلى 1.8.4-shaded-protobuf
    • org.apache.orc.orc-shims من 1.8.3 إلى 1.8.4
    • org.eclipse.jetty.jetty-client من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.jetty-continuation من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.jetty-server من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet من 9.4.50.v20221201 إلى 9.4.51.v20230217
    • org.xerial.snappy.snappy-java من 1.1.8.4 إلى 1.1.10.1

Apache Spark

يتضمن Databricks Runtime 13.3 Apache Spark 3.4.1. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 13.2 (غير مدعوم)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

  • يمكنك الآن تعيين متغير SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 بيئة نظام المجموعة لاستخدام موصل Spark-snowflake v2.12.0.
  • [SPARK-43380] [DBRRM-383] إرجاع "[SC-133100][SQL] إصلاح تحاف نوع بيانات Avro...
  • [SPARK-44504] [Backport] [13.2] [13.x] [13.3] إلغاء تحميل الموفر وبالتالي فرض إغلاق مثيل DB وتحرير الموارد عند خطأ مهمة الصيانة
  • [SPARK-44059] [SC-137023] إضافة دعم المحلل للوسيطات المسماة للوظائف المضمنة
  • [SPARK-44485] [SC-137653] [SQL] تحسين TreeNode.generateTreeString
  • [SPARK-42944] [SC-137164] [SS] [PYTHON] تدفق ForeachBatch في Python
  • [SPARK-44446] [SC-136994] [PYTHON] إضافة عمليات التحقق لحالات خاصة من نوع القائمة المتوقعة
  • [SPARK-44439] [SC-136973] [CONNECT] [SS] تم إصلاح listListeners لإرسال المعرفات مرة أخرى إلى العميل فقط
  • [SPARK-44216] [SC-136941] [PYTHON] جعل واجهة برمجة تطبيقات assertSchemaEqual عامة
  • [SPARK-44201] [SC-136778] [CONNECT] [SS] إضافة دعم ل Streaming Listener في Scala ل Spark الاتصال
  • [SPARK-43915] [SC-134766] [SQL] تعيين أسماء لفئة الخطأ LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43798] إرجاع "[SC-133990][SQL][PYTHON] دعم وظائف الجدول المعرفة من قبل المستخدم في Python"
  • [SPARK-44398] [SC-136720] [CONNECT] واجهة برمجة تطبيقات Scala foreachBatch
  • [SPARK-44476] [SC-137169] [CORE] [CONNECT] إصلاح محتوى البيانات الاصطناعية ل JobArtifactState بدون بيانات اصطناعية مقترنة
  • [SPARK-44269] [SC-135817] [SQL] تعيين أسماء لفئة الخطأ LEGACY_ERROR_TEMP[2310-2314]
  • [SPARK-44395] [SC-136744] [SQL] تحديث وسيطات TVF لطلب أقواس حول المعرف بعد الكلمة الأساسية TABLE
  • [SPARK-43915] [SC-134766] [SQL] تعيين أسماء لفئة الخطأ LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43995] [SC-136794] [SPARK-43996] [CONNECT] إضافة دعم UDFRegistration إلى عميل الاتصال Scala
  • [SPARK-44109] [SC-134755] [CORE] إزالة المواقع المفضلة المكررة لكل قسم RDD
  • [SPARK-44169] [SC-135497] [SQL] تعيين أسماء لفئة الخطأ LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-41487] [SC-135636] [SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_1020
  • [SPARK-44398] [SC-136720] [CONNECT] واجهة برمجة تطبيقات Scala foreachBatch
  • [SPARK-44153] [SC-134977] [CORE] [واجهة المستخدم] عمود الدعم Heap Histogram في Executors علامة التبويب
  • [SPARK-44044] [SC-135695] [SS] تحسين رسالة الخطأ لوظائف النافذة مع الدفق
  • [SPARK-43914] [SC-135414] [SQL] تعيين أسماء لفئة الخطأ LEGACY_ERROR_TEMP[2433-2437]
  • [SPARK-44217] [SC-136805] [PYTHON] السماح بالدقة المخصصة للمساواة بين fp وتقريبي
  • [SPARK-44370] [SC-136575] [CONNECT] ترحيل Buf remote generation alpha إلى المكونات الإضافية البعيدة
  • [SPARK-44410] [SC-136930] [PYTHON] [CONNECT] تعيين جلسة عمل نشطة في الإنشاء، وليس فقط getOrCreate
  • [SPARK-44348] [SAS-1910] [SC-136644] [13.X] [CORE] [CONNECT] [PYTHON] إعادة تمكين test_artifact مع التغييرات ذات الصلة
  • [SPARK-44145] [SC-136698] [SQL] رد الاتصال عندما يكون جاهزا للتنفيذ
  • [SPARK-44264] [SC-136870] [PYTHON] [ML] فئة FunctionPickler
  • [SPARK-43986] [SC-135623] [SQL] إنشاء فئات خطأ لحالات فشل استدعاء دالة HyperLogLog
  • [SPARK-44139] [SC-134967] [SQL] تجاهل عوامل التصفية المدفوعة بالكامل في عمليات MERGE المستندة إلى المجموعة
  • [SPARK-44338] [SC-136718] [SQL] إصلاح رسالة خطأ عدم تطابق مخطط طريقة العرض
  • [SPARK-44208] [SC-135505] [CORE] [SQL] تعيين أسماء فئة خطأ واضحة لبعض المنطق الذي يستخدم الاستثناءات مباشرة
  • [SPARK-44364] [SC-136773] [PYTHON] إضافة دعم لنوع بيانات القائمة[الصف] المتوقع
  • [SPARK-44180] [SC-136792] [SQL] يجب أن تطبق DistributionAndOrderingUtils ResolveTimeZone
  • [SPARK-43389] [SC-136772] [SQL] تمت إضافة فحص فارغ لخيار lineSep
  • [SPARK-44388] [SC-136695] [CONNECT] إصلاح مشكلة تحويل protobuf عند تحديث مثيل UDF
  • [SPARK-44352] [SC-136373] [CONNECT] أعد نفس النوع والأصدقاء في DataType.
  • [SPARK-43975] [SC-134265] [SQL] DataSource V2: معالجة أوامر UPDATE للمصادر المستندة إلى المجموعة
  • [SPARK-44360] [SC-136461] [SQL] دعم تشذيب المخطط في عمليات MERGE المستندة إلى دلتا
  • [SPARK-44138] [SC-134907] [SQL] حظر التعبيرات والاستعلامات الفرعية والتجاميع غير المحددة في شروط MERGE
  • [SPARK-43321] [SC-136678] [الاتصال][متابعة] أسماء أفضل لواجهات برمجة التطبيقات المستخدمة في Scala Client joinWith
  • [SPARK-44263] [SC-136447] [CONNECT] دعم المعترضات المخصصة
  • [SPARK-39851] [SC-123383] [SQL] تحسين تقدير إحصائيات الصلة إذا كان أحد الجانبين يمكنه الحفاظ على التفرد
  • [SPARK-44390] [SC-136677] [CORE] [SQL] إعادة التسمية SparkSerDerseUtils إلى SparkSerDeUtils
  • [SPARK-44004] [SC-134751] [SQL] تعيين اسم وتحسين رسالة الخطأ لأخطاء LEGACY المتكررة.
  • [SPARK-44322] [SC-136204] [CONNECT] جعل المحلل يستخدم SqlApiConf بدلا من SQLConf.
  • [SPARK-44271] [SC-136347] [SQL] نقل دالات القيم الافتراضية من StructType إلى ResolveDefaultColumns
  • [SPARK-44332] [SC-136413] [CORE] [WEBUI] إصلاح خطأ الفرز لعمود معرف المنفذ في صفحة واجهة مستخدم المنفذين
  • [SPARK-44282] [SC-135948] [CONNECT] إعداد تحليل DataType للاستخدام في Spark الاتصال Scala Client
  • [SPARK-44349] [SC-136581] [R] إضافة دالات رياضية إلى SparkR
  • [SPARK-44397] [SC-136647] [PYTHON] كشف assertDataFrameEqual في pyspark.testing.utils
  • [SPARK-42981] [SC-136620] [CONNECT] إضافة تسلسل سهم مباشر
  • [SPARK-44373] [SC-136577] [SQL] التفاف معActive لمنطق تحليل واجهة برمجة تطبيقات مجموعة البيانات w/ لجعل التكوين المتعلق بالمحلل يعمل
  • [SPARK-44340] [SC-136574] [SQL] تحديد منطق الحوسبة من خلال واجهة برمجة تطبيقات PartitionEvaluator واستخدامه في WindowGroupLimitExec
  • [SPARK-43665] [SC-136573] [CONNECT] [PS] تمكين PandasSQLStringFormatter.vformat للعمل مع Spark الاتصال
  • [SPARK-44325] [SC-136572] [SQL] استخدام واجهة برمجة تطبيقات PartitionEvaluator في SortMergeJoinExec
  • [SPARK-44315] [SC-136171] [SQL] [CONNECT] نقل DefinedByConstructorParams إلى sql/api
  • [SPARK-44275] [SC-136184] [CONNECT] إضافة آلية إعادة المحاولة القابلة للتكوين إلى Scala Spark الاتصال
  • [SPARK-44326] [SC-136208] [SQL] [CONNECT] نقل الكائنات المستخدمة من عميل Scala إلى الوحدات النمطية الشائعة
  • [SPARK-43321] [SC-136156] [الاتصال] Dataset#Joinwith
  • [SPARK-44343] [SC-136372] [CONNECT] إعداد ScalaReflection للانتقال إلى SQL/API
  • [SPARK-44313] [SC-136081] [SQL] إصلاح التحقق من صحة تعبير العمود الذي تم إنشاؤه عند وجود عمود char/varchar في المخطط
  • [SPARK-43963] [SC-134145] [SQL] DataSource V2: معالجة أوامر MERGE للمصادر المستندة إلى المجموعة
  • [SPARK-44363] [SC-136433] [PYTHON] عرض النسبة المئوية للصفوف غير المتكافئة في مقارنة DataFrame
  • [SPARK-44251] [SC-136432] [SQL] تعيين nullable بشكل صحيح على مفتاح الصلة المدمج في صلة USING الخارجية الكاملة
  • [SPARK-43948] [SC-133366] [SQL] تعيين أسماء لفئة الخطأ LEGACY_ERROR_TEMP[0050|0057|0058|0059]
  • [SPARK-44329] [SC-136326] [CONNECT] [PYTHON] إضافة hll_sketch_agg hll_union_agg to_varchar try_aes_decrypt إلى Scala وPython
  • [SPARK-44351] [SC-136353] [SQL] إجراء بعض التبسيط التركيبي
  • [SPARK-44281] [SC-135963] [SQL] نقل خطأ QueryCompilation الذي يستخدمه DataType إلى sql/api ك DataTypeErrors
  • [SPARK-44283] [SC-136109] [CONNECT] نقل الأصل إلى SQL/API
  • [SPARK-43926] [SC-135590] [CONNECT] [PYTHON] إضافة array_agg array_size والعلاقة الأساسية count_min_sketch وقناع named_struct json_* إلى Scala وPython
  • [SPARK-44327] [SC-136187] [SQL] [CONNECT] إضافة دالات any وإلى len Scala
  • [SPARK-44290] [SC-136300] [CONNECT] الملفات والمحفوظات المستندة إلى جلسة العمل في Spark الاتصال
  • [SPARK-44061] [SC-136299] [PYTHON] إضافة دالة util assertDataFrameEqual
  • [SPARK-44331] [SC-136324] [CONNECT] [PYTHON] إضافة دالات نقطية إلى Scala وPython
  • [SPARK-44342] [SC-136334] [SQL] استبدال SQLContext ب SparkSession ل GenTPCDSData
  • [SPARK-42583] [SC-124190] [SQL] إزالة الصلة الخارجية إذا كانت جميعها دالات تجميعية مميزة
  • [SPARK-44333] [SC-136206] [CONNECT] [SQL] نقل EnhancedLogicalPlan من ParserUtils
  • [SPARK-43824] [SC-132655] [SPARK-43825] [SQL] تعيين أسماء لفئة الخطأ _LEGACY_ERROR_TEMP_128[1-2]
  • [SPARK-43939] [SC-134602] [CONNECT] [PYTHON] إضافة وظائف try_* إلى Scala وPython
  • [SPARK-44193] [SC-135886] [CONNECT] تنفيذ اعتراض استثناءات GRPC للتحويل
  • [SPARK-44284] [SC-136107] [CONNECT] إنشاء نظام تكوين بسيط ل sql/api
  • [SPARK-43913] [SC-133368] [SQL] تعيين أسماء لفئة الخطأ LEGACY_ERROR_TEMP[2426-2432]
  • [SPARK-44291] إرجاع "[SC-135924][SPARK-43416][CONNECT] إصلاح المخطط غير الصحيح لاستعلام النطاق"
  • [SPARK-44312] [SC-136185] [CONNECT] [PYTHON] السماح بتعيين عامل مستخدم مع متغير بيئة
  • [SPARK-44154] [SC-136060] تنفيذ وظائف النقط
  • [SPARK-43885] [SC-133996] [SQL] DataSource V2: معالجة أوامر MERGE للمصادر المستندة إلى دلتا
  • [SPARK-43924] [SC-135161] [CONNECT] [PYTHON] إضافة دالات misc إلى Scala وPython
  • [SPARK-43969] [SC-134556] [SQL] إعادة بناء التعليمات البرمجية وتعيين الأسماء إلى فئة الخطأ _LEGACY_ERROR_TEMP_1170
  • [SPARK-44185] [SC-135730] [SQL] إصلاح المسار غير المتسق المؤهل بين عمليات الكتالوج والبيانات
  • [SPARK-44073] [SC-134562] [SQL] [PYTHON] [CONNECT] إضافة دالات وقت التاريخ إلى Scala وPython و الاتصال - الجزء 2
  • [SPARK-43942] [SC-134527] [CONNECT] [PYTHON] إضافة دالات السلسلة إلى Scala وPython - الجزء 1
  • [SPARK-44266] [SC-135813] [SQL] نقل Util.truncatedString إلى sql/api
  • [SPARK-44195] [SC-135722] [R] إضافة واجهات برمجة تطبيقات JobTag إلى SparkR SparkContext
  • [SPARK-44200] [SC-135736] [SQL] دعم قاعدة محلل وسيطة TABLE ل TableValuedFunction
  • [SPARK-44254] [SC-135709] [SQL] نقل QueryExecutionErrors التي يستخدمها DataType إلى sql/api ك DataTypeErrors
  • [SPARK-44291] [SC-135924] [SPARK-43416] [CONNECT] إصلاح مخطط غير صحيح لاستعلام النطاق
  • [SPARK-43922] [SC-135612] [SQL] إضافة دعم المعلمات المسماة في المحلل لمكالمات الدالة
  • [SPARK-44300] [SC-135882] [CONNECT] إصلاح تنظيف البيانات الاصطناعية للحد من نطاق الحذف إلى البيانات الاصطناعية المحددة لجلسة العمل
  • [SPARK-44293] [SC-135849] [CONNECT] إصلاح URI غير صحيح ل JARs المخصص في Spark الاتصال
  • [SPARK-44215] [SC-135850] [SHUFFLE] إذا كانت مجموعات num هي 0، فيجب على الخادم طرح RuntimeException
  • [SPARK-44245] [SC-135851] [PYTHON] يجب أن تكون pyspark.sql.dataframe sample() doctests توضيحية فقط
  • [SPARK-44274] [SC-135814] [CONNECT] انقل دالات util المستخدمة بواسطة ArtifactManager إلى common/utils
  • [SPARK-44194] [SC-135815] [PYTHON] [CORE] إضافة واجهات برمجة تطبيقات JobTag إلى PySpark SparkContext
  • [SPARK-42828] [SC-135733] [PYTHON] [SQL] تعليقات توضيحية أكثر وضوحا لنوع Python ل GroupedData
  • [SPARK-44079] [SC-135486] [SQL] إصلاح ArrayIndexOutOfBoundsException عند تحليل الصفيف كبنية باستخدام وضع PERMISSIVE مع سجل تالف
  • [SPARK-44255] [SC-135809] [SQL] نقل StorageLevel إلى common/utils
  • [SPARK-42169] [SC-135795] [SQL] تنفيذ إنشاء التعليمات البرمجية لدالة to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719] [SQL] [PYTHON] إعادة بناء التعليمات البرمجية PythonUDTFRunner لإرسال نوع الإرجاع الخاص به بشكل منفصل
  • [SPARK-43353] [SC-132734] [PYTHON] ترحيل أخطاء الجلسة المتبقية إلى فئة الخطأ
  • [SPARK-44211] [SC-135718] [PYTHON] [CONNECT] تنفيذ SparkSession.is_stopped
  • [SPARK-42784] يجب أن يستمر [SC-135691] في إنشاء subDir عندما يكون عدد subDir في دمج dir أقل من conf
  • [SPARK-41599] [SC-135616] تسرب الذاكرة في FileSystem.CACHE عند إرسال التطبيقات لتأمين نظام المجموعة باستخدام InProcessLauncher
  • [SPARK-44241] [SC-135613] [الذاكرة الأساسية] تعيين io.connectionTimeout/connectionCreationTimeout إلى صفر أو سالب عن طريق الخطأ سيؤدي إلى سلبيات/عمليات تدمير المنفذ المستمرة
  • [SPARK-44133] [SC-134795] [13.X] [PYTHON] ترقية MyPy من 0.920 إلى 0.982
  • [SPARK-42941] [SC-134707] [SS] [CONNECT] [1/2] StreamingQueryListener - Event Serde بتنسيق JSON
  • [SPARK-44188] [SC-135173] [CORE] إزالة الأسلوب عديم الفائدة resetAllPartitions في ActiveJob
  • [SPARK-43757] [SC-135418] [CONNECT] تغيير توافق العميل من قائمة السماح إلى قائمة الرفض
  • [SPARK-43474] [SC-135521] [SS] [CONNECT] إضافة وصول spark connect إلى إطارات بيانات وقت التشغيل حسب المعرف.
  • [SPARK-44183] [SC-135209] [PYTHON] إنشاء PyArrow الحد الأدنى من الإصدار إلى 4.0.0
  • [SPARK-44248] [SC-135554] [SS] [SQL] [Kafka] إضافة الموقع المفضل في مصدر kafka v2
  • [SPARK-43929] [SC-134510] [SQL] [PYTHON] [CONNECT] إضافة دالات وقت التاريخ إلى Scala وPython وواجهة برمجة تطبيقات الاتصال - الجزء 1
  • [SPARK-44161] [SC-135326] [الاتصال] معالجة إدخال الصف ل UDFs
  • [SPARK-44227] [SC-135520] [SQL] استخراج المخططات من StructField
  • [SPARK-44064] [SC-135116] [CORE] [SQL] إضافة دالة جديدة apply إلى NonFateSharingCache
  • [SPARK-44171] [SC-135269] [SQL] تعيين أسماء لفئة الخطأ LEGACY_ERROR_TEMP[2279-2282] وحذف بعض فئات الخطأ غير المستخدمة
  • [SPARK-44056] [SC-134758] [SQL] تضمين اسم UDF في رسالة خطأ فشل تنفيذ UDF عند توفره
  • [SPARK-44205] [SC-135422] [SQL] استخراج رمز Catalyst من DecimalType
  • [SPARK-44220] [SC-135484] [SQL] نقل StringConcat إلى sql/api
  • [SPARK-44146] [SC-135230] [CONNECT] عزل Spark الاتصال جلسة العمل وملفات الفئات
  • [SPARK-44206] [SC-135411] [SQL] DataSet.selectExpr scope Session.active
  • [SPARK-40850] [SC-135417] [SQL] إصلاح الاستعلامات المفسرة لحالة الاختبار قد تنفذ Codegen
  • [SPARK-44204] [SC-135253] [SQL] [HIVE] إضافة recordHiveCall مفقود ل getPartitionNames
  • [SPARK-44237] [SC-135485] [CORE] تبسيط منطق بحث منشئ DirectByteBuffer
  • [SPARK-44189] [SC-135170] [CONNECT] [PYTHON] دعم المعلمات الموضعية بواسطة sql()
  • [SPARK-44140] [SC-134893] [SQL] [PYTHON] دعم المعلمات الموضعية في Python sql()
  • [SPARK-44164] [SC-135158] [SQL] استخراج أسلوب toAttribute من StructField إلى فئة Util
  • [SPARK-44178] [SC-135113] [CONNECT] دعم المعلمات الموضعية في sql()
  • [SPARK-43208] [SC-128955] [SQL] [HIVE] يجب على IsolatedClassLoader إغلاق فئة الحاجز InputStream بعد القراءة
  • [SPARK-43063] [SC-128382] [SQL] df.show يجب أن يطبع المقبض null بدلا من null
  • [SPARK-42539] [SC-124464] [SQL] [HIVE] التخلص من classloader المنفصل عند استخدام إصدار Hive "المضمن" لعميل بيانات التعريف
  • [SPARK-43992] [SC-133645] [SQL] [PYTHON] [CONNECT] إضافة نمط اختياري ل Catalog.listFunctions
  • [SPARK-44066] [SC-134878] [SQL] دعم المعلمات الموضعية في Scala/Java sql()
  • [SPARK-44078] [SC-134869] [CONNECT] [CORE] إضافة دعم لعزل classloader/resource
  • [SPARK-43470] [SC-135187] [CORE] إضافة معلومات إصدار نظام التشغيل وJava وPython إلى سجل التطبيق
  • [SPARK-43136] [SC-135238] [CONNECT] [متابعة] إضافة اختبارات ل KeyAs
  • [SPARK-39740] [SC-135093] [UI]: ترقية المخطط الزمني ل vis إلى 7.7.2 لإصلاح CVE-2020-28487
  • [SPARK-42298] [SC-133952] [SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2132
  • [SPARK-43961] [SC-133459] [SQL] [PYTHON] [CONNECT] إضافة نمط اختياري ل Catalog.listTables
  • [SPARK-44026] [SC-135181] السماح بتوفير القيمة الأولية ل SQLMetrics
  • [SPARK-44202] [SC-135244] [CORE] إضافة واجهات برمجة تطبيقات JobTag إلى JavaSparkContext
  • [SPARK-44030] [SC-135237] [SQL] تنفيذ DataTypeExpression لتقديم Unapply للتعبير
  • [SPARK-43876] إرجاع "[SC-134603][SQL] تمكين تجزئة سريعة للاستعلامات المميزة"
  • [SPARK-40082] [SC-126437] جدولة الدمجتأنال عند إعادة محاولة دفع دمج shuffleMapStage ولكن لا توجد مهام قيد التشغيل
  • [SPARK-43888] [SC-132893] [CORE] نقل التسجيل إلى المشتركة/utils
  • [SPARK-43474] [SC-134400] [SS] [CONNECT] إضافة SessionHolder إلى Spark الاتصال Planner
  • [SPARK-43944] [SC-134490] [CONNECT] [PYTHON] إضافة دالات السلسلة إلى Scala وPython - الجزء 2
  • [SPARK-44134] [SC-134954] [CORE] إصلاح تعيين الموارد (GPU/FPGA) إلى 0 عند تعيينها في spark-defaults.conf
  • [SPARK-44142] [SC-134947] [PYTHON] استبدال النوع ب tpe في الأداة المساعدة لتحويل أنواع python إلى أنواع شرارة
  • [SPARK-43952] [SC-134695] [CORE] [CONNECT] [SQL] إضافة واجهات برمجة تطبيقات SparkContext لإلغاء الاستعلام حسب العلامة
  • [SPARK-44000] [SC-133634] [SQL] إضافة تلميح لتعطيل البث والنسخ المتماثل لجانب واحد من الصلة
  • [SPARK-43937] [SC-134362] [CONNECT] [PYTHON] إضافة ifnull,isnotnull,equal_null,nullif,nvl,nvl2 إلى Scala وPython
  • [SPARK-43624] [13.x] [SC-134557] [PS] [CONNECT] أضف EWM إلى Spark الاتصال Planner.
  • [SPARK-44040] [SC-134366] [SQL] إصلاح إحصائيات الحوسبة عند عقدة AggregateExec فوق QueryStageExec
  • [SPARK-43485] [SC-131264] [SQL] إصلاح رسالة الخطأ الخاصة كوسيطة unit دالات datetime add/diff
  • [SPARK-43794] [SC-132561] [SQL] تعيين اسم لفئة الخطأ _LEGACY_ERROR_TEMP_1335
  • [SPARK-43511] [SC-134749] [CONNECT] [SS] واجهات برمجة تطبيقات MapGroupsWithState و FlatMapGroupsWithState ل Spark الاتصال
  • [SPARK-43529] [SQL] دعم تعبيرات خيارات الجدول CREATE/REPLACE + تنظيف التعليمات البرمجية
  • [SPARK-44106] [SC-134750] [PYTHON] [CONNECT] إضافة __repr__ ل GroupedData
  • [SPARK-42299] [SC-133190] تعيين اسم إلى _LEGACY_ERROR_TEMP_2206
  • [SPARK-43290] [SC-134388] [SQL] إضافة دعم aes_encrypt IVs AAD (دليل Azure النشط)
  • [SPARK-43932] [SC-134138] [SQL] [PYTHON] [CONNECT] إضافة current وظائف مثل إلى Scala وPython
  • [SPARK-43934] [SC-134108] [SQL] [PYTHON] [CONNECT] إضافة وظائف regexp_* إلى Scala وPython
  • [SPARK-44107] [SC-134746] [CONNECT] [PYTHON] إخفاء أساليب العمود غير المعتمدة من الإكمال التلقائي
  • [SPARK-42941] [SC-134707] [SS] [CONNECT] [1/2] StreamingQueryListener - Event Serde بتنسيق JSON
  • [SPARK-43773] [SC-132659] [CONNECT] [PYTHON] تنفيذ دالات 'levenshtein(str1, str2[, threshold])' في عميل python
  • [SPARK-44125] [SC-134745] [R] دعم Java 21 في SparkR
  • [SPARK-43919] [SC-133374] [SQL] استخراج وظائف JSON خارج الصف
  • [SPARK-43769] [SC-132520] [CONNECT] تنفيذ دالات 'levenshtein(str1, str2[, threshold])'
  • [SPARK-44012] [SC-134662] [SS] KafkaDataConsumer لطباعة بعض حالة القراءة
  • [SPARK-43876] [SC-134603] [SQL] تمكين تجزئة سريعة للاستعلامات المميزة
  • [SPARK-44024] [SC-134497] [SQL] التغيير لاستخدامه map عند unzip استخدامه فقط لاستخراج عنصر واحد
  • [SPARK-43928] [SC-134467] [SQL] [PYTHON] [CONNECT] إضافة عمليات البت إلى Scala وPython وواجهة برمجة تطبيقات الاتصال
  • [SPARK-44092] [SC-134506] [CORE] إضافة Utils.isJavaVersionAtLeast21 وجعل core الوحدة النمطية تمر باستخدام Java 21
  • [SPARK-44018] [SC-134512] [SQL] تحسين hashCode و toString لبعض تعبير DS V2
  • [SPARK-44105] [SC-134582] [SQL] LastNonNull يجب حلها ببطء
  • [SPARK-44081] [SC-134434] تبسيط واجهة برمجة تطبيقات PartitionedFileUtil قليلا
  • [SPARK-43791] [SC-132531] [SQL] تعيين اسم لفئة الخطأ _LEGACY_ERROR_TEMP_1336
  • [SPARK-44071] [SC-134435] تعريف واستخدام لم يتم حله[ورقة طرفية|أحادية]سمات العقدة.
  • [SPARK-43852] [SC-132890] [SPARK-43853] [SPARK-43854] [SPARK-43855] [SPARK-43856] تعيين أسماء لفئة الخطأ _LEGACY_ERROR_TEMP_2418-2425
  • [SPARK-43742] [SC-132684] [SQL] إعادة بناء التعليمات البرمجية لدقة قيمة العمود الافتراضية
  • [SPARK-43493] [SC-132063] [SQL] إضافة وسيطة أقصى مسافة إلى الدالة levenshtein()
  • [SPARK-44075] [SC-134382] [CONNECT] جعل transformStatCorr كسول
  • [SPARK-43925] [SC-134381] [SQL] [PYTHON] [CONNECT] إضافة بعض، bool_or، bool_and، كل إلى Scala وPython الاتصال
  • [SPARK-43931] [SC-134158] [SQL] [PYTHON] [CONNECT] إضافة وظائف make_* إلى Scala وPython
  • [SPARK-43762] [SC-132602] [SPARK-43763] [SPARK-43764] [SPARK-43765] [SPARK-43766] [SQL] تعيين أسماء لفئة الخطأ _LEGACY_ERROR_TEMP_24[06-10]
  • [SPARK-43962] [SC-133367] [SQL] تحسين رسائل الخطأ: CANNOT_DECODE_URL، CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE، CANNOT_PARSE_DECIMAL، ، CANNOT_READ_FILE_FOOTER. CANNOT_RECOGNIZE_HIVE_TYPE
  • [SPARK-43938] [SC-133887] [CONNECT] [PYTHON] إضافة وظائف to_* إلى Scala وPython
  • [SPARK-44055] [SC-134321] [CORE] إزالة الدالات المكررة override من CheckpointRDD
  • [SPARK-43802] [SC-132597] [SQL] إصلاح codegen ل unhex و unbase64 مع failOnError=true
  • [SPARK-43798] [SC-133990] [SQL] [PYTHON] دعم وظائف الجدول المعرفة من قبل المستخدم في Python
  • [SPARK-43941] [SC-134286] [SQL] [PYTHON] [CONNECT] إضافة any_value approx_percentile count_if first_value histogram_numeric last_value وتقليلها إلى Scala وPython وواجهة برمجة تطبيقات الاتصال
  • [SPARK-43380] [SC-133100] [SQL] إصلاح مشكلات تحويل نوع بيانات Avro لتجنب إنتاج نتائج غير صحيحة
  • [SPARK-43803] [SC-133729] [SS] [CONNECT] تحسين awaitTermination() لمعالجة قطع اتصال العميل
  • [SPARK-43179] [SC-129070] [SHUFFLE] السماح للتطبيقات بالتحكم في ما إذا كان يتم حفظ بيانات التعريف الخاصة بها في db بواسطة خدمة التبديل العشوائي الخارجية

دعم برنامج تشغيل Databricks ODBC/JDBC

يدعم Databricks برامج تشغيل ODBC/JDBC التي تم إصدارها في العامين الماضيين. يرجى تنزيل برامج التشغيل التي تم إصدارها مؤخرا والترقية (تنزيل ODBC، تنزيل JDBC).

بيئة النظام

  • نظام التشغيل: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

مكتبات Python المثبتة

مكتبة إصدار مكتبة إصدار مكتبة إصدار
dirs 1.4.4 argon2-cffi 21.3.0 روابط argon2-cffi 21.2.0
الرموز المميزة 2.2.1 سلاسل السلاسل 21.4.0 تثبيت خلفي 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 التبييض 4.1.0
وامض 1.4 boto3 1.24.28 روبوت الدردشة 1.27.28
شهادة 2022.9.14 cffi 1.15.1 تجزئة 4.0.0
charset-normalizer 2.0.4 انقر فوق 8.0.4 التشفير 37.0.1
دورة 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 تصحيح الأخطاء 1.6.0 ديكور 5.1.1
defusedxml 0.7.1 استياء 0.3.7 docstring-to-markdown 0.12
نقاط الإدخال 0.4 تنفيذ 1.2.0 نظرة عامة على الواجهات 1.0.3
fastjsonschema 2.18.0 قفل الملف 3.12.2 أصوام الخطوط 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 حالة grpcio 1.48.1
httplib2 0.20.2 idna 3.3 بيانات تعريف importlib 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
عناوين ipywidgets 7.7.2 جدي 0.18.1 سيارة جيب 0.7.1
جينجا 2 2.11.3 مسار jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 أداة إنشاء المفاتيح 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 العلامات خزينة 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 مكابي 0.7.0 سوء الحظ 0.8.4
المزيد من التكرارات 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 تنسيق nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 notebook 6.4.12 numpy 1.21.5
أواتهليب 3.2.0 التغليف 21.3 pandas 1.4.4
عوامل تصفية pandocfilter 1.5.0 parso 0.8.3 pathspec 0.9.0
باتسي 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
وساده 9.2.0 pip 22.2.2 المنصات 2.5.2
بشكل مخطط 5.9.0 توصيل 1.0.0 prometheus-client 0.14.1
مجموعة أدوات المطالبة 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 عملية ptyprocess 0.7.0 تقييم خالص 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
تمام 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 خادم python-lsp 1.7.1 تكوين pytool 1.2.2
pytz 2022.1 pyzmq 23.2.0 الطلبات 2.28.1
الحبل 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
شفرة 1.9.1 بحر محمول 0.11.2 مخزن البيانات السرية 3.3.1
Send2Trash 1.8.0 أدوات الإعداد 63.4.1 ستة 1.16.0
شوربة الحساء 2.3.1 ssh-import-id 5.11 بيانات المكدس 0.6.2
نماذج الإحصائيات 0.13.2 مثابره 8.1.0 terminado 0.13.1
مسار الاختبار 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 اعصار 6.1 سمات السمات 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 ترقيات غير مراقبة 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 ترميزات الويب 0.5.1 whatthepatch 1.0.2
عجله 0.37.1 عنصر واجهة المستخدم 3.6.1 yapf 0.31.0
zipp 1.0.0

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN على 2023-02-10.

مكتبة إصدار مكتبة إصدار مكتبة إصدار
السهم 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 الأساس 4.2.2 base64enc 0.1-3
بت 4.0.5 bit64 4.0.5 كائن ثنائي كبير الحجم 1.2.3
boot 1.3-28 المشروب 1.0-8 بريو 1.1.3
broom 1.0.3 bslib 0.4.2 ذاكرة التخزين المؤقت 1.0.6
callr 3.7.3 علامة إقحام 6.0-93 cellranger 1.1.0
كرون 2.3-59 فئة 7.3-21 cli 3.6.0
clipr 0.8.0 ساعه 0.6.1 نظام مجموعة 2.1.4
codetools 0.2-19 colorspace 2.1-0 العلامة الشائعة 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 بيانات الاعتماد 1.3.2 curl ⁧5.0.0⁧
data.table 1.14.6 مجموعات البيانات 4.2.2 DBI 1.1.3
dbplyr 2.3.0 تنازلي 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 إضاءة هابطة 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
علامة الحذف 0.3.2 التقييم 0.20 fansi 1.0.4
مسافة بعيدة 2.1.1 خريطة سريعة 1.1.0 fontawesome 0.5.0
forcats 1.0.0 Foreach 1.5.2 foreign 0.8-82
صياغه 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 الغرغره 1.3.0 generics 0.1.3
غيرت 1.9.2 ggplot2 3.4.0 غ ⁦⁩⁦⁩1.3.1
صور gitcred 0.1.2 glmnet 4.1-6 Globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 هاردات 1.2.0 haven 2.5.1
highr 0.10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 Ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
labeling 0.4.2 لاحقا 1.3.0 lattice 0.20-45
lava 1.7.1 دورة الحياة 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
MASS 7.3-58.2 مصفوفة 1.5-1 المذكرة 2.0.1
الأساليب 4.2.2 mgcv 1.8-41 mime 0.12
واجهة مستخدم مصغرة 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
بالتوازي 1.34.0 pillar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 الثناء 1.0.0
prettyunits 1.1.1 بروك 1.18.0 processx 3.8.0
prodlim 2019.11.13 ملفات تعريفية 0.3.7 التقدم 1.2.2
متدرج التقدم 0.13.0 وعود 1.2.0.1 proto 1.0.0
الوكيل 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 رعوج 1.2.5
randomForest 4.7-1.1 طيور الراب 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recipes 1.0.4
rematch 1.0.1 إعادة المباراة2 2.1.2 Remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 تحويلات 2.1.2
rvest 1.0.3 ساس 0.4.5 scales 1.2.1
selectr 0.4-2 معلومات الجلسة 1.2.2 الشكل 1.4.6
لامعه 1.7.4 قوالب المصدر 0.1.7-1 sparklyr 1.7.9
سبارك 3.4.1 spatial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
survival 3.5-3 sys 3.4.1 الشبكات الأساسية للنظام 1.0.4
tcltk 4.2.2 اختبار الذي 3.1.6 تشكيل النص 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 تغيير الوقت 0.2.0 timeDate 4022.108
tinytex 0.44 الأدوات 4.2.2 tzdb 0.3.0
محدد موقع المعلومات (urlchecker) 1.0.1 استخدام هذا 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 غرفة vroom 1.6.1 والدو 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)

معرف مجموعة معرف البيانات الاصطناعية إصدار
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws دعم aws-java-sdk 1.12.390
com.amazonaws مكتبات aws-java-sdk-swf 1.11.22
com.amazonaws مساحات عمل aws-java-sdk 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics تيار 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo مظلل 4.0.2
com.esotericsoftware سجل الحد الأدنى 1.3.0
com.fasterxml زميل 1.3.4
com.fasterxml.jackson.core التعليقات التوضيحية ل جاكسون 2.14.2
com.fasterxml.jackson.core جاكسون النواة 2.14.2
com.fasterxml.jackson.core جاكسون-databind 2.14.2
com.fasterxml.jackson.dataformat جاكسون-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype جاكسون-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.كافيين الكافيين 2.9.3
com.github.fommil أداة تحميل jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 من السكان الأصليين
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1 من السكان الأصليين
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 من السكان الأصليين
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 من السكان الأصليين
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink تينك 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava الجوافه 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox cp عظمي 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning ضغط lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter برد-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity محللات أحادية التكافؤ 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
المجموعات المشتركة المجموعات المشتركة 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
تسجيل المشتركات تسجيل المشتركات 1.1.3
تجمع مشترك تجمع مشترك 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib بلاس 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift أداة ضغط الهواء 0.21
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics المقاييس-الفحوصات الصحية 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty معالج netty 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty محلل netty 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus واجهة سطر الأوامر البسيطة 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx جامع 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation التنشيط 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction واجهة برمجة تطبيقات المعاملات 1.1
javax.xml.bind jaxb-api 2.2.11
التفاف دائري التفاف دائري 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine المخلل 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr وقت تشغيل antlr 3.5.2
org.antlr وقت تشغيل antlr4 4.9.3
org.antlr سلسلة قوالب 3.2.1
org.apache.ant النمل 1.9.16
org.apache.ant نملة-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.سهم تنسيق السهم 11.0.0
org.apache.سهم ذاكرة أساسية للسهم 11.0.0
org.apache.سهم سهم-ذاكرة-netty 11.0.0
org.apache.سهم خط متجه للسهم 11.0.0
org.apache.avro افرو 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons ضغط الشائعات 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator عميل أمين 2.13.0
org.apache.curator إطار عمل أمين 2.13.0
org.apache.curator وصفات أمين 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby ديربي 10.14.2.0
org.apache.hadoop وقت تشغيل عميل hadoop 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive عميل hive-llap 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy اللبلاب 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.4-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.4-shaded-protobuf
org.apache.orc orc-shims 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus التعليقات التوضيحية للجمهور 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework مدقق كهومي 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson جاكسون-mapper-asl 1.9.13
org.codehaus.janino محول برمجي مشترك 3.0.16
org.codehaus.janino جانينو 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty عميل jetty 9.4.51.v20230217
org.eclipse.jetty متابعة jetty 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty وكيل jetty 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty خادم jetty 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket عميل websocket 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket خادم websocket 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 محدد موقع hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external إعادة حزم الأوبالين 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers جيرسي حاوية-servlet 2.36
org.glassfish.jersey.containers جيرسي-حاوية-servlet-core 2.36
org.glassfish.jersey.core جيرسي-العميل 2.36
org.glassfish.jersey.core جيرسي المشتركة 2.36
org.glassfish.jersey.core خادم جيرسي 2.36
org.glassfish.jersey.inject جيرسي-hk2 2.36
org.hibernate.validator مدقق الإسبات 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.jboss.logging تسجيل jboss 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains التعليقات التوضيحية 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis داء objenesis 2.5.1
org.postgresql الانترنت 42.3.8
org.roaringbitmap هديرBitmap 0.9.39
org.roaringbitmap الحشوات 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt واجهة الاختبار 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest المتوافق مع التحجيم 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten ثلاثتين إضافية 1.7.1
org.tukaani xz 1.9
مستوى org.typelevel algebra_2.12 2.0.1
مستوى org.typelevel cats-kernel_2.12 2.1.1
مستوى org.typelevel spire-macros_2.12 0.17.0
مستوى org.typelevel spire-platform_2.12 0.17.0
مستوى org.typelevel spire-util_2.12 0.17.0
مستوى org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml ثعبان الثعبان 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1