تحديثات صيانة وقت تشغيل Databricks

تسرد هذه الصفحة تحديثات الصيانة الصادرة لإصدارات Databricks وقت التشغيل. لإضافة تحديث صيانة إلى كتلة موجودة، أعد تشغيل نظام المجموعة.

ملاحظة

تحتوي هذه المقالة على مراجع إلى المصطلح whitelist، وهو المصطلح الذي لم يعد يستخدم Azure Databricks. عندما تتم إزالة المصطلح من البرنامج، ’ سنقوم بإزالتها من هذه المقالة.

إصدارات وقت التشغيل ل Databricks

تحديثات الصيانة حسب الإصدار:

للحصول على ملاحظات الإصدار الأصلي، اتبع الارتباط الموجود أسفل العنوان الفرعي.

البياناتبريك وقت التشغيل 10.0

انظر Databricks وقت التشغيل 10.0.

  • 9 نوفمبر 2021
    • عرض إشارات تكوين إضافية لتمكين التحكم الدقيق المحبب لسلوكيات ANSI.
  • 4 نوفمبر 2021
    • إصلاح خطأ قد يؤدي إلى فشل تدفقات "التدفق المنظم" باستخدام صفيفIndexOutOfBoundsException
    • إصلاح شرط سباق قد يتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: No FileSystem for scheme أو قد يؤدي إلى تعديلات إلى لا sparkContext.hadoopConfiguration نافذ المفعول في الاستعلامات.
    • تمت ترقية موصل اباتشي سبارك لمشاركة دلتا إلى 0.2.0.
  • 30 نوفمبر 2021
    • إصلاح مشكلة مع تحليل الطابع الزمني حيث تم اعتبار سلسلة منطقة زمنية بدون نقطتين غير صالحة.
    • إصلاح مشكلة نفاد الذاكرة مع التخزين المؤقت نتيجة الاستعلام تحت شروط معينة.
    • إصلاح مشكلة USE DATABASE عند تبديل مستخدم الكتالوج الحالي إلى كتالوج غير افتراضي.

داتابريكز وقت التشغيل 9.1 LTS

انظر Databricks وقت التشغيل 9.1 LTS.

  • 4 نوفمبر 2021
    • إصلاح خطأ قد يؤدي إلى فشل تدفقات "التدفق المنظم" باستخدام صفيفIndexOutOfBoundsException
    • إصلاح شرط سباق قد يتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: No FileSystem for scheme أو قد يؤدي إلى تعديلات إلى لا sparkContext.hadoopConfiguration نافذ المفعول في الاستعلامات.
    • تمت ترقية موصل اباتشي سبارك لمشاركة دلتا إلى 0.2.0.
  • 20 أكتوبر 2021
    • ترقية موصل بيجكير من 0.18.1 إلى 0.22.2. وهذا يضيف الدعم لنوع BigNumeric.

البياناتبريك وقت التشغيل 9.0

انظر Databricks وقت التشغيل 9.0.

  • 4 نوفمبر 2021
    • إصلاح خطأ قد يؤدي إلى فشل تدفقات "التدفق المنظم" باستخدام صفيفIndexOutOfBoundsException
    • إصلاح شرط سباق قد يتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: No FileSystem for scheme أو قد يؤدي إلى تعديلات إلى لا sparkContext.hadoopConfiguration نافذ المفعول في الاستعلامات.
    • تمت ترقية موصل اباتشي سبارك لمشاركة دلتا إلى 0.2.0.
  • سبتمبر 22, 2021
    • إصلاح خطأ في صفيف Spark المصبوب مع null إلى سلسلة
  • سبتمبر 15, 2021
    • إصلاح شرط سباق قد يتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x .
  • سبتمبر 8, 2021
    • إضافة دعم لاسم المخطط databaseName.schemaName.tableName (تنسيق) كاسم الجدول الهدف لموصل Azure Synapse.
    • الهندسة المضافة والجغرافيا JDBC أنواع الدعم لشرارة SQL.
    • [SPARK-33527][SQL] توسيع وظيفة فك التشفير لتكون متسقة مع قواعد البيانات السائدة.
    • [SPARK-36532][CORE][3.1] حالة توقف تام ثابتة في المنفذينconnected'' لمنع إيقاف تشغيل المنفذ تعليق.
  • 25 أغسطس 2021
    • SQL Server تمت ترقية مكتبة برنامج التشغيل إلى 9.2.1.jre8.
    • تمت ترقية موصل ندفة الثلج إلى 2.9.0.
    • رابط مقطوع ثابت لأفضل دفتر ملاحظات تجريبي على صفحة تجربة AutoML.

البيانات الكريكيت وقت التشغيل 8.4

انظر داتابريكز وقت التشغيل 8.4.

  • 4 نوفمبر 2021
    • إصلاح خطأ قد يؤدي إلى فشل تدفقات "التدفق المنظم" باستخدام صفيفIndexOutOfBoundsException
    • إصلاح شرط سباق قد يتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: No FileSystem for scheme أو قد يؤدي إلى تعديلات إلى لا sparkContext.hadoopConfiguration نافذ المفعول في الاستعلامات.
    • تمت ترقية موصل اباتشي سبارك لمشاركة دلتا إلى 0.2.0.
  • سبتمبر 22, 2021
    • تمت ترقية برنامج تشغيل Spark JDBC إلى 2.6.19.1030
    • [SPARK-36734][SQL] ترقية ORC إلى 1.5.1
  • سبتمبر 15, 2021
    • إصلاح شرط سباق قد يتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x .
    • تحديثات أمان نظام التشغيل.
  • سبتمبر 8, 2021
    • [SPARK-36532][CORE][3.1] حالة توقف تام ثابتة في المنفذينconnected'' لمنع إيقاف تشغيل المنفذ تعليق.
  • 25 أغسطس 2021
    • SQL Server تمت ترقية مكتبة برنامج التشغيل إلى 9.2.1.jre8.
    • تمت ترقية موصل ندفة الثلج إلى 2.9.0.
    • إصلاح خطأ في تمرير بيانات الاعتماد بسبب تحسين الجلب المسبق باركيه الجديد، حيث قد لا يتم العثور على بيانات اعتماد المرور للمستخدم ’ أثناء الوصول إلى الملف.
  • 11 أغسطس 2021
    • إصلاح مشكلة عدم توافق RocksDB يمنع قديم Databricks وقت التشغيل 8.4. يعمل هذا على إصلاح التوافق إلى الأمام لتطبيقات "محمل COPY INTO تلقائي" و"تدفق الحالة".
    • إصلاح خطأ عند استخدام "محمل تلقائي" لقراءة ملفات CSV مع ملفات رأس غير متطابقة. إذا لم تتطابق أسماء الأعمدة، سيتم تعبئة العمود بالأرقام الفارغة. الآن، إذا تم توفير مخطط، فإنه يفترض أن المخطط هو نفسه، وسوف حفظ عدم تطابق العمود فقط إذا تم تمكين أعمدة البيانات التي تم إنقاذها.
    • إضافة خيار جديد يسمى externalDataSource في موصل Synapse Azure لإزالة CONTROL متطلبات الإذن على قاعدة البيانات للقراءة PolyBase.
  • جول 29, 2021
    • [SPARK-36034][BUILD] Rebase التاريخ في دفع أسفل المرشحات إلى باركيه
    • [SPARK-36163][BUILD] نشر خصائص JDBC الصحيحة في موفر موصل JDBC وإضافة خيار

البياناتبريك وقت التشغيل 8.3

انظر داتابريكز وقت التشغيل 8.3.

  • 4 نوفمبر 2021
    • إصلاح خطأ قد يؤدي إلى فشل تدفقات "التدفق المنظم" باستخدام صفيفIndexOutOfBoundsException
    • إصلاح شرط سباق قد يتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: No FileSystem for scheme أو قد يؤدي إلى تعديلات إلى لا sparkContext.hadoopConfiguration نافذ المفعول في الاستعلامات.
  • سبتمبر 22, 2021
    • تمت ترقية برنامج تشغيل Spark JDBC إلى 2.6.19.1030
  • سبتمبر 15, 2021
    • إصلاح شرط سباق قد يتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x .
    • تحديثات أمان نظام التشغيل.
  • سبتمبر 8, 2021
    • [SPARK-35700][SQL][WARMFIX] قراءة شار / varchar جدول orc عند إنشاؤها وكتابتها من قبل أنظمة خارجية.
    • [SPARK-36532][CORE][3.1] حالة توقف تام ثابتة في المنفذينconnected'' لمنع إيقاف تشغيل المنفذ تعليق.
  • 25 أغسطس 2021
    • SQL Server تمت ترقية مكتبة برنامج التشغيل إلى 9.2.1.jre8.
    • تمت ترقية موصل ندفة الثلج إلى 2.9.0.
    • إصلاح خطأ في تمرير بيانات الاعتماد بسبب تحسين الجلب المسبق باركيه الجديد، حيث قد لا يتم العثور على بيانات اعتماد المرور للمستخدم ’ أثناء الوصول إلى الملف.
  • 11 أغسطس 2021
    • إصلاح خطأ عند استخدام "محمل تلقائي" لقراءة ملفات CSV مع ملفات رأس غير متطابقة. إذا لم تتطابق أسماء الأعمدة، سيتم تعبئة العمود بالأرقام الفارغة. الآن، إذا تم توفير مخطط، فإنه يفترض أن المخطط هو نفسه، وسوف حفظ عدم تطابق العمود فقط إذا تم تمكين أعمدة البيانات التي تم إنقاذها.
  • جول 29, 2021
    • ترقية موصل "ثلج الثلج سبارك" إلى 2.9.0-شرارة-3.1
    • [SPARK-36034][BUILD] Rebase التاريخ في دفع أسفل المرشحات إلى باركيه
    • [SPARK-36163][BUILD] نشر خصائص JDBC الصحيحة في موفر موصل JDBC وإضافة خيار
  • جول 14, 2021
    • إصلاح مشكلة عند استخدام أسماء الأعمدة مع النقاط في موصل Azure Synapse.
    • قدم database.schema.table تنسيق لموصل Synapse.
    • إضافة دعم لتوفير databaseName.schemaName.tableName التنسيق كجدول الهدف بدلا من فقط schemaName.tableName أو tableName .
  • 15 يونيو 2021
    • إصلاح NoSuchElementException خطأ في دلتا ليك الأمثل يكتب التي يمكن أن يحدث عند كتابة كميات كبيرة من البيانات ومواجهة خسائر المنفذ
    • إضافة SQL و CREATE GROUPDROP GROUP و ALTER GROUP و SHOW GROUPS و SHOW USERS أوامر. لمزيد من التفاصيل، راجع بيانات الأمان و إظهار العبارات.

2.8 (غير معتمد) وقت تشغيل البيانات

راجع Databricks وقت التشغيل 8.2 (غير معتمد).

  • سبتمبر 22, 2021

    • تحديثات أمان نظام التشغيل.
  • سبتمبر 15, 2021

    • إصلاح شرط سباق قد يتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x .
  • سبتمبر 8, 2021

    • [SPARK-35700][SQL][WARMFIX] قراءة شار / varchar جدول orc عند إنشاؤها وكتابتها من قبل أنظمة خارجية.
    • [SPARK-36532][CORE][3.1] حالة توقف تام ثابتة في المنفذينconnected'' لمنع إيقاف تشغيل المنفذ تعليق.
  • 25 أغسطس 2021

    • تمت ترقية موصل ندفة الثلج إلى 2.9.0.
  • 11 أغسطس 2021

    • [SPARK-36034][SQL] Rebase التاريخ في دفعت إلى أسفل مرشحات إلى الباركيه.
  • جول 29, 2021

    • ترقية موصل "ثلج الثلج سبارك" إلى 2.9.0-شرارة-3.1
    • [SPARK-36163][BUILD] نشر خصائص JDBC الصحيحة في موفر موصل JDBC وإضافة خيار
  • جول 14, 2021

    • إصلاح مشكلة عند استخدام أسماء الأعمدة مع النقاط في موصل Azure Synapse.
    • قدم database.schema.table تنسيق لموصل Synapse.
    • إضافة دعم لتوفير databaseName.schemaName.tableName التنسيق كجدول الهدف بدلا من فقط schemaName.tableName أو tableName .
    • إصلاح خطأ يمنع المستخدمين من السفر عبر الزمن إلى الإصدارات القديمة المتوفرة مع جداول دلتا.
  • 15 يونيو 2021

    • إصلاح NoSuchElementException خطأ في دلتا ليك الأمثل يكتب التي يمكن أن يحدث عند كتابة كميات كبيرة من البيانات ومواجهة خسائر المنفذ
  • 26 مايو 2021

    • تحديث Python مع تصحيح الأمان لإصلاح ثغرة أمنية Python (CVE-2021-3177).
  • أبريل 30, 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم الإشعال في SparkSubmit
    • [SPARK-34245][CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
    • إصلاح مشكلة OOM عند تقارير "محمل تلقائي" مقاييس التقدم تدفق منظم.

8.1 (غير معتمد) وقت تشغيل ستريك البيانات

راجع Databricks وقت التشغيل 8.1 (غير معتمد).

  • سبتمبر 22, 2021

    • تحديثات أمان نظام التشغيل.
  • سبتمبر 15, 2021

    • إصلاح شرط سباق قد يتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x .
  • سبتمبر 8, 2021

    • [SPARK-35700][SQL][WARMFIX] قراءة شار / varchar جدول orc عند إنشاؤها وكتابتها من قبل أنظمة خارجية.
    • [SPARK-36532][CORE][3.1] حالة توقف تام ثابتة في المنفذينconnected'' لمنع إيقاف تشغيل المنفذ تعليق.
  • 25 أغسطس 2021

    • تمت ترقية موصل ندفة الثلج إلى 2.9.0.
  • 11 أغسطس 2021

    • [SPARK-36034][SQL] Rebase التاريخ في دفعت إلى أسفل مرشحات إلى الباركيه.
  • جول 29, 2021

    • ترقية موصل "ثلج الثلج سبارك" إلى 2.9.0-شرارة-3.1
    • [SPARK-36163][BUILD] نشر خصائص JDBC الصحيحة في موفر موصل JDBC وإضافة خيار
  • جول 14, 2021

    • إصلاح مشكلة عند استخدام أسماء الأعمدة مع النقاط في موصل Azure Synapse.
    • إصلاح خطأ يمنع المستخدمين من السفر عبر الزمن إلى الإصدارات القديمة المتوفرة مع جداول دلتا.
  • 15 يونيو 2021

    • إصلاح NoSuchElementException خطأ في دلتا ليك الأمثل يكتب التي يمكن أن يحدث عند كتابة كميات كبيرة من البيانات ومواجهة خسائر المنفذ
  • 26 مايو 2021

    • تحديث Python مع تصحيح الأمان لإصلاح ثغرة أمنية Python (CVE-2021-3177).
  • أبريل 30, 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم الإشعال في SparkSubmit
    • إصلاح مشكلة OOM عند تقارير "محمل تلقائي" مقاييس التقدم تدفق منظم.
  • أبريل 27, 2021

    • [SPARK-34245][CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
    • [SPARK-34856][SQL] وضع ANSI: السماح بأنواع معقدة الصب كنوع سلسلة
    • [سبارك-35014] إصلاح نمط التجميع الفعلي لعدم إعادة كتابة التعبيرات القابلة للطي
    • [SPARK-34769][SQL] AnsiTypeCoercion: إرجاع أضيق نوع قابل للتحويل بين TypeCollection
    • [SPARK-34614][SQL] وضع ANSI: سلسلة الصب إلى المنطقية سوف يلقي استثناء على خطأ تحليل
    • [SPARK-33794][SQL] وضع ANSI: إصلاح تعبير NextDay لرمي وقت التشغيل IllegalArgumentException عند تلقي إدخال غير صالح ضمن

8.0 (غير معتمد) وقت تشغيل ستريك البيانات

راجع Databricks وقت التشغيل 8.0 (غير معتمد).

  • سبتمبر 15, 2021

    • إصلاح شرط سباق قد يتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x .
  • 25 أغسطس 2021

    • تمت ترقية موصل ندفة الثلج إلى 2.9.0.
  • 11 أغسطس 2021

    • [SPARK-36034][SQL] Rebase التاريخ في دفعت إلى أسفل مرشحات إلى الباركيه.
  • جول 29, 2021

    • [SPARK-36163][BUILD] نشر خصائص JDBC الصحيحة في موفر موصل JDBC وإضافة خيار
  • جول 14, 2021

    • إصلاح مشكلة عند استخدام أسماء الأعمدة مع النقاط في موصل Azure Synapse.
    • إصلاح خطأ يمنع المستخدمين من السفر عبر الزمن إلى الإصدارات القديمة المتوفرة مع جداول دلتا.
  • 26 مايو 2021

    • تحديث Python مع تصحيح الأمان لإصلاح ثغرة أمنية Python (CVE-2021-3177).
  • أبريل 30, 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم الإشعال في SparkSubmit
    • [SPARK-34245][CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
  • مارس 24, 2021

    • [SPARK-34681][SQL] إصلاح الأخطاء للانضمام الكامل التجزئة تعديل الخارجي عند بناء الجانب الأيسر مع شرط غير متساوية
    • [سبارك-34534] إصلاح ترتيب الحواجز عند استخدام FetchShuffleBlocks لجلب الكتل
    • [SPARK-34613][SQL] لا يلتقط عرض الإصلاح تعطيل تكوين التلميح
  • 9 مارس 2021

    • [SPARK-34543][SQL] احترام التكوين أثناء حل المواصفات قسم في v1SET LOCATION
    • [SPARK-34392][SQL] دعم المنطقةوفسيت +h:mm في DateTimeUtils. الحصول على معرف المنطقة
    • [واجهة المستخدم] إصلاح ارتباط href لتصور Spark DAG
    • [SPARK-34436][SQL] دعم DPP مثل أي / كل التعبير

ستريك البيانات وقت التشغيل 7.6 (غير معتمد)

راجع Databricks وقت التشغيل 7.6 (غير معتمد).

  • 11 أغسطس 2021
    • [SPARK-36034][SQL] Rebase التاريخ في دفعت إلى أسفل مرشحات إلى الباركيه.
  • جول 29, 2021
    • [SPARK-32998][BUILD] إضافة القدرة على تجاوز عمليات إعادة الشراء عن بعد الافتراضية مع عمليات إعادة الشراء الداخلية فقط
  • جول 14, 2021
    • إصلاح خطأ يمنع المستخدمين من السفر عبر الزمن إلى الإصدارات القديمة المتوفرة مع جداول دلتا.
  • 26 مايو 2021
    • تحديث Python مع تصحيح الأمان لإصلاح ثغرة أمنية Python (CVE-2021-3177).
  • أبريل 30, 2021
    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم الإشعال في SparkSubmit
    • [SPARK-34245][CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
  • مارس 24, 2021
    • [SPARK-34768][SQL] احترام حجم المخزن المؤقت الإدخال الافتراضي في Univocity
    • [سبارك-34534] إصلاح ترتيب الحواجز عند استخدام FetchShuffleBlocks لجلب الكتل
  • 9 مارس 2021
    • (أزور فقط) إصلاح خطأ محمل تلقائي يمكن أن يسبب NullPointerException عند استخدام Databricks وقت التشغيل 7.6 لتشغيل دفق محمل تلقائي القديمة التي تم إنشاؤها في Databricks وقت التشغيل 7.2
    • [واجهة المستخدم] إصلاح ارتباط href لتصور Spark DAG
    • لا تتم معالجة عقدة طرفية غير معروف SparkPlan بشكل صحيح في SizeInBytesOnlyStatsSparkPlanVisitor
    • استعادة مخطط الإخراج من SHOW DATABASES
    • [دلتا] [8.0, 7.6] خطأ الحساب الثابت في منطق الضبط التلقائي لحجم الملف
    • تعطيل التحقق من فترة التهيأ لملفات جدول دلتا في ذاكرة التخزين المؤقت دلتا
    • [SQL] استخدم مفتاح بناء التقليم الديناميكي الصحيح عند وجود تلميح صلة النطاق
    • تعطيل دعم نوع حرف في مسار التعليمات البرمجية غير SQL
    • تجنب NPE في DataFrameReader.schema
    • إصلاح NPE عندما يكون استجابة EventGridClient لا يوجد كيان
    • إصلاح خطأ دفق مغلق للقراءة في محمل Azure التلقائي
    • [SQL] لا تنشئ نصيحة رقم القسم عند تمكين AOS
  • 24 فبراير 2021
    • ترقية موصل Spark BigQuery إلى v0.18 ، والذي يقدم إصلاحات الأخطاء المختلفة ودعم الأجهزة المائية السهمية والأفرو.
    • إصلاح مشكلة صحة تسبب Spark بإرجاع نتائج غير صحيحة عندما الدقة العشرية ملف باركيه ’ ومقياس مختلفة عن مخطط Spark.
    • مشكلة فشل القراءة الثابتة على جداول Microsoft SQL Server التي تحتوي على أنواع البيانات المكانية، وذلك بإضافة أنواع الهندسة والجغرافيا JDBC لدعم SQL Spark.
    • قدم تكوين جديد spark.databricks.hive.metastore.init.reloadFunctions.enabled . يتحكم هذا التكوين في تهيئة الخلية المضمنة. عند تعيين إلى true، يقوم Azure Databricks بإعادة تحميل كافة الوظائف من كافة قواعد البيانات التي لدى المستخدمين في FunctionRegistry . هذا هو السلوك الافتراضي في خلية Metastore. عند تعيين إلى false، Azure Databricks تعطيل هذه العملية للتحسين.
    • [سبارك-34212] المشكلات الثابتة المتعلقة بقراءة البيانات العشرية من ملفات باركيه.
    • [SPARK-34260][SQL] إصلاح عدم حلا عند إنشاء طريقة عرض مؤقتة مرتين.

2- فترة تشغيل 2000 (غير معتمد)

راجع Databricks وقت التشغيل 7.5 (غير معتمد).

  • 26 مايو 2021
    • تحديث Python مع تصحيح الأمان لإصلاح ثغرة أمنية Python (CVE-2021-3177).
  • أبريل 30, 2021
    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم الإشعال في SparkSubmit
    • [SPARK-34245][CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
  • مارس 24, 2021
    • [SPARK-34768][SQL] احترام حجم المخزن المؤقت الإدخال الافتراضي في Univocity
    • [سبارك-34534] إصلاح ترتيب الحواجز عند استخدام FetchShuffleBlocks لجلب الكتل
  • 9 مارس 2021
    • (أزور فقط) إصلاح خطأ محمل تلقائي التي يمكن أن تسبب NullPointerException عند استخدام Databricks وقت التشغيل 7.5 لتشغيل دفق محمل تلقائي القديمة التي تم إنشاؤها في Databricks وقت التشغيل 7.2.
    • [واجهة المستخدم] إصلاح ارتباط href لتصور Spark DAG
    • لا تتم معالجة عقدة طرفية غير معروف SparkPlan بشكل صحيح في SizeInBytesOnlyStatsSparkPlanVisitor
    • استعادة مخطط الإخراج من SHOW DATABASES
    • تعطيل التحقق من فترة التهيأ لملفات جدول دلتا في ذاكرة التخزين المؤقت دلتا
    • [SQL] استخدم مفتاح بناء التقليم الديناميكي الصحيح عند وجود تلميح صلة النطاق
    • تعطيل دعم نوع حرف في مسار التعليمات البرمجية غير SQL
    • تجنب NPE في DataFrameReader.schema
    • إصلاح NPE عندما يكون استجابة EventGridClient لا يوجد كيان
    • إصلاح خطأ دفق مغلق للقراءة في محمل Azure التلقائي
  • 24 فبراير 2021
    • ترقية موصل Spark BigQuery إلى v0.18 ، والذي يقدم إصلاحات الأخطاء المختلفة ودعم الأجهزة المائية السهمية والأفرو.
    • إصلاح مشكلة صحة تسبب Spark بإرجاع نتائج غير صحيحة عندما الدقة العشرية ملف باركيه ’ ومقياس مختلفة عن مخطط Spark.
    • مشكلة فشل القراءة الثابتة على جداول Microsoft SQL Server التي تحتوي على أنواع البيانات المكانية، وذلك بإضافة أنواع الهندسة والجغرافيا JDBC لدعم SQL Spark.
    • قدم تكوين جديد spark.databricks.hive.metastore.init.reloadFunctions.enabled . يتحكم هذا التكوين في تهيئة الخلية المضمنة. عند تعيين إلى true، يقوم Azure Databricks بإعادة تحميل كافة الوظائف من كافة قواعد البيانات التي لدى المستخدمين في FunctionRegistry . هذا هو السلوك الافتراضي في خلية Metastore. عند تعيين إلى false، Azure Databricks تعطيل هذه العملية للتحسين.
    • [سبارك-34212] المشكلات الثابتة المتعلقة بقراءة البيانات العشرية من ملفات باركيه.
    • [SPARK-34260][SQL] إصلاح عدم حلا عند إنشاء طريقة عرض مؤقتة مرتين.
  • 4 فبراير 2021
    • إصلاح انحدار يمنع التنفيذ المتزايد لاستعلام يعين حدا عموميا مثل SELECT * FROM table LIMIT nrows . تم اختبار الانحدار من قبل المستخدمين الذين يديرون الاستعلامات عبر ODBC/JDBC مع تمكين تسلسل السهم.
    • إدخال عمليات التحقق من وقت الكتابة إلى عميل الخلية لمنع تلف بيانات التعريف في metastore الخلية لجداول دلتا.
    • إصلاح انحدار تسبب في فشل DBFS FUSE لبدء عند تكوينات متغير بيئة الكتلة تحتوي على بناء الجملة bash غير صالح.
  • 20 يناير 2021
    • إصلاح انحدار في يناير 12, 2021 إصدار الصيانة التي يمكن أن تسبب AnalysisException غير صحيحة ويقول العمود غامضة في صلة ذاتية. يحدث هذا الانحدار عندما ينضم مستخدم DataFrame مع DataFrame المشتقة (ما يسمى الانضمام الذاتي) مع الشروط التالية:
      • هذه DataFrames اثنين أعمدة عامة ولكن الإخراج من الصلة الذاتية لا تحتوي على أعمدة عامة. على سبيل المثال، df.join(df.select($"col" as "new_col"), cond)
      • يستثني إطار البيانات المشتقة بعض الأعمدة عبر تحديد أو groupBy أو إطار.
      • شرط الصلة أو التحويل التالي بعد Dataframe الصلة يشير إلى أعمدة غير الشائعة. على سبيل المثال، df.join(df.drop("a"), df("a") === 1)
  • 12 يناير 2021
    • ترقية مخزن أزور SDK من 2.3.8 إلى 2.3.9.
    • [SPARK-33593][SQL] قارئ المتجهات حصلت على بيانات غير صحيحة مع قيمة القسم ثنائي
    • [SPARK-33480][SQL] تحديث رسالة الخطأ من التحقق من طول الإدراج جدول char/varchar

داتابريكز وقت التشغيل 7.3 LTS

انظر Databricks وقت التشغيل 7.3 LTS.

  • 4 نوفمبر 2021

    • إصلاح خطأ قد يؤدي إلى فشل تدفقات "التدفق المنظم" باستخدام صفيفIndexOutOfBoundsException
    • إصلاح شرط سباق قد يتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: No FileSystem for scheme أو قد يؤدي إلى تعديلات إلى لا sparkContext.hadoopConfiguration نافذ المفعول في الاستعلامات.
  • سبتمبر 15, 2021

    • إصلاح شرط سباق قد يتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x .
    • تحديثات أمان نظام التشغيل.
  • سبتمبر 8, 2021

    • [SPARK-35700][SQL][WARMFIX] قراءة شار / varchar جدول orc عند إنشاؤها وكتابتها من قبل أنظمة خارجية.
    • [SPARK-36532][CORE][3.1] حالة توقف تام ثابتة في المنفذينconnected'' لمنع إيقاف تشغيل المنفذ تعليق.
  • 25 أغسطس 2021

    • تمت ترقية موصل ندفة الثلج إلى 2.9.0.
  • جول 29, 2021

    • [SPARK-36034][BUILD] Rebase التاريخ في دفع أسفل المرشحات إلى باركيه
    • [SPARK-34508][BUILD] تخطي إذا كانت الشبكة لأسفل
  • جول 14, 2021

    • قدم database.schema.table تنسيق لموصل Azure Synapse.
    • إضافة دعم لتوفير databaseName.schemaName.tableName التنسيق كجدول الهدف بدلا من فقط schemaName.tableName أو tableName .
    • إصلاح خطأ يمنع المستخدمين من السفر عبر الزمن إلى الإصدارات القديمة المتوفرة مع جداول دلتا.
  • 15 يونيو 2021

    • إصلاح NoSuchElementException خطأ في دلتا ليك الأمثل يكتب التي يمكن أن يحدث عند كتابة كميات كبيرة من البيانات ومواجهة خسائر المنفذ
    • تحديث Python مع تصحيح الأمان لإصلاح ثغرة أمنية Python (CVE-2021-3177).
  • أبريل 30, 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم الإشعال في SparkSubmit
    • [SPARK-34245][CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
    • [SPARK-35045][SQL] إضافة خيار داخلي للتحكم في مخزن الإدخال المؤقت في أحادية الصوت
  • مارس 24, 2021

    • [SPARK-34768][SQL] احترام حجم المخزن المؤقت الإدخال الافتراضي في Univocity
    • [سبارك-34534] إصلاح ترتيب الحواجز عند استخدام FetchShuffleBlocks لجلب الكتل
    • [SPARK-33118][SQL]إنشاء جدول مؤقت يفشل مع الموقع
  • 9 مارس 2021

    • يتم تمكين برنامج تشغيل نظام ملفات Azure Blob المحدث ل Azure Data Lake Storage Gen2 بشكل افتراضي. فهو يجلب تحسينات الاستقرار متعددة.
    • إصلاح فاصل المسار على Windows لdatabricks-connect get-jar-dir
    • [واجهة المستخدم] إصلاح ارتباط href لتصور Spark DAG
    • [DBCONNECT] إضافة دعم ل FlatMapCoGroupsInPandas في قاروس البيانات الاتصال 7.3
    • استعادة مخطط الإخراج من SHOW DATABASES
    • [SQL] استخدم مفتاح بناء التقليم الديناميكي الصحيح عند وجود تلميح صلة النطاق
    • تعطيل التحقق من فترة التهيأ لملفات جدول دلتا في ذاكرة التخزين المؤقت دلتا
    • [SQL] لا تنشئ نصيحة رقم القسم عند تمكين AOS
  • 24 فبراير 2021

    • ترقية موصل Spark BigQuery إلى v0.18 ، والذي يقدم إصلاحات الأخطاء المختلفة ودعم الأجهزة المائية السهمية والأفرو.
    • إصلاح مشكلة صحة تسبب Spark بإرجاع نتائج غير صحيحة عندما الدقة العشرية ملف باركيه ’ ومقياس مختلفة عن مخطط Spark.
    • مشكلة فشل القراءة الثابتة على جداول Microsoft SQL Server التي تحتوي على أنواع البيانات المكانية، وذلك بإضافة أنواع الهندسة والجغرافيا JDBC لدعم SQL Spark.
    • قدم تكوين جديد spark.databricks.hive.metastore.init.reloadFunctions.enabled . يتحكم هذا التكوين في تهيئة الخلية المضمنة. عند تعيين إلى true، يقوم Azure Databricks بإعادة تحميل كافة الوظائف من كافة قواعد البيانات التي لدى المستخدمين في FunctionRegistry . هذا هو السلوك الافتراضي في خلية Metastore. عند تعيين إلى false، Azure Databricks تعطيل هذه العملية للتحسين.
    • [سبارك-34212] المشكلات الثابتة المتعلقة بقراءة البيانات العشرية من ملفات باركيه.
    • [SPARK-33579][UI] إصلاح المنفذ صفحة فارغة خلف الوكيل.
    • [SPARK-20044][واجهة المستخدم] دعم سبارك واجهة المستخدم خلف الوكيل العكسي الأمامي باستخدام بادئة مسار.
    • [SPARK-33277][PYSPARK][SQL] استخدم ContextAwareIterator لإيقاف الاستهلاك بعد انتهاء المهمة.
  • 4 فبراير 2021

    • إصلاح انحدار يمنع التنفيذ المتزايد لاستعلام يعين حدا عموميا مثل SELECT * FROM table LIMIT nrows . تم اختبار الانحدار من قبل المستخدمين الذين يديرون الاستعلامات عبر ODBC/JDBC مع تمكين تسلسل السهم.
    • إصلاح انحدار تسبب في فشل DBFS FUSE لبدء عند تكوينات متغير بيئة الكتلة تحتوي على بناء الجملة bash غير صالح.
  • 20 يناير 2021

    • إصلاح انحدار في يناير 12, 2021 إصدار الصيانة التي يمكن أن تسبب AnalysisException غير صحيحة ويقول العمود غامضة في صلة ذاتية. يحدث هذا الانحدار عندما ينضم مستخدم DataFrame مع DataFrame المشتقة (ما يسمى الانضمام الذاتي) مع الشروط التالية:
      • هذه DataFrames اثنين أعمدة عامة ولكن الإخراج من الصلة الذاتية لا تحتوي على أعمدة عامة. على سبيل المثال، df.join(df.select($"col" as "new_col"), cond)
      • يستثني إطار البيانات المشتقة بعض الأعمدة عبر تحديد أو groupBy أو إطار.
      • شرط الصلة أو التحويل التالي بعد Dataframe الصلة يشير إلى أعمدة غير الشائعة. على سبيل المثال، df.join(df.drop("a"), df("a") === 1)
  • 12 يناير 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-33593][SQL] قارئ المتجهات حصلت على بيانات غير صحيحة مع قيمة القسم ثنائي
    • [SPARK-33677][SQL] تخطي قاعدة التبسيط إذا كان النمط يحتوي على أي escapeChar
    • [SPARK-33592][ML][PYTHON] Pyspark ML Validator params في التقديرقد تضيعبارامابس بعد حفظ وإعادة تحميل
    • [SPARK-33071][SPARK-33536][SQL] تجنب تغيير dataset_id من المنطقي في الانضمام() إلى عدم كسر DetectAmbiguousSelfJoin
  • 8 ديسمبر 2020

    • [SPARK-33587][CORE] قتل المنفذ على أخطاء فادحة متداخلة
    • [SPARK-27421][SQL] إصلاح عامل تصفية لعمود int وقيمة فئة java.lang.String عند تقليم عمود القسم
    • [SPARK-33316][SQL] قدم مستخدم الدعم مخطط Avro القابل للإبطال لمخطط محفز غير قابل للإبطال في كتابة Avro
    • وظائف سبارك أطلقت باستخدام Databricks الاتصال يمكن شنق إلى أجل غير مسمى مع Executor$TaskRunner.$anonfun$copySessionState في تتبع كومة المنفذ
    • تحديثات أمان نظام التشغيل.
  • 1 ديسمبر 2020

    • [SPARK-33404][SQL][3.0] إصلاح النتائج غير الصحيحة في التعبير
    • [SPARK-33339][PYTHON] سيتم تعليق تطبيق Pyspark بسبب خطأ غير استثناء
    • [SPARK-33183][SQL][HOTFIX] إصلاح قاعدة محسن EliminateSorts وإضافة قاعدة فعلية لإزالة أنواع زائدة
    • [SPARK-33371][PYTHON][3.0] تحديث setup.py واختبارات ل Python 3.9
    • [SPARK-33391][SQL] element_at مع CreateArray لا تحترم فهرس واحد قائم.
    • [SPARK-33306][SQL]الوقت مطلوب عند تحويل التاريخ إلى سلسلة
    • [SPARK-33260][SQL] إصلاح نتائج غير صحيحة من SortExec عند sortOrder هو Stream
  • 5 نوفمبر 2020

  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • يمكنك قراءة والكتابة من DBFS باستخدام تحميل FUSE في /dbfs/ عند تمرير بيانات اعتماد التزامن عالية عبر كتلة ممكنة. يتم اعتماد عمليات التحميل العادية ولكن لا يتم اعتماد عمليات التحميل التي تحتاج إلى بيانات اعتماد تمر.
    • [SPARK-32999][SQL] استخدم Utils.getSimpleName لتجنب ضرب اسم الفئة المشوهة في TreeNode
    • [SPARK-32585][SQL] تعداد مقياس الدعم في ScalaReflection
    • دلائل سرد ثابتة في تحميل FUSE تحتوي على أسماء ملفات بأحرف XML غير صالحة
    • لم يعد تحميل FUSE يستخدم تحميلات ListMultipartUploads
  • سبتمبر 29, 2020

    • [SPARK-32718][SQL] إزالة الكلمات الرئيسية غير الضرورية للوحدات الفاصلة
    • [SPARK-32635][SQL] إصلاح الانتشار القابل للطي
    • إضافة تكوين جديد spark.shuffle.io.decoder.consolidateThreshold . تعيين قيمة التكوين Long.MAX_VALUE لتخطي دمج Netty FrameBuffers، الذي يمنع java.lang.IndexOutOfBoundsException في حالات الزاوية.

Databricks وقت التشغيل 6.4 الدعم الموسع

راجع Databricks وقت التشغيل 6.4 (غير معتمد) و Databricks وقت التشغيل 6.4 الدعم الموسع.

  • سبتمبر 22, 2021

    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2021

    • [SPARK-35576][SQL] تنقيح المعلومات الحساسة في نتيجة تعيين الأمر
  • 7 يونيو 2021

    • إضافة تكوين جديد يسمى spark.sql.maven.additionalRemoteRepositories ، تكوين سلسلة محددة بفاصلة من النسخة المتطابقة maven إضافية اختيارية بعيدة. القيمة الافتراضية إلى https://maven-central.storage-download.googleapis.com/maven2/ .
  • أبريل 30, 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم الإشعال في SparkSubmit
  • 9 مارس 2021

    • منفذ HADOOP-17215 إلى برنامج تشغيل نظام الملفات Blob Azure (دعم الكتابة فوق الشرطي).
    • إصلاح فاصل المسار على Windows لdatabricks-connect get-jar-dir
    • إضافة دعم لإصدارات خلية ميتاستور 2.3.5 و 2.3.6 و 2.3.7
    • “مجموع السهمResultsCollected ” ذكرت بشكل غير صحيح بعد انسكاب
  • 24 فبراير 2021

    • قدم تكوين جديد spark.databricks.hive.metastore.init.reloadFunctions.enabled . يتحكم هذا التكوين في تهيئة الخلية المضمنة. عند تعيين إلى true، يقوم Azure Databricks بإعادة تحميل كافة الوظائف من كافة قواعد البيانات التي لدى المستخدمين في FunctionRegistry . هذا هو السلوك الافتراضي في خلية Metastore. عند تعيين إلى false، Azure Databricks تعطيل هذه العملية للتحسين.
  • 4 فبراير 2021

    • إصلاح انحدار يمنع التنفيذ المتزايد لاستعلام يعين حدا عموميا مثل SELECT * FROM table LIMIT nrows . تم اختبار الانحدار من قبل المستخدمين الذين يديرون الاستعلامات عبر ODBC/JDBC مع تمكين تسلسل السهم.
    • إصلاح انحدار تسبب في فشل DBFS FUSE لبدء عند تكوينات متغير بيئة الكتلة تحتوي على بناء الجملة bash غير صالح.
  • 12 يناير 2021

    • تحديثات أمان نظام التشغيل.
  • 8 ديسمبر 2020

    • [SPARK-27421][SQL] إصلاح عامل تصفية لعمود int وقيمة فئة java.lang.String عند تقليم عمود القسم
    • [SPARK-33183][SQL] إصلاح قاعدة محسن EliminateSorts وإضافة قاعدة فعلية لإزالة أنواع زائدة
    • [وقت التشغيل 6.4 مل من وحدة معالجة الرسومات] لقد قمنا مسبقا بتثبيت إصدار غير صحيح (2.7.8-1+cuda11.1) من NCCL. هذا الإصدار بتصحيحه إلى 2.4.8-1 +cuda10.0 متوافق مع CUDA 10.0.
    • تحديثات أمان نظام التشغيل.
  • 1 ديسمبر 2020

    • [SPARK-33260][SQL] إصلاح نتائج غير صحيحة من SortExec عند sortOrder هو Stream
    • [SPARK-32635][SQL] إصلاح الانتشار القابل للطي
  • 3 نوفمبر 2020

    • ترقية جافا الإصدار من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح تأمين ABFS و WASB فيما يتعلق UserGroupInformation.getCurrentUser()
    • إصلاح خطأ حلقة لانهائية من قارئ أفرو عند قراءة البايتات MAGIC.
  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • [SPARK-32999][SQL][2.4] استخدم Utils.getSimpleName لتجنب ضرب اسم الفئة المشوهة في TreeNode
    • دلائل سرد ثابتة في تحميل FUSE تحتوي على أسماء ملفات بأحرف XML غير صالحة
    • لم يعد تحميل FUSE يستخدم تحميلات ListMultipartUploads
  • سبتمبر 24, 2020

    • إصلاح قيد سابق حيث التمرير على الكتلة القياسية لا يزال تقييد استخدام مستخدم تطبيق نظام الملفات. الآن المستخدمين سوف تكون قادرة على الوصول إلى أنظمة الملفات المحلية دون قيود.
    • تحديثات أمان نظام التشغيل.
  • 8 سبتمبر 2020

    • تم إنشاء معلمة جديدة لتحليلات Azure Synapse، maxbinlength . يتم استخدام هذه المعلمة للتحكم في طول العمود لأعمدة BinaryType، ويتم ترجمتها ك VARBINARY(maxbinlength) . يمكن ضبطه باستخدام .option("maxbinlength", n) ، حيث 0 < n = < 8000.
    • تحديث مخزن أزور SDK إلى 8.6.4 وتمكين TCP الاحتفاظ على قيد الحياة على الاتصالات التي أجراها برنامج تشغيل WASB
  • 25 أغسطس 2020

    • دقة سمة ثابتة غامضة في الدمج الذاتي
  • 18 أغسطس 2020

    • [SPARK-32431][SQL] تحقق من الأعمدة المتداخلة المكررة في القراءة من مصادر البيانات المضمنة
    • إصلاح شرط سباق في موصل AQS عند استخدام Trigger.Once.
  • 11 أغسطس، 2020

    • [SPARK-28676][CORE] تجنب تسجيل الدخول الزائد من ContextCleaner
  • 3 أغسطس 2020

    • يمكنك الآن استخدام الدالة تحويل LDA على كتلة تمكين فترة مرور.
    • تحديثات أمان نظام التشغيل.
  • جول 7, 2020

    • ترقية جافا الإصدار من 1.8.0_232 إلى 1.8.0_252.
  • أبريل 21, 2020

    • [SPARK-31312][SQL] مثيل فئة ذاكرة التخزين المؤقت لمثيل UDF في HiveFunctionWrapper
  • أبريل 7, 2020

    • لحل مشكلة مع الباندا udf لا تعمل مع PyArrow 0.15.0 وما فوق، أضفنا متغير البيئة ( ARROW_PRE_0_15_IPC_FORMAT=1 ) لتمكين الدعم لتلك الإصدارات من PyArrow. انظر التعليمات في [SPARK-29367].
  • 10 مارس 2020

    • يتم الآن استخدام التحجيم التلقائي المحسن بشكل افتراضي على المجموعات لجميع الأغراض على خطة Premium Azure Databricks.
    • يتم تحديث موصل ندفة الثلج ( spark-snowflake_2.11 ) المضمنة في وقت تشغيل Databricks إلى الإصدار 2.5.9. snowflake-jdbc يتم تحديث إلى الإصدار 3.12.0.

داتابريكز وقت التشغيل 5.5 LTS

راجع Databricks وقت التشغيل 5.5 LTS (غير معتمد) و Databricks وقت التشغيل 5.5 الدعم الموسع (غير معتمد).

  • سبتمبر 22, 2021

    • تحديثات أمان نظام التشغيل.
  • 25 أغسطس 2021

    • خفضت بعض الحزم بيثون ترقية سابقا في 5.5 ML تمديد الدعم الافراج للحفاظ على التكافؤ أفضل مع LTS 5.5 ML (الآن مهمل). راجع [_]/release-notes/وقت التشغيل/5.5xml.md) للاطلاع على الاختلافات المحدثة بين الإصدارين.
  • 15 يونيو 2021

    • [SPARK-35576][SQL] تنقيح المعلومات الحساسة في نتيجة تعيين الأمر
  • 7 يونيو 2021

    • إضافة تكوين جديد يسمى spark.sql.maven.additionalRemoteRepositories ، تكوين سلسلة محددة بفاصلة من النسخة المتطابقة maven إضافية اختيارية بعيدة. القيمة الافتراضية إلى https://maven-central.storage-download.googleapis.com/maven2/ .
  • أبريل 30, 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم الإشعال في SparkSubmit
  • 9 مارس 2021

    • منفذ HADOOP-17215 إلى برنامج تشغيل نظام الملفات Blob Azure (دعم الكتابة فوق الشرطي).
  • 24 فبراير 2021

    • قدم تكوين جديد spark.databricks.hive.metastore.init.reloadFunctions.enabled . يتحكم هذا التكوين في تهيئة الخلية المضمنة. عند تعيين إلى true، يقوم Azure Databricks بإعادة تحميل كافة الوظائف من كافة قواعد البيانات التي لدى المستخدمين في FunctionRegistry . هذا هو السلوك الافتراضي في خلية Metastore. عند تعيين إلى false، Azure Databricks تعطيل هذه العملية للتحسين.
  • 12 يناير 2021

  • 8 ديسمبر 2020

    • [SPARK-27421][SQL] إصلاح عامل تصفية لعمود int وقيمة فئة java.lang.String عند تقليم عمود القسم
    • تحديثات أمان نظام التشغيل.
  • 1 ديسمبر 2020

    • [SPARK-33260][SQL] إصلاح نتائج غير صحيحة من SortExec عند sortOrder هو Stream
    • [SPARK-32635][SQL] إصلاح الانتشار القابل للطي
  • 29 أكتوبر 2020

    • ترقية جافا الإصدار من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح تأمين ABFS و WASB فيما يتعلق UserGroupInformation.getCurrentUser()
    • إصلاح خطأ حلقة لانهائية من قارئ أفرو عند قراءة البايتات MAGIC.
  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • [SPARK-32999][SQL][2.4] استخدم Utils.getSimpleName لتجنب ضرب اسم الفئة المشوهة في TreeNode
  • سبتمبر 24, 2020

    • تحديثات أمان نظام التشغيل.
  • 8 سبتمبر 2020

    • تم إنشاء معلمة جديدة لتحليلات Azure Synapse، maxbinlength . يتم استخدام هذه المعلمة للتحكم في طول العمود لأعمدة BinaryType، ويتم ترجمتها ك VARBINARY(maxbinlength) . يمكن ضبطه باستخدام .option("maxbinlength", n) ، حيث 0 < n = < 8000.
  • 18 أغسطس 2020

    • [SPARK-32431][SQL] تحقق من الأعمدة المتداخلة المكررة في القراءة من مصادر البيانات المضمنة
    • إصلاح شرط سباق في موصل AQS عند استخدام Trigger.Once.
  • 11 أغسطس، 2020

    • [SPARK-28676][CORE] تجنب تسجيل الدخول الزائد من ContextCleaner
  • 3 أغسطس 2020

    • تحديثات أمان نظام التشغيل
  • جول 7, 2020

    • ترقية جافا الإصدار من 1.8.0_232 إلى 1.8.0_252.
  • أبريل 21, 2020

    • [SPARK-31312][SQL] مثيل فئة ذاكرة التخزين المؤقت لمثيل UDF في HiveFunctionWrapper
  • أبريل 7, 2020

    • لحل مشكلة مع الباندا udf لا تعمل مع PyArrow 0.15.0 وما فوق، أضفنا متغير البيئة ( ARROW_PRE_0_15_IPC_FORMAT=1 ) لتمكين الدعم لتلك الإصدارات من PyArrow. انظر التعليمات في [SPARK-29367].
  • مارس 25, 2020

    • يتم تحديث موصل ندفة الثلج ( spark-snowflake_2.11 ) المضمنة في وقت تشغيل Databricks إلى الإصدار 2.5.9. snowflake-jdbc يتم تحديث إلى الإصدار 3.12.0.
  • 10 مارس 2020

    • إخراج المهمة، مثل إخراج السجل المنبعث إلى ستاوت، يخضع لحد حجم 20MB. إذا كان إجمالي الإخراج حجم أكبر، سيتم إلغاء التشغيل ووضع علامة على أنه فشل. لتجنب مواجهة هذا الحد، يمكنك منع stdout من أن يتم إرجاعها من برنامج التشغيل إلى عن طريق تعيين spark.databricks.driver.disableScalaOutput تكوين Spark إلى true . بشكل افتراضي قيمة العلامة هي false . تتحكم العلامة في إخراج الخلايا لوظائف Scala JAR ودفاتر ملاحظات Scala. إذا تم تمكين العلامة، لا ترجع Spark نتائج تنفيذ المهمة إلى العميل. لا يؤثر العلامة على البيانات التي تتم كتابتها في ملفات سجل نظام المجموعة ’ s. يوصى بتعيين هذه العلامة فقط للتجمعات التلقائية لوظائف JAR، لأنها ستعطل نتائج دفتر الملاحظات.
  • 18 فبراير 2020

    • [SPARK-24783][SQL] شرارة.sql.shuffle.partitions = 0 يجب أن يلقي استثناء
    • تمرير بيانات الاعتماد مع ADLS Gen2 لديه تدهور أداء بسبب معالجة مؤشر ترابط محلي غير صحيحة عند تمكين الجلب المسبق لعميل ADLS. يعطل هذا الإصدار ADLS Gen2 الجلب المسبق عند تمكين تمرير بيانات الاعتماد حتى يكون لدينا إصلاح مناسب.
  • 28 يناير 2020

    • [SPARK-30447][SQL] مشكلة قابلية النشر المستمر للإبطال.
  • 14 يناير 2020

    • ترقية جافا الإصدار من 1.8.0_222 إلى 1.8.0_232.
  • نوفمبر 19, 2019

    • [SPARK-29743] [SQL] عينة يجب تعيين needCopyResult إلى صحيح إذا كان الطفل بحاجةCopyResult صحيح
    • تم ترقية الإصدار R بشكل غير مقصود إلى 3.6.1 من 3.6.0. خفضناها مرة أخرى إلى 3.6.0.
  • نوفمبر 5, 2019

    • ترقية جافا الإصدار من 1.8.0_212 إلى 1.8.0_222.
  • أكتوبر 23, 2019

    • [SPARK-29244][CORE] منع تحرير الصفحة في BytesToBytesMap مجانا مرة أخرى
  • 8 أكتوبر 2019

    • تغييرات جانب الخادم للسماح لبرنامج تشغيل Simba Apache Spark ODBC بإعادة الاتصال والمتابعة بعد فشل الاتصال أثناء جلب النتائج (يتطلب إصدار برنامج تشغيل Simba Apache Spark ODBC 2.6.10).
    • إصلاح مشكلة تؤثر على استخدام Optimize الأمر مع الكتل الممكنة ل ACL الجدول.
    • إصلاح مشكلة حيث pyspark.ml المكتبات قد تفشل بسبب خطأ منع Scala UDF على جدول ACL و تمرير بيانات الاعتماد عبر الكتل الممكنة.
    • السماح سرد سيردي و SerDeUtil أساليب لتمرير بيانات الاعتماد.
    • ثابت NullPointerException عند التحقق من رمز الخطأ في عميل WASB.
  • Sep 24, 2019

    • تحسين استقرار الكاتب باركيه.
    • إصلاح المشكلة التي تم إلغاء استعلام التوفير قبل بدء التنفيذ قد عالقة في حالة STARTED.
  • Sep 10, 2019

    • إضافة أداة إعادة إنشاء الرسائل الآمنة لمؤشر الترابط إلى خريطة بايتتوبايت
    • [SPARK-27992][SPARK-28881]السماح ل Python بالانضمام إلى مؤشر ترابط الاتصال لنشر الأخطاء
    • إصلاح خطأ يؤثر على بعض استعلامات التجميع العمومية.
    • تحسين تنقيح بيانات الاعتماد.
    • [SPARK-27330][SS] مهمة دعم إحباط في الكاتب foreach
    • [سبارك-28642] إخفاء بيانات الاعتماد في SHOW CREATE TABLE
    • [SPARK-28699][SQL] تعطيل استخدام نوع الراديوك ل ShuffleExchangeExec في حالة إعادة تقسيم
  • أغسطس 27, 2019

    • [SPARK-20906][SQL]السماح للمخطط المحدد من قبل المستخدم في TO_AVRO API مع سجل المخطط
    • [SPARK-27838][SQL] قدم مستخدم الدعم مخطط avro غير قابل للإبطال لمخطط محفز قابل للإبطال بدون أي سجل فارغ
    • تحسين على دلتا بحيرة السفر عبر الزمن
    • إصلاح مشكلة تؤثر على تعبير معين transform
    • يدعم متغيرات البث عند تمكين "عزل العملية"
  • 13 أغسطس، 2019

    • يجب أن يتحقق مصدر تدفق دلتا من أحدث بروتوكول لجدول
    • [سبارك-28260] إضافة حالة مغلقة إلى حالة التنفيذ
    • [SPARK-28489][SS] إصلاح خطأ أن KafkaOffsetRangeCalculator.getRanges قد إسقاط الإزاحات
  • Jul 30, 2019

    • [SPARK-28015][SQL] تحقق من السلسلةToDate() يستهلك الإدخال بأكمله للتنسيقات yyyyy وyyyy-[m]m
    • [SPARK-28308][CORE] يجب أن تتم إضافة جزء فرعي من التقويمInterval قبل تحليل
    • [سبارك-27485] ضمانا يجب أن تتعامل الإعادة ترتيب السجلات مع التعبيرات المكررة بأمان
    • [SPARK-28355][CORE][PYTHON] استخدم Spark conf للعتتبة التي يتم ضغط UDF عندها عن طريق البث

البياناتبريك الخفيفة 2.4 الدعم الموسع

انظر Databricks الخفيفة 2.4 (غير معتمد) و Databricks الخفيفة 2.4 الدعم الموسع.

  • سبتمبر 22, 2021

    • تحديثات أمان نظام التشغيل.
  • أبريل 30, 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم الإشعال في SparkSubmit
  • 12 يناير 2021

    • تحديثات أمان نظام التشغيل.
  • 8 ديسمبر 2020

    • [SPARK-27421][SQL] إصلاح عامل تصفية لعمود int وقيمة فئة java.lang.String عند تقليم عمود القسم
    • تحديثات أمان نظام التشغيل.
  • 1 ديسمبر 2020

  • [SPARK-33260][SQL] إصلاح نتائج غير صحيحة من SortExec عند sortOrder هو Stream

  • 3 نوفمبر 2020

    • ترقية جافا الإصدار من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح تأمين ABFS و WASB فيما يتعلق UserGroupInformation.getCurrentUser()
  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.

ستريك البيانات وقت التشغيل 7.4 (غير معتمد)

راجع Databricks وقت التشغيل 7.4 (غير معتمد).

  • أبريل 30, 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم الإشعال في SparkSubmit
    • [SPARK-34245][CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
    • [SPARK-35045][SQL] إضافة خيار داخلي للتحكم في مخزن الإدخال المؤقت في أحادية الصوت وتكوين لحجم المخزن المؤقت لإدخال CSV
  • مارس 24, 2021

    • [SPARK-34768][SQL] احترام حجم المخزن المؤقت الإدخال الافتراضي في Univocity
    • [سبارك-34534] إصلاح ترتيب الحواجز عند استخدام FetchShuffleBlocks لجلب الكتل
  • 9 مارس 2021

    • يتم تمكين برنامج تشغيل نظام ملفات Azure Blob المحدث ل Azure Data Lake Storage Gen2 بشكل افتراضي. فهو يجلب تحسينات الاستقرار متعددة.
    • [ES-67926] [واجهة المستخدم] إصلاح ارتباط href لتصور Spark DAG
    • [ES-65064] استعادة مخطط الإخراج من SHOW DATABASES
    • [SC-70522] [SQL] استخدم مفتاح بناء التقليم الديناميكي الصحيح عند وجود تلميح صلة النطاق
    • [SC-35081] تعطيل التحقق من فترة التهيأ لملفات جدول دلتا في ذاكرة التخزين المؤقت دلتا
    • [SC-70640] إصلاح NPE عندما يكون استجابة EventGridClient لا يوجد كيان
    • [SC-70220] [SQL] لا تنشئ نصيحة رقم القسم عند تمكين AOS
  • 24 فبراير 2021

    • ترقية موصل Spark BigQuery إلى v0.18 ، والذي يقدم إصلاحات الأخطاء المختلفة ودعم الأجهزة المائية السهمية والأفرو.
    • إصلاح مشكلة صحة تسبب Spark بإرجاع نتائج غير صحيحة عندما الدقة العشرية ملف باركيه ’ ومقياس مختلفة عن مخطط Spark.
    • مشكلة فشل القراءة الثابتة على جداول Microsoft SQL Server التي تحتوي على أنواع البيانات المكانية، وذلك بإضافة أنواع الهندسة والجغرافيا JDBC لدعم SQL Spark.
    • قدم تكوين جديد spark.databricks.hive.metastore.init.reloadFunctions.enabled . يتحكم هذا التكوين في تهيئة الخلية المضمنة. عند تعيين إلى true، يقوم Azure Databricks بإعادة تحميل كافة الوظائف من كافة قواعد البيانات التي لدى المستخدمين في FunctionRegistry . هذا هو السلوك الافتراضي في خلية Metastore. عند تعيين إلى false، Azure Databricks تعطيل هذه العملية للتحسين.
    • [سبارك-34212] المشكلات الثابتة المتعلقة بقراءة البيانات العشرية من ملفات باركيه.
    • [SPARK-33579][UI] إصلاح المنفذ صفحة فارغة خلف الوكيل.
    • [SPARK-20044][واجهة المستخدم] دعم سبارك واجهة المستخدم خلف الوكيل العكسي الأمامي باستخدام بادئة مسار.
    • [SPARK-33277][PYSPARK][SQL] استخدم ContextAwareIterator لإيقاف الاستهلاك بعد انتهاء المهمة.
  • 4 فبراير 2021

    • إصلاح انحدار يمنع التنفيذ المتزايد لاستعلام يعين حدا عموميا مثل SELECT * FROM table LIMIT nrows . تم اختبار الانحدار من قبل المستخدمين الذين يديرون الاستعلامات عبر ODBC/JDBC مع تمكين تسلسل السهم.
    • إصلاح انحدار تسبب في فشل DBFS FUSE لبدء عند تكوينات متغير بيئة الكتلة تحتوي على بناء الجملة bash غير صالح.
  • 20 يناير 2021

    • إصلاح انحدار في يناير 12, 2021 إصدار الصيانة التي يمكن أن تسبب AnalysisException غير صحيحة ويقول العمود غامضة في صلة ذاتية. يحدث هذا الانحدار عندما ينضم مستخدم DataFrame مع DataFrame المشتقة (ما يسمى الانضمام الذاتي) مع الشروط التالية:
      • هذه DataFrames اثنين أعمدة عامة ولكن الإخراج من الصلة الذاتية لا تحتوي على أعمدة عامة. على سبيل المثال، df.join(df.select($"col" as "new_col"), cond)
      • يستثني إطار البيانات المشتقة بعض الأعمدة عبر تحديد أو groupBy أو إطار.
      • شرط الصلة أو التحويل التالي بعد Dataframe الصلة يشير إلى أعمدة غير الشائعة. على سبيل المثال، df.join(df.drop("a"), df("a") === 1)
  • 12 يناير 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-33593][SQL] قارئ المتجهات حصلت على بيانات غير صحيحة مع قيمة القسم ثنائي
    • [SPARK-33677][SQL] تخطي قاعدة التبسيط إذا كان النمط يحتوي على أي escapeChar
    • [SPARK-33071][SPARK-33536][SQL] تجنب تغيير dataset_id من المنطقي في الانضمام() إلى عدم كسر DetectAmbiguousSelfJoin
  • 8 ديسمبر 2020

    • [SPARK-33587][CORE] قتل المنفذ على أخطاء فادحة متداخلة
    • [SPARK-27421][SQL] إصلاح عامل تصفية لعمود int وقيمة فئة java.lang.String عند تقليم عمود القسم
    • [SPARK-33316][SQL] قدم مستخدم الدعم مخطط Avro القابل للإبطال لمخطط محفز غير قابل للإبطال في كتابة Avro
    • تحديثات أمان نظام التشغيل.
  • 1 ديسمبر 2020

    • [SPARK-33404][SQL][3.0] إصلاح النتائج غير الصحيحة في التعبير
    • [SPARK-33339][PYTHON] سيتم تعليق تطبيق Pyspark بسبب خطأ غير استثناء
    • [SPARK-33183][SQL][HOTFIX] إصلاح قاعدة محسن EliminateSorts وإضافة قاعدة فعلية لإزالة أنواع زائدة
    • [SPARK-33371][PYTHON][3.0] تحديث setup.py واختبارات ل Python 3.9
    • [SPARK-33391][SQL] element_at مع CreateArray لا تحترم فهرس واحد قائم.
    • [SPARK-33306][SQL]الوقت مطلوب عند تحويل التاريخ إلى سلسلة
    • [SPARK-33260][SQL] إصلاح نتائج غير صحيحة من SortExec عند sortOrder هو Stream
    • [SPARK-33272][SQL] تقليم تعيين السمات في QueryPlan.transformUpWithNewOutput

2.7 (غير معتمد) وقت تشغيل البيانات

راجع Databricks وقت التشغيل 7.2 (غير معتمد).

  • 4 فبراير 2021

    • إصلاح انحدار يمنع التنفيذ المتزايد لاستعلام يعين حدا عموميا مثل SELECT * FROM table LIMIT nrows . تم اختبار الانحدار من قبل المستخدمين الذين يديرون الاستعلامات عبر ODBC/JDBC مع تمكين تسلسل السهم.
    • إصلاح انحدار تسبب في فشل DBFS FUSE لبدء عند تكوينات متغير بيئة الكتلة تحتوي على بناء الجملة bash غير صالح.
  • 20 يناير 2021

    • إصلاح انحدار في يناير 12, 2021 إصدار الصيانة التي يمكن أن تسبب AnalysisException غير صحيحة ويقول العمود غامضة في صلة ذاتية. يحدث هذا الانحدار عندما ينضم مستخدم DataFrame مع DataFrame المشتقة (ما يسمى الانضمام الذاتي) مع الشروط التالية:
      • هذه DataFrames اثنين أعمدة عامة ولكن الإخراج من الصلة الذاتية لا تحتوي على أعمدة عامة. على سبيل المثال، df.join(df.select($"col" as "new_col"), cond)
      • يستثني إطار البيانات المشتقة بعض الأعمدة عبر تحديد أو groupBy أو إطار.
      • شرط الصلة أو التحويل التالي بعد Dataframe الصلة يشير إلى أعمدة غير الشائعة. على سبيل المثال، df.join(df.drop("a"), df("a") === 1)
  • 12 يناير 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-33593][SQL] قارئ المتجهات حصلت على بيانات غير صحيحة مع قيمة القسم ثنائي
    • [SPARK-33677][SQL] تخطي قاعدة التبسيط إذا كان النمط يحتوي على أي escapeChar
    • [SPARK-33071][SPARK-33536][SQL] تجنب تغيير dataset_id من المنطقي في الانضمام() إلى عدم كسر DetectAmbiguousSelfJoin
  • 8 ديسمبر 2020

    • [SPARK-27421][SQL] إصلاح عامل تصفية لعمود int وقيمة فئة java.lang.String عند تقليم عمود القسم
    • [SPARK-33404][SQL] إصلاح النتائج غير الصحيحة في التعبير
    • [SPARK-33339][PYTHON] سيتم تعليق تطبيق Pyspark بسبب خطأ غير استثناء
    • [SPARK-33183][SQL] إصلاح قاعدة محسن EliminateSorts وإضافة قاعدة فعلية لإزالة أنواع زائدة
    • [SPARK-33391][SQL] element_at مع CreateArray لا تحترم فهرس واحد قائم.
    • تحديثات أمان نظام التشغيل.
  • 1 ديسمبر 2020

    • [SPARK-33306][SQL]الوقت مطلوب عند تحويل التاريخ إلى سلسلة
    • [SPARK-33260][SQL] إصلاح نتائج غير صحيحة من SortExec عند sortOrder هو Stream
  • 3 نوفمبر 2020

    • ترقية جافا الإصدار من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح تأمين ABFS و WASB فيما يتعلق UserGroupInformation.getCurrentUser()
    • إصلاح خطأ حلقة لانهائية من قارئ أفرو عند قراءة البايتات MAGIC.
  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • [SPARK-32999][SQL] استخدم Utils.getSimpleName لتجنب ضرب اسم الفئة المشوهة في TreeNode
    • دلائل سرد ثابتة في تحميل FUSE تحتوي على أسماء ملفات بأحرف XML غير صالحة
    • لم يعد تحميل FUSE يستخدم تحميلات ListMultipartUploads
  • سبتمبر 29, 2020

    • [SPARK-28863][SQL][WARMFIX] تقديم بالفعلأي إجراء الأمثل لمنع إعادة تحليل V1FallbackWriters
    • [SPARK-32635][SQL] إصلاح الانتشار القابل للطي
    • إضافة تكوين جديد spark.shuffle.io.decoder.consolidateThreshold . تعيين قيمة التكوين Long.MAX_VALUE لتخطي دمج Netty FrameBuffers، الذي يمنع java.lang.IndexOutOfBoundsException في حالات الزاوية.
  • سبتمبر 24, 2020

    • [SPARK-32764][SQL] -0.0 يجب أن يساوي 0.0
    • [SPARK-32753][SQL] نسخ العلامات فقط إلى العقدة بدون علامات عند تحويل الخطط
    • [SPARK-32659][SQL] إصلاح مشكلة البيانات من إدراج تقسيم الديناميكية تقليم على نوع غير الذرية
    • تحديثات أمان نظام التشغيل.
  • 8 سبتمبر 2020

    • تم إنشاء معلمة جديدة لتحليلات Azure Synapse، maxbinlength . يتم استخدام هذه المعلمة للتحكم في طول العمود لأعمدة BinaryType، ويتم ترجمتها ك VARBINARY(maxbinlength) . يمكن ضبطه باستخدام .option("maxbinlength", n) ، حيث 0 < n = < 8000.

2- فترة تشغيل 7.1 (غير معتمدة)

راجع Databricks وقت التشغيل 7.1 (غير معتمد).

  • 4 فبراير 2021

    • إصلاح انحدار تسبب في فشل DBFS FUSE لبدء عند تكوينات متغير بيئة الكتلة تحتوي على بناء الجملة bash غير صالح.
  • 20 يناير 2021

    • إصلاح انحدار في يناير 12, 2021 إصدار الصيانة التي يمكن أن تسبب AnalysisException غير صحيحة ويقول العمود غامضة في صلة ذاتية. يحدث هذا الانحدار عندما ينضم مستخدم DataFrame مع DataFrame المشتقة (ما يسمى الانضمام الذاتي) مع الشروط التالية:
      • هذه DataFrames اثنين أعمدة عامة ولكن الإخراج من الصلة الذاتية لا تحتوي على أعمدة عامة. على سبيل المثال، df.join(df.select($"col" as "new_col"), cond)
      • يستثني إطار البيانات المشتقة بعض الأعمدة عبر تحديد أو groupBy أو إطار.
      • شرط الصلة أو التحويل التالي بعد Dataframe الصلة يشير إلى أعمدة غير الشائعة. على سبيل المثال، df.join(df.drop("a"), df("a") === 1)
  • 12 يناير 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-33593][SQL] قارئ المتجهات حصلت على بيانات غير صحيحة مع قيمة القسم ثنائي
    • [SPARK-33677][SQL] تخطي قاعدة التبسيط إذا كان النمط يحتوي على أي escapeChar
    • [SPARK-33071][SPARK-33536][SQL] تجنب تغيير dataset_id من المنطقي في الانضمام() إلى عدم كسر DetectAmbiguousSelfJoin
  • 8 ديسمبر 2020

    • [SPARK-27421][SQL] إصلاح عامل تصفية لعمود int وقيمة فئة java.lang.String عند تقليم عمود القسم
    • وظائف سبارك أطلقت باستخدام Databricks الاتصال يمكن شنق إلى أجل غير مسمى مع Executor$TaskRunner.$anonfun$copySessionState في تتبع كومة المنفذ
    • تحديثات أمان نظام التشغيل.
  • 1 ديسمبر 2020

    • [SPARK-33404][SQL][3.0] إصلاح النتائج غير الصحيحة في التعبير
    • [SPARK-33339][PYTHON] سيتم تعليق تطبيق Pyspark بسبب خطأ غير استثناء
    • [SPARK-33183][SQL][HOTFIX] إصلاح قاعدة محسن EliminateSorts وإضافة قاعدة فعلية لإزالة أنواع زائدة
    • [SPARK-33371][PYTHON][3.0] تحديث setup.py واختبارات ل Python 3.9
    • [SPARK-33391][SQL] element_at مع CreateArray لا تحترم فهرس واحد قائم.
    • [SPARK-33306][SQL]الوقت مطلوب عند تحويل التاريخ إلى سلسلة
  • 3 نوفمبر 2020

    • ترقية جافا الإصدار من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح تأمين ABFS و WASB فيما يتعلق UserGroupInformation.getCurrentUser()
    • إصلاح خطأ حلقة لانهائية من قارئ أفرو عند قراءة البايتات MAGIC.
  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • [SPARK-32999][SQL] استخدم Utils.getSimpleName لتجنب ضرب اسم الفئة المشوهة في TreeNode
    • دلائل سرد ثابتة في تحميل FUSE تحتوي على أسماء ملفات بأحرف XML غير صالحة
    • لم يعد تحميل FUSE يستخدم تحميلات ListMultipartUploads
  • سبتمبر 29, 2020

    • [SPARK-28863][SQL][WARMFIX] تقديم بالفعلأي إجراء الأمثل لمنع إعادة تحليل V1FallbackWriters
    • [SPARK-32635][SQL] إصلاح الانتشار القابل للطي
    • إضافة تكوين جديد spark.shuffle.io.decoder.consolidateThreshold . تعيين قيمة التكوين Long.MAX_VALUE لتخطي دمج Netty FrameBuffers، الذي يمنع java.lang.IndexOutOfBoundsException في حالات الزاوية.
  • سبتمبر 24, 2020

    • [SPARK-32764][SQL] -0.0 يجب أن يساوي 0.0
    • [SPARK-32753][SQL] نسخ العلامات فقط إلى العقدة بدون علامات عند تحويل الخطط
    • [SPARK-32659][SQL] إصلاح مشكلة البيانات من إدراج تقسيم الديناميكية تقليم على نوع غير الذرية
    • تحديثات أمان نظام التشغيل.
  • 8 سبتمبر 2020

    • تم إنشاء معلمة جديدة لتحليلات Azure Synapse، maxbinlength . يتم استخدام هذه المعلمة للتحكم في طول العمود لأعمدة BinaryType، ويتم ترجمتها ك VARBINARY(maxbinlength) . يمكن ضبطه باستخدام .option("maxbinlength", n) ، حيث 0 < n = < 8000.
  • 25 أغسطس 2020

    • [SPARK-32159][SQL] إصلاح التكامل بين وUnresolvedMapObjects
    • [SPARK-32559][SQL] إصلاح منطق القطع في ، والذي لم يعالج ’ الأحرف غير ASCII بشكل صحيح
    • [SPARK-32543][R] إزالة الاستخدام في SparkR
    • [SPARK-32091][CORE] تجاهل خطأ المهلة عند إزالة كتل على المنفذ المفقود
    • إصلاح مشكلة تؤثر على موصل Azure Synapse مع بيانات اعتماد MSI
    • دقة سمة ثابتة غامضة في الدمج الذاتي
  • 18 أغسطس 2020

    • [SPARK-32594][SQL] إصلاح تسلسل التواريخ المدرجة في جداول الخلية
    • [SPARK-32237][SQL] حل التلميح في CTE
    • [SPARK-32431][SQL] تحقق من الأعمدة المتداخلة المكررة في القراءة من مصادر البيانات المضمنة
    • [SPARK-32467][UI] تجنب ترميز URL مرتين على إعادة توجيه https
    • إصلاح شرط سباق في موصل AQS عند استخدام Trigger.Once.
  • 11 أغسطس، 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight يجب فقط إعادة كتابة سمات العقد السلف لخطة التعارض
    • [SPARK-32234][SQL] فشل أوامر spark SQL في تحديد جداول ORC
  • 3 أغسطس 2020

    • يمكنك الآن استخدام الدالة تحويل LDA على كتلة تمكين فترة مرور.

2- فترة تشغيل 7.0 (غير معتمدة)

راجع Databricks وقت التشغيل 7.0 (غير معتمد).

  • 4 فبراير 2021

    • إصلاح انحدار تسبب في فشل DBFS FUSE لبدء عند تكوينات متغير بيئة الكتلة تحتوي على بناء الجملة bash غير صالح.
  • 20 يناير 2021

    • إصلاح انحدار في يناير 12, 2021 إصدار الصيانة التي يمكن أن تسبب AnalysisException غير صحيحة ويقول العمود غامضة في صلة ذاتية. يحدث هذا الانحدار عندما ينضم مستخدم DataFrame مع DataFrame المشتقة (ما يسمى الانضمام الذاتي) مع الشروط التالية:
      • هذه DataFrames اثنين أعمدة عامة ولكن الإخراج من الصلة الذاتية لا تحتوي على أعمدة عامة. على سبيل المثال، df.join(df.select($"col" as "new_col"), cond)
      • يستثني إطار البيانات المشتقة بعض الأعمدة عبر تحديد أو groupBy أو إطار.
      • شرط الصلة أو التحويل التالي بعد Dataframe الصلة يشير إلى أعمدة غير الشائعة. على سبيل المثال، df.join(df.drop("a"), df("a") === 1)
  • 12 يناير 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-33593][SQL] قارئ المتجهات حصلت على بيانات غير صحيحة مع قيمة القسم ثنائي
    • [SPARK-33677][SQL] تخطي قاعدة التبسيط إذا كان النمط يحتوي على أي escapeChar
    • [SPARK-33071][SPARK-33536][SQL] تجنب تغيير dataset_id من المنطقي في الانضمام() إلى عدم كسر DetectAmbiguousSelfJoin
  • 8 ديسمبر 2020

    • [SPARK-27421][SQL] إصلاح عامل تصفية لعمود int وقيمة فئة java.lang.String عند تقليم عمود القسم
    • [SPARK-33404][SQL] إصلاح النتائج غير الصحيحة في التعبير
    • [SPARK-33339][PYTHON] سيتم تعليق تطبيق Pyspark بسبب خطأ غير استثناء
    • [SPARK-33183][SQL] إصلاح قاعدة محسن EliminateSorts وإضافة قاعدة فعلية لإزالة أنواع زائدة
    • [SPARK-33391][SQL] element_at مع CreateArray لا تحترم فهرس واحد قائم.
    • تحديثات أمان نظام التشغيل.
  • 1 ديسمبر 2020

    • [SPARK-33306][SQL]الوقت مطلوب عند تحويل التاريخ إلى سلسلة
  • 3 نوفمبر 2020

    • ترقية جافا الإصدار من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح تأمين ABFS و WASB فيما يتعلق UserGroupInformation.getCurrentUser()
    • إصلاح خطأ حلقة لانهائية من قارئ أفرو عند قراءة البايتات MAGIC.
  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • [SPARK-32999][SQL] استخدم Utils.getSimpleName لتجنب ضرب اسم الفئة المشوهة في TreeNode
    • دلائل سرد ثابتة في تحميل FUSE تحتوي على أسماء ملفات بأحرف XML غير صالحة
    • لم يعد تحميل FUSE يستخدم تحميلات ListMultipartUploads
  • سبتمبر 29, 2020

    • [SPARK-28863][SQL][WARMFIX] تقديم بالفعلأي إجراء الأمثل لمنع إعادة تحليل V1FallbackWriters
    • [SPARK-32635][SQL] إصلاح الانتشار القابل للطي
    • إضافة تكوين جديد spark.shuffle.io.decoder.consolidateThreshold . تعيين قيمة التكوين Long.MAX_VALUE لتخطي دمج Netty FrameBuffers، الذي يمنع java.lang.IndexOutOfBoundsException في حالات الزاوية.
  • سبتمبر 24, 2020

    • [SPARK-32764][SQL] -0.0 يجب أن يساوي 0.0
    • [SPARK-32753][SQL] نسخ العلامات فقط إلى العقدة بدون علامات عند تحويل الخطط
    • [SPARK-32659][SQL] إصلاح مشكلة البيانات من إدراج تقسيم الديناميكية تقليم على نوع غير الذرية
    • تحديثات أمان نظام التشغيل.
  • 8 سبتمبر 2020

    • تم إنشاء معلمة جديدة لتحليلات Azure Synapse، maxbinlength . يتم استخدام هذه المعلمة للتحكم في طول العمود لأعمدة BinaryType، ويتم ترجمتها ك VARBINARY(maxbinlength) . يمكن ضبطه باستخدام .option("maxbinlength", n) ، حيث 0 < n = < 8000.
  • 25 أغسطس 2020

    • [SPARK-32159][SQL] إصلاح التكامل بين وUnresolvedMapObjects
    • [SPARK-32559][SQL] إصلاح منطق القطع في ، والذي لم يعالج ’ الأحرف غير ASCII بشكل صحيح
    • [SPARK-32543][R] إزالة الاستخدام في SparkR
    • [SPARK-32091][CORE] تجاهل خطأ المهلة عند إزالة كتل على المنفذ المفقود
    • إصلاح مشكلة تؤثر على موصل Azure Synapse مع بيانات اعتماد MSI
    • دقة سمة ثابتة غامضة في الدمج الذاتي
  • 18 أغسطس 2020

    • [SPARK-32594][SQL] إصلاح تسلسل التواريخ المدرجة في جداول الخلية
    • [SPARK-32237][SQL] حل التلميح في CTE
    • [SPARK-32431][SQL] تحقق من الأعمدة المتداخلة المكررة في القراءة من مصادر البيانات المضمنة
    • [SPARK-32467][UI] تجنب ترميز URL مرتين على إعادة توجيه https
    • إصلاح شرط سباق في موصل AQS عند استخدام Trigger.Once.
  • 11 أغسطس، 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight يجب فقط إعادة كتابة سمات العقد السلف لخطة التعارض
    • [SPARK-32234][SQL] فشل أوامر spark SQL في تحديد جداول ORC
    • يمكنك الآن استخدام الدالة تحويل LDA على كتلة تمكين فترة مرور.

2- فترة تشغيل 6.6 (غير معتمدة)

راجع Databricks وقت التشغيل 6.6 (غير معتمد).

  • 1 ديسمبر 2020

    • [SPARK-33260][SQL] إصلاح نتائج غير صحيحة من SortExec عند sortOrder هو Stream
    • [SPARK-32635][SQL] إصلاح الانتشار القابل للطي
  • 3 نوفمبر 2020

    • ترقية جافا الإصدار من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح تأمين ABFS و WASB فيما يتعلق UserGroupInformation.getCurrentUser()
    • إصلاح خطأ حلقة لانهائية من قارئ أفرو عند قراءة البايتات MAGIC.
  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • [SPARK-32999][SQL][2.4] استخدم Utils.getSimpleName لتجنب ضرب اسم الفئة المشوهة في TreeNode
    • دلائل سرد ثابتة في تحميل FUSE تحتوي على أسماء ملفات بأحرف XML غير صالحة
    • لم يعد تحميل FUSE يستخدم تحميلات ListMultipartUploads
  • سبتمبر 24, 2020

    • تحديثات أمان نظام التشغيل.
  • 8 سبتمبر 2020

    • تم إنشاء معلمة جديدة لتحليلات Azure Synapse، maxbinlength . يتم استخدام هذه المعلمة للتحكم في طول العمود لأعمدة BinaryType، ويتم ترجمتها ك VARBINARY(maxbinlength) . يمكن ضبطه باستخدام .option("maxbinlength", n) ، حيث 0 < n = < 8000.
    • تحديث مخزن أزور SDK إلى 8.6.4 وتمكين TCP الاحتفاظ على قيد الحياة على الاتصالات التي أجراها برنامج تشغيل WASB
  • 25 أغسطس 2020

    • دقة سمة ثابتة غامضة في الدمج الذاتي
  • 18 أغسطس 2020

    • [SPARK-32431][SQL] تحقق من الأعمدة المتداخلة المكررة في القراءة من مصادر البيانات المضمنة
    • إصلاح شرط سباق في موصل AQS عند استخدام Trigger.Once.
  • 11 أغسطس، 2020

    • [SPARK-28676][CORE] تجنب تسجيل الدخول الزائد من ContextCleaner
    • [SPARK-31967][واجهة المستخدم] تخفيض إلى vis.js 4.21.0 لإصلاح المهام واجهة المستخدم تحميل الانحدار الوقت
  • 3 أغسطس 2020

    • يمكنك الآن استخدام الدالة تحويل LDA على كتلة تمكين فترة مرور.
    • تحديثات أمان نظام التشغيل.

ستريك البيانات وقت التشغيل 6.5 (غير معتمد)

راجع Databricks وقت التشغيل 6.5 (غير معتمد).

  • سبتمبر 24, 2020
    • إصلاح قيد سابق حيث التمرير على الكتلة القياسية لا يزال تقييد استخدام مستخدم تطبيق نظام الملفات. الآن المستخدمين سوف تكون قادرة على الوصول إلى أنظمة الملفات المحلية دون قيود.
    • تحديثات أمان نظام التشغيل.
  • 8 سبتمبر 2020
    • تم إنشاء معلمة جديدة لتحليلات Azure Synapse، maxbinlength . يتم استخدام هذه المعلمة للتحكم في طول العمود لأعمدة BinaryType، ويتم ترجمتها ك VARBINARY(maxbinlength) . يمكن ضبطه باستخدام .option("maxbinlength", n) ، حيث 0 < n = < 8000.
    • تحديث مخزن أزور SDK إلى 8.6.4 وتمكين TCP الاحتفاظ على قيد الحياة على الاتصالات التي أجراها برنامج تشغيل WASB
  • 25 أغسطس 2020
    • دقة سمة ثابتة غامضة في الدمج الذاتي
  • 18 أغسطس 2020
    • [SPARK-32431][SQL] تحقق من الأعمدة المتداخلة المكررة في القراءة من مصادر البيانات المضمنة
    • إصلاح شرط سباق في موصل AQS عند استخدام Trigger.Once.
  • 11 أغسطس، 2020
    • [SPARK-28676][CORE] تجنب تسجيل الدخول الزائد من ContextCleaner
  • 3 أغسطس 2020
    • يمكنك الآن استخدام الدالة تحويل LDA على كتلة تمكين فترة مرور.
    • تحديثات أمان نظام التشغيل.
  • جول 7, 2020
    • ترقية جافا الإصدار من 1.8.0_242 إلى 1.8.0_252.
  • أبريل 21, 2020
    • [SPARK-31312][SQL] مثيل فئة ذاكرة التخزين المؤقت لمثيل UDF في HiveFunctionWrapper

ستريك البيانات وقت التشغيل 6.3 (غير معتمد)

راجع Databricks وقت التشغيل 6.3 (غير معتمد).

  • جول 7, 2020
    • ترقية جافا الإصدار من 1.8.0_232 إلى 1.8.0_252.
  • أبريل 21, 2020
    • [SPARK-31312][SQL] مثيل فئة ذاكرة التخزين المؤقت لمثيل UDF في HiveFunctionWrapper
  • أبريل 7, 2020
    • لحل مشكلة مع الباندا udf لا تعمل مع PyArrow 0.15.0 وما فوق، أضفنا متغير البيئة ( ARROW_PRE_0_15_IPC_FORMAT=1 ) لتمكين الدعم لتلك الإصدارات من PyArrow. انظر التعليمات في [SPARK-29367].
  • 10 مارس 2020
    • يتم تحديث موصل ندفة الثلج ( spark-snowflake_2.11 ) المضمنة في وقت تشغيل Databricks إلى الإصدار 2.5.9. snowflake-jdbc يتم تحديث إلى الإصدار 3.12.0.
  • 18 فبراير 2020
    • تمرير بيانات الاعتماد مع ADLS Gen2 لديه تدهور أداء بسبب معالجة مؤشر ترابط محلي غير صحيحة عند تمكين الجلب المسبق لعميل ADLS. يعطل هذا الإصدار ADLS Gen2 الجلب المسبق عند تمكين تمرير بيانات الاعتماد حتى يكون لدينا إصلاح مناسب.
  • 11 فبراير 2020
    • [SPARK-24783][SQL] شرارة.sql.shuffle.partitions = 0 يجب أن يلقي استثناء
    • [SPARK-30447][SQL] مشكلة قابلية الانتشار المستمر للإبطال
    • [SPARK-28152][SQL] إضافة كونف قديمة للرسم الخرائط الرقمية MsSqlServerDialect القديمة
    • Allowlisted الدالة الكتابة فوق بحيث MLModels توسيع MLWriter يمكن استدعاء الدالة.

ستريك البيانات وقت التشغيل 6.2 (غير معتمد)

راجع Databricks وقت التشغيل 6.2 (غير معتمد).

  • أبريل 21, 2020
    • [SPARK-31312][SQL] مثيل فئة ذاكرة التخزين المؤقت لمثيل UDF في HiveFunctionWrapper
  • أبريل 7, 2020
    • لحل مشكلة مع الباندا udf لا تعمل مع PyArrow 0.15.0 وما فوق، أضفنا متغير البيئة ( ARROW_PRE_0_15_IPC_FORMAT=1 ) لتمكين الدعم لتلك الإصدارات من PyArrow. انظر التعليمات في [SPARK-29367].
  • مارس 25, 2020
    • إخراج المهمة، مثل إخراج السجل المنبعث إلى ستاوت، يخضع لحد حجم 20MB. إذا كان إجمالي الإخراج حجم أكبر، سيتم إلغاء التشغيل ووضع علامة على أنه فشل. لتجنب مواجهة هذا الحد، يمكنك منع stdout من أن يتم إرجاعها من برنامج التشغيل إلى عن طريق تعيين spark.databricks.driver.disableScalaOutput تكوين Spark إلى true . بشكل افتراضي قيمة العلامة هي false . تتحكم العلامة في إخراج الخلايا لوظائف Scala JAR ودفاتر ملاحظات Scala. إذا تم تمكين العلامة، لا ترجع Spark نتائج تنفيذ المهمة إلى العميل. لا يؤثر العلامة على البيانات التي تتم كتابتها في ملفات سجل نظام المجموعة ’ s. يوصى بتعيين هذه العلامة فقط للتجمعات التلقائية لوظائف JAR، لأنها ستعطل نتائج دفتر الملاحظات.
  • 10 مارس 2020
    • يتم تحديث موصل ندفة الثلج ( spark-snowflake_2.11 ) المضمنة في وقت تشغيل Databricks إلى الإصدار 2.5.9. snowflake-jdbc يتم تحديث إلى الإصدار 3.12.0.
  • 18 فبراير 2020
    • [SPARK-24783][SQL] شرارة.sql.shuffle.partitions = 0 يجب أن يلقي استثناء
    • تمرير بيانات الاعتماد مع ADLS Gen2 لديه تدهور أداء بسبب معالجة مؤشر ترابط محلي غير صحيحة عند تمكين الجلب المسبق لعميل ADLS. يعطل هذا الإصدار ADLS Gen2 الجلب المسبق عند تمكين تمرير بيانات الاعتماد حتى يكون لدينا إصلاح مناسب.
  • 28 يناير 2020
    • كتاب طراز ML المدرجة في القائمة ’ الكتابة فوق الدالة للتجمعات تمكين لتمرير بيانات الاعتماد، بحيث يمكن استخدام نموذج حفظ وضع الكتابة فوق على كتل تمرير بيانات الاعتماد.
    • [SPARK-30447][SQL] مشكلة قابلية النشر المستمر للإبطال.
    • [SPARK-28152][SQL] إضافة conf القديمة للرسم الخرائط الرقمية MsSqlServerDialect القديمة.
  • 14 يناير 2020
    • ترقية جافا الإصدار من 1.8.0_222 إلى 1.8.0_232.
  • 10 ديسمبر 2019
    • [SPARK-29904][SQL] الطوابع الزمنية تحليل في دقة ميكروثانية من قبل مصادر البيانات JSON / CSV.

2- فترة تشغيل 6.1 (غير معتمد)

راجع Databricks وقت التشغيل 6.1 (غير معتمد).

  • أبريل 7, 2020
    • لحل مشكلة مع الباندا udf لا تعمل مع PyArrow 0.15.0 وما فوق، أضفنا متغير البيئة ( ARROW_PRE_0_15_IPC_FORMAT=1 ) لتمكين الدعم لتلك الإصدارات من PyArrow. انظر التعليمات في [SPARK-29367].
  • مارس 25, 2020
    • إخراج المهمة، مثل إخراج السجل المنبعث إلى ستاوت، يخضع لحد حجم 20MB. إذا كان إجمالي الإخراج حجم أكبر، سيتم إلغاء التشغيل ووضع علامة على أنه فشل. لتجنب مواجهة هذا الحد، يمكنك منع stdout من أن يتم إرجاعها من برنامج التشغيل إلى عن طريق تعيين spark.databricks.driver.disableScalaOutput تكوين Spark إلى true . بشكل افتراضي قيمة العلامة هي false . تتحكم العلامة في إخراج الخلايا لوظائف Scala JAR ودفاتر ملاحظات Scala. إذا تم تمكين العلامة، لا ترجع Spark نتائج تنفيذ المهمة إلى العميل. لا يؤثر العلامة على البيانات التي تتم كتابتها في ملفات سجل نظام المجموعة ’ s. يوصى بتعيين هذه العلامة فقط للتجمعات التلقائية لوظائف JAR، لأنها ستعطل نتائج دفتر الملاحظات.
  • 10 مارس 2020
    • يتم تحديث موصل ندفة الثلج ( spark-snowflake_2.11 ) المضمنة في وقت تشغيل Databricks إلى الإصدار 2.5.9. snowflake-jdbc يتم تحديث إلى الإصدار 3.12.0.
  • 18 فبراير 2020
    • [SPARK-24783][SQL] شرارة.sql.shuffle.partitions = 0 يجب أن يلقي استثناء
    • تمرير بيانات الاعتماد مع ADLS Gen2 لديه تدهور أداء بسبب معالجة مؤشر ترابط محلي غير صحيحة عند تمكين الجلب المسبق لعميل ADLS. يعطل هذا الإصدار ADLS Gen2 الجلب المسبق عند تمكين تمرير بيانات الاعتماد حتى يكون لدينا إصلاح مناسب.
  • 28 يناير 2020
    • [SPARK-30447][SQL] مشكلة قابلية النشر المستمر للإبطال.
    • [SPARK-28152][SQL] إضافة conf القديمة للرسم الخرائط الرقمية MsSqlServerDialect القديمة.
  • 14 يناير 2020
    • ترقية جافا الإصدار من 1.8.0_222 إلى 1.8.0_232.
  • نوفمبر 7, 2019
  • نوفمبر 5, 2019
    • إصلاح خطأ في DBFS FUSE لمعالجة نقاط التحميل الموجودة // في المسار الخاص به.
    • [SPARK-29081] استبدال المكالمات إلى SerializationUtils.clone على خصائص مع تطبيق أسرع
    • [SPARK-29244][CORE] منع تحرير الصفحة في BytesToBytesMap مجانا مرة أخرى
    • (6.1 مل) تم تثبيت إصدار mkl مكتبة 2019.4 عن غير قصد. خفضنا إلى mkl الإصدار 2019.3 لمباراة أناكوندا التوزيع 2019.03.

ستريك البيانات وقت التشغيل 6.0 (غير معتمد)

راجع Databricks وقت التشغيل 6.0 (غير معتمد).

  • مارس 25, 2020
    • إخراج المهمة، مثل إخراج السجل المنبعث إلى ستاوت، يخضع لحد حجم 20MB. إذا كان إجمالي الإخراج حجم أكبر، سيتم إلغاء التشغيل ووضع علامة على أنه فشل. لتجنب مواجهة هذا الحد، يمكنك منع stdout من أن يتم إرجاعها من برنامج التشغيل إلى عن طريق تعيين spark.databricks.driver.disableScalaOutput تكوين Spark إلى true . بشكل افتراضي قيمة العلامة هي false . تتحكم العلامة في إخراج الخلايا لوظائف Scala JAR ودفاتر ملاحظات Scala. إذا تم تمكين العلامة، لا ترجع Spark نتائج تنفيذ المهمة إلى العميل. لا يؤثر العلامة على البيانات التي تتم كتابتها في ملفات سجل نظام المجموعة ’ s. يوصى بتعيين هذه العلامة فقط للتجمعات التلقائية لوظائف JAR، لأنها ستعطل نتائج دفتر الملاحظات.
  • 18 فبراير 2020
    • تمرير بيانات الاعتماد مع ADLS Gen2 لديه تدهور أداء بسبب معالجة مؤشر ترابط محلي غير صحيحة عند تمكين الجلب المسبق لعميل ADLS. يعطل هذا الإصدار ADLS Gen2 الجلب المسبق عند تمكين تمرير بيانات الاعتماد حتى يكون لدينا إصلاح مناسب.
  • 11 فبراير 2020
    • [SPARK-24783][SQL] شرارة.sql.shuffle.partitions = 0 يجب أن يلقي استثناء
  • 28 يناير 2020
    • [SPARK-30447][SQL] مشكلة قابلية النشر المستمر للإبطال.
    • [SPARK-28152][SQL] إضافة conf القديمة للرسم الخرائط الرقمية MsSqlServerDialect القديمة.
  • 14 يناير 2020
    • ترقية جافا الإصدار من 1.8.0_222 إلى 1.8.0_232.
  • نوفمبر 19, 2019
    • [SPARK-29743] [SQL] عينة يجب تعيين needCopyResult إلى صحيح إذا كان الطفل بحاجةCopyResult صحيح
  • نوفمبر 5, 2019
    • dbutils.tensorboard.start() الآن يدعم TensorBoard 2.0 (إذا تم تثبيتها يدويا).
    • إصلاح خطأ في DBFS FUSE لمعالجة نقاط التحميل الموجودة // في المسار الخاص به.
    • [SPARK-29081] استبدال المكالمات إلى SerializationUtils.clone على خصائص مع تطبيق أسرع
  • أكتوبر 23, 2019
    • [SPARK-29244][CORE] منع تحرير الصفحة في BytesToBytesMap مجانا مرة أخرى
  • 8 أكتوبر 2019
    • تغييرات جانب الخادم للسماح لبرنامج تشغيل Simba Apache Spark ODBC بإعادة الاتصال والمتابعة بعد فشل الاتصال أثناء جلب النتائج (يتطلب إصدار برنامج تشغيل Simba Apache Spark ODBC 2.6.10).
    • إصلاح مشكلة تؤثر على استخدام Optimize الأمر مع الكتل الممكنة ل ACL الجدول.
    • إصلاح مشكلة حيث pyspark.ml المكتبات قد تفشل بسبب خطأ منع Scala UDF على جدول ACL و تمرير بيانات الاعتماد عبر الكتل الممكنة.
    • السماح سردها SerDe/SerDeUtil أساليب لتمرير بيانات الاعتماد.
    • ثابت NullPointerException عند التحقق من رمز الخطأ في عميل WASB.
    • إصلاح المشكلة التي لم يتم فيها إعادة توجيه بيانات اعتماد المستخدم إلى مهام تم إنشاؤها بواسطة dbutils.notebook.run() .

زبابة البيانات وقت التشغيل 5.4 مل (غير معتمد)

راجع Databricks وقت التشغيل 5.4 للحصول على التعلم الآلي (غير معتمد).

  • 18 يونيو، 2019
    • تحسين التعامل مع عمليات تشغيل MLflow النشطة في تكامل Hyperopt
    • تحسين الرسائل في Hyperopt
    • الحزمة المحدثة markdown من 3.1 إلى 3.1.1

2- فترة تشغيل 5.4 (غير معتمدة)

راجع Databricks وقت التشغيل 5.4 (غير معتمد).

  • نوفمبر 19, 2019
    • [SPARK-29743] [SQL] عينة يجب تعيين needCopyResult إلى صحيح إذا كان الطفل بحاجةCopyResult صحيح
  • 8 أكتوبر 2019
    • تغييرات جانب الملقم للسماح لبرنامج تشغيل Simba Apache Spark ODBC بإعادة الاتصال والمتابعة بعد فشل اتصال أثناء جلب النتائج (يتطلب تحديث برنامج تشغيل Simba Apache Spark ODBC إلى الإصدار 2.6.10).
    • ثابت NullPointerException عند التحقق من رمز الخطأ في عميل WASB.
  • Sep 10, 2019
    • إضافة أداة إعادة إنشاء الرسائل الآمنة لمؤشر الترابط إلى خريطة بايتتوبايت
    • إصلاح خطأ يؤثر على بعض استعلامات التجميع العمومية.
    • [SPARK-27330][SS] مهمة دعم إحباط في الكاتب foreach
    • [سبارك-28642] إخفاء بيانات الاعتماد في SHOW CREATE TABLE
    • [SPARK-28699][SQL] تعطيل استخدام نوع الراديوك ل ShuffleExchangeExec في حالة إعادة تقسيم
    • [SPARK-28699][CORE] إصلاح حالة زاوية لإجهاض مرحلة غير محددة
  • أغسطس 27, 2019
    • إصلاح مشكلة تؤثر على تعبيرات معينة transform
  • 13 أغسطس، 2019
    • يجب أن يتحقق مصدر تدفق دلتا من أحدث بروتوكول لجدول
    • [SPARK-28489][SS] إصلاح خطأ أن KafkaOffsetRangeCalculator.getRanges قد إسقاط الإزاحات
  • Jul 30, 2019
    • [SPARK-28015][SQL] تحقق من السلسلةToDate() يستهلك الإدخال بأكمله للتنسيقات yyyyy وyyyy-[m]m
    • [SPARK-28308][CORE] يجب أن تتم إضافة جزء فرعي من التقويمInterval قبل تحليل
    • [سبارك-27485] ضمانا يجب أن تتعامل الإعادة ترتيب السجلات مع التعبيرات المكررة بأمان
  • Jul 2, 2019
    • ترقية snappy-java من 1.1.7.1 إلى 1.1.7.3.
  • 18 يونيو، 2019
    • تحسين التعامل مع عمليات تشغيل MLflow النشطة في تكامل MLlib
    • تحسين رسالة مستشار Databricks المتعلقة باستخدام ذاكرة التخزين المؤقت دلتا
    • إصلاح خطأ يؤثر على استخدام وظائف ترتيب أعلى
    • إصلاح خطأ يؤثر على استعلامات بيانات تعريف دلتا

2- فترة تشغيل 5.3 (غير معتمدة)

راجع Databricks وقت التشغيل 5.3 (غير معتمد).

  • نوفمبر 7, 2019
    • [SPARK-29743][SQL] عينة يجب تعيين needCopyResult إلى صحيح إذا كان الطفل بحاجةCopyResult صحيح
  • 8 أكتوبر 2019
    • تغييرات جانب الملقم للسماح لبرنامج تشغيل Simba Apache Spark ODBC بإعادة الاتصال والمتابعة بعد فشل اتصال أثناء جلب النتائج (يتطلب تحديث برنامج تشغيل Simba Apache Spark ODBC إلى الإصدار 2.6.10).
    • ثابت NullPointerException عند التحقق من رمز الخطأ في عميل WASB.
  • Sep 10, 2019
    • إضافة أداة إعادة إنشاء الرسائل الآمنة لمؤشر الترابط إلى خريطة بايتتوبايت
    • إصلاح خطأ يؤثر على بعض استعلامات التجميع العمومية.
    • [SPARK-27330][SS] مهمة دعم إحباط في الكاتب foreach
    • [سبارك-28642] إخفاء بيانات الاعتماد في SHOW CREATE TABLE
    • [SPARK-28699][SQL] تعطيل استخدام نوع الراديوك ل ShuffleExchangeExec في حالة إعادة تقسيم
    • [SPARK-28699][CORE] إصلاح حالة زاوية لإجهاض مرحلة غير محددة
  • أغسطس 27, 2019
    • إصلاح مشكلة تؤثر على تعبيرات معينة transform
  • 13 أغسطس، 2019
    • يجب أن يتحقق مصدر تدفق دلتا من أحدث بروتوكول لجدول
    • [SPARK-28489][SS] إصلاح خطأ أن KafkaOffsetRangeCalculator.getRanges قد إسقاط الإزاحات
  • Jul 30, 2019
    • [SPARK-28015][SQL] تحقق من السلسلةToDate() يستهلك الإدخال بأكمله للتنسيقات yyyyy وyyyy-[m]m
    • [SPARK-28308][CORE] يجب أن تتم إضافة جزء فرعي من التقويمInterval قبل تحليل
    • [سبارك-27485] ضمانا يجب أن تتعامل الإعادة ترتيب السجلات مع التعبيرات المكررة بأمان
  • 18 يونيو، 2019
    • تحسين رسالة مستشار Databricks المتعلقة باستخدام ذاكرة التخزين المؤقت دلتا
    • إصلاح خطأ يؤثر على استخدام وظائف ترتيب أعلى
    • إصلاح خطأ يؤثر على استعلامات بيانات تعريف دلتا
  • 28 مايو/ أيار 2019
    • تحسين استقرار دلتا
    • التسامح مع IOExceptions عند قراءة ملف دلتا LAST_CHECKPOINT
      • تمت إضافة استرداد إلى فشل تثبيت المكتبة
  • 7 مايو 2019
    • منفذ HADOOP-15778 (ABFS: إصلاح اختناق جانب العميل للقراءة) إلى موصل تخزين بحيرة البيانات Azure Gen2
    • منفذ HADOOP-16040 (ABFS: إصلاح الأخطاء لتكوين tolerateOobAppends) إلى موصل تخزين بحيرة البيانات Azure Gen2
    • إصلاح خطأ يؤثر على ACLs الجدول
    • إصلاح شرط سباق عند تحميل ملف المجموع الاختباري سجل دلتا
    • منطق الكشف عن تعارض دلتا الثابت لعدم تحديد “ إدراج + الكتابة فوق ” عملية “ إلحاق ” خالصة
    • تأكد من عدم تعطيل ذاكرة التخزين المؤقت دلتا عند تمكين ACLs الجدول
    • [سبارك-27494] [SS] مفاتيح فارغة / القيم ’ لا تعمل في كافكا المصدر v2
    • [سبارك-27446] [R] استخدم كونف الشرارة الموجودة إذا كانت متوفرة.
    • [سبارك-27454] [سبارك-27454] [ML] [SQL] فشل مصدر بيانات صورة Spark عند مواجهة بعض الصور غير القانونية
    • [سبارك-27160] [SQL] إصلاح DecimalType عند إنشاء مرشحات orc
    • [سبارك-27338] [الأساسية] إصلاح حالة توقف تام بين غير آمنةExternalSorter والمهاممأجر

2.5 (غير معتمد) وقت تشغيل ستريك البيانات

راجع Databricks وقت التشغيل 5.2 (غير معتمد).

  • Sep 10, 2019
    • إضافة أداة إعادة إنشاء الرسائل الآمنة لمؤشر الترابط إلى خريطة بايتتوبايت
    • إصلاح خطأ يؤثر على بعض استعلامات التجميع العمومية.
    • [SPARK-27330][SS] مهمة دعم إحباط في الكاتب foreach
    • [سبارك-28642] إخفاء بيانات الاعتماد في SHOW CREATE TABLE
    • [SPARK-28699][SQL] تعطيل استخدام نوع الراديوك ل ShuffleExchangeExec في حالة إعادة تقسيم
    • [SPARK-28699][CORE] إصلاح حالة زاوية لإجهاض مرحلة غير محددة
  • أغسطس 27, 2019
    • إصلاح مشكلة تؤثر على تعبيرات معينة transform
  • 13 أغسطس، 2019
    • يجب أن يتحقق مصدر تدفق دلتا من أحدث بروتوكول لجدول
    • [SPARK-28489][SS] إصلاح خطأ أن KafkaOffsetRangeCalculator.getRanges قد إسقاط الإزاحات
  • Jul 30, 2019
    • [SPARK-28015][SQL] تحقق من السلسلةToDate() يستهلك الإدخال بأكمله للتنسيقات yyyyy وyyyy-[m]m
    • [SPARK-28308][CORE] يجب أن تتم إضافة جزء فرعي من التقويمInterval قبل تحليل
    • [سبارك-27485] ضمانا يجب أن تتعامل الإعادة ترتيب السجلات مع التعبيرات المكررة بأمان
  • Jul 2, 2019
    • التسامح مع IOExceptions عند قراءة ملف دلتا LAST_CHECKPOINT
  • 18 يونيو، 2019
    • تحسين رسالة مستشار Databricks المتعلقة باستخدام ذاكرة التخزين المؤقت دلتا
    • إصلاح خطأ يؤثر على استخدام وظائف ترتيب أعلى
    • إصلاح خطأ يؤثر على استعلامات بيانات تعريف دلتا
  • 28 مايو/ أيار 2019
    • تمت إضافة استرداد إلى فشل تثبيت المكتبة
  • 7 مايو 2019
    • منفذ HADOOP-15778 (ABFS: إصلاح اختناق جانب العميل للقراءة) إلى موصل تخزين بحيرة البيانات Azure Gen2
    • منفذ HADOOP-16040 (ABFS: إصلاح الأخطاء لتكوين tolerateOobAppends) إلى موصل تخزين بحيرة البيانات Azure Gen2
    • إصلاح شرط سباق عند تحميل ملف المجموع الاختباري سجل دلتا
    • منطق الكشف عن تعارض دلتا الثابت لعدم تحديد “ إدراج + الكتابة فوق ” عملية “ إلحاق ” خالصة
    • تأكد من عدم تعطيل ذاكرة التخزين المؤقت دلتا عند تمكين ACLs الجدول
    • [سبارك-27494] [SS] مفاتيح فارغة / القيم ’ لا تعمل في كافكا المصدر v2
    • [سبارك-27454] [سبارك-27454] [ML] [SQL] فشل مصدر بيانات صورة Spark عند مواجهة بعض الصور غير القانونية
    • [سبارك-27160] [SQL] إصلاح DecimalType عند إنشاء مرشحات orc
    • [سبارك-27338] [الأساسية] إصلاح حالة توقف تام بين غير آمنةExternalSorter والمهاممأجر
  • مارس 26, 2019
    • تجنب تضمين الإزاحات المعتمدة على النظام الأساسي حرفيا في التعليمات البرمجية التي تم إنشاؤها في مرحلة كاملة
    • [SPARK-26665][CORE] إصلاح خطأ أن BlockTransferService.fetchBlockSync قد شنق إلى الأبد.
    • [SPARK-27134][SQL] لا تعمل الدالة array_distinct بشكل صحيح مع الأعمدة التي تحتوي على صفيف.
    • [SPARK-24669][SQL] إبطال الجداول في حالة إسقاط قاعدة بيانات CASCADE.
    • [SPARK-26572][SQL] إصلاح تقييم نتائج مخطط الترميز التجميعي.
    • إصلاح خطأ يؤثر على بعض PythonUDFs.
  • فبراير 26, 2019
    • [SPARK-26864][SQL] الاستعلام قد ترجع نتيجة غير صحيحة عند استخدام udf بيثون كشرط صلة نصف اليسرى.
    • [SPARK-26887][PYTHON] إنشاء datetime.date مباشرة بدلا من إنشاء datetime64 كبيانات وسيطة.
    • إصلاح خطأ يؤثر على ملقم JDBC/ODBC.
    • إصلاح خطأ يؤثر على PySpark.
    • استبعاد الملفات المخفية عند إنشاء HadoopRDD.
    • إصلاح خطأ في دلتا تسبب في مشاكل في التسلسل.
  • فبراير 12, 2019
    • إصلاح مشكلة تؤثر على استخدام دلتا مع نقاط تحميل Azure ADLS Gen2.
    • إصلاح مشكلة قد يتم قطع بروتوكول شبكة الاتصال مستوى منخفض Spark عند إرسال رسائل خطأ RPC كبيرة مع تمكين التشفير (عند spark.network.crypto.enabled تعيين إلى true).
  • يناير 30, 2019
    • إصلاح StackOverflowError عند وضع تلميح انضمام الانحراف على علاقة المخزنة مؤقتا.
    • إصلاح عدم تناسق بين ذاكرة التخزين المؤقت SQL ’ RDD المخزنة مؤقتا وخطتها الفعلية، مما يؤدي إلى نتيجة غير صحيحة.
    • [SPARK-26706][SQL] إصلاح ل بايتتيبي.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery لا يعالج السجلات الفارغة بشكل صحيح.
    • يجب على مصادر بيانات CSV/JSON تجنب مسارات التمايل عند الاستدلال على المخطط.
    • استنتاج قيد ثابت على عامل تشغيل النافذة.
    • إصلاح مشكلة تؤثر على تثبيت مكتبات البيض مع الكتل وجود جدول ACL تمكين.

2- فترة تشغيل 5.1 (غير معتمد)

راجع Databricks وقت التشغيل 5.1 (غير معتمد).

  • 13 أغسطس، 2019
    • يجب أن يتحقق مصدر تدفق دلتا من أحدث بروتوكول لجدول
    • [SPARK-28489][SS] إصلاح خطأ أن KafkaOffsetRangeCalculator.getRanges قد إسقاط الإزاحات
  • Jul 30, 2019
    • [SPARK-28015][SQL] تحقق من السلسلةToDate() يستهلك الإدخال بأكمله للتنسيقات yyyyy وyyyy-[m]m
    • [SPARK-28308][CORE] يجب أن تتم إضافة جزء فرعي من التقويمInterval قبل تحليل
    • [سبارك-27485] ضمانا يجب أن تتعامل الإعادة ترتيب السجلات مع التعبيرات المكررة بأمان
  • Jul 2, 2019
    • التسامح مع IOExceptions عند قراءة ملف دلتا LAST_CHECKPOINT
  • 18 يونيو، 2019
    • إصلاح خطأ يؤثر على استخدام وظائف ترتيب أعلى
    • إصلاح خطأ يؤثر على استعلامات بيانات تعريف دلتا
  • 28 مايو/ أيار 2019
    • تمت إضافة استرداد إلى فشل تثبيت المكتبة
  • 7 مايو 2019
    • منفذ HADOOP-15778 (ABFS: إصلاح اختناق جانب العميل للقراءة) إلى موصل تخزين بحيرة البيانات Azure Gen2
    • منفذ HADOOP-16040 (ABFS: إصلاح الأخطاء لتكوين tolerateOobAppends) إلى موصل تخزين بحيرة البيانات Azure Gen2
    • إصلاح شرط سباق عند تحميل ملف المجموع الاختباري سجل دلتا
    • منطق الكشف عن تعارض دلتا الثابت لعدم تحديد “ إدراج + الكتابة فوق ” عملية “ إلحاق ” خالصة
    • [سبارك-27494] [SS] مفاتيح فارغة / القيم ’ لا تعمل في كافكا المصدر v2
    • [سبارك-27454] [سبارك-27454] [ML] [SQL] فشل مصدر بيانات صورة Spark عند مواجهة بعض الصور غير القانونية
    • [سبارك-27160] [SQL] إصلاح DecimalType عند إنشاء مرشحات orc
    • [سبارك-27338] [الأساسية] إصلاح حالة توقف تام بين غير آمنةExternalSorter والمهاممأجر
  • مارس 26, 2019
    • تجنب تضمين الإزاحات المعتمدة على النظام الأساسي حرفيا في التعليمات البرمجية التي تم إنشاؤها في مرحلة كاملة
    • إصلاح خطأ يؤثر على بعض PythonUDFs.
  • فبراير 26, 2019
    • [SPARK-26864][SQL] الاستعلام قد ترجع نتيجة غير صحيحة عند استخدام udf بيثون كشرط صلة نصف اليسرى.
    • إصلاح خطأ يؤثر على ملقم JDBC/ODBC.
    • استبعاد الملفات المخفية عند إنشاء HadoopRDD.
  • فبراير 12, 2019
    • إصلاح مشكلة تؤثر على تثبيت مكتبات البيض مع الكتل وجود جدول ACL تمكين.
    • إصلاح عدم تناسق بين ذاكرة التخزين المؤقت SQL ’ RDD المخزنة مؤقتا وخطتها الفعلية، مما يؤدي إلى نتيجة غير صحيحة.
    • [SPARK-26706][SQL] إصلاح ل بايتتيبي.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery لا يعالج السجلات الفارغة بشكل صحيح.
    • استنتاج قيد ثابت على عامل تشغيل النافذة.
    • إصلاح مشكلة قد يتم قطع بروتوكول شبكة الاتصال مستوى منخفض Spark عند إرسال رسائل خطأ RPC كبيرة مع تمكين التشفير (عند spark.network.crypto.enabled تعيين إلى true).
  • يناير 30, 2019
    • إصلاح مشكلة يمكن أن تسبب df.rdd.count() مع UDT لإرجاع إجابة غير صحيحة لبعض الحالات.
    • إصلاح مشكلة تؤثر على تثبيت بيوت القيادة.
    • [سبارك-26267] إعادة المحاولة عند الكشف عن الإزاحات غير الصحيحة من كافكا.
    • إصلاح خطأ يؤثر على مصادر دفق ملفات متعددة في استعلام تدفق.
    • إصلاح StackOverflowError عند وضع تلميح انضمام الانحراف على علاقة المخزنة مؤقتا.
    • إصلاح عدم تناسق بين ذاكرة التخزين المؤقت SQL ’ RDD المخزنة مؤقتا وخطتها الفعلية، مما يؤدي إلى نتيجة غير صحيحة.
  • 8 يناير/ كانون الثاني 2019
    • المشكلة الثابتة التي تسبب الخطأ org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted .
    • [SPARK-26352]يجب أن لا يغير إعادة ترتيب ترتيب سمات الإخراج.
    • [سبارك-26366] يجب أن تأخذ ReplaceExceptWithFilter في الاعتبار NULL ك False.
    • تحسين الاستقرار لدلتا ليك.
    • تم تمكين بحيرة دلتا.
    • إصلاح المشكلة التي تسببت في فشل وصول مخزن بحيرة البيانات Azure Gen2 عند تمكين Azure AD بيانات الاعتماد Passthrough ل Azure البيانات بحيرة التخزين Gen1.
    • تم تمكين ذاكرة التخزين المؤقت IO Databricks الآن لأنواع مثيلات العامل سلسلة Ls لكافة مستويات التسعير.

5.0 (غير معتمد) وقت تشغيل ستريك البيانات

راجع Databricks وقت التشغيل 5.0 (غير معتمد).

  • 18 يونيو، 2019
    • إصلاح خطأ يؤثر على استخدام وظائف ترتيب أعلى
  • 7 مايو 2019
    • إصلاح شرط سباق عند تحميل ملف المجموع الاختباري سجل دلتا
    • منطق الكشف عن تعارض دلتا الثابت لعدم تحديد “ إدراج + الكتابة فوق ” عملية “ إلحاق ” خالصة
    • [سبارك-27494] [SS] مفاتيح فارغة / القيم ’ لا تعمل في كافكا المصدر v2
    • [سبارك-27454] [سبارك-27454] [ML] [SQL] فشل مصدر بيانات صورة Spark عند مواجهة بعض الصور غير القانونية
    • [سبارك-27160] [SQL] إصلاح DecimalType عند إنشاء مرشحات orc
      • [سبارك-27338] [الأساسية] إصلاح حالة توقف تام بين غير آمنةExternalSorter والمهاممأجر
  • مارس 26, 2019
    • تجنب تضمين الإزاحات المعتمدة على النظام الأساسي حرفيا في التعليمات البرمجية التي تم إنشاؤها في مرحلة كاملة
    • إصلاح خطأ يؤثر على بعض PythonUDFs.
  • مارس 12, 2019
    • [SPARK-26864][SQL] الاستعلام قد ترجع نتيجة غير صحيحة عند استخدام udf بيثون كشرط صلة نصف اليسرى.
  • فبراير 26, 2019
    • إصلاح خطأ يؤثر على ملقم JDBC/ODBC.
    • استبعاد الملفات المخفية عند إنشاء HadoopRDD.
  • فبراير 12, 2019
    • إصلاح عدم تناسق بين ذاكرة التخزين المؤقت SQL ’ RDD المخزنة مؤقتا وخطتها الفعلية، مما يؤدي إلى نتيجة غير صحيحة.
    • [SPARK-26706][SQL] إصلاح ل بايتتيبي.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery لا يعالج السجلات الفارغة بشكل صحيح.
    • استنتاج قيد ثابت على عامل تشغيل النافذة.
    • إصلاح مشكلة قد يتم قطع بروتوكول شبكة الاتصال مستوى منخفض Spark عند إرسال رسائل خطأ RPC كبيرة مع تمكين التشفير (عند spark.network.crypto.enabled تعيين إلى true).
  • يناير 30, 2019
    • إصلاح مشكلة يمكن أن تسبب df.rdd.count() مع UDT لإرجاع إجابة غير صحيحة لبعض الحالات.
    • [سبارك-26267] إعادة المحاولة عند الكشف عن الإزاحات غير الصحيحة من كافكا.
    • إصلاح خطأ يؤثر على مصادر دفق ملفات متعددة في استعلام تدفق.
    • إصلاح StackOverflowError عند وضع تلميح انضمام الانحراف على علاقة المخزنة مؤقتا.
    • إصلاح عدم تناسق بين ذاكرة التخزين المؤقت SQL ’ RDD المخزنة مؤقتا وخطتها الفعلية، مما يؤدي إلى نتيجة غير صحيحة.
  • 8 يناير/ كانون الثاني 2019
    • المشكلة الثابتة التي تسببت في حدوث الخطأ org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted .
    • [SPARK-26352]يجب أن لا يغير إعادة ترتيب ترتيب سمات الإخراج.
    • [سبارك-26366] يجب أن تأخذ ReplaceExceptWithFilter في الاعتبار NULL ك False.
    • تحسين الاستقرار لدلتا ليك.
    • تم تمكين بحيرة دلتا.
    • تم تمكين ذاكرة التخزين المؤقت IO Databricks الآن لأنواع مثيلات العامل سلسلة Ls لكافة مستويات التسعير.
  • كانون الأول 18, 2018
    • [سبارك-26293] استثناء المدلى بها عند وجود بيثون UDF في الصرير الفرعي
    • إصلاح مشكلة تؤثر على استعلامات معينة باستخدام Join و Limit.
    • بيانات اعتماد منقحة من أسماء RDD في واجهة مستخدم Spark
  • 6 ديسمبر/ كانون الأول 2018
    • إصلاح مشكلة تسبب نتيجة استعلام غير صحيحة عند استخدام orderBy متبوعا مباشرة groupBy مع مفتاح مجموعة حسب كالجزء الرئيسي من مفتاح الفرز.
    • ترقية Snowflake موصل لشرارة من 2.4.9.2-spark_2.4_pre_release إلى 2.4.10.
    • تجاهل الملفات التالفة فقط بعد إعادة محاولة واحدة أو أكثر عند spark.sql.files.ignoreCorruptFiles تمكين أو spark.sql.files.ignoreMissingFiles وضع علامة.
    • إصلاح مشكلة تؤثر على بعض استعلامات الاتحاد الذاتي.
    • إصلاح خطأ مع خادم التوفير حيث يتم أحيانا تسريب جلسات العمل عند إلغاؤها.
    • [سبارك-26307] CTAS ثابتة عند إدراج جدول مقسم باستخدام الخلية SerDe.
    • [سبارك-26147] فشل ملفات التعريف بالثعبان في شرط الصلة حتى عند استخدام أعمدة من جانب واحد فقط من الصلة
    • [سبارك-26211] إصلاح InSet ثنائي، والبنية الصفيف مع فارغة.
    • [SPARK-26181] أسلوب ColumnStatsMap غير صحيح.
    • إصلاح مشكلة تؤثر على تثبيت Python Wheels في بيئات بدون الوصول إلى الإنترنت.
  • 20 نوفمبر 2018
    • إصلاح مشكلة تسببت في عدم قابلية دفتر ملاحظات للاستخدام بعد إلغاء استعلام تدفق.
    • إصلاح مشكلة تؤثر على استعلامات معينة باستخدام وظائف الإطار.
    • إصلاح مشكلة تؤثر على دفق من دلتا مع تغييرات مخطط متعددة.
    • إصلاح مشكلة تؤثر على استعلامات تجميع معينة مع الصلات نصف/مكافحة اليسار.

2- فترة تشغيل 4.3 (غير معتمدة)

راجع Databricks وقت التشغيل 4.3 (غير معتمد).

  • أبريل 9, 2019

    • [SPARK-26665][CORE] إصلاح خطأ يمكن أن يسبب BlockTransferService.fetchBlockSync إلى تعليق إلى الأبد.
    • [SPARK-24669][SQL] إبطال الجداول في حالة إسقاط قاعدة بيانات CASCADE.
  • مارس 12, 2019

    • إصلاح خطأ يؤثر على إنشاء التعليمات البرمجية.
    • إصلاح خطأ يؤثر على دلتا.
  • فبراير 26, 2019

    • إصلاح خطأ يؤثر على ملقم JDBC/ODBC.
  • فبراير 12, 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery لا يعالج السجلات الفارغة بشكل صحيح.
    • باستثناء الملفات المخفية عند بناء HadoopRDD.
    • تحويل تصفية باركيه ثابتة ل IN دالة التقييم عندما تكون قيمته فارغة.
    • إصلاح مشكلة قد يتم قطع بروتوكول شبكة الاتصال مستوى منخفض Spark عند إرسال رسائل خطأ RPC كبيرة مع تمكين التشفير (عند spark.network.crypto.enabled تعيين إلى true).
  • يناير 30, 2019

    • إصلاح مشكلة يمكن أن تسبب df.rdd.count() مع UDT لإرجاع إجابة غير صحيحة لبعض الحالات.
    • إصلاح عدم تناسق بين ذاكرة التخزين المؤقت SQL ’ RDD المخزنة مؤقتا وخطتها الفعلية، مما يؤدي إلى نتيجة غير صحيحة.
  • 8 يناير/ كانون الثاني 2019

    • إصلاح المشكلة التي تسبب الخطأ org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted .
    • بيانات اعتماد منقحة من أسماء RDD في واجهة مستخدم Spark
    • [SPARK-26352]يجب أن لا يغير إعادة ترتيب ترتيب سمات الإخراج.
    • [سبارك-26366] يجب أن تأخذ ReplaceExceptWithFilter في الاعتبار NULL ك False.
    • تم تمكين بحيرة دلتا.
    • تم تمكين ذاكرة التخزين المؤقت IO Databricks الآن لأنواع مثيلات العامل سلسلة Ls لكافة مستويات التسعير.
  • كانون الأول 18, 2018

    • [سبارك-25002] Avro: مراجعة مساحة اسم سجل الإخراج.
    • إصلاح مشكلة تؤثر على استعلامات معينة باستخدام Join و Limit.
    • [سبارك-26307] CTAS ثابتة عند إدراج جدول مقسم باستخدام الخلية SerDe.
    • تجاهل الملفات التالفة فقط بعد إعادة محاولة واحدة أو أكثر عند spark.sql.files.ignoreCorruptFiles تمكين أو spark.sql.files.ignoreMissingFiles وضع علامة.
    • [SPARK-26181] أسلوب ColumnStatsMap غير صحيح.
    • إصلاح مشكلة تؤثر على تثبيت Python Wheels في بيئات بدون الوصول إلى الإنترنت.
    • إصلاح مشكلة أداء في محلل الاستعلام.
    • إصلاح مشكلة في PySpark تسبب فشل إجراءات DataFrame مع “ رفض ” الاتصال خطأ.
    • إصلاح مشكلة تؤثر على بعض استعلامات الاتحاد الذاتي.
  • 20 نوفمبر 2018

    • [SPARK-17916][SPARK-25241]إصلاح سلسلة فارغة يجري تحليلها على أنها خالية عند تعيين قيمة خالية.
    • [سبارك-25387] إصلاح ل NPE الناجمة عن إدخال CSV سيئة.
    • إصلاح مشكلة تؤثر على استعلامات تجميع معينة مع الصلات نصف/مكافحة اليسار.
  • نوفمبر 6, 2018

    • [سبارك-25741] لا يتم تقديم محددات مواقع المعلومات الطويلة بشكل صحيح في واجهة مستخدم الويب.
    • [سبارك-25714] إصلاح معالجة فارغة في تبسيط المنطقية قاعدة محسن.
    • إصلاح مشكلة تؤثر على تنظيف الكائنات المؤقتة في موصل Synapse Analytics.
    • [سبارك-25816] إصلاح دقة السمة في مستخرجات متداخلة.
  • أكتوبر 16, 2018

    • إصلاح خطأ يؤثر على إخراج التشغيل SHOW CREATE TABLE على جداول دلتا.
    • إصلاح خطأ يؤثر على Union العملية.
  • Sep 25, 2018

    • [SPARK-25368][SQL] استنتاج القيد غير صحيحة بإرجاع نتيجة خاطئة.
    • [SPARK-25402][SQL] معالجة خالية في تبسيط منطقي.
    • ثابت NotSerializableException في مصدر بيانات أفرو.
  • Sep 11, 2018

    • [SPARK-25214][SS] إصلاح المشكلة التي قد يرجع مصدر V2 كافكا السجلات المكررة عند .
    • [SPARK-24987][SS] إصلاح كافكا تسرب المستهلك عندما لا إزاحات جديدة للمادةPartition.
    • يجب أن يعالج تقليل عامل التصفية القيمة الخالية بشكل صحيح.
    • تحسين استقرار محرك التنفيذ.
  • أغسطس 28, 2018

    • إصلاح خطأ في دلتا بحيرة حذف الأمر الذي قد حذف الصفوف حيث يتم تقييم الشرط إلى null بشكل غير صحيح.
    • [سبارك-25142] إضافة رسائل خطأ عند تعذر فتح عامل Python مأخذ توصيل في .
  • أغسطس 23, 2018

    • [SPARK-23935]mapEntry يلقي .
    • مشكلة خريطة قابلة للإبطال ثابتة في قارئ باركيه.
    • [SPARK-25051][SQL] يجب ألا تتوقف إمكانية الإصلاح على AnalysisBarrier.
    • [سبارك-25081] إصلاح خطأ حيث ShuffleExternalSorter قد الوصول إلى صفحة ذاكرة تم إصدارها عند تسرب فشل تخصيص الذاكرة.
    • إصلاح تفاعل بين دلتا Databricks وPyspark مما قد يسبب فشل قراءة عابرة.
    • [سبارك-25084] توزيع بواسطة ” على أعمدة متعددة (التفاف بين قوسين) قد يؤدي إلى مشكلة codegen.
    • [سبارك-25096] تخفيف nullability إذا كان المدلى بها هو قوة فارغة.
    • خفض العدد الافتراضي لمؤشرات الترابط المستخدمة من قبل الأمر تحسين بحيرة دلتا، تقليل مقدار الحمل الذاكرة و إرسال البيانات بشكل أسرع.
    • [سبارك-25114] إصلاح كومباتوريكومباتوري عندما يكون الطرح بين كلمتين قابلة للقسمة على عدد صحيح.MAX_VALUE.
    • ثابتة سرية مدير التنقيح عندما تنجح جزئيا الأمر.

2.4 وقت تشغيل ستريك البيانات (غير معتمد)

راجع Databricks وقت التشغيل 4.2 (غير معتمد).

  • فبراير 26, 2019

    • إصلاح خطأ يؤثر على ملقم JDBC/ODBC.
  • فبراير 12, 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery لا يعالج السجلات الفارغة بشكل صحيح.
    • باستثناء الملفات المخفية عند بناء HadoopRDD.
    • تحويل تصفية باركيه ثابتة ل IN دالة التقييم عندما تكون قيمته فارغة.
    • إصلاح مشكلة قد يتم قطع بروتوكول شبكة الاتصال مستوى منخفض Spark عند إرسال رسائل خطأ RPC كبيرة مع تمكين التشفير (عند spark.network.crypto.enabled تعيين إلى true).
  • يناير 30, 2019

    • إصلاح مشكلة يمكن أن تسبب df.rdd.count() مع UDT لإرجاع إجابة غير صحيحة لبعض الحالات.
  • 8 يناير/ كانون الثاني 2019

    • المشكلة الثابتة التي تسبب الخطأ org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted .
    • بيانات اعتماد منقحة من أسماء RDD في واجهة مستخدم Spark
    • [SPARK-26352]يجب أن لا يغير إعادة ترتيب ترتيب سمات الإخراج.
    • [سبارك-26366] يجب أن تأخذ ReplaceExceptWithFilter في الاعتبار NULL ك False.
    • تم تمكين بحيرة دلتا.
    • تم تمكين ذاكرة التخزين المؤقت IO Databricks الآن لأنواع مثيلات العامل سلسلة Ls لكافة مستويات التسعير.
  • كانون الأول 18, 2018

    • [سبارك-25002] Avro: مراجعة مساحة اسم سجل الإخراج.
    • إصلاح مشكلة تؤثر على استعلامات معينة باستخدام Join و Limit.
    • [سبارك-26307] CTAS ثابتة عند إدراج جدول مقسم باستخدام الخلية SerDe.
    • تجاهل الملفات التالفة فقط بعد إعادة محاولة واحدة أو أكثر عند spark.sql.files.ignoreCorruptFiles تمكين أو spark.sql.files.ignoreMissingFiles وضع علامة.
    • [SPARK-26181] أسلوب ColumnStatsMap غير صحيح.
    • إصلاح مشكلة تؤثر على تثبيت Python Wheels في بيئات بدون الوصول إلى الإنترنت.
    • إصلاح مشكلة أداء في محلل الاستعلام.
    • إصلاح مشكلة في PySpark تسبب فشل إجراءات DataFrame مع “ رفض ” الاتصال خطأ.
    • إصلاح مشكلة تؤثر على بعض استعلامات الاتحاد الذاتي.
  • 20 نوفمبر 2018

    • [SPARK-17916][SPARK-25241]إصلاح سلسلة فارغة يجري تحليلها على أنها خالية عند تعيين قيمة خالية.
    • إصلاح مشكلة تؤثر على استعلامات تجميع معينة مع الصلات نصف/مكافحة اليسار.
  • نوفمبر 6, 2018

    • [سبارك-25741] لا يتم تقديم محددات مواقع المعلومات الطويلة بشكل صحيح في واجهة مستخدم الويب.
    • [سبارك-25714] إصلاح معالجة فارغة في تبسيط المنطقية قاعدة محسن.
  • أكتوبر 16, 2018

    • إصلاح خطأ يؤثر على إخراج التشغيل SHOW CREATE TABLE على جداول دلتا.
    • إصلاح خطأ يؤثر على Union العملية.
  • Sep 25, 2018

    • [SPARK-25368][SQL] استنتاج القيد غير صحيحة بإرجاع نتيجة خاطئة.
    • [SPARK-25402][SQL] معالجة خالية في تبسيط منطقي.
    • ثابت NotSerializableException في مصدر بيانات أفرو.
  • Sep 11, 2018

    • [SPARK-25214][SS] إصلاح المشكلة التي قد يرجع مصدر V2 كافكا السجلات المكررة عند .
    • [SPARK-24987][SS] إصلاح كافكا تسرب المستهلك عندما لا إزاحات جديدة للمادةPartition.
    • يجب أن يعالج تقليل عامل التصفية القيمة الخالية بشكل صحيح.
  • أغسطس 28, 2018

    • إصلاح خطأ في دلتا بحيرة حذف الأمر الذي قد حذف الصفوف حيث يتم تقييم الشرط إلى null بشكل غير صحيح.
  • أغسطس 23, 2018

    • ثابت NoClassDefError للقطة دلتا
    • [SPARK-23935]mapEntry يلقي .
    • [SPARK-24957][SQL] متوسط عشري متبوعا بنتيجة خاطئة لإرجاع التجميع. قد يتم إرجاع النتائج غير صحيحة AVERAGE. CAST المضافة في عامل التشغيل المتوسط سيتم تجاوز إذا كانت نتيجة الانقسام هو نفس النوع الذي يتم casted إلى.
    • [سبارك-25081] إصلاح خطأ حيث ShuffleExternalSorter قد الوصول إلى صفحة ذاكرة تم إصدارها عند تسرب فشل تخصيص الذاكرة.
    • إصلاح تفاعل بين دلتا Databricks وPyspark مما قد يسبب فشل قراءة عابرة.
    • [سبارك-25114] إصلاح كومباتوريكومباتوري عندما يكون الطرح بين كلمتين قابلة للقسمة على عدد صحيح.MAX_VALUE.
    • [سبارك-25084] توزيع بواسطة ” على أعمدة متعددة (التفاف بين قوسين) قد يؤدي إلى مشكلة codegen.
    • [SPARK-24934][SQL] يسمح صراحة بالأنواع المدعومة في الحدود العليا/السفلية لتقليم القسم في الذاكرة. عند استخدام أنواع البيانات المعقدة في عوامل تصفية الاستعلام مقابل البيانات المخزنة مؤقتا، تقوم Spark دوما بإرجاع مجموعة نتائج فارغة. التقليم في الذاكرة المستندة إلى إحصائيات بإنشاء نتائج غير صحيحة، لأنه يتم تعيين فارغة لحدود العلوي/السفلي لأنواع معقدة. الإصلاح هو عدم استخدام التقليم في الذاكرة المستندة إلى إحصائيات لأنواع معقدة.
    • ثابتة سرية مدير التنقيح عندما تنجح جزئيا الأمر.
    • مشكلة خريطة قابلة للإبطال ثابتة في قارئ باركيه.
  • أغسطس 2, 2018

    • تمت إضافة writeStream.table API في بيثون.
    • إصلاح مشكلة تؤثر على نقطة تفتيش دلتا.
    • [SPARK-24867][SQL] إضافة AnalysisBarrier إلى DataFrameWriter. لا يتم استخدام ذاكرة التخزين المؤقت SQL عند استخدام DataFrameWriter لكتابة DataFrame مع UDF. هذا هو الانحدار الناجم عن التغييرات التي قمنا بها في AnalysisBarrier، حيث ليس كل قواعد محلل غير واهن.
    • إصلاح مشكلة قد تؤدي mergeInto إلى إصدار الأمر نتائج غير صحيحة.
    • تحسين الاستقرار على الوصول إلى البيانات Azure بحيرة التخزين Gen1.
    • [سبارك-24809] قد يؤدي تسلسل LongHashedRelation في المنفذ إلى خطأ في البيانات.
    • [SPARK-24878][SQL] إصلاح دالة عكسية لنوع الصفيف من النوع البدائي الذي يحتوي على فارغة.
  • Jul 11, 2018

    • إصلاح خطأ في تنفيذ الاستعلام الذي قد يؤدي التجميعات على أعمدة عشرية مع دقة مختلفة لإرجاع نتائج غير صحيحة في بعض الحالات.
    • إصلاح NullPointerException خطأ تم طرحه أثناء عمليات التجميع المتقدمة مثل مجموعات التجميع.

ستريك البيانات وقت التشغيل 4.1 مل (غير معتمد)

راجع Databricks وقت التشغيل 4.1 مل (غير معتمد).

  • Jul 31, 2018
    • وأضاف تحليلات Azure Synapse إلى وقت التشغيل ML 4.1
    • إصلاح خطأ قد يتسبب في نتائج استعلام غير صحيحة عندما يختلف اسم عمود قسم مستخدم في دالة تقييم عن حالة ذلك العمود في مخطط الجدول.
    • إصلاح خطأ يؤثر على محرك تنفيذ spark SQL.
    • إصلاح خطأ يؤثر على إنشاء التعليمات البرمجية.
    • إصلاح خطأ ( java.lang.NoClassDefFoundError ) يؤثر على بحيرة دلتا.
    • تحسين معالجة الأخطاء في دلتا ليك.
    • إصلاح خطأ تسبب في بيانات غير صحيحة تخطي الإحصائيات التي سيتم تجميعها لأعمدة سلسلة أحرف 32 أو أكبر.

ستريك البيانات وقت التشغيل 4.1 (غير معتمد)

راجع Databricks وقت التشغيل 4.1 (غير معتمد).

  • 8 يناير/ كانون الثاني 2019

    • [سبارك-26366] يجب أن تأخذ ReplaceExceptWithFilter في الاعتبار NULL ك False.
    • تم تمكين بحيرة دلتا.
  • كانون الأول 18, 2018

    • [سبارك-25002] Avro: مراجعة مساحة اسم سجل الإخراج.
    • إصلاح مشكلة تؤثر على استعلامات معينة باستخدام Join و Limit.
    • [سبارك-26307] CTAS ثابتة عند إدراج جدول مقسم باستخدام الخلية SerDe.
    • تجاهل الملفات التالفة فقط بعد إعادة محاولة واحدة أو أكثر عند spark.sql.files.ignoreCorruptFiles تمكين أو spark.sql.files.ignoreMissingFiles وضع علامة.
    • إصلاح مشكلة تؤثر على تثبيت Python Wheels في بيئات بدون الوصول إلى الإنترنت.
    • إصلاح مشكلة في PySpark تسبب فشل إجراءات DataFrame مع “ رفض ” الاتصال خطأ.
    • إصلاح مشكلة تؤثر على بعض استعلامات الاتحاد الذاتي.
  • 20 نوفمبر 2018

    • [SPARK-17916][SPARK-25241]إصلاح سلسلة فارغة يجري تحليلها على أنها خالية عند تعيين قيمة خالية.
    • إصلاح مشكلة تؤثر على استعلامات تجميع معينة مع الصلات نصف/مكافحة اليسار.
  • نوفمبر 6, 2018

    • [سبارك-25741] لا يتم تقديم محددات مواقع المعلومات الطويلة بشكل صحيح في واجهة مستخدم الويب.
    • [سبارك-25714] إصلاح معالجة فارغة في تبسيط المنطقية قاعدة محسن.
  • أكتوبر 16, 2018

    • إصلاح خطأ يؤثر على إخراج التشغيل SHOW CREATE TABLE على جداول دلتا.
    • إصلاح خطأ يؤثر على Union العملية.
  • Sep 25, 2018

    • [SPARK-25368][SQL] استنتاج القيد غير صحيحة بإرجاع نتيجة خاطئة.
    • [SPARK-25402][SQL] معالجة خالية في تبسيط منطقي.
    • ثابت NotSerializableException في مصدر بيانات أفرو.
  • Sep 11, 2018

    • [SPARK-25214][SS] إصلاح المشكلة التي قد يرجع مصدر V2 كافكا السجلات المكررة عند .
    • [SPARK-24987][SS] إصلاح كافكا تسرب المستهلك عندما لا إزاحات جديدة للمادةPartition.
    • يجب أن يعالج تقليل عامل التصفية القيمة الخالية بشكل صحيح.
  • أغسطس 28, 2018

    • إصلاح خطأ في دلتا بحيرة حذف الأمر الذي قد حذف الصفوف حيث يتم تقييم الشرط إلى null بشكل غير صحيح.
    • [سبارك-25084] توزيع بواسطة ” على أعمدة متعددة (التفاف بين قوسين) قد يؤدي إلى مشكلة codegen.
    • [سبارك-25114] إصلاح كومباتوريكومباتوري عندما يكون الطرح بين كلمتين قابلة للقسمة على عدد صحيح.MAX_VALUE.
  • أغسطس 23, 2018

    • ثابت NoClassDefError للقطة دلتا.
    • [SPARK-24957][SQL] متوسط عشري متبوعا بنتيجة خاطئة لإرجاع التجميع. قد يتم إرجاع النتائج غير صحيحة AVERAGE. CAST المضافة في عامل التشغيل المتوسط سيتم تجاوز إذا كانت نتيجة الانقسام هو نفس النوع الذي يتم casted إلى.
    • مشكلة خريطة قابلة للإبطال ثابتة في قارئ باركيه.
    • [SPARK-24934][SQL] يسمح صراحة بالأنواع المدعومة في الحدود العليا/السفلية لتقليم القسم في الذاكرة. عند استخدام أنواع البيانات المعقدة في عوامل تصفية الاستعلام مقابل البيانات المخزنة مؤقتا، تقوم Spark دوما بإرجاع مجموعة نتائج فارغة. التقليم في الذاكرة المستندة إلى إحصائيات بإنشاء نتائج غير صحيحة، لأنه يتم تعيين فارغة لحدود العلوي/السفلي لأنواع معقدة. الإصلاح هو عدم استخدام التقليم في الذاكرة المستندة إلى إحصائيات لأنواع معقدة.
    • [سبارك-25081] إصلاح خطأ حيث ShuffleExternalSorter قد الوصول إلى صفحة ذاكرة تم إصدارها عند تسرب فشل تخصيص الذاكرة.
    • إصلاح تفاعل بين دلتا Databricks وPyspark مما قد يسبب فشل قراءة عابرة.
    • تنقيح مدير سري ثابت عندما ينجح الأمر جزئيا
  • أغسطس 2, 2018

    • [SPARK-24613][SQL] تعذر مطابقة ذاكرة التخزين المؤقت مع UDF مع مخابئ تابعة لاحقة. يلتف الخطة المنطقية مع AnalysisBarrier لتنفيذ تجميع خطة في CacheManager، من أجل تجنب الخطة التي يتم تحليلها مرة أخرى. هذا هو أيضا تراجع سبارك 2.3.
    • إصلاح مشكلة موصل Synapse Analytics التي تؤثر على تحويل المنطقة الزمنية لكتابة بيانات DateType.
    • إصلاح مشكلة تؤثر على نقطة تفتيش دلتا.
    • إصلاح مشكلة قد تؤدي mergeInto إلى إصدار الأمر نتائج غير صحيحة.
    • [SPARK-24867][SQL] إضافة AnalysisBarrier إلى DataFrameWriter. لا يتم استخدام ذاكرة التخزين المؤقت SQL عند استخدام DataFrameWriter لكتابة DataFrame مع UDF. هذا هو الانحدار الناجم عن التغييرات التي قمنا بها في AnalysisBarrier، حيث ليس كل قواعد محلل غير واهن.
    • [سبارك-24809] قد يؤدي تسلسل LongHashedRelation في المنفذ إلى خطأ في البيانات.
  • Jul 11, 2018

    • إصلاح خطأ في تنفيذ الاستعلام الذي قد يؤدي التجميعات على أعمدة عشرية مع دقة مختلفة لإرجاع نتائج غير صحيحة في بعض الحالات.
    • إصلاح NullPointerException خطأ تم طرحه أثناء عمليات التجميع المتقدمة مثل مجموعات التجميع.
  • 28 يونيو، 2018

    • إصلاح خطأ قد يتسبب في نتائج استعلام غير صحيحة عندما يختلف اسم عمود قسم مستخدم في دالة تقييم عن حالة ذلك العمود في مخطط الجدول.
  • 7 يونيو/ حزيران 2018

    • إصلاح خطأ يؤثر على محرك تنفيذ spark SQL.
    • إصلاح خطأ يؤثر على إنشاء التعليمات البرمجية.
    • إصلاح خطأ ( java.lang.NoClassDefFoundError ) يؤثر على بحيرة دلتا.
    • تحسين معالجة الأخطاء في دلتا ليك.
  • 17 مايو/ أيار 2018

    • إصلاح خطأ تسبب في بيانات غير صحيحة تخطي الإحصائيات التي سيتم تجميعها لأعمدة سلسلة أحرف 32 أو أكبر.

4.0 (غير معتمد) وقت تشغيل ستريك البيانات

راجع Databricks وقت التشغيل 4.0 (غير معتمد).

  • نوفمبر 6, 2018

    • [سبارك-25714] إصلاح معالجة فارغة في تبسيط المنطقية قاعدة محسن.
  • أكتوبر 16, 2018

    • إصلاح خطأ يؤثر على Union العملية.
  • Sep 25, 2018

    • [SPARK-25368][SQL] استنتاج القيد غير صحيحة بإرجاع نتيجة خاطئة.
    • [SPARK-25402][SQL] معالجة خالية في تبسيط منطقي.
    • ثابت NotSerializableException في مصدر بيانات أفرو.
  • Sep 11, 2018

    • يجب أن يعالج تقليل عامل التصفية القيمة الخالية بشكل صحيح.
  • أغسطس 28, 2018

    • إصلاح خطأ في دلتا بحيرة حذف الأمر الذي قد حذف الصفوف حيث يتم تقييم الشرط إلى null بشكل غير صحيح.
  • أغسطس 23, 2018

    • مشكلة خريطة قابلة للإبطال ثابتة في قارئ باركيه.
    • تنقيح مدير سري ثابت عندما ينجح الأمر جزئيا
    • إصلاح تفاعل بين دلتا Databricks وPyspark مما قد يسبب فشل قراءة عابرة.
    • [سبارك-25081] إصلاح خطأ حيث ShuffleExternalSorter قد الوصول إلى صفحة ذاكرة تم إصدارها عند تسرب فشل تخصيص الذاكرة.
    • [سبارك-25114] إصلاح كومباتوريكومباتوري عندما يكون الطرح بين كلمتين قابلة للقسمة على عدد صحيح.MAX_VALUE.
  • أغسطس 2, 2018

    • [سبارك-24452] تجنب تجاوز المحتملة في int إضافة أو متعددة.
    • [سبارك-24588] يجب أن يتطلب الانضمام المتدفق هاشكلوستيرتينج من الأطفال.
    • إصلاح مشكلة قد تؤدي mergeInto إلى إصدار الأمر نتائج غير صحيحة.
    • [SPARK-24867][SQL] إضافة AnalysisBarrier إلى DataFrameWriter. لا يتم استخدام ذاكرة التخزين المؤقت SQL عند استخدام DataFrameWriter لكتابة DataFrame مع UDF. هذا هو الانحدار الناجم عن التغييرات التي قمنا بها في AnalysisBarrier، حيث ليس كل قواعد محلل غير واهن.
    • [سبارك-24809] قد يؤدي تسلسل LongHashedRelation في المنفذ إلى خطأ في البيانات.
  • 28 يونيو، 2018

    • إصلاح خطأ قد يتسبب في نتائج استعلام غير صحيحة عندما يختلف اسم عمود قسم مستخدم في دالة تقييم عن حالة ذلك العمود في مخطط الجدول.
  • 7 يونيو/ حزيران 2018

    • إصلاح خطأ يؤثر على محرك تنفيذ spark SQL.
    • تحسين معالجة الأخطاء في دلتا ليك.
  • 17 مايو/ أيار 2018

    • إصلاحات الأخطاء لإدارة البيانات السرية.
    • تحسين الاستقرار على قراءة البيانات المخزنة في مخزن Azure Data Lake.
    • إصلاح خطأ يؤثر على التخزين المؤقت ل RDD.
    • إصلاح خطأ يؤثر على Null-آمنة يساوي في Spark SQL.
  • أبريل 24, 2018

    • ترقية مخزن البيانات Azure بحيرة SDK من 2.0.11 إلى 2.2.8 لتحسين استقرار الوصول إلى مخزن بحيرة البيانات Azure.
    • إصلاح خطأ يؤثر على إدراج الكتابة فوق جداول خلية مقسمة عندما spark.databricks.io.hive.fastwriter.enabled يكون false .
    • إصلاح مشكلة فشلت في تسلسل المهام.
    • تحسين استقرار بحيرة دلتا.
  • مارس 14, 2018

    • منع تحديثات بيانات التعريف غير الضرورية عند الكتابة إلى Delta Lake.
    • إصلاح مشكلة بسبب حالة تعارض قد تؤدي في حالات نادرة إلى فقدان بعض ملفات الإخراج.

2- فترة تشغيل 3.5 LTS (غير معتمد)

راجع Databricks وقت التشغيل 3.5 LTS (غير معتمد).

  • نوفمبر 7, 2019

    • [SPARK-29743][SQL] عينة يجب تعيين needCopyResult إلى صحيح إذا كان الطفل بحاجةCopyResult صحيح
  • 8 أكتوبر 2019

    • تغييرات جانب الملقم للسماح لبرنامج تشغيل Simba Apache Spark ODBC بإعادة الاتصال والمتابعة بعد فشل اتصال أثناء جلب النتائج (يتطلب تحديث برنامج تشغيل Simba Apache Spark ODBC إلى الإصدار 2.6.10).
  • Sep 10, 2019

    • [SPARK-28699][SQL] تعطيل استخدام نوع الراديوك ل ShuffleExchangeExec في حالة إعادة تقسيم
  • أبريل 9, 2019

    • [SPARK-26665][CORE] إصلاح خطأ يمكن أن يسبب BlockTransferService.fetchBlockSync إلى تعليق إلى الأبد.
  • فبراير 12, 2019

    • إصلاح مشكلة قد يتم قطع بروتوكول شبكة الاتصال مستوى منخفض Spark عند إرسال رسائل خطأ RPC كبيرة مع تمكين التشفير (عند spark.network.crypto.enabled تعيين إلى true).
  • يناير 30, 2019

    • إصلاح مشكلة يمكن أن تسبب df.rdd.count() مع UDT لإرجاع إجابة غير صحيحة لبعض الحالات.
  • كانون الأول 18, 2018

    • تجاهل الملفات التالفة فقط بعد إعادة محاولة واحدة أو أكثر عند spark.sql.files.ignoreCorruptFiles تمكين أو spark.sql.files.ignoreMissingFiles وضع علامة.
    • إصلاح مشكلة تؤثر على بعض استعلامات الاتحاد الذاتي.
  • 20 نوفمبر 2018

  • نوفمبر 6, 2018

    • [سبارك-25714] إصلاح معالجة فارغة في تبسيط المنطقية قاعدة محسن.
  • أكتوبر 16, 2018

    • إصلاح خطأ يؤثر على Union العملية.
  • Sep 25, 2018

    • [SPARK-25402][SQL] معالجة خالية في تبسيط منطقي.
    • ثابت NotSerializableException في مصدر بيانات أفرو.
  • Sep 11, 2018

    • يجب أن يعالج تقليل عامل التصفية القيمة الخالية بشكل صحيح.
  • أغسطس 28, 2018

    • إصلاح خطأ في دلتا بحيرة حذف الأمر الذي قد حذف الصفوف حيث يتم تقييم الشرط إلى null بشكل غير صحيح.
    • [سبارك-25114] إصلاح كومباتوريكومباتوري عندما يكون الطرح بين كلمتين قابلة للقسمة على عدد صحيح.MAX_VALUE.
  • أغسطس 23, 2018

    • [سبارك-24809] قد يؤدي تسلسل LongHashedRelation في المنفذ إلى خطأ في البيانات.
    • مشكلة خريطة قابلة للإبطال ثابتة في قارئ باركيه.
    • [سبارك-25081] إصلاح خطأ حيث ShuffleExternalSorter قد الوصول إلى صفحة ذاكرة تم إصدارها عند تسرب فشل تخصيص الذاكرة.
    • إصلاح تفاعل بين دلتا Databricks وPyspark مما قد يسبب فشل قراءة عابرة.
  • 28 يونيو، 2018

    • إصلاح خطأ قد يتسبب في نتائج استعلام غير صحيحة عندما يختلف اسم عمود قسم مستخدم في دالة تقييم عن حالة ذلك العمود في مخطط الجدول.
  • 28 يونيو، 2018

    • إصلاح خطأ قد يتسبب في نتائج استعلام غير صحيحة عندما يختلف اسم عمود قسم مستخدم في دالة تقييم عن حالة ذلك العمود في مخطط الجدول.
  • 7 يونيو/ حزيران 2018

    • إصلاح خطأ يؤثر على محرك تنفيذ spark SQL.
    • تحسين معالجة الأخطاء في دلتا ليك.
  • 17 مايو/ أيار 2018

    • تحسين الاستقرار على قراءة البيانات المخزنة في مخزن Azure Data Lake.
    • إصلاح خطأ يؤثر على التخزين المؤقت ل RDD.
    • إصلاح خطأ يؤثر على Null-آمنة يساوي في Spark SQL.
    • إصلاح خطأ يؤثر على تجميعات معينة في استعلامات الدفق.
  • أبريل 24, 2018

    • ترقية مخزن البيانات Azure بحيرة SDK من 2.0.11 إلى 2.2.8 لتحسين استقرار الوصول إلى مخزن بحيرة البيانات Azure.
    • إصلاح خطأ يؤثر على إدراج الكتابة فوق جداول خلية مقسمة عندما spark.databricks.io.hive.fastwriter.enabled يكون false .
    • إصلاح مشكلة فشلت في تسلسل المهام.
  • مارس 09, 2018

    • إصلاح مشكلة بسبب حالة تعارض قد تؤدي في حالات نادرة إلى فقدان بعض ملفات الإخراج.
  • مارس 01, 2018

    • تحسين كفاءة التعامل مع تيارات التي يمكن أن يستغرق وقتا طويلا لوقف.
    • إصلاح مشكلة تؤثر على الإكمال التلقائي ل Python.
    • تصحيحات أمان أوبونتو التطبيقية.
    • إصلاح مشكلة تؤثر على بعض الاستعلامات باستخدام بايثون UDFs ووظائف الإطار.
    • إصلاح مشكلة تؤثر على استخدام UDFs على كتلة مع تمكين عنصر تحكم الوصول إلى الجدول.
  • 29 يناير/ كانون الثاني 2018

    • إصلاح مشكلة تؤثر على معالجة الجداول المخزنة في تخزين Azure Blob.
    • تجميع ثابت بعد dropDuplicates على DataFrame فارغة.

ستريك البيانات وقت التشغيل 3.4 (غير معتمد)

راجع Databricks وقت التشغيل 3.4 (غير معتمد).

  • 7 يونيو/ حزيران 2018

    • إصلاح خطأ يؤثر على محرك تنفيذ spark SQL.
    • تحسين معالجة الأخطاء في دلتا ليك.
  • 17 مايو/ أيار 2018

    • تحسين الاستقرار على قراءة البيانات المخزنة في مخزن Azure Data Lake.
    • إصلاح خطأ يؤثر على التخزين المؤقت ل RDD.
    • إصلاح خطأ يؤثر على Null-آمنة يساوي في Spark SQL.
  • أبريل 24, 2018

    • إصلاح خطأ يؤثر على إدراج الكتابة فوق جداول خلية مقسمة عندما spark.databricks.io.hive.fastwriter.enabled يكون false .
  • مارس 09, 2018

    • إصلاح مشكلة بسبب حالة تعارض قد تؤدي في حالات نادرة إلى فقدان بعض ملفات الإخراج.
  • 13 ديسمبر/كانون الأول 2017

    • إصلاح مشكلة تؤثر على UDFs في سكالا.
    • إصلاح مشكلة تؤثر على استخدام "فهرس تخطي البيانات" على جداول مصدر البيانات المخزنة في مسارات غير DBFS.
  • ديسمبر 07, 2017

    • تحسين الاستقرار خلط ورق اللعب.

إصدارات وقت تشغيل Databricks غير معتمدة

للحصول على ملاحظات الإصدار الأصلي، اتبع الارتباط الموجود أسفل العنوان الفرعي.