Databricks Runtime 15.0

  • Makale

Aşağıdaki sürüm notları, Apache Spark 3.5.0 tarafından desteklenen Databricks Runtime 15.0 hakkında bilgi sağlar.

Databricks bu görüntüleri Mart 2024'te yayımladı.

Hataya neden olan değişiklikler

PySpark spark.sql() işlevi artık geçersiz bağımsız değişken türleri için başarısız oluyor

Databricks Runtime 15.0 ve sonraki sürümlerinde, args işleve geçirilen adlandırılmış veya konumsal parametrelerin spark.sql() parametresi bir sözlük veya liste olmalıdır. Başka bir nesne türü geçirilirse aşağıdaki hata oluşur: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

Kitaplıkları DBFS kökünde depolamak varsayılan olarak kullanım dışıdır ve devre dışıdır

Azure Databricks çalışma alanında kitaplıkların güvenliğini artırmak için, kitaplık dosyalarını DBFS kökünde depolamak, Databricks Runtime 15.0'dan başlayarak varsayılan olarak kullanım dışı bırakılır ve devre dışı bırakılır. Databricks, Python kitaplıklarını, JAR dosyalarını ve Spark bağlayıcılarını içeren tüm kitaplıkların çalışma alanı dosyalarına, Unity Kataloğu birimlerine veya paket deposuna yüklenmesini önerir. Kitaplıkları karşıya yüklemek için bkz. Öneriler.

Kitaplıkların DBFS kökünde depolanmasını yeniden etkinleştirmek için aşağıdaki Spark yapılandırma parametresini ayarlayın: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Varsayılan Python sürümü 3.10'dan 3.11'e yükseltilir

Databricks Runtime 15.0 ile varsayılan Python sürümü 3.11.0'dır. Yükseltilen Python kitaplıklarının listesi için bkz . Kitaplık yükseltmeleri.

JDK 11 kaldırıldı

Daha önce duyurulmuş olduğu gibi JDK 11, Databricks Runtime 15.0 ve sonraki sürümlerden kaldırılmıştır. Databricks, Databricks Runtime 15.0 ve sonraki sürümlere yükseltirken JDK 17'ye yükseltmeyi önerir. Bkz. Java için Databricks SDK'sı.

Python REPL artık düzgün bir şekilde sonlandırıyor

Databricks Runtime 15.0 ile not defterinin Python REPL işlemi artık çıkışta düzgün bir şekilde sonlandırılır. Bu, tüm atexit kancalarının yerine getirilmesine neden olur. Örneğin, birden çok Python not defteri görevi içeren bir iş akışında, ilk göreve kaydedilen atexit kancaları ikinci Python not defteri görevi çalıştırılmadan önce yürütülür.

Yeni özellikler ve geliştirmeler

* (star) yan tümcesi artık WHERE yan tümcesinde desteklenmektedir

Artık listedeki tüm sütunlara başvurmak için yan tümcesindeki WHERE star (*) yan tümcesini SELECT kullanabilirsiniz. Örneğin, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Yapılandırma spark.sql.json.enablePartialResults artık varsayılan olarak etkindir

Spark yapılandırması spark.sql.json.enablePartialResults artık varsayılan olarak etkindir ve JSON ayrıştırıcısının kalan alanları bırakmadan yapı, eşleme ve dizi gibi karmaşık türler için ayrıştırma hatalarını doğru şekilde işlemesine olanak tanır. Bu değişiklik, sütun ayıklama ile JSON veri kaynakları için bir tutarlılık sorununu düzeltir.

Küme kitaplıkları artık requirements.txt dosyalarını destekliyor

Artık bir çalışma alanı dosyasında veya Unity Kataloğu biriminde depolanan bir requirements.txt dosyayı kullanarak küme kitaplıklarını yükleyebilirsiniz. Tek kullanıcı ve Paylaşılan erişim modu kümelerinde dosya diğer dosyalara requirements.txt başvurabilir. Yalıtımsız paylaşılan erişim modu kümelerinde yalnızca PyPI paketleri desteklenir. Bkz. Küme kitaplıkları.

Databricks CLI artık web terminalinde kullanılabilir

Artık not defterindeki web terminalinden Databricks CLI'yi kullanabilirsiniz. Not defterinin Tek kullanıcılı veya Yalıtımsız paylaşılan erişim modunda bir kümeye eklenmesi gerekir. Ayrıntılar için bkz . Web terminali ve Databricks CLI kullanma.

Küme yapılandırmalarına varsayılan Python depoları ekleme

Databricks Runtime 15.0 ve sonraki sürümlerinde, kümeyi yapılandırırken veya küme ilkesi tanımlarken küme ve not defteri kapsamlı kitaplık yüklemesi için genel pip index-urlextra-index-url ve parametreler yapılandırabilirsiniz. Bunu yapmak için ve ortam değişkenlerini DATABRICKS_PIP_INDEX_URLDATABRICKS_PIP_EXTRA_INDEX_URLayarlayın.

Kitaplık yükseltmeleri

  • Yükseltilen Python kitaplıkları:
    • siyah 22.6.0 ile 23.3.0
    • boto3 1.24.28 ile 1.34.39
    • 1.27.96 ile 1.34.39 arasında botocore
    • 2022.12.7 ile 2023.7.22
    • 39.0.1 ile 41.0.3 arasında şifreleme
    • 0.1.6 ile 0.20.0 arası databricks-sdk
    • 0,3,7'den 0,3,8'e kadar distlib
    • 1.62.0 ile 1.63.0 arası googleapis-common-protos
    • grpcio 1.48.2 ile 1.60.0
    • grpcio-status from 1.48.1 to 1.60.0
    • 4.6.4 ile 6.0.0 arası importlib-metadata
    • ipykernel 6.25.0 ile 6.25.1
    • 8.14.0 ile 8.15.0 arasında ipython
    • ipywidgets from 7.7.2 to 8.0.4
    • 5.2.0 ile 5.3.0 jupyter_core
    • 1.0.0 ile 3.0.5 arası jupyterlab pencere öğeleri
    • matplotlib 3.7.0 ile 3.7.2
    • pandas from 1.5.3 to 2.0.3
    • pip 22.3.1 ile 23.2.1
    • platformdirs from 2.5.2 to 3.10.0
    • 4.24.0 ile 4.24.1 arasındaki protobuf
    • pyarrow 8.0.0 ile 14.0.1 arasında
    • Pygments from 2.11.2 to 2.15.1
    • pyodbc 4.0.32 ile 4.0.38 arasında
    • 2.28.1 ile 2.31.0 için istekler
    • s3transfer 0.6.2 ile 0.10.0
    • 1.1.1 ile 1.3.0 arası scikit-learn
    • scipy from 1.10.0 to 1.11.1
    • 65.6.3 ile 68.0.0 için kurulum araçları
    • 0.13.5 ile 0.14.0
    • 8.1.0 ile 8.2.2 arası kiracılık
    • tornado 6.1 ile 6.3.2
    • 4.4.0 ile 4.7.1 typing_extensions
    • urllib3 1.26.14 ile 1.26.16
    • virtualenv 20.16.7 ile 20.24.2
    • widgetsnbextension 3.6.1 ile 4.0.5
    • zipp from 1.0.0 to 3.11.0
  • Yükseltilen R kitaplıkları:
    • 12.0.1 ile 14.0.0.2
    • 1.1'den 1.2.0'a kadar askpass
    • 4.3.1 ile 4.3.2 taban
    • 1.0-8 ile 1.0-10 arası bira
    • brio 1.1.3 ile 1.1.4
    • bslib 0.5.0 ile 0.6.1
    • cli 3.6.1 ile 3.6.2
    • 1.9.0 ile 1.9.1 ortak işareti
    • derleyici 4.3.1 ile 4.3.2
    • 0.3.1'den 0.3.2'ye yapılandırma
    • cpp11 0.4.4 ile 0.4.7
    • 1.3.2 ile 2.0.1 kimlik bilgileri
    • curl from 5.0.1 to 5.2.0
    • data.table from 1.14.8 to 1.15.0
    • 4.3.1 ile 4.3.2 arasında veri kümeleri
    • DBI 1.1.3 ile 1.2.1
    • dbplyr 2.3.3 ile 2.4.0
    • 1.4.2 ile 1.4.3 arasında desc
    • özet 0.6.33 ile 0.6.34
    • 1.1.2 ile 1.1.4 aralığındaki dplyr
    • e1071 1.7-13 ile 1.7-14 arası
    • 0,21'den 0,23'e değerlendirme
    • 1.0.4 ile 1.0.6 arası fansi
    • fontawesome from 0.5.1 to 0.5.2
    • fs 1.6.2 ile 1.6.3
    • gelecek 1.33.0 ile 1.33.1
    • future.apply from 1.11.0 to 1.11.1
    • 1.5.1'den 1.5.2'ye kadar gargara
    • gert 1.9.2 ile 2.0.1
    • ggplot2 3.4.2 ile 3.4.4
    • 4.1-7 ile 4.1-8 arası glmnet
    • 1.6.2'den 1.7.0'a tutkalla
    • 4.3.1 ile 4.3.2 için grafikler
    • grDevices from 4.3.1 to 4.3.2
    • kılavuz 4.3.1 ile 4.3.2
    • gtable from 0.3.3 to 0.3.4
    • 1.3.0 ile 1.3.1
    • haven 2.5.3 ile 2.5.4
    • htmltools from 0.5.5 to 0.5.7
    • htmlwidgets from 1.6.2 to 1.6.4
    • httpuv 1.6.11 ile 1.6.14
    • httr 1.4.6 ile 1.4.7
    • httr2 0.2.3 ile 1.0.0
    • 1.8.7 ile 1.8.8 arasındaki jsonlite
    • 1,43'ten 1,45'e kadar örgü örme
    • 0.4.2'den 0.4.3'e etiketleme
    • daha sonra 1.3.1 ile 1.3.2
    • lav 1.7.2.1 ile 1.7.3
    • 1.0.3 ile 1.0.4 yaşam döngüsü
    • dinleyici 0.9.0 ile 0.9.1
    • 1.9.2 ile 1.9.3 lubridat
    • markdown 1,7 ile 1,12
    • 4.3.1 ile 4.3.2 yöntemleri
    • openssl from 2.0.6 to 2.1.1
    • 4.3.1 ile 4.3.2 paralel
    • pkgbuild 1.4.2 ile 1.4.3
    • pkgload 1.3.2.1 ile 1.3.4
    • plyr 1.8.8 ile 1.8.9
    • prettyunits from 1.1.1 to 1.2.0
    • pROC 1.18.4 ile 1.18.5
    • 3.8.2 ile 3.8.3 arasinda processx
    • prodlim from 2023.03.31 to 2023.08.28
    • 1.2.2'den 1.2.3'e ilerleme durumu
    • ilerleme 0.13.0 ile 0.14.0
    • 1.2.0.1'den 1.2.1'e kadar olan vaatler
    • ps 1.7.5 ile 1.7.6
    • purrr from 1.0.1 to 1.0.2
    • ragg 1.2.5 ile 1.2.7
    • Rcpp 1.0.11 ile 1.0.12
    • RcppEigen 0.3.3.9.3 ile 0.3.3.9.4
    • 2.1.4 ile 2.1.5
    • 1.0.6 ila 1.0.9 yemek tarifleri
    • 1.0.1'den 2.0.0'a yeniden eşleşme
    • 2.4.2 ile 2.4.2.1 uzaktan kumandaları
    • 2.0.2'den 2.1.0'a yeniden kullanım
    • 1.1.1 ile 1.1.3 arası rlang
    • 2,23 ile 2,25 arasında rmarkdown
    • RODBC 1.3-20 ile 1.3-23 arası
    • roxygen2 7.2.3 ile 7.3.1
    • 2.0.3 ile 2.0.4 arasında rprojroot
    • 1,8-11'den 1,8-13'e kadar rserve
    • 2.3.1 ile 2.3.5 arasında RSQLite
    • sass from 0.4.6 to 0.4.8
    • 1.2.1'den 1.3.0'a ölçeklendirilir
    • parlak 1.7.4.1 ile 1.8.0
    • sparklyr 1.8.1 ile 1.8.4
    • 4.3.1 ile 4.3.2 splines
    • 4.3.1 ile 4.3.2
    • 4.3.1 ile 4.3.2
    • stringi 1.7.12 ile 1.8.3
    • dizeleyici 1.5.0 ile 1.5.1
    • 1.0.4'ten 1.0.5'e kadar sistemfontları
    • 4.3.1 ile 4.3.2 tcltk
    • 3.1.10'dan 3.2.1'e kadar olan test
    • 0.3.6'dan 0.3.7'ye metin şekillendirme
    • 1.3.0 ile 1.3.1
    • zaman değişimi 0.2.0 ile 0.3.0 arasında
    • timeDate from 4022.108 to 4032.109
    • tinytex 0,45'ten 0,49'a
    • 4.3.1 ile 4.3.2'den araçlar
    • utf8 1.2.3 ile 1.2.4
    • 4.3.1'den 4.3.2'ye kadar olan yardımcı programlar
    • 1.1-0 ile 1.2-0 arası uuid
    • 0.6.3 ile 0.6.5 arasında vctr
    • 1.6.3 ile 1.6.5 arasında vroom
    • waldo 0.5.1 ile 0.5.2
    • 2.5.0 ile 3.0.0
    • 0,39 ile 0,41 xfun
    • 1.3.5 ile 1.3.6 arasındaki xml2
    • yaml 2.3.7 ile 2.3.8
    • zip 2.3.0 ile 2.3.1
  • Yükseltilen Java kitaplıkları:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 2.15.1 ile 2.16.0 arası
    • com.google.flatbuffers.flatbuffers-java 1.12.0 ile 23.5.26 arası
    • com.typesafe.config 1.2.1 ile 1.4.3
    • org.apache.ant.ant 1.9.16 ile 1.10.11
    • org.apache.ant.ant-jsch 1.9.16 ile 1.10.11 arası
    • org.apache.ant.ant-launcher 1.9.16 ile 1.10.11 arası
    • org.apache.arrow.arrow-format from 12.0.1 to 15.0.0
    • org.apache.arrow.arrow-memory-core 12.0.1 ile 15.0.0 arası
    • org.apache.arrow.arrow-memory-netty 12.0.1 ile 15.0.0 arası
    • org.apache.arrow.arrow-vector 12.0.1 ile 15.0.0 arası
    • org.apache.avro.avro 1.11.2 ile 1.11.3
    • org.apache.avro.avro-ipc 1.11.2 ile 1.11.3 arası
    • org.apache.avro.avro-mapred from 1.11.2 to 1.11.3
    • 2.20.0 ile 2.22.1 arası org.apache.logging.log4j.log4j-1.2-api
    • 2.20.0 ile 2.22.1 arası org.apache.logging.log4j.log4j-api
    • org.apache.logging.log4j.log4j-core 2.20.0 ile 2.22.1 arası
    • org.apache.logging.log4j.log4j-slf4j2-impl 2.20.0 ile 2.22.1 arası
    • org.postgresql.postgresql 42.6.0 ile 42.6.1

Apache Spark

Databricks Runtime 15.0, Apache Spark 3.5.0'ı içerir. Bu sürüm, Databricks Runtime 14.3 LTS'deki tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

  • [SPARK-45527] [DBRRM-805] [ES-1073714] "[SC-151626][CORE] Kaynak hesaplaması yapmak için kesir kullan"
  • [SPARK-47102] [DBRRM-803] [SC-158253] [SQL] Yapılandırma bayrağını COLLATION_ENABLED ekleme
  • [SPARK-46973] [SC-158140] [DBRRM-777] [SQL] Bir tablo V1 tablo önbelleğindeyken V2 tablosu arama atla
  • [SPARK-46808] [SC-154113] [PYTHON] Otomatik sıralama işleviyle Python'da hata sınıflarını iyileştirme
  • [SPARK-47251] [SC-158291] [PYTHON] Komutun sql bağımsız değişkeninde args geçersiz türleri engelle
  • [SPARK-47251] [SC-158121] [PYTHON] Komutun sql bağımsız değişkeninde args geçersiz türleri engelle
  • [SPARK-47108] [SC-157204] [CORE] false CLI'lerde açıkça olarak ayarla derby.connection.requireAuthentication
  • [SPARK-45599] [SC-157537] [CORE] OpenHashSet'te nesne eşitliğini kullanma
  • [SPARK-47099] [SC-157352] [SQL] Hata sınıfı için değerini paramIndex tekdüzen olarak ayarlamak için kullanın ordinalNumberUNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363] [BAĞLAN] içinden alınan MessageParametersErrorParams yinelenen kodu ortadan kaldırmak için bir yardımcı işlevi ayıklama GrpcExceptionConverter
  • [SPARK-43117] [SC-156177] [BAĞLAN] Destek yinelenen alanları oluşturma ProtoUtils.abbreviate
  • [SPARK-46342] [SC-150283] [SQL] SparkException.internalError şununla değiştirIllegalStateException: sql
  • [SPARK-47123] [SC-157412] [CORE] JDBCRDD, getQueryOutputSchema'daki hataları doğru işlemez
  • [SPARK-47189] [SC-157667] [SQL] Sütun hata adlarını ve metni ayarlama
  • [SPARK-45789] [SC-157101] [SQL] Kümeleme sütunları için DESCRIBE TABLE desteği
  • [SPARK-43256] [SC-157699] [SQL] Hata sınıfı _LEGACY_ERROR_TEMP_2021 kaldırma
  • [SPARK-47201] [SC-157782] [PYTHON] [BAĞLAN] sameSemantics giriş türlerini denetler
  • [SPARK-47183] [SC-157660] [PYTHON] hata sınıfını düzeltme sameSemantics
  • [SPARK-47179] [SC-157663] [SQL] Daha iyi hata ayıklanabilirlik için SparkThrowableSuite hata iletisini iyileştirme
  • [SPARK-46965] [SC-155791] [CORE] İade et logTypeUtils.getLog
  • [SPARK-46832] [SC-156774] [SQL] Harmanlama ve Harmanlama ifadelerine giriş
  • [SPARK-46946] [SC-155721] [SQL] DynamicPruning'de birden çok filtreleme anahtarının yayınını destekleme
  • [SPARK-47079] [VARIANT-22] [SC-157598] [PYTHON] [SQL] [BAĞLAN] PySpark'a Değişken türü bilgisi ekleme
  • [SPARK-47101] [SC-157360] [SQL] Virgüllerin en üst düzey sütun adlarında kullanılmasına izin ver ve içindeki iç içe tür tanımını kaldır HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571] [SS] [UI] Akış kullanıcı arabirimi açıklamasındaki yazım hatası düzeltilir
  • [SPARK-47113] [SC-157348] [CORE] SPARK-35878'in S3A uç nokta düzeltme mantığını geri döndürme
  • [SPARK-47130] [SC-157462] [CORE] Sürücü günlüklerini temizlerken blok konumu bilgilerini atlamak için listStatus kullanma
  • [SPARK-43259] [SC-157368] [SQL] Hata sınıfına ad atama _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355] [SQL] TakeOrderedAndProjectExec güvenli olmayan yansıtmayı başlatmalıdır
  • [SPARK-47137] [SC-157463] [PYTHON] [BAĞLAN] Scala ile özellik eşliği için spark.conf'a getAll ekleme
  • [SPARK-46924] [SC-154905] [CORE] Günlük kullanıcı arabirimindeki Master/HistoryServer Düzelt Load New düğmesi
  • [SPARK-47069] [SC-157370] [PYTHON] [BAĞLAN] SparkSession tabanlı profil oluşturma için tanıtım spark.profile.show/dump
  • [SPARK-46812] [SC-157075] [SQL] [PYTHON] mapInPandas / mapInArrow desteği ResourceProfile yapın
  • [SPARK-46833] [SC-155866] [SQL] Harmanlamalar - Desteklenen harmanlamalar için karşılaştırma ve karma kuralları sağlayan CollationFactory tanıtımı
  • [SPARK-47057] [SC-157036] [PYTHON] MyPy veri testi yeniden kullanılabilir
  • [SPARK-46934] [SC-157084] [SQL] HMS ile özel karakterler içeren yapı türü için okuma/yazma gidiş dönüş
  • [SPARK-46727] [SC-153472] [SQL] Hata sınıflarında JDBC diyalektlerinde bağlantı noktası classifyException()
  • [SPARK-46964] [SC-155740] [SQL] HllInvalidLgK sorgu yürütme hatasının imzasını 4. bağımsız değişken olarak bir tamsayı alacak şekilde değiştirme
  • [SPARK-46949] [SC-155719] [SQL] ResolveDefaultColumns aracılığıyla CHAR/VARCHAR desteği
  • [SPARK-46972] [SC-155888] [SQL] V2SessionCatalog.createTable'da char/varchar için asimetrik değiştirme düzeltildi
  • [SPARK-47014] [SC-156778] [PYTHON] [BAĞLAN] SparkSession dumpPerfProfiles ve dumpMemoryProfiles yöntemlerini uygulama
  • [SPARK-46689] [SC-156221] [SPARK-46690] [PYTHON] [BAĞLAN] applyInPandas/applyInArrow grubunda/cogroup'ta v2 profili oluşturmayı destekleme
  • [SPARK-47040] [SC-156773] [BAĞLAN] Spark Bağlan Sunucu Betiğinin beklemesine izin ver
  • [SPARK-46688] [SC-156113] [SPARK-46691] [PYTHON] [BAĞLAN] Toplam Pandas UDF'lerinde v2 profili oluşturmayı destekleme
  • [SPARK-47004] [SC-156499] [BAĞLAN] Scala istemci testi kapsamını artırmak için ClientStreamingQuerySuite'a daha fazla test eklendi
  • [SPARK-46994] [SC-156169] [PYTHON] Python veri kaynağı akış yazma desteğine hazırlanmak için PythonWrite'i yeniden düzenleme
  • [SPARK-46979] [SC-156587] [SS] Anahtar ve değer kodlayıcısını ayrı ayrı belirtmek için ve ayrıca RocksDB durum deposu sağlayıcısındaki her col ailesi için destek ekleyin
  • [SPARK-46960] [SC-155940] [SS] TransformWithState işleciyle Birden Çok Giriş Akışlar Test Etme
  • [SPARK-46966] [SC-156112] [Python] Seçilebilecek giriş tablosu sütunlarının alt kümesini belirtmek üzere 'çözümle' yöntemi için UDTF API'sini ekleyin
  • [SPARK-46895] [SC-155950] [CORE] Zamanlayıcıyı tek iş parçacığı zamanlanmış yürütücü ile değiştirme
  • [SPARK-46967] [SC-155815] [CORE] [UI] Kullanıcı arabiriminde DeadExecutors yürütücüleri gizleme ve Heap Histogram gizleme Thread Dump
  • [SPARK-46512] [SC-155826] [CORE] Hem sıralama hem de birleştirme kullanıldığında karıştırma okumayı iyileştirin.
  • [SPARK-46958] [SC-155942] [SQL] Varsayılan değerleri zorlamak için eksik saat dilimi ekleme
  • [SPARK-46754] [SC-153830] [SQL] [AVRO] Avro tablosu tanımı ve yazma seçeneklerinde sıkıştırma kodu çözümlemesi düzeltildi
  • [SPARK-46728] [SC-154207] [PYTHON] Pandas yüklemesini düzgün denetleyin
  • [SPARK-43403] [SC-154216] [UI] Yenisini yüklemeden önce HistoryServer'daki eski SparkUI'nin ayrıldığından emin olun
  • [SPARK-39910] [SC-156203] [SQL] DataSource dosya yolu globbing sırasında dosya sistemine yol niteliği atama
  • [SPARK-47000] [SC-156123] "[SC-156123][CORE] Kullan getTotalMemorySize...
  • [SPARK-46819] [SC-154560] [CORE] Hata kategorilerini ve durumlarını JSON'a taşıma
  • [SPARK-46997] [SC-156175] [CORE] Varsayılan olarak etkinleştir spark.worker.cleanup.enabled
  • [SPARK-46865] [SC-156168] [SS] TransformWithState İşleci için Batch Desteği Ekleme
  • [SPARK-46987] [SC-156040] [BAĞLAN] ProtoUtils.abbreviate gereksiz setField işlemlerden kaçının
  • [SPARK-46970] [SC-155816] [CORE] ile yeniden yaz OpenHashSet#hasherpattern matching
  • [SPARK-46984] [SC-156024] [PYTHON] pyspark.copy_func kaldır
  • [SPARK-47000] [SC-156123] [CORE] Kullanım getTotalMemorySize alanı: WorkerArguments
  • [SPARK-46980] [SC-155914] [SQL] [KÜÇÜK] Veri çerçevesi uçtan uca testlerde iç API'leri kullanmaktan kaçının
  • [SPARK-46931] Revert "[SC-155661][PS] Implement {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828] [SQL] DATA_SOURCE_NOT_FOUND hata için hata iletilerini iyileştirme
  • [SPARK-46849] [SC-154586] [SQL] CREATE TABLE sütun varsayılanlarında iyileştiriciyi çalıştırma
  • [SPARK-46911] [SC-155724] [SS] StatefulProcessorHandleImpl'e deleteIfExists işleci ekleme
  • [SPARK-43273] [SQL] Parquet için sıkıştırma codec'i desteği lz4raw
  • [SPARK-47002] [SC-156223] [Python] UDTF 'çözümle' yöntemi 'orderBy' alanı yanlışlıkla dize listesini döndürürse daha iyi hata iletisi döndür
  • [SPARK-46890] [SC-155802] [SQL] Varoluş varsayılan değerleri ve sütun ayıklama ile CSV ayrıştırma hatasını düzeltme
  • [SPARK-46977] [SC-155892] [CORE] Bir NameNode'dan belirteç alma isteği başarısız oldu, sonraki belirteç isteklerini atlamamalıdır
  • [SPARK-46608] [SC-151806] [SQL] Geriye dönük uyumluluğunu geri yükleme JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702] [SQL] WHERE yan tümcesinde destek star yan tümcesi
  • [SPARK-46908] [SC-155702] [SQL] WHERE yan tümcesinde destek star yan tümcesi
  • [SPARK-46852] [SC-155665] [SS] Açık anahtar kodlayıcı kullanımını kaldırın ve transformWithState işleci için örtük olarak işlecine geçirin
  • [SPARK-46864] [SC-155669] [SS] Rastgele StateV2'i Yeni Hata Sınıfı Çerçevesine Ekleme
  • [SPARK-45807] [SC-155706] [SQL] replaceView(..) çağrıldıktan sonra Görünümü Döndür
  • [SPARK-46899] [SC-154651] [CORE] POST API'leri MasterWebUI kaldır spark.ui.killEnabledfalse
  • [SPARK-46868] [SC-154539] [CORE] Spark Çalışan Günlüğü Kullanıcı Arabirimini Destekleme
  • [SPARK-46931] [SC-155661] [PS] Uygulamak {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667] [CORE] Kullanılmayan ve isAbsoluteURI içindekileri updateSparkConfigFromProperties kaldırmao.a.s.u.Utils
  • [SPARK-46929] [SC-155659] [CORE] [BAĞLAN] [SS] İş parçacığı havuzlarını kapatmak için ThreadUtils.shutdown kullanma
  • [SPARK-46400] [SC-155658] [CORE] [SQL] Yerel maven deposunda bozuk dosyalar olduğunda, bu önbelleği atlayın ve yeniden deneyin
  • [SPARK-46932] [SC-155655] içindeki içeri aktarmaları temizleme pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Test kapsamını artırmak için alt sorgu permütasyonları oluşturan bir alt sorgu oluşturucu yazma
  • [SPARK-46914] [SC-154776] [UI] Geçmiş Sayfasındaki özet tablosundaki uygulama adını kısaltma
  • [SPARK-46831] [SC-154699] [SQL] Harmanlamalar - StringType ve PhysicalStringType'ı collationId alanıyla genişletme
  • [SPARK-46816] [SC-154415] [SS] Değişiklik günlüğü denetim noktası oluşturma ile/olmadan RocksDBStateStoreProvider için yeni rastgele durum yönetimi işleci, tek valueState türü, birden çok durum değişkeni ve sütun aileleri için temel destek ekleme
  • [SPARK-46925] [SC-154890] [PYTHON] [BAĞLAN] Bellek profili oluşturma için memory_profiler yüklemesini belirten bir uyarı ekleyin
  • [SPARK-46927] [SC-154904] [PYTHON] assertDataFrameEqual PyArrow olmadan düzgün bir şekilde çalışma
  • [SPARK-46021] [SC-148987] [CORE] Bir iş grubuna ait gelecekteki işleri iptal etme desteği
  • [SPARK-46747] [SC-154789] [SQL] JDBC Diyalektleri için getTableExistsQuery'de tarama yapmaktan kaçının
  • [SPARK-46904] [SC-154704] [UI] Geçmiş kullanıcı arabirimi özetinin görüntü sorunu düzeltildi
  • [SPARK-46870] [SC-154541] [CORE] Spark Ana Günlük Kullanıcı Arabirimi desteği
  • [SPARK-46893] [SC-154780] [UI] Kullanıcı arabirimi açıklamalarından satır içi betikleri kaldırma
  • [SPARK-46910] [SC-154760] [PYTHON] PySpark Yüklemesinde JDK Gereksinimini Ortadan Kaldırma
  • [SPARK-46907] [SC-154736] [CORE] Spark Geçmiş Sunucusu'nda sürücü günlüğü konumunu gösterme
  • [SPARK-46902] [SC-154661] [UI] Dışarı aktarılmamış setAppLimit kullanmak için Spark Geçmiş Sunucusu kullanıcı arabirimini düzeltme
  • [SPARK-46687] [SC-154725] [PYTHON] [BAĞLAN] SparkSession tabanlı bellek profil oluşturucusunun temel desteği
  • [SPARK-46623] [SC-153831] [CORE] [MLLIB] [SQL] SimpleDateFormat değerini DateTimeFormatter ile değiştirme
  • [SPARK-46875] [SC-154627] [SQL] mode null olduğunda, bir NullPointException oluşturulmalıdır not
  • [SPARK-46872] [SC-154543] [CORE] Modül dışı olarak kurtarma log-view.js
  • [SPARK-46883] [SC-154629] [CORE] Destek /json/clusterutilization API'si
  • [SPARK-46886] [SC-154630] [CORE] Varsayılan olarak etkinleştir spark.ui.prometheus.enabled
  • [SPARK-46873] [SC-154638] [SS] Aynı Spark Oturumu için yeni StreamingQueryManager'ı yeniden oluşturma
  • [SPARK-46829] [SC-154419] [CORE] SparkEnv'den createExecutorEnv'i kaldırma
  • [SPARK-46827] [SC-154280] [CORE] Simgesel bağlantıyı desteklemek için yap RocksDBPersistenceEngine
  • [SPARK-46903] [SC-154662] [CORE] Spark Geçmiş Sunucusu Günlük Kullanıcı Arabirimi desteği
  • [SPARK-46874] [SC-154646] [PYTHON] Bağımlılığı kaldırma pyspark.pandasassertDataFrameEqual
  • [SPARK-46889] [SC-154639] [CORE] Doğrulama spark.master.ui.decommission.allow.mode ayarı
  • [SPARK-46850] [SC-154443] [SQL] Dönüştür _LEGACY_ERROR_TEMP_2102 UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323] [CORE] [UI] Tabloyu Duration sütuna göre doğru sıralama Running Drivers düzeltmesi MasterPage
  • [SPARK-46796] [SC-154279] [SS] RocksDB sürüm yükünde doğru uzak dosyaların (metadata.zip bahsedilen) kullanıldığından emin olun
  • [SPARK-46888] [SC-154636] [CORE] Yetki alma devre dışı bırakılırsa istekleri reddetmeye /workers/kill/ yönelik düzeltme Master
  • [SPARK-46818] [SC-154422] [SQL] Katlanabilir olmayan girişlerle Aralık için hata iletilerini iyileştirme
  • [SPARK-46898] [SC-154649] [BAĞLAN] Planner'da protobuf işlevi dönüştürmeyi basitleştirme
  • [SPARK-46828] [SC-154413] [SQL] Spark sql shell için uzak modun geçersiz onayını kaldırma
  • [SPARK-46733] [SC-154274] [CORE] BlockManager'ı çıkış işlemiyle basitleştirin, yalnızca kesme iş parçacığına bağlıdır.
  • [SPARK-46777] [SC-154016] [SS] Katalizör yapısını toplu iş sürümüyle daha eşit olacak şekilde yeniden düzenleme StreamingDataSourceV2Relation
  • [SPARK-46515] [SC-151716] MONTHNAME işlevi ekleme
  • [SPARK-46823] [SC-154276] [BAĞLAN] [PYTHON] LocalDataToArrowConversion null atanabilirliği denetlemelidir
  • [SPARK-46787] [SC-154404] [BAĞLAN] bloomFilter işlevi geçersiz giriş için atmalıdır AnalysisException
  • [SPARK-46779] [SC-154045] [SQL] InMemoryRelation aynı önbelleğe alınmış planın örnekleri, eşanlamlı olarak eşdeğer olmalıdır
  • [SPARK-45827] [SC-153973] Variant sütununda bölümlemeye izin verme
  • [SPARK-46797] [SC-154085] [CORE] Yeniden adlandır spark.deploy.spreadOutspark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Destek Yürütücüsü JVM Profil Oluşturma
  • [SPARK-46746] [SC-153557] [SQL] [AVRO] Avro veri kaynağı dosyalarına codec uzantısı ekleme
  • [SPARK-46698] [SC-153288] [CORE] Timer değerini ConsoleProgressBar için tek iş parçacığı zamanlanmış yürütücüsü ile değiştirin.
  • [SPARK-46629] [SC-153835] STRUCT türü DDL'nin null atanabilirlik ve açıklama almaması sorunu düzeltildi
  • [SPARK-46750] [SC-153772] [BAĞLAN] [PYTHON] DataFrame API'leri kodu temizleme
  • [SPARK-46769] [SC-153979] [SQL] Zaman damgasıyla ilgili şema çıkarımı iyileştirme
  • [SPARK-46765] [SC-153904] [PYTHON] [BAĞLAN] Veri shuffle türünü belirtin seed
  • [SPARK-46579] [SC-151481] [SQL] Hatalar ve günlüklerde JDBC URL'sini yeniden işleme
  • [SPARK-46686] [SC-153875] [PYTHON] [BAĞLAN] SparkSession tabanlı Python UDF profil oluşturucusunun temel desteği
  • [SPARK-46748] "[SC-153800][CORE] Scri'yi kaldır *slave*.sh ...
  • [SPARK-46707] [SC-153833] [SQL] Koşul göndermeyi geliştirmek için ifadelere atılabilir alan eklendi
  • [SPARK-46519] [SC-151278] [SQL] Dosyadan error-classes.json kullanılmayan hata sınıflarını temizleme
  • [SPARK-46677] [SC-153426] [SQL] [BAĞLAN] Çözümü düzeltme dataframe["*"]
  • [SPARK-46317] [SC-150184] [PYTHON] [BAĞLAN] SparkSession'da küçük davranış eşleştirmesini tam test kapsamıyla eşleştirme
  • [SPARK-46748] [SC-153800] [CORE] Betikleri kaldırma *slave*.sh
  • [SPARK-46663] [SC-153490] [PYTHON] Yineleyicilerle pandas UDF'leri için bellek profil oluşturucularını devre dışı bırakma
  • [SPARK-46410] [SC-150776] [SQL] JdbcUtils.classifyException'a hata sınıfları/alt sınıfları atama
  • [SPARK-46277] [SC-150126] [PYTHON] Başlangıç URL'lerini ayarlanan yapılandırmayla doğrulama
  • [SPARK-46612] [SC-153536] [SQL] jdbc sürücüsünden alınan dizi türü dizesini dönüştürmeyin
  • [SPARK-46254] [SC-149788] [PYTHON] Eski Python 3.8/3.7 sürüm denetimini kaldırma
  • [SPARK-46490] [SC-151335] [SQL] Alt sınıflarda SparkThrowable hata sınıfları gerektir
  • [SPARK-46383] [SC-153274] [SC-147443] [WARMFIX] Kullanım Ömrünü Azaltarak Sürücü Yığını Kullanımını Azaltın TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109] [SQL] [BAĞLAN] Kendi kendine birleştirmede belirsiz sütun başvurularını düzeltme
  • [SPARK-46381] [SC-150495] [SQL] alt sınıflarını AnalysisException hata sınıflarına geçirme
  • [SPARK-46351] [SC-150335] [SQL] içinde bir hata sınıfı gerektir AnalysisException
  • [SPARK-46220] [SC-149689] [SQL] içinde karakter kümelerini kısıtlama decode()
  • [SPARK-46369] [SC-150340] [CORE] içindeki sürücülerden RELAUNCHING bağlantıyı kaldırma killMasterPage
  • [SPARK-46052] [SC-153284] [CORE] TaskScheduler.killAllTaskAttempts işlevini kaldırma
  • [SPARK-46536] [SC-153164] [SQL] GROUP BY calendar_interval_type desteği
  • [SPARK-46675] [SC-153209] [SQL] ParquetReadSupport'ta kullanılmayan inferTimestampNTZ'yi kaldırma
  • [SPARK-46717] [SC-153423] [CORE] Çıkış işlemiyle basitleştirme ReloadingX509TrustManager yalnızca kesme iş parçacığına bağlıdır.
  • [SPARK-46722] [SC-153438] [BAĞLAN] Spark Bağlan'de StreamingQueryListener için geriye dönük uyumluluk denetimiyle ilgili bir test ekleme (Scala/PySpark)
  • [SPARK-46187] [SC-149580] [SQL] codegen ve non-codegen uygulamasını uyumlu hale getirme StringDecode
  • [SPARK-46258] [SC-149799] [CORE] Ekle RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676] [CORE] Sıkıştırmaları desteklemek için iyileştirme FileSystemPersistenceEngine
  • [SPARK-46189] [SC-149567] [PS] [SQL] Yorumlanan mod hatalarını önlemek için çeşitli Pandas toplama işlevlerinde aynı türler arasında karşılaştırmalar ve aritmetik işlemler gerçekleştirin
  • [SPARK-46184] [SC-149563] [CORE] [SQL] [BAĞLAN] [MLLIB] Option.isDefined değerini Option.isEmpty ile değiştirerek yığın derinliğini azaltın
  • [SPARK-46700] [SC-153329] [CORE] Bayt taşan karışık disk ölçümü için son taşma sayısını sayma
  • [SPARK-45642] [SC-150286] [CORE] [SQL] Düzeltmek FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272] [SQL] Alt sorgu özniteliklerini dışlayarak RemoveRedundantAlias'ı düzeltme
  • [SPARK-46681] [SC-153287] [CORE] Ne zaman MAX_EXECUTOR_FAILURES yapılandırıldığını hesaplamaktan defaultMaxNumExecutorFailures kaçınmak için yeniden düzenleme ExecutorFailureTracker#maxNumExecutorFailures
  • [SPARK-46695] [SC-153289] [SQL] [HIVE] Hive.execution.engine dosyasını her zaman mr olarak ayarlama
  • [SPARK-46325] [SC-150228] [BAĞLAN] içinde oluştururken WrappedCloseableIterator gereksiz geçersiz kılma işlevlerini kaldırma ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699] [PYTHON] Kalan tüm ValueError'ı PySpark hata çerçevesine geçirin.
  • [SPARK-46547] [SC-153174] [SS] Bakım iş parçacığı ile akış toplama işleci arasında kilitlenmeyi önlemek için bakım görevinde önemli olmayan özel durumu yutma
  • [SPARK-46169] [SC-149373] [PS] API'den eksik parametreler için uygun JIRA numaralarını atayın DataFrame .
  • [SPARK-45857] [SC-148096] [SQL] alt sınıflarında hata sınıflarını zorunlu kılma AnalysisException

Databricks ODBC/JDBC sürücü desteği

Databricks, son 2 yılda yayımlanan ODBC/JDBC sürücülerini destekler. Lütfen son yayınlanan sürücüleri indirin ve yükseltin (ODBC'yi indirin, JDBC'yi indirin).

Sistem ortamı

  • İşletim Sistemi: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Gölü: 3.1.0

Yüklü Python kitaplıkları

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 geri arama 0.2.0
Siyah 23.3.0 yanıp sönen 1.4 boto3 1.34.39
botocore 1.34.39 önbellek araçları 5.3.3 sertifikalı 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
tıklama 8.0.4 cloudpickle 2.2.1 Comm 0.1.2
konturlu 1.0.5 Şifreleme 41.0.3 Cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
hata ayıklama 1.6.7 Dekoratör 5.1.1 daistlib 0.3.8
Entrypoints 0.4 Yürütme 0.8.3 modellere genel bakış 1.1.1
dosya kilidi 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 ıdna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 izodat 0.6.1
Jedi 0.18.1 Jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab pencere öğeleri 3.0.5 Anahtarlık 23.5.0 kiwisolver 1.4.4
başlatma çubuğu 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy uzantıları 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 Ambalaj 23,2
pandas 2.0.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Yastık 9.4.0 Pip 23.2.1 platformdirs 3.10.0
çizim 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
saf değerlendirme 0.2.2 serçe 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6,0 pyzmq 23.2.0 istekler 2.31.0
rsa 4,9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 Sinan 0.12.2 Gizli dizi Depolama 3.3.1
kurulum araçları 68.0.0 Altı 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 stack-data 0.2.0
statsmodeller 0.14.0 Azim 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 Kasırga 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
katılımsız yükseltmeler 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 Tekerlek 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Yüklü R kitaplıkları

R kitaplıkları, 2023-02-10'da Posit Paket Yöneticisi CRAN anlık görüntüsünden yüklenir.

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
oku seçin 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
Backports 1.4.1 temel 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 başlatma 1.3-28
Brew 1.0-10 Brio 1.1.4 Süpürge 1.0.5
bslib 0.6.1 önbellek 1.0.8 çağıran 3.7.3
şapka işareti 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 küçük resim 0.8.0
saat 0.7.0 cluster 2.1.4 codetools 0.2-19
renk alanı 2.1-0 commonmark 1.9.1 derleyicisi 4.3.2
config 0.3.2 Çakışan 1.2.0 cpp11 0.4.7
Crayon 1.5.2 kimlik bilgileri 2.0.1 Curl 5.2.0
data.table 1.15.0 veri kümeleri 4.3.2 DBİ 1.2.1
dbplyr 2.4.0 Desc 1.4.3 geliştirici araçları 2.4.5
Diyagram 1.6.5 diffobj 0.3.5 Özet 0.6.34
aşağı aydınlatma 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 üç nokta 0.3.2 değerlendir 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
Yabancı 0.8-85 Forge 0.2.0 Fs 1.6.3
Gelecek 1.33.1 future.apply 1.11.1 Gargara 1.5.2
Generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 Globals 0.16.2 Tutkal 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafikler 4.3.2 grDevices 4.3.2 Kılavuz 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 sabit hat 1.3.1 Haven 2.5.4
daha yüksek 0.10 Hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Kimlik 1.0.1 ını 0.3.1
ipred 0.9-14 isoband 0.2.7 Yineleyicilerde 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 sulu su 0.1.0
KernSmooth 2.23-21 örgü örme 1.45 Etiketleme 0.4.3
Sonra 1.3.2 Kafes 0.21-8 Lav 1.7.3
yaşam döngüsü 1.0.4 dinleyici 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matris 1.5-4.1 not defteri 2.0.1 yöntemler 4.3.2
mgcv 1.8-42 Mıme 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelleyici 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
paralel olarak 1.36.0 Ayağı 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 Övgü 1.0.0
prettyunits 1.2.0 Yordam 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 ilerleme 1.2.3
ilerleme durumu 0.14.0 Söz 1.2.1 Proto 1.0.0
Proxy 0.4-27 Ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 tepkiye dönüştürülebilir 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
yemek tarifleri 1.0.9 Rövanş 2.0.0 rematch2 2.1.2
Kumanda 2.4.2.1 reprex 2.1.0 yeniden şekillendirme2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
ters çevirmeler 2.1.2 rvest 1.0.3 Sass 0.4.8
Terazi 1.3.0 seçici 0.4-2 sessioninfo 1.2.2
Şekil 1.4.6 Parlak 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 Kayma 7.3-15 Splines 4.3.2
sqldf 0.4-11 KAREM 2021.1 Istatistik 4.3.2
istatistikler4 4.3.2 stringi 1.8.3 dizeleyici 1.5.1
Hayatta kalma 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 test edin 3.2.1
metin şekillendirme 0.3.7 Türk 3.2.1 derleyici 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 zaman değişimi 0.3.0
timeDate 4032.109 tinytex 0.49 araçlar 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 Yardımcılar 4.3.2 uuid 1.2-0
V8 4.4.1 vctr'lar 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 Bıyık 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 Zip 2.3.1

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)

Grup Kimliği Yapıt Kimliği Sürüm
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics akış 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo gölgeli 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine Kafein 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-ayrıştırıcıları 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Toplayıcı 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation etkinleştirme 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna Jna 5.8.0
net.razorvine Turşu 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv süper csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow ok biçimi 15.0.0
org.apache.arrow ok-bellek çekirdeği 15.0.0
org.apache.arrow ok-bellek-netty 15.0.0
org.apache.arrow ok-vektör 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro eşlemeli 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator küratör çerçevesi 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy sarmaşık 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2 gölgeli-protobuf
org.apache.orc orc-mapreduce 1.9.2 gölgeli-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9 gölgeli 4.23
org.apache.yetus hedef kitle ek açıklamaları 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework dama-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-derleyici 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-bulucu 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss günlüğü 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Ek açıklama -ları 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap dolgular 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test arabirimi 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest sca en son uyumlu 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani Xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1