Share via

Databricks Runtime 7.3 LTS (nieobsługiwane)

  • Artykuł

Usługa Databricks opublikowała ten obraz we wrześniu 2020 roku. W październiku 2020 r. ogłoszono długoterminowe wsparcie (LTS).

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 7.3 LTS obsługiwanym przez platformę Apache Spark 3.0.

Aby uzyskać pomoc dotyczącą migracji z środowiska Databricks Runtime 6.x, zobacz Przewodnik migracji środowiska Databricks Runtime 7.x (nieobsługiwany).

Nowe funkcje

Funkcje i ulepszenia usługi Delta Lake

Ta wersja zawiera następujące funkcje i ulepszenia usługi Delta Lake:

W tym obszarze

Optymalizacje wydajności usługi Delta Lake znacznie zmniejszają nakład pracy

Ta wersja umożliwia zbieranie optymalizacji, które zmniejszają obciążenie operacji usługi Delta Lake od sekund do dziesiątek milisekund. Aby włączyć te optymalizacje, należy uaktualnić wszystkie klastry zapisujące i odczytujące tabelę delta do środowiska Databricks Runtime 7.3 LTS lub nowszego.

Aby uzyskać szczegółowe informacje i zastrzeżenia, zobacz Rozszerzone punkty kontrolne dla zapytań o małych opóźnieniach.

Klonowanie metryk jest teraz dostępne

Metryki operacji klonowania są teraz rejestrowane i można je wyświetlić po uruchomieniu polecenia DESCRIBE HISTORY. Aby uzyskać szczegółowe informacje, zobacz Przeglądanie szczegółów tabeli usługi Delta Lake z opisem.

Ulepszenia usługi Delta Lake MERGE INTO

  • Scalanie obsługuje teraz dowolną liczbę MATCHED klauzul i NOT MATCHED .
  • Scal zapytania, które bezwarunkowo usuwają dopasowane wiersze, nie zgłaszają już błędów na wielu dopasowaniach.

Określanie początkowej pozycji źródła przesyłania strumieniowego ze strukturą usługi Delta Lake

Łącznik przesyłania strumieniowego ze strukturą usługi Delta Lake obsługuje teraz opcje startingVersion i startingTimestamp umożliwiają określenie punktu początkowego zapytania przesyłania strumieniowego bez przetwarzania całej tabeli. Aby uzyskać szczegółowe informacje, zobacz Określanie pozycji początkowej.

Adaptacyjne wykonywanie zapytań

Adaptacyjne wykonywanie zapytań (AQE) to struktura ponownej optymalizacji zapytań, która dynamicznie dostosowuje plany zapytań podczas wykonywania na podstawie zebranych statystyk środowiska uruchomieniowego. Usługa AQE jest domyślnie włączona w środowisku Databricks Runtime 7.3 LTS. Teraz możesz wypróbować wszystkie funkcje AQE. Aby uzyskać szczegółowe informacje, zobacz Adaptacyjne wykonywanie zapytań.

Ulepszenia

Moduł ładujący automatycznie

  • Teraz obsługuje usługę Azure Data Lake Storage Gen1 w trybie listy katalogów
  • Jeśli format pliku to text lub binaryFile nie musisz już podawać schematu. Ponieważ dwa formaty plików mają stały schemat, moduł automatycznego ładowania może automatycznie używać stałego schematu.

Nowa kontrolka długości kolumn łącznika usługi Azure Synapse Analytics

Teraz możesz użyć nowego parametru maxbinlength , aby kontrolować długość BinaryType kolumn. Ten parametr jest tłumaczony jako VARBINARY(maxbinlength).

Poprzednia wartość domyślna (niemożliwa do skonfigurowania) to VARBINARY(MAX), co powodowało problemy podczas tworzenia tabel z kolumnami binarnymi i domyślnym schematem indeksowania. W szczególności tworzenie tabeli zakończy się niepowodzeniem, ponieważ domyślny indeks magazynu kolumn nie obsługuje MAX kolumn ciągu i kolumn binarnych.

Konwersja biblioteki pandas na ramkę danych platformy Spark jest uproszczona

Aby włączyć następujące ulepszenia, ustaw konfigurację spark.databricks.execution.pandasZeroConfConversion.enabledplatformy Spark:

  • createDataFrame(pandas_df) została zoptymalizowana pod kątem usługi Azure Databricks.
  • Ostrzeżenie jest wyświetlane, jeśli nie można wykonać konwersji wydajnie lub nie jest możliwe.

Nowość maxResultSize w toPandas() wywołaniu

Nowe ustawienie konfiguracji (spark.databricks.driver.localMaxResultSize) umożliwia sterowanie maxResultSize wywołaniem df.toPandas() . Limit jest tymczasowo zmieniany na max(spark.driver.maxResultSize, spark.databricks.driver.localMaxResultSize). Wartość domyślna ustawienia konfiguracji to rozmiar pamięci fizycznej podzielony przez 4.

Zostanie wyświetlone ostrzeżenie, jeśli df.toPandas() rozmiar wyniku jest większy niż spark.driver.maxResultSize i mniejszy niż spark.databricks.driver.localMaxResultSize.

To ustawienie konfiguracji ma wpływ tylko na ramki danych utworzone przez wywołanie df.toPandas() .

Uwaga

spark.databricks.driver.localMaxResultSize ma zastosowanie tylko wtedy, gdy spark.databricks.execution.pandasZeroConfConversion.enabled ma wartość true.

Debugowanie bibliotek pandas i funkcji zdefiniowanych przez użytkownika PySpark

Gdy funkcja UDF biblioteki pandas lub PySpark kończy się niepowodzeniem w notesie usługi Azure Databricks, komunikat o błędzie zawiera teraz numer wiersza, w którym kod zakończył się niepowodzeniem i informacje o głównej przyczynie.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • Koalas został uaktualniony z wersji 1.1.0 do wersji 1.2.0.
    • Pyarrow uaktualniono z wersji 0.15.1 do wersji 1.0.1.
  • Uaktualniono kilka zainstalowanych bibliotek języka R. Zobacz Zainstalowane biblioteki języka R.
  • Kompilacja OpenJDK 8 została zmieniona z Ubuntu OpenJDK 8 na Zulu OpenJDK 8.

Apache Spark

Środowisko Databricks Runtime 7.3 LTS obejmuje platformę Apache Spark 3.0.1. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 7.2 (nieobsługiwane), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-32302][SPARK-28169] [SQL] Częściowo wypychaj predykaty rozłączne za pośrednictwem sprzężenia/partycji
  • [SPARK-32337] [SQL] Pokaż początkowy plan w ciągu drzewa planu AQE
  • [SPARK-30662] Odłóż zmiany interfejsu API dla biblioteki HasBlockSize
  • [SPARK-32620] [SQL] Resetowanie metryki numPartitions po włączeniu funkcji DPP
  • [SPARK-32646] [SQL] Wypychanie predykatu ORC powinno działać z analizą bez uwzględniania wielkości liter
  • [SPARK-32676] [ML] Naprawienie podwójnego buforowania w KMeans/BiKMeans
  • [SPARK-32092] [ML] [PYSPARK] Usunięto kod pokrewny foldCol
  • [SPARK-32594] [SQL] Zastąpij get() i użyj dni juliana w DaysWritable
  • [SPARK-32608] [SQL] Wartość DELIMIT formatu WIERSZA przekształcenia skryptu powinna formatować wartość
  • [SPARK-32092] [ML] [PYSPARK] Naprawianie parametrów, które nie są kopiowane w modelu CrossValidatorModel.copy(), read() i write()
  • [SPARK-32672] [SQL] Naprawianie uszkodzenia danych w kompresji zestawu bitów logicznych
  • [SPARK-32663] [CORE] Unikaj indywidualnego zamykania puli Obiektów TransportClients (które muszą być zamknięte przez pulę)
  • [SPARK-32621] Opcja ścieżki [SQL] może powodować problemy podczas wnioskowania schematu w źródłach danych CSV/JSON
  • [SPARK-28863] [SQL] Nie używaj ponownie planu fizycznego
  • [SPARK-32608] [SQL] Wartość DELIMIT formatu WIERSZA przekształcenia skryptu powinna formatować wartość
  • [SPARK-28863] [SQL] Wprowadzenie jużPlanned, aby zapobiec ponownej analizy elementów V1FallbackWriters
  • [SPARK-32451] [R] Obsługa narzędzia Apache Arrow 1.0.0
  • [SPARK-32652] [SQL] Błąd ObjectSerializerPruning dla elementu RowEncoder
  • [SPARK-32518] [CORE] CoarseGrainedSchedulerBackend.maxNumConcurrentTasks powinien rozważyć wszystkie rodzaje zasobów
  • [SPARK-32559] [SQL] Napraw logikę przycinania w pliku UTF8String.toInt/toLong nie obsługiwał poprawnie znaków innych niż ASCII
  • [SPARK-32625] [SQL] Komunikat o błędzie dziennika podczas powrotu do trybu interpretera
  • [SPARK-32543] [R] Usuwanie użycia arrow::as_tibble w usłudze SparkR
  • [SPARK-31703] [SQL] Liczba zmiennoprzecinkowa/podwójna liczba zmiennoprzecinkowa Parquet RLE jest niepoprawnie odczytywana na dużych platformach endian
  • [SPARK-32586] [SQL] Naprawiono komunikat o błędzie NumberFormatException po włączeniu usługi Ansi
  • [SPARK-32456] [SS] Sprawdź unikatowe, zakładając, że jest to agregacja dla przesyłania strumieniowego ze strukturą
  • [SPARK-32576] [SQL] Obsługa typu postgreSQL bpchar i tablicy typu char
  • [SPARK-32559] [SQL] Napraw logikę przycinania w pliku UTF8String.toInt/toLong nie obsługiwał poprawnie znaków innych niż ASCII
  • [SPARK-32560] [SQL] Ulepszanie komunikatu o wyjątku na stronie InsertIntoHiveTable.processInsert
  • [SPARK-32546] [SQL] Pobieranie nazw tabel bezpośrednio z tabel programu Hive
  • [SPARK-32529] [CORE] Naprawa skanowania dziennika historyserver przerwane przez zmianę stanu aplikacji
  • [SPARK-32003] [CORE] Gdy jest używana zewnętrzna usługa mieszania, wyrejestrowywanie danych wyjściowych funkcji wykonawczej podczas niepowodzenia pobierania po utracie funkcji wykonawczej
  • [SPARK-32160] [CORE] [PYSPARK] Zmień nazwę konfiguracji, aby przełączyć zezwalanie/nie zezwalanie na funkcję SparkContext w funkcjach wykonawczych
  • [SPARK-32160] [CORE] [PYSPARK] Dodaj konfigurację, aby przełączyć zezwalanie/nie zezwalanie na tworzenie obiektu SparkContext w funkcjach wykonawczych
  • [SPARK-32083] [SQL] Funkcja AQE nie powinna dzielić partycji dla pojedynczej części
  • [SPARK-32509] [SQL] Ignoruj nieużywany filtr DPP True w canonicalization
  • [SPARK-32332] [SQL] Obsługa wymiany kolumnowej
  • [SPARK-32227] Naprawiono usterkę regresji w pliku load-spark-env.cmd z platformą Spark 3.0.0
  • [SPARK-32478] [R] [SQL] Komunikat o błędzie pokazujący niezgodność schematu w gapply z wektoryzacją strzałki
  • [SPARK-32030] [SQL] Obsługa nieograniczonych klauzul MATCHED i NOT MATCHED w funkcji MERGE INTO w analizatorze SQL
  • [SPARK-32175] [CORE] Napraw kolejność między inicjowaniem funkcji ExecutorPlugin i uruchamiania wątku pulsu
  • [SPARK-32283] [CORE] Kryo powinna obsługiwać wielu rejestrów użytkowników
  • [SPARK-32424] [SQL] Naprawiono zmianę dyskretnych danych na potrzeby analizowania sygnatury czasowej, jeśli występuje przepełnienie f
  • [SPARK-32430] [SQL] Rozszerzanie rozszerzeń sparkSessionExtensions w celu wstrzykiwania reguł do przygotowania etapu zapytania AQE
  • [SPARK-32310] [ML] [PYSPARK] Parzystość wartości domyślnych parametrów uczenia maszynowego
  • [SPARK-32237] [SQL] Rozwiązywanie problemów w usłudze CTE
  • [SPARK-32280][SPARK-32372] [SQL] ResolveReferences.dedupRight powinien przepisać tylko atrybuty węzłów nadrzędnych planu konfliktu
  • [SPARK-32364] [SQL] Dodaj element toMap, aby zwrócić oryginalną mapę i dokumentację
  • [SPARK-32364] [SQL] Użyj elementu CaseInsensitiveMap dla opcji DataFrameReader/Writer
  • [SPARK-32377] [SQL] Funkcja CaseInsensitiveMap powinna być deterministyczna do dodawania
  • [SPARK-32365] [SQL] Dodawanie warunku granicy dla indeksu ujemnego w regexp_extract
  • [SPARK-32368] [SQL] pathGlobFilter, recursiveFileLookup i basePath powinny uwzględniać niewrażliwość wielkości liter
  • [SPARK-32344] [SQL] Nieocenione wyrażenie ma ustawioną wartość FIRST/LAST ignoreNullsExpr w odrębnych agregacjach
  • [SPARK-32234] [SQL] Polecenia spark sql kończą się niepowodzeniem podczas wybierania tabel orc

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 7.3 LTS.

Środowisko systemu

  • System operacyjny: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.48.0.53-CA-linux64 (kompilacja 1.8.0_265-b11)
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R w wersji 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.6.20 cffi 1.14.0
chardet 3.0.4 Kryptografii 2.8 Cycler 0.10.0
Cython 0.29.15 Dekorator 4.4.1 docutils 0.15.2
punkty wejścia 0.3 Idna 2.8 ipykernel 5.1.4
Ipython 7.12.0 ipython-genutils 0.2.0 Jedi 0.14.1
jmespath 0.10.0 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 Koale 1.2.0
matplotlib 3.1.3 Numpy 1.18.1 Pandas 1.0.1
parso 0.5.2 Patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pip 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 1.0.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 żądania 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 seaborn 0.10.0
setuptools 45.2.0 Sześć 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 Tornado 6.0.3 traitlety 4.3.3
nienadzorowane uaktualnienia 0.1 urllib3 1.25.8 Virtualenv 16.7.10
wcwidth 0.1.8 Koła 0.34.2

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2020-07-14.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
askpass 1.1 assertthat 0.2.1 Backports 1.1.8
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bitowe 1.1-15.2 bit64 0.9-7 blob 1.2.1
rozruch 1.3-25 Napar 1.0-6 Miotła 0.7.0
obiekt wywołujący 3.4.3 caret 6.0-86 cellranger 1.1.0
chron 2.3-55 class 7.3-17 cli 2.0.2
clipr 0.7.0 cluster 2.1.0 codetools 0.2-16
Kolorów 1.4-1 commonmark 1,7 — kompilator 3.6.3
config 0.3 covr 3.5.0 Pastel 1.3.4
Crosstalk 1.1.0.1 Curl 4.3 data.table 1.12.8
usługi Power BI 3.6.3 DBI 1.1.0 dbplyr 1.4.4
Desc 1.2.0 devtools 2.3.0 Szyfrowane 0.6.25
dplyr 0.8.5 DT 0,14 wielokropek 0.3.1
evaluate 0,14 fani 0.4.1 farver 2.0.3
szybka mapa 1.0.1 forcats 0.5.0 foreach 1.5.0
Zagranicznych 0.8-76 Forge 0.2.0 Fs 1.4.2
Generyczne 0.0.2 ggplot2 3.3.2 Gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 Globals 0.12.5
Kleju 1.4.1 Gower 0.2.2 grafika 3.6.3
grDevices 3.6.3 Siatki 3.6.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 Haven 2.3.1
wysoki 0,8 Hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.1 httpuv 1.5.4 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
ipred 0.9-9 isoband 0.2.2 Iteratory 1.0.12
jsonlite 1.7.0 KernSmooth 2.23-17 knitr 1,29
Etykietowania 0.3 Później 1.1.0.1 Kraty 0.20-41
Lawy 1.6.7 opóźnienie 0.2.2 cykl życia 0.2.0
lubridate 1.7.9 magrittr 1.5 Markdown 1.1
MASSACHUSETTS 7.3-52 Matryca 1.2-18 zapamiętywanie 1.1.0
metody 3.6.3 mgcv 1.8-32 Mime 0,9
Metryki modelu 1.2.2.2 modeler 0.1.8 munsell 0.5.0
nlme 3.1-149 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.2 parallel 3.6.3 Filar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 Pochwały 1.0.0
prettyunits 1.1.1 Proc 1.16.2 processx 3.4.3
prodlim 2019.11.13 Postęp 1.2.2 Obietnice 1.1.1
Proto 1.0.0 Ps 1.3.3 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 readr 1.3.1 readxl 1.3.1
przepisy 0.1.13 Rewanżu 1.0.1 rewanż2 2.1.2
Piloty 2.1.1 reprex 0.3.0 zmień kształt2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.7
rmarkdown 2.3 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.0 rstudioapi 0,11 rversions (rversions) 2.0.2
rvest 0.3.5 Skale 1.1.1 selektor 0.4-2
sessioninfo 1.1.1 Kształt 1.4.4 Błyszczące 1.5.0
sourcetools 0.1.7 sparklyr 1.3.1 SparkR 3.0.0
Przestrzennej 7.3-11 Splajnów 3.6.3 sqldf 0.4-11
KWADRAT 2020.3 Statystyki 3.6.3 stats4 3.6.3
stringi 1.4.6 stringr 1.4.0 Przetrwanie 3.1-12
sys 3.3 tcltk 3.6.3 NauczanieDemos 2.10
testthat 2.3.2 tibble 3.0.3 tidyr 1.1.0
tidyselect 1.1.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0,24 tools 3.6.3 usethis 1.6.1
utf8 1.1.4 narzędzia 3.6.3 uuid 0.1-4
vctrs 0.3.1 viridisLite 0.3.0 wąs 0,4
withr 2.2.0 xfun 0,15 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 Yaml 2.2.1

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Kolega 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.kofeina Kofeiny 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity parsery jednowołciowości 2.8.3
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metryki —rdzeń 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics serwlety metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
Log4j apache-log4j-extras 1.2.17
Log4j Log4j 1.2.17
net.razorvine pirolit 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format strzałki 0.15.1
org.apache.arrow strzałka w pamięci 0.15.1
org.apache.arrow wektor strzałki 0.15.1
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurator-klient 2.7.1
org.apache.curator struktura kuratora 2.7.1
org.apache.curator przepisy kuratora 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop adnotacje hadoop 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive podkładki hive 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 inkubacja
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Bluszcz 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc podkładki orc-shim 1.5.10
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet kodowanie parquet 1.10.1-databricks6
org.apache.parquet format parquet 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity prędkość 1.5
org.apache.xbean xbean-asm7-cieniowany 4.15
org.apache.yetus adnotacje odbiorców 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-kontynuacja 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap Podkładki 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark.spark Nieużywane 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten trzydostępne dodatkowe 1.5.0
org.tukaani Xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1.24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52