Databricks Runtime 8.3 (nieobsługiwane)

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 8.3 i środowisku Databricks Runtime 8.3 Photon obsługiwanym przez platformę Apache Spark 3.1.1. Usługa Databricks opublikowała te obrazy w czerwcu 2021 roku. Photon jest w publicznej wersji zapoznawczej.

Nowe funkcje i ulepszenia

Wygenerowane kolumny w tabelach delty (publiczna wersja zapoznawcza)

Usługa Delta Lake obsługuje teraz wygenerowane kolumny, które są specjalnym typem kolumny, których wartości są generowane automatycznie na podstawie funkcji określonej przez użytkownika nad innymi kolumnami w tabeli delta. Do generowania wartości tych wygenerowanych kolumn można użyć większości wbudowanych funkcji SQL. Na przykład możesz automatycznie wygenerować kolumnę daty (na potrzeby partycjonowania tabeli według daty) z kolumny znacznika czasu; wszystkie operacje zapisu w tabeli muszą określać tylko dane dla kolumny sygnatury czasowej. Tabele różnicowe można tworzyć z wygenerowanymi kolumnami przy użyciu interfejsów API SQL, Scala, Java lub Python.

Aby uzyskać więcej informacji, zobacz Use generated columns (Używanie wygenerowanych kolumn).

Funkcje i ulepszenia automatycznego modułu ładującego

Wnioskowanie schematu dla plików CSV w narzędziu do automatycznego ładowania

Automatyczne ładowanie obsługuje teraz wnioskowanie schematu i ewolucję w plikach CSV. Narzędzie do automatycznego ładowania zapewnia następujące możliwości na podstawie istniejącego analizatora CSV na platformie Apache Spark:

  • Scalanie schematu: Moduł automatycznego ładowania może pozyskiwać pliki CSV, które mają inny schemat (różne liczby kolumn, różne kolejność kolumn) między plikami.
  • Uratowana kolumna danych: możesz użyć uratowanych kolumn danych, aby uratować nieoczekiwane dane, które mogą pojawić się w plikach CSV. Obejmuje to dane, które nie mogą być analizowane w oczekiwanym typie danych, kolumnach z inną wielkością liter lub wartościami null w nagłówku lub dodatkowymi kolumnami, które nie były częścią oczekiwanego schematu.

Aby uzyskać szczegółowe informacje, zobacz Wnioskowanie schematu i ewolucja w module automatycznego ładowania.

Ulepszony czas uruchamiania strumieni automatycznego ładowania

Strumienie automatycznego modułu ładującego wykonują teraz początkowe wypełnianie strumienia asynchronicznie podczas uruchamiania po raz pierwszy, co prowadzi do znacznie szybszego uruchamiania strumienia. Dzięki temu można szybko iterować kod przy użyciu danych produkcyjnych, szczególnie w przypadku konieczności pozyskiwania danych z katalogów zawierających miliony lub miliardy plików.

Ponadto czas uruchamiania strumieni, które są ponownie uruchamiane, są również ulepszone, ponieważ zrównaliśmy pobieranie i przekazywanie plików RocksDB, które narzędzie Auto Loader wykorzystuje do zapewnienia dokładnie raz semantyki.

Szybsze wyświetlanie listy katalogów w module automatycznego ładowania

Znacznie poprawiliśmy wydajność wyświetlania listy katalogów w narzędziu automatycznego ładowania. Efektem ubocznym tej poprawy wydajności jest to, że strumień może emitować więcej żądań listy do systemu magazynu, gdy nie ma nowych danych do przetworzenia, co może prowadzić do wzrostu opłat za żądania listy. Ogólnie rzecz biorąc, usługa Databricks zaleca ustawienie rozsądnego interwału wyzwalacza dla potoków przesyłania strumieniowego w środowisku produkcyjnym. Zobacz Przesyłanie strumieniowe ze strukturą w środowisku produkcyjnym.

Zmniejszone obciążenie magazynu dla punktów kontrolnych automatycznego modułu ładującego

Strumienie automatycznego modułu ładującego są teraz automatycznie czyszczone nieaktualne pliki w katalogu punktu kontrolnego asynchronicznie, aby zachować rozmiar katalogu punktu kontrolnego bezterminowo i zmniejszyć koszty magazynowania.

Auto loader zawiera ścieżkę pliku w uratowanych kolumnach danych, jeśli są dostępne

Uratowana kolumna danych automatycznie udostępnia ścieżkę pliku uratowanych danych, jeśli ma zastosowanie w kolumnie o nazwie _file_ path. Może to pomóc w śledzeniu głównej przyczyny problemów z jakością danych. Kolumna nie jest uwzględniana, jeśli schemat danych zawiera kolumnę o nazwie _file_path. W razie potrzeby możesz użyć konfiguracji spark.databricks.sql.rescuedDataColumn.filePath.name SQL, aby zmienić nazwę kolumny.

Funkcja automatycznego ładowania obsługuje zmiany nazw plików w Azure Data Lake Storage Gen2 w trybie powiadomień plików

Funkcja automatycznego ładowania obsługuje teraz zdarzenia BlobRenamed dla Azure Data Lake Storage Gen2 podczas uruchamiania w trybie powiadomień plików. Aby przetworzyć pliki przekazywane do kontenera Azure Data Lake Storage Gen2 za pomocą operacji zmiany nazwy z powiadomieniami o plikach, uruchom nowy strumień z automatycznym modułem ładujący przy użyciu środowiska Databricks Runtime 8.3. Aby upewnić się, że plik jest przetwarzany dokładnie raz, upewnij się, że nazwa katalogu źródłowego, z którego jest zmieniana nazwa pliku, nie jest obserwowana przez moduł automatycznego ładowania.

Tworzenie tabel różnicowych przy użyciu nowych programowych interfejsów API (publiczna wersja zapoznawcza)

Teraz możesz programowo tworzyć nowe tabele delty (przy użyciu języków Scala, Java i Python) bez używania interfejsów API ramki danych. Nowe DeltaTableBuilder interfejsy DeltaColumnBuilder API umożliwiają określenie wszystkich szczegółów tabeli, które można określić przy użyciu SQL CREATE TABLE.

Aby uzyskać więcej informacji, zobacz Tworzenie tabeli.

Poprawne obliczenie rozmiarów tabeli delty w SQL ANALYZE

Istniejąca logika analizy niepoprawnie oblicza rozmiar tabeli dla tabel różnicowych i aktualizuje wykaz o nieprawidłowym rozmiarze. Poprawka polega na pobraniu rozmiaru tabeli delty z dziennika delty.

Szczegółowe metryki wydajności bazy danych RocksDB podczas korzystania z bazy danych RocksDBStateStore

Jeśli skonfigurowano zapytanie przesyłania strumieniowego ze strukturą tak, aby używało bazy danych RocksDB jako magazynu stanów, możesz teraz uzyskać lepszy wgląd w wydajność bazy danych RocksDB, ze szczegółowymi metrykami na temat opóźnień pobierania/umieszczania, opóźnień kompaktowania, trafień pamięci podręcznej itd. Te metryki są dostępne za pośrednictwem StreamingQueryProgress interfejsów API i StreamingQueryListener do monitorowania zapytania przesyłania strumieniowego.

Aby uzyskać więcej informacji, zobacz Metryki magazynu stanów bazy danych RocksDB.

Automatyczne zoptymalizowane zapisy

Zoptymalizowane zapisy w partycjonowanych tabelach delty są teraz automatycznie włączone na potrzeby aktualizacji i usuwania zapytań zawierających podquery.

Włącz sprzężenia zasobnikowe, jeśli tylko jedna strona sprzężenia jest zasobnikowana

Nowa konfiguracja umożliwia sprzężenia spark.databricks.sql.minBucketsForBucketedJoin zasobnikowego, jeśli tylko jedna strona sprzężenia jest zasobnikowana, a liczba zasobników nie jest mniejsza niż ta wartość konfiguracji. Domyślnie ta wartość konfiguracji jest taka sama jak domyślna liczba partycji mieszania (200).

Ulepszone zabezpieczenia podczas definiowania funkcji zdefiniowanych przez użytkownika platformy Spark (publiczna wersja zapoznawcza)

Funkcje current_user informacji o użytkowniku i is_member nie mogą być już zastępowane przez funkcje tymczasowe, w tym Python spark.udf.register lub SQL create or replace temp function.

Ograniczona liczba żądań do rejestru schematów dla zapytań za pomocą polecenia from_avro

Zapytania z obsługą from_avro rejestru schematów nie generują już tylu żądań do usługi rejestru schematów, co pozwala zaoszczędzić koszty operacyjne.

Wiele wyników w języku R z listąResults (publiczna wersja zapoznawcza)

Notesy języka R usługi Databricks obsługują teraz wiele wyników w każdej komórce. Wcześniej renderowano tylko jeden wynik dla każdej komórki notesu. Obecnie wyniki pojedynczej komórki w notesach języka R są wyświetlane w następującej kolejności:

  1. RShiny URL
  2. Działka
  3. displayHTML outputs (dane wyjściowe displayHTML)
  4. tabelami
  5. Stdout

Uaktualnienia biblioteki

  • Uaktualniona biblioteka języka Python:
    • Koalas został uaktualniony z wersji 1.7.0 do 1.8.0.
    • Biblioteka pandas została uaktualniona z wersji 1.1.3 do wersji 1.1.5.
    • s3transfer uaktualniony z wersji 0.3.4 do 0.3.6.
  • Uaktualniona biblioteka języka R:
    • Usługa SparkR została uaktualniona z wersji 3.1.1 do wersji 3.1.2.
  • Uaktualniono bibliotekę Java:
    • mariadb-java-client z wersji 2.1.2 do 2.2.5.
    • parquet-column z 1.10.1-databricks6 do 1.10.1-databricks9
    • parquet-common from 1.10.1-databricks6 to 1.10.1-databricks9
    • parquet-encoding from 1.10.1-databricks6 to 1.10.1-databricks9
    • parquet-hadoop z wersji 1.10.1-databricks6 do 1.10.1-databricks9
    • parquet-jackson z 1.10.1-databricks6 do 1.10.1-databricks9

Apache Spark

Środowisko Databricks Runtime 8.3 obejmuje platformę Apache Spark 3.1.1. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 8.2 (nieobsługiwane), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-34614] [SQL] Tryb ANSI: Rzutowanie ciągu na wartość logiczną powinno zgłaszać wyjątek podczas analizowania błędu
  • [SPARK-34246] [FOLLOWUP] Zmień definicję "findTightestCommonT...
  • [SPARK-35213] [SQL] Zachowaj poprawną kolejność zagnieżdżonych struktur w łańcuchu przy użyciu operacjiField
  • [SPARK-35096] [SQL] Uruchamianie schematu powinno być zgodne z konfiguracją spark.sql.caseSensitive
  • [SPARK-35227] [ BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
  • [SPARK-35224] [SQL] Naprawianie przepełnienia buforu wMutableProjectionSuite
  • [SPARK-34245] [CORE] Upewnij się, że wzorzec usuwa funkcje wykonawcze, które nie mogą wysłać stanu zakończenia
  • [SPARK-34856] [SQL] Tryb ANSI: Zezwalaj na rzutowanie typów złożonych jako typu ciągu
  • [SPARK-34946] [SQL] Blokuj nieobsługiwane skorelowane podzapytania skalarnego w agregacji
  • [SPARK-35014] Naprawiono wzorzec physicalAggregation, aby nie przepisywały wyrażeń składanych
  • [SPARK-34769] [SQL] AnsiTypeCoercion: return closest con...

Środowisko systemu

  • System operacyjny: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.52.0.23-CA-linux64 (kompilacja 1.8.0_282-b08)
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: R w wersji 4.0.4 (2021-02-15)
  • Usługa Delta Lake 1.0.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 zestaw znaków 3.0.4
Kryptografii 3.1.1 Cycler 0.10.0 Cython 0.29.21
Dekorator 4.4.2 distlib 0.3.1 docutils 0.15.2
punkty wejścia 0.3 aspekty — omówienie 1.0.0 filelock 3.0.12
Idna 2,10 ipykernel 5.3.4 Ipython 7.19.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 klient jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 Koale 1.8.0 matplotlib 3.2.2
numpy 1.19.2 Pandas 1.1.5 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pip 20.2.4 plotly 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.0 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 Pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
Żądania 2.24.0 Ponawianie 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 seaborn 0.10.0
setuptools 50.3.1 Sześć 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 Tornado 6.0.4 traitlety 5.0.5
urllib3 1.25.11 Virtualenv 20.2.1 wcwidth 0.2.5
kółko 0.35.1

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki microsoft CRAN 2020-11-02.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.0.4 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-27 brew 1.0-6 Brio 1.1.0
broom 0.7.2 callr 3.5.1 daszek 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-18
cli 2.2.0 clipr 0.7.1 cluster 2.1.1
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.0.4 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 poświadczenia 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
zestawy danych 4.0.4 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 Forge 0.2.0
Fs 1.5.0 Przyszłości 1.21.0 Generyczne 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 Globals 0.14.0
glue 1.4.2 gower 0.2.2 grafika 4.0.4
grDevices 4.0.4 grid 4.0.4 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1,30
labeling 0.4.2 Później 1.1.0.1 lattice 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 Cyklem życia 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-53.1 Macierz 1.3-2
memoise 1.1.0 methods 4.0.4 mgcv 1.8-33
mime 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-15
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.4
równolegle 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
progress 1.2.2 Obietnice 1.1.1 proto 1.0.0
Ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rewanż2 2.1.2 Piloty 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2,6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.2 spatial 7.3-11 splines 4.0.4
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.4
stats4 4.0.4 stringi 1.5.3 stringr 1.4.0
survival 3.2-7 sys 3.4 tcltk 4.0.4
TeachingDemos 2,10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.0.4
usethis 2.0.0 utf8 1.1.4 utils 4.0.4
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 Zip 2.1.1

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Kolega 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.kofeina Kofeiny 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib Core 1.1.2
com.github.fommil.netlib native_ref java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3,1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guawa 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2,8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3,1
commons-io commons-io 2,4
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-net commons-net 3,1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics serwlety metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kolektor 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs interfejs API jakarta.ws.rs 2.1.6
javax.activation Aktywacji 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
Log4j apache-log4j-extras 1.2.17
Log4j Log4j 1.2.17
drzewa maven hive-2.3__hadoop-2.7 liball_deps_2.12
net.razorvine pirolit 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format strzałki 2.0.0
org.apache.arrow strzałka-pamięć-rdzeń 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow wektor strzałki 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurator-klient 2.7.1
org.apache.curator struktura kuratora 2.7.1
org.apache.curator przepisy kuratora 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop adnotacje hadoop 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive podkładki hive 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 inkubacja
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Bluszcz 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc podkładki orc 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet -common 1.10.1-databricks9
org.apache.parquet kodowanie parquet 1.10.1-databricks9
org.apache.parquet format parquet 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity prędkość 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus adnotacje odbiorców 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-kontynuacja 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokalizator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging Rejestrowanie jboss 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql Postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap Podkładki 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark.spark Nieużywane 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten trzynasty dodatkowe 1.5.0
org.tukaani Xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52