Databricks Runtime 5.5 LTS (nicht unterstützt)
Dieses Image wurde von Databricks im Juli 2019 veröffentlicht. Es wurde im August 2019 als Long Term Support (LTS) deklariert. Der Support wurde am 27. Juli 2021 beendet. Databricks Runtime 5.5 Erweiterter Support (Nicht unterstützt) wurde am 8. Juli 2021 veröffentlicht und verlängert die Unterstützung für Version 5.5 bis Dezember 2021. Dabei wird Ubuntu 18.04.5 LTS anstelle der veralteten Ubuntu 16.04.6 LTS-Distribution verwendet, die in der ursprünglichen Databricks Runtime 5.5 LTS verwendet wird. Der Support für Ubuntu 16.04.6 LTS wurde am 1. April 2021 eingestellt.
Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 5.5 mit Unterstützung durch Apache Spark.
Neue Funktionen
Automatisches Optimieren mit Delta Lake in Azure Databricks
Wenn Sie heute Daten in den Cloudspeicher schreiben, müssen Sie Dateien komprimieren, um eine optimale E/A-Leistung zu erzielen. Sie müssen sich Gedanken über die richtige Dateigröße machen, wie oft die Dateien komprimiert werden sollen, Cluster welcher Größe verwendet werden sollen usw. Wir freuen uns, zur Lösung derartiger Probleme die allgemeine Verfügbarkeit der Funktion „Automatisches Optimieren“ mit Delta Lake in Azure Databricks ankündigen zu können. Bei jedem Schreibvorgang in Delta-Tabellen wird automatisch die richtige Größe und Komprimierung für Dateien bestimmt, sodass Sie sich keine Gedanken mehr über die Optimierung des Speicherlayouts machen müssen. Wenn die auto-optimize-Option bei Schreibvorgängen true ist, bestimmt Azure Databricks automatisch, ob eine Optimierung erforderlich ist, und optimiert die kleinen Dateien. Details finden Sie unter Konfigurieren von Delta Lake zum Steuern der Datendateigröße.
Delta Lake auf Azure Databricks verbessert die Abfrageleistung bei der Aggregation von „Min“, „Max“ und „Count“
Die Leistung der Aggregationsabfragen „Min“, „Max“ und „Count“ für Delta Lake auf Azure Databricks wurde erheblich verbessert, indem die Menge der gelesenen Daten reduziert wurde. Diese Abfragen werden jetzt mithilfe von Statistiken und Partitionswerten in den Metadaten ausgeführt, anstatt die Daten zu scannen.
Schnellere Modellrückschlusspipelines mit verbesserter Binärdateidatenquelle und benutzerdefinierter Skalariterator-pandas-Funktion (Public Preview)
Machine Learning-Aufgaben, insbesondere im Bild- und Videobereich, verwenden häufig eine große Anzahl von Dateien. In Databricks Runtime 5.4 haben wir bereits die Binärdateidatenquelle zur Verfügung gestellt, um ETL für beliebige Dateien wie Bilder in Spark-Tabellen zu erleichtern. In Databricks Runtime 5.5 haben wir die Option recursiveFileLookup hinzugefügt, um Dateien rekursiv aus verschachtelten Eingabeverzeichnissen laden zu können. Siehe Binärdatei.
Mit der Binärdateidatenquelle können Sie mithilfe einer skalaren pandas-UDF Modellrückschlussaufgaben aus Spark-Tabellen parallel ausführen. Möglicherweise müssen Sie jedoch das Modell für jeden Datensatzbatch initialisieren, was den Aufwand erhöht. In Databricks Runtime 5.5 haben wir einen neuen pandas-UDF-Typ namens „Skalariterator“ aus dem Master von Apache Spark zurückportiert. Damit müssen Sie ein Modell nur einmal initialisieren und können es dann auf viele Eingabebatches anwenden, was zu einer zwei- bis dreifachen Beschleunigung für Modelle wie ResNet50 führen kann. Vgl. UDF vom Typ „Serie zu Skalar“
Geheimnis-API in R-Notebooks
Mit der Geheimnis-API können Sie Geheimnisse in Notebooks einfügen, ohne sie hartcodieren zu müssen. Diese API ist jetzt zusätzlich zur vorhandenen Unterstützung für Python- und Scala-Notebooks in R-Notebooks verfügbar. Sie können die dbutils.secrets.get-Funktion verwenden, um Geheimnisse zu erhalten. Geheimnisse werden vor dem Drucken in eine Notebookzelle redigiert.
Verbesserungen
- Unterstützung für die Ausführung von Delta Lake SQL-Vorgängen in Python
foreachBatch: Wir haben die bekannte Einschränkung behoben, dass nicht in Delta-Tabellen ausforeachBatcheiner in Python definierten strukturierten Streamingabfrage geschrieben werden kann. Dies ist bei gängigen Python-Streamingworkloads nützlich. Beispiel: Schreiben von Streamingaggregaten im Updatemodus mit MERGE und foreachBatch. - Leistung der in Azure Data Lake Gen2 gespeicherten Delta-Tabellen: Bei der Überprüfung auf die neueste Version einer Delta-Tabelle in ADLS Gen2 wird jetzt nur das Ende des Transaktionsprotokolls überprüft, anstatt alle verfügbaren Versionen auflisten zu müssen. Durch diese Optimierung wird
UPDATEzu einem konstanten Vorgang und die Latenz deutlich verbessert. - Skalierbarkeit von Optimieren
ZORDER BY: Z-Ordering verwendet für sehr große Delta-Tabellen jetzt kleinere Arbeitseinheiten, die von der erweiterten Zugangssteuerung kontrolliert werden. Dieses Feature verbessert die Stabilität dieses Vorgangs, ohne Clusterauslastung zu opfern. - Verbesserte Leistung von DML-Befehlen für Tabellen mit einer großen Anzahl von Spalten: Wir führen jetzt eine bessere Spaltenbereinigung durch, wenn nach übereinstimmenden Daten in den Befehlen
UPDATE,DELETEundMERGEgescannt wird. - Unterstützung für die Einrichtung von VNET und Dienstendpunkten im Spark – Synapse Analytics-Connector: ADL Gen2-Pfade wurden einer Positivliste als temporäre Datenspeicherorte (
.option("tempDir", "abfss://...")) hinzugefügt und es wurde eine neue Option namensuseAzureMSIhinzugefügt, die anstelle vonforward_spark_azure_storage_credentialsverwendet werden kann, falls Ihre Synapse Analytics für die Authentifizierung über Verwaltete Identitäten auf Ihr V2-Speicherkonto konfiguriert sind. - Automatische Invalidierung für Datenträgercaching: Datenträgercaching erkennt jetzt automatisch Dateien, die nach dem Zwischenspeichern geändert oder überschrieben wurden. Veraltete Einträge werden automatisch invalidiert und aus dem Cache entfernt. Siehe Optimieren der Leistung mit Caching in Azure Databricks.
- Python-Bibliotheks-Wheel von 0.33.3 auf 0.33.4 aktualisiert.
- R-Bibliotheks-nlme von 3.1-139 auf 3.1-140 aktualisiert.
Fehlerbehebungen
- Das Abbrechen von R-Befehlen, die keine Spark-Aufträge ausführen, wurde korrigiert. Zuvor konnten R-Befehle, die keine Spark-Aufträge ausführen, abgebrochen werden, wobei jedoch der Zustand der Notebooks verloren ging. Befehle können jetzt abgebrochen werden, ohne den Notebookzustand zu verlieren.
- Das Löschen oder Verschieben einer verwalteten Tabelle invalidiert nun das zwischengespeicherte Delta Lake-Protokoll.
- Es wurde ein Fehler behoben, bei dem das Schreiben von Delta Lake-Prüfpunkten unter Umständen aufgrund von
FileAlreadyExistsExceptionfehlschlug. - Scala REPL legt nun das richtige
-target:jvm-1.8-Flag fest, um das Aufrufen von Java-Methoden zu unterstützen, die Java 8-Features verwenden.
Apache Spark
Databricks Runtime 5.5 enthält Apache Spark 2.4.3. Dieses Release enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 5.4 (nicht unterstützt) enthalten sind, sowie die folgenden zusätzlichen Bugfixes und Verbesserungen für Spark:
- [SPARK-24695] Zurückgeben von CalendarInterval durch UDFs zulassen
- [SPARK-28056] docstring/doctest für SCALAR_ITER pandas UDF hinzufügen
- [SPARK-28185] Schließt den Generator, wenn Python-UDFs frühzeitig enden
- [SPARK-24703] Unterstützung für die Multiplikation von Intervallen
- [SPARK-27018][CORE] Fehlerhaftes Entfernen der Prüfpunktdatei in PeriodicCheckpointer behoben
- [SPARK-28127][SQL] Mikrooptimierung für die mapChildren-Methode von TreeNode
- [SPARK-26038] Dezimal toScalaBigInt/toJavaBigInteger für Dezimale, die mit Langform nicht passen
- [SPARK-26555][SQL] ScalaReflection-Untertypüberprüfung threadsicher machen
- [SPARK-28081][ML] Verarbeiten großer Vocab-Zahlen in word2vec
- [SPARK-21882][CORE] OutputMetrics zählt geschriebene Bytes in der saveAsHadoopDataset-Funktion nicht richtig
- [SPARK-28030] filePath in Binärdateidatenquelle zu URI konvertieren
- [SPARK-27803][SQL][PYTHON] Korrektur der Spaltenbereinigung für Python-UDF
- [SPARK-27917][SQL] kanonische Form des CaseWhen-Objekts ist falsch
- [SPARK-27798][SQL] from_avro sollte bei Konversion in eine lokale Beziehung nicht denselben Wert erzeugen
- [SPARK-27873][SQL] columnNameOfCorruptRecord sollte beim Deaktivieren von enforceSchema nicht mit Spaltennamen im CSV-Header überprüft werden
- [SPARK-27907][SQL] HiveUDAF sollte bei 0 Zeilen NULL zurückgeben
- [SPARK-27699][SQL] Teilweiser Pushdown disjunktiver Prädikate in Parquet/ORC
- [SPARK-27868][CORE] Besserer Standardwert und bessere Dokumentation für Socketserver-Backlog.
- [SPARK-27869][CORE] Bearbeiten vertraulicher Informationen in Systemeigenschaften über die Benutzeroberfläche
- [SPARK-27863][SQL][BACKPORT-2.4] Metadatendateien und temporäre Dateien sollten nicht als Datendateien gezählt werden.
- [SPARK-27657][ML] Beheben des Protokollformats ml.util.Instrumentation.logFai...
- [SPARK-27858][SQL] Korrektur für die Avro-Deserialisierung für Union-Typen mit mehreren Nicht-NULL-Typen
- [SPARK-27711][CORE] Löschen von InputFileBlockHolder am Ende der Aufgaben
- [SPARK-27351][SQL] Falsche outputRows-Schätzung nach AggregateEstimation mit Nur-NULL-Wertspalte
- [SPARK-27539][SQL] Korrigieren der ungenauen AggregatausgabeRows-Schätzung mit Spalten, die NULL-Werte enthalten
- [SPARK-27800][SQL] Falsche Antwort in BitwiseXor-Testfällen behoben
- [SPARK-27639][SQL] InMemoryTableScan zeigt den Tabellennamen nach Möglichkeit auf der Benutzeroberfläche an
- [SPARK-27726][CORE] Behebung der Leistungsprobleme der ElementTrackingStore-Löschungen bei Verwendung von InMemoryStore bei hoher Auslastung
- [SPARK-27771][SQL] Hinzufügen der SQL-Beschreibung für Gruppierungsfunktionen (Cube, Rollup, Gruppierung und grouping_id)
- [SPARK-27735][SS] Die Analyseintervallzeichenfolge sollte in SS die Groß-/Kleinschreibung nicht beachten
- [SPARK-26856][PYSPARK] Python-Unterstützung für from_avro- und to_avro-APIs
- [SPARK-26870][SQL] Verschieben von to_avro/from_avro in das Funktionsobjekt aufgrund der Java-Kompatibilität
- [SPARK-26812][SQL] Bericht der korrekten NULL-Zulässigkeit für komplexe Datentypen in Union
- [SPARK-27671][SQL] Fehlerbehebung bei Umwandlung von verschachteltem NULL in eine Struktur
- [SPARK-27673][SQL] Hinzufügen von
since-Informationen zu random-, regex- und NULL-Ausdrücken - [SPARK-27672][SQL] Hinzufügen von
sinceInformationen zu Zeichenfolgenausdrücken - [SPARK-25139][SPARK-18406][CORE] NonFatals vermeiden, um den Executor in PythonRunner zu beenden
- [SPARK-27624][CORE] Korrektur von CalenderInterval, um ein leeres Intervall ordnungsgemäß anzuzeigen
- [SPARK-27577][MLLIB] Korrigieren von Schwellenwerten, die in BinaryClassificationMetrics Downsampling erfuhren
- [SPARK-27621][ML] Lineare Regression – Überprüfen von trainingsbezogenen Parametern wie Verlust nur während der Anpassungsphase
- [SPARK-26048][SPARK-24530] Heraussuchen aller fehlenden Commits für 2.4-Versionsskript
- [SPARK-24935][SQL] Unterstützung für INIT -> UPDATE -> MERGE -> FINISH in Hive UDAF-Adapter
Wartungsupdates
Weitere Informationen finden Sie unter Databricks Runtime 5.5-Wartungsupdates.
Systemumgebung
- Betriebssystem: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Scala: 2.11.12
- Python: 2.7.12 für Python 2-Cluster und 3.5.2 für Python 3-Cluster.
- R: R-Version 3.6.0 (2019-04-26)
- GPU-Cluster: Die folgenden NVIDIA-GPU-Bibliotheken sind installiert:
- Tesla-Treiber 375.66
- CUDA 9.0
- cuDNN 7.0
Hinweis
Scala 2.12 wird zwar in Apache Spark 2.4 unterstützt, jedoch nicht in Databricks Runtime 5.5.
Inhalt dieses Abschnitts:
- Installierte Python-Bibliotheken
- Installierte R-Bibliotheken
- Installierte Java- und Scala-Bibliotheken (Scala 2.11-Clusterversion)
Installierte Python-Bibliotheken
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| cryptography | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0,23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| Pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 19.1.1 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| Python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0,32 | seaborn | 0.7.1 |
| setuptools | 41.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | sechs | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | wheel | 0.33.4 |
| wsgiref | 0.1.2 |
Installierte R-Bibliotheken
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.1.3 | base | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | Blob | 1.1.1 | boot | 1.3-20 |
| brew | 1.0-6 | callr | 3.2.0 | Auto | 3.0-2 |
| carData | 3.0-2 | caret | 6.0-82 | cellranger | 1.1.0 |
| chron | 2.3-53 | class | 7.3-15 | cli | 1.1.0 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | cluster | 2.0.8 |
| codetools | 0.2-16 | colorspace | 1.4-1 | commonmark | 1.7 |
| compiler | 3.6.0 | config | 0,3 | crayon | 1.3.4 |
| curl | 3.3 | data.table | 1.12.0 | datasets | 3.6.0 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | desc | 1.2.0 |
| devtools | 2.0.1 | digest | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | ellipsis | 0.1.0 | fansi | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | foreign | 0.8-71 |
| forge | 0.2.0 | fs | 1.2.7 | gbm | 2.1.5 |
| generics | 0.0.2 | ggplot2 | 3.1.0 | gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | glue | 1.3.1 |
| gower | 0.2.0 | Grafiken | 3.6.0 | grDevices | 3.6.0 |
| grid | 3.6.0 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.0 | h2o | 3.22.1.1 | haven | 2.1.0 |
| hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | iterators | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | labeling | 0,3 |
| lattice | 0.20-38 | lava | 1.6.5 | lazyeval | 0.2.2 |
| littler | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | maps | 3.3.0 |
| maptools | 0.9-5 | MASS | 7.3-51.1 | Matrix | 1.2-17 |
| MatrixModels | 0.4-1 | memoise | 1.1.0 | methods | 3.6.0 |
| mgcv | 1.8-28 | mime | 0,6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-140 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.3 | openxlsx | 4.1.0 |
| parallel | 3.6.0 | pbkrtest | 0.4-7 | pillar | 1.3.1 |
| pkgbuild | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| praise | 1.0.0 | prettyunits | 1.0.2 | pROC | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | Fortschritt | 1.2.0 |
| proto | 1.0.0 | ps | 1.3.0 | purrr | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | readr | 1.3.1 |
| readxl | 1.3.1 | recipes | 0.1.5 | rematch | 1.0.1 |
| remotes | 2.0.2 | reshape2 | 1.4.3 | rio | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0,10 | scales | 1.0.0 |
| sessioninfo | 1.1.1 | sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.4 | SparseM | 1.77 | spatial | 7.3-11 |
| splines | 3.6.0 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | stats | 3.6.0 | stats4 | 3.6.0 |
| stringi | 1.4.3 | stringr | 1.4.0 | survival | 2.43-3 |
| sys | 3.1 | tcltk | 3.6.0 | TeachingDemos | 2,10 |
| testthat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | tools | 3.6.0 |
| usethis | 1.4.0 | utf8 | 1.1.4 | utils | 3.6.0 |
| viridisLite | 0.3.0 | whisker | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| zip | 2.0.1 |
Installierte Java- und Scala-Bibliotheken (Scala 2.11-Clusterversion)
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-glue | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | Datenstrom | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0,10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-exec-with-glue | hive-12679-patch_deploy |
| maven-trees | hive-exec-with-glue | hive-exec_shaded |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4,7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.10.0 |
| org.apache.arrow | arrow-memory | 0.10.0 |
| org.apache.arrow | arrow-vector | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3,5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-encoding | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | unused | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |