Share via

Databricks Runtime 7.2 (sem suporte)

  • Artigo

O Databricks lançou esta imagem em agosto de 2020.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 7.2 da plataforma Apache Spark 3.0.

Novos recursos

O Databricks Runtime 7.2 inclui os seguintes novos recursos.

O Carregador Automático está disponível para o público geral

O Carregador Automático é um método eficiente para ingestão incremental de um grande número de arquivos no Delta Lake. Agora ele é GA e adiciona os seguintes recursos: lista de diretórios, API de gerenciamento de recursos de nuvem, opção de limitação de taxa e validação de opção.

Opção de modo de listagem de diretório

O Carregador Automático adiciona um novo modo de listagem de diretório ao modo de notificação de arquivo existente para determinar quando há novos arquivos.

  • Modo de listagem de diretório: em alguns cenários, há apenas alguns arquivos que precisam ser transmitidos regularmente. Nesses casos, a identificação de novos arquivos pela listagem paralela do diretório de entrada e sua ingestão é razoavelmente eficiente. Isso permite que você inicie fluxos do Carregador Automático sem nenhuma configuração de permissão. O modo de listagem de diretórios é o padrão para o Carregador Automático no Databricks Runtime 7.2 e superior.
  • Modo de notificação de arquivo: você pode optar explicitamente pelo modo de notificação de arquivo, que é mais eficaz e escalonável para diretórios de entrada grandes, mas exige que você configure permissões para o serviço de notificação assinar eventos de arquivo e definir .option("cloudFiles.useNotifications", "true"). Os fluxos existentes do Carregador Automático iniciados no Databricks Runtime 7.1 e abaixo aceitam automaticamente o modo de notificação de arquivo quando eles são atualizados para o Databricks Runtime 7.2.

Para obter mais informações, confira O que é o Carregador Automático?.

API de grenciamento de recursos de nuvem

Você já pode usar nossa API do Scala para gerenciar recursos de nuvem criados pelo Carregador Automático. Liste os serviços de notificação e subdivida serviços de notificação específicos usando essa API. Para obter mais informações, consulte Configurar ou gerenciar manualmente os recursos de notificação de arquivo.

Opção de limitação de taxa

Você já pode usar a opção cloudFiles.maxBytesPerTrigger para limitar o volume de dados processados em cada microlote. Você pode especificar uma cadeia de caracteres de byte, como 10g, para limitar cada microlote a 10 GB de dados. O número máximo é flexível. Se você tiver arquivos que são de 3 GB cada, o Azure Databricks processará 12 GB em um microlote. Essa opção não tem efeito quando usada com Trigger.Once(). Quando essa opção não é fornecida, o valor padrão de cloudFiles.maxFilesPerTrigger 1000 arquivos é usado para limitação de taxa. Quando usado em conjunto com cloudFiles.maxFilesPerTrigger, o Azure Databricks consome até o limite inferior de cloudFiles.maxFilesPerTrigger ou cloudFiles.maxBytesPerTrigger, o que for atingido primeiro.

Para obter mais informações, confira O que é o Carregador Automático?.

Validação de opção

O Carregador Automático já valida as opções que você fornece. Se você fornecer uma opção desconhecida, o Carregador Automático retornará um erro em vez de ignorar silenciosamente a opção. A validação também detecta inconsistências nas opções fornecidas. Por exemplo, se você definir cloudFiles.useNotifications como false e, ao mesmo tempo fornecer as opções de permissão para a Grade de Eventos do Azure e os serviços de Armazenamento de fila, validation falhará. Para ignorar a validação da opção, defina cloudFiles.validateOptions como false.

Alterações nos valores de opção padrão e na compatibilidade

O comportamento padrão de algumas opções do Carregador Automático foi alterado no Databricks Runtime 7.2. Para garantir a compatibilidade, o comportamento dos fluxos iniciados no Databricks Runtime 7.1 e abaixo permanecerão inalterados mesmo após a atualização para a execução desses fluxos em um cluster que executa o Databricks Runtime 7.2 ou superior. Confira O que é o Carregador Automático?.

Copiar uma tabela Delta com eficiência clone (visualização pública)

Agora você pode criar com eficiência um clone superficial ou profundo de uma tabela Delta em uma versão específica com o comando clone. Um clone profundo é um clone autônomo de uma tabela Delta formada pela cópia dos arquivos em paralelo da tabela de origem para a tabela de destino. Um clone superficial é um clone criado de forma barata que não copia arquivos para a tabela de destino, mas aponta para arquivos na tabela original. Qualquer alteração feita em um clone profundo ou superficial afeta apenas o clone e não a tabela original. Veja Clonar uma tabela no Azure Databricks.

Aprimoramentos

  • Conector do Snowflake: o conector foi atualizado para a versão 2.8.1, que inclui o suporte do Spark 3.0.

  • Usabilidade do PySpark: quando um UDF de PySpark ou pandas falha, o Azure Databricks agora faz a superfície da exceção do lado do Python e da linha executada mais recentemente do código do notebook (se aplicável) na parte superior da mensagem de erro.

  • Passagem de credenciais:

    • Agora você pode usar a função de transformação LDA em um cluster habilitado para passagem.
    • Agora você pode definir o diretório de ponto de verificação de armazenamento em um cluster habilitado para passagem.

  • Bibliotecas de cluster: o Azure Databricks agora processa todas as bibliotecas de cluster na ordem em que elas foram instaladas no cluster. No Databricks Runtime 7.1 e inferior, somente as bibliotecas Maven e CRAN foram processadas na ordem em que foram instaladas no cluster. Outras bibliotecas foram instaladas em uma ordem não determinística.

  • TensorBoard:

    • Gerencie os processos do TensorBoard com a API tensorboard.notebook.
    • Você pode ter vários back-ends do TensorBoard em execução em um único cluster.
    • Em notebooks do Python, exiba a interface do usuário do TensorBoard embutida usando a linha mágica de comando %tensorboard.
    • dbutils.tensorboard foi preterido.

    Confira TensorBoard.

  • Bibliotecas do Python atualizadas:

    • jmespath atualizado de 0.9.4 para 0.10.0.
    • koalas atualizado de 1.0.1 para 1.1.0.

  • Atualizou várias bibliotecas do R instaladas. Confira Bibliotecas do R instaladas.

Apache Spark

O Databricks Runtime 7.2 inclui o Apache Spark 3.0.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 7.1 (sem suporte), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-32234][SQL] Os comandos de SQL do Spark estão falhando ao selecionar as tabelas ORC
  • [SPARK-30616] [SQL] Introduzir a opção de configuração de TTL para o cache de metadados SQL
  • [SPARK-21117] [SQL] Suporte interno à função SQL - WIDTH_BUCKET
  • [SPARK-32168] [SQL] Corrigir o bug de correção de particionamento oculto na substituição de SQL
  • [SPARK-31935] A configuração do sistema de arquivos do Hadoop deve ser eficaz nas opções de fonte de dados
  • [SPARK-32270] [SQL] Usar TextFileFormat na inferência de esquema CSV com uma codificação diferente
  • [SPARK-28481] [SQL] Mais expressões devem estender NullIntolerant
  • [SPARK-32220] [SQL] A dica SHUFFLE_REPLICATE_NL não deve alterar o resultado de junção de produto não cartesiano
  • [SPARK-32232] [ML] [PYSPARK] Verificar se o ML tem os mesmos valores de resolvedor padrão entre o Scala e o Python
  • [SPARK-32238][SQL] Usar Utils.getSimpleName para evitar que ocorra nome de classe malformado no ScalaUDF
  • [SPARK-32220] [SQL] A dica SHUFFLE_REPLICATE_NL não deve alterar o resultado de junção de produto não cartesiano
  • [SPARK-32256] [SQL] Forçar a inicialização do Hadoop VersionInfo no HiveExternalCatalog
  • [SPARK-32159] [SQL] Corrigir a integração entre Aggregator[Array[_], _, _] e UnresolvedMapObjects
  • [SPARK-32160] [CORE] [PYSPARK] Não permitir criar SparkContext em executores
  • [SPARK-32168] [SQL] Corrigir o bug de correção de particionamento oculto na substituição de SQL
  • [SPARK-32024] [WEBUI] Atualizar ApplicationStoreInfo.size durante a inicialização do HistoryServerDiskManager
  • [SPARK-32214] [SQL] A função de conversão de tipo gerada em makeFromJava para o tipo "other" usa uma variável incorreta
  • [SPARK-30703] [SQL] Atualizar o comentário inválido do SqlBase.g4
  • [SPARK-32163] [SQL] A remoção aninhada deve funcionar mesmo com variações superficiais
  • [SPARK-32124] [CORE] Use o valor inválido Int.MinValue para preencher o índice do mapa quando os logs de eventos da versão antiga do Spark
  • [SPARK-32167] [SQL] Correção de GetArrayStructFields para respeitar a nulidade do campo interno em conjunto
  • [SPARK-32130] [SQL] Habilitar a inferência de carimbos de data/hora em JsonBenchmark
  • [SPARK-32121] [SHUFFLE] Suporte ao sistema operacional Windows em ExecutorDiskUtils
  • [SPARK-32130] [SQL] Desabilitar a opção JSON inferTimestamp por padrão
  • [SPARK-31935] [SQL] A configuração do sistema de arquivos Hadoop deve ser eficaz nas opções de fonte de dados
  • [SPARK-32095] [SQL] Atualizar a documentação para refletir o uso de estatísticas atualizadas
  • [SPARK-32131] [SQL] Corrigir mensagens AnalysisException em operações UNION/EXCEPT/MINUS
  • [SPARK-32068] [WEBUI] A inicialização correta da tarefa mostra um problema devido ao fuso horário na guia fase
  • [SPARK-29999] [SS] Corrigir teste para verificar o diretório de log de metadados real
  • [SPARK-32127] [SQL] Verificar se as regras para mesclagem devem usar MergeAction.conditition em vez de MergeAction.children
  • [SPARK-32038] [SQL] Criar o nome do alias logo após a normalização do float/double
  • [SPARK-32126] [SS] Escopo de Session.active em IncrementalExecution
  • [SPARK-32115] [SQL] Corrigir SUBSTRING para manipular estouros inteiros
  • [SPARK-32098] [PYTHON] Use o iloc para fatias posicionais em vez de fatia direta em createDataFrame com Seta
  • [SPARK-32080][SPARK-31998] [SQL] Simplificar o acessador ArrowColumnVector ListArray
  • [SPARK-32028] [WEBUI] Corrigir o link de ID do aplicativo para o aplicativo de várias tentativas na página de resumo do histórico
  • [SPARK-31918] [R] Ignorar métodos genéricos de S4 no namespace do SparkR na limpeza de fechamento para dar suporte ao R 4.0.0 +
  • [SPARK-32038] [SQL] NormalizeFloatingNumbers também deve funcionar em agregações distintas
  • [SPARK-32034] [SQL] Porta HIVE-14817: desligar o thread SessionManager timeoutChecker corretamente após o desligamento
  • [SPARK-32021] [SQL] Aumentar a precisão de segundos e frações demake_interval
  • [SPARK-31980] [SQL] A sequência de função() falhará se o início e o fim do intervalo forem datas iguais
  • [SPARK-32020] [SQL] Melhor mensagem de erro quando SPARK_HOME ou spark.test.home não está definido
  • [SPARK-32011] [PYTHON][CORE] Remover avisos sobre modos de fixação de thread e guia para usar collectWithJobGroup

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 7.2.

Ambiente do sistema

  • Sistema operacional: Ubuntu 18.04.4 LTS
  • Java: 1.8.0_252
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R versão 3.6.3 (29-02-2020)
  • Delta Lake 0.7.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.6.20 cffi 1.14.0
chardet 3.0.4 criptografia 2.8 cycler 0.10.0
Cython 0.29.15 decorator 4.4.1 docutils 0.15.2
entrypoints 0.3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.14.1
jmespath 0.10.0 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 koalas 1.1.0
matplotlib 3.1.3 numpy 1.18.1 pandas 1.0.1
parso 0.5.2 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 pip 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 0.15.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 solicitações 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 seaborn 0.10.0
setuptools 45.2.0 six 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 traitlets 4.3.3
unattended-upgrades 0,1 urllib3 1.25.8 virtualenv 16.7.10
wcwidth 0.1.8 wheel 0.34.2

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN de 14/07/2020.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
askpass 1,1 assertthat 0.2.1 backports 1.1.8
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 1.1-15.2 bit64 0.9-7 blob 1.2.1
boot 1.3-25 brew 1.0-6 broom 0.7.0
callr 3.4.3 sinal de interpolação 6.0-86 cellranger 1.1.0
chron 2.3-55 classe 7.3-17 cli 2.0.2
clipr 0.7.0 cluster 2.1.0 codetools 0.2-16
colorspace 1.4-1 commonmark 1,7 compiler 3.6.3
config 0.3 covr 3.5.0 crayon 1.3.4
crosstalk 1.1.0.1 curl 4.3 data.table 1.12.8
conjuntos de dados 3.6.3 DBI 1.1.0 dbplyr 1.4.4
desc 1.2.0 devtools 2.3.0 digest 0.6.25
dplyr 0.8.5 DT 0,14 ellipsis 0.3.1
evaluate 0,14 fansi 0.4.1 farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.0
foreign 0.8-76 forge 0.2.0 fs 1.4.2
Genéricos 0.0.2 ggplot2 3.3.2 gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 globals 0.12.5
glue 1.4.1 gower 0.2.2 elemento gráfico 3.6.3
grDevices 3.6.3 grade 3.6.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.1 httpuv 1.5.4 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.2 iterators 1.0.12
jsonlite 1.7.0 KernSmooth 2.23-17 knitr 1.29
labeling 0.3 later 1.1.0.1 lattice 0.20-41
lava 1.6.7 lazyeval 0.2.2 ciclo de vida 0.2.0
lubridate 1.7.9 magrittr 1.5 markdown 1,1
MASS 7.3-51.6 Matriz 1.2-18 memoise 1.1.0
methods 3.6.3 mgcv 1.8-31 mime 0,9
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-147 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.2 parallel 3.6.3 pillar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.16.2 processx 3.4.3
prodlim 2019.11.13 progress 1.2.2 promises 1.1.1
proto 1.0.0 ps 1.3.3 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 readr 1.3.1 readxl 1.3.1
recipes 0.1.13 rematch 1.0.1 rematch2 2.1.2
remotes 2.1.1 reprex 0.3.0 reshape2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.7
rmarkdown 2.3 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.0 rstudioapi 0,11 rversions 2.0.2
rvest 0.3.5 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.4 shiny 1.5.0
sourcetools 0.1.7 sparklyr 1.3.1 SparkR 3.0.0
spatial 7.3-11 splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.3 stats 3.6.3 stats4 3.6.3
stringi 1.4.6 stringr 1.4.0 survival 3.1-12
sys 3.3 tcltk 3.6.3 TeachingDemos 2,10
testthat 2.3.2 tibble 3.0.3 tidyr 1.1.0
tidyselect 1.1.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0.24 tools 3.6.3 usethis 1.6.1
utf8 1.1.4 utils 3.6.3 uuid 0.1-4
vctrs 0.3.1 viridisLite 0.3.0 whisker 0,4
withr 2.2.0 xfun 0.15 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.8.3
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1,2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.15.1
org.apache.arrow arrow-memory 0.15.1
org.apache.arrow arrow-vector 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-column 1.10.1.2-databricks4
org.apache.parquet parquet-common 1.10.1.2-databricks4
org.apache.parquet parquet-encoding 1.10.1.2-databricks4
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.2-databricks4
org.apache.parquet parquet-jackson 1.10.1.2-databricks4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocity 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-continuation 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap shims 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,0
org.scalanlp breeze_2.12 1,0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52