Databricks Runtime 7.2 (sem suporte)

  • Artigo

A Databricks divulgou esta imagem em agosto de 2020.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 7.2, alimentado pelo Apache Spark 3.0.

Novas funcionalidades

O Databricks Runtime 7.2 inclui os seguintes novos recursos.

Auto Loader está disponível em geral

Auto Loader é um método eficiente para ingerir incrementalmente um grande número de arquivos no Delta Lake. Agora é GA e adiciona os seguintes recursos: listagem de diretórios, API de gerenciamento de recursos em nuvem, opção de limitação de taxa e validação de opção.

Opção de modo de listagem de diretório

O Auto Loader adiciona um novo modo de listagem de diretórios, além do modo de notificação de arquivos existente, para determinar quando há novos arquivos.

  • Modo de listagem de diretório: Em alguns cenários, há apenas alguns arquivos que precisam ser transmitidos regularmente. Nesses casos, identificar novos arquivos por listagem paralela do diretório de entrada e ingeri-los é razoavelmente eficiente. Isso permite que você inicie fluxos do Auto Loader sem qualquer configuração de permissão. O modo de listagem de diretórios é o modo padrão para o Auto Loader do Databricks Runtime 7.2 e superior.
  • Modo de notificação de arquivo: você pode optar explicitamente pelo modo de notificação de arquivo, que é mais eficiente e escalável para diretórios de entrada grandes, mas requer que você configure permissões para que o serviço de notificação assine eventos de arquivo e defina .option("cloudFiles.useNotifications", "true"). Os fluxos existentes do Auto Loader iniciados no Databricks Runtime 7.1 e abaixo optam automaticamente pelo modo de notificação de arquivo quando atualizam para o Databricks Runtime 7.2.

Para obter mais informações, consulte O que é o Auto Loader?.

API de gerenciamento de recursos na nuvem

Agora você pode usar nossa API Scala para gerenciar recursos de nuvem criados pelo Auto Loader. Você pode listar serviços de notificação e desmontar serviços de notificação específicos usando essa API. Para obter mais informações, consulte Configurar ou gerenciar manualmente recursos de notificação de arquivo.

Opção de limitação de taxa

Agora você pode usar a opção para limitar a cloudFiles.maxBytesPerTrigger quantidade de dados processados em cada microlote. Você pode especificar uma cadeia de caracteres de byte, como 10g para limitar cada microlote a 10 GB de dados. Este é um máximo suave. Se você tiver arquivos de 3 GB cada, o Azure Databricks processará 12 GB em um microlote. Esta opção não tem efeito quando usada com Trigger.Once()o . Quando essa opção não é fornecida, o valor padrão de cloudFiles.maxFilesPerTrigger 1000 arquivos é usado para limitar a taxa. Quando usado em conjunto com cloudFiles.maxFilesPerTriggero , o Azure Databricks consome até o limite mais baixo de cloudFiles.maxFilesPerTrigger ou cloudFiles.maxBytesPerTrigger, o que for atingido primeiro.

Para obter mais informações, consulte O que é o Auto Loader?.

Validação da opção

Auto Loader agora valida as opções que você fornece. Se você fornecer uma opção desconhecida, o Auto Loader retornará um erro em vez de ignorar silenciosamente a opção. A validação também deteta inconsistências nas opções fornecidas. Por exemplo, se você definir cloudFiles.useNotifications e false ao mesmo tempo fornecer opções de permissão para os serviços de Grade de Eventos do Azure e Armazenamento de Filas, validation falhará. Para ignorar a validação da opção, defina cloudFiles.validateOptions como false.

Alterações nos valores de opção padrão e compatibilidade

O comportamento padrão de algumas opções do Auto Loader foi alterado no Databricks Runtime 7.2. Para garantir a compatibilidade, o comportamento dos fluxos iniciados no Databricks Runtime 7.1 e abaixo permanecerá inalterado mesmo após a atualização para executar esses fluxos em um cluster executando o Databricks Runtime 7.2 ou superior. Consulte O que é Auto Loader?.

Copie eficientemente uma tabela Delta com clone (Visualização pública)

Agora você pode criar eficientemente um clone superficial ou profundo de uma tabela Delta em uma versão específica com o clone comando. Um clone profundo é um clone autônomo de uma tabela Delta formado pela cópia dos arquivos em paralelo da tabela de origem para a tabela de destino. Um clone superficial é um clone criado de forma barata que não copia arquivos para a tabela de destino, mas aponta para arquivos na tabela original. Quaisquer alterações feitas em um clone profundo ou superficial afetam apenas o clone e não a tabela original. Consulte Clonar uma tabela no Azure Databricks.

Melhorias

  • Conector Snowflake: O conector foi atualizado para a versão 2.8.1, que inclui suporte ao Spark 3.0.

  • Usabilidade do PySpark: quando um UDF do PySpark ou pandas falha, o Azure Databricks agora exibe a exceção do lado Python e a linha de código do bloco de anotações executada mais recentemente (se aplicável) na parte superior da mensagem de erro.

  • Passagem de credencial:

    • Agora você pode usar a função de transformação LDA em um cluster habilitado para passagem.
    • Agora você pode definir o diretório de ponto de verificação de armazenamento em um cluster habilitado para passagem.

  • Bibliotecas de cluster: o Azure Databricks agora processa todas as bibliotecas de cluster na ordem em que foram instaladas no cluster. No Databricks Runtime 7.1 e inferior, apenas as bibliotecas Maven e CRAN foram processadas na ordem em que foram instaladas no cluster. Outras bibliotecas foram instaladas em ordem não determinística.

  • TensorBoard:

    • Gerencie os processos do TensorBoard com a tensorboard.notebook API.
    • Você pode ter vários backends do TensorBoard em execução em um único cluster.
    • Em blocos de anotações Python, exiba a interface do usuário do TensorBoard em linha usando o %tensorboard comando line magic.
    • dbutils.tensorboard foi preterido.

    Consulte TensorBoard.

  • Bibliotecas Python atualizadas:

    • jmespath atualizado de 0.9.4 para 0.10.0.
    • Koalas atualizado de 1.0.1 para 1.1.0.

  • Atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.

Faísca Apache

O Databricks Runtime 7.2 inclui o Apache Spark 3.0.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 7.1 (sem suporte), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [FAÍSCA-32234] [SQL] Os comandos sql do Spark estão falhando na seleção das tabelas orc
  • [FAÍSCA-30616] [SQL] Introduzir a opção de configuração TTL para o Cache de Metadados SQL
  • [FAÍSCA-21117] [SQL] Suporte a funções SQL integradas - WIDTH_BUCKET
  • [FAÍSCA-32168] [SQL] Corrigir bug de correção de particionamento oculto na substituição do SQL
  • [FAÍSCA-31935] A configuração do sistema de arquivos Hadoop deve ser eficaz nas opções da fonte de dados
  • [FAÍSCA-32270] [SQL] Use TextFileFormat na inferência de esquema do CSV com uma codificação diferente
  • [FAÍSCA-28481] [SQL] Mais expressões devem estender NullIntolerant
  • [FAÍSCA-32220] [SQL] SHUFFLE_REPLICATE_NL Dica não deve alterar o resultado da junção de produtos não cartesianos
  • [FAÍSCA-32232] [ML] [PYSPARK] Verifique se o ML tem os mesmos valores de solucionador padrão entre Scala e Python
  • [FAÍSCA-32238] [SQL] Use Utils.getSimpleName para evitar pressionar o nome da classe malformada no ScalaUDF
  • [FAÍSCA-32220] [SQL] SHUFFLE_REPLICATE_NL Dica não deve alterar o resultado da junção de produtos não cartesianos
  • [FAÍSCA-32256] [SQL] Forçar a inicialização do Hadoop VersionInfo no HiveExternalCatalog
  • [FAÍSCA-32159] [SQL] Corrija a integração entre Aggregator[Array[_], _, _] e UnresolvedMapObjects
  • [FAÍSCA-32160] [CORE] [PYSPARK] Não permitir a criação de SparkContext em executores
  • [FAÍSCA-32168] [SQL] Corrigir bug de correção de particionamento oculto na substituição do SQL
  • [FAÍSCA-32024] [WEBUI] Atualizar ApplicationStoreInfo.size durante a inicialização do HistoryServerDiskManager
  • [FAÍSCA-32214] [SQL] A função de conversão de tipo gerada em makeFromJava para "outro" tipo usa uma variável errada
  • [FAÍSCA-30703] [SQL] Atualização SqlBase.g4 comentário inválido
  • [FAÍSCA-32163] [SQL] A poda aninhada deve funcionar mesmo com variações cosméticas
  • [FAÍSCA-32124] [CORE] Use o valor inválido Int.MinValue para preencher o índice do mapa quando os logs de eventos da versão antiga do Spark
  • [FAÍSCA-32167] [SQL] Corrija GetArrayStructFields para respeitar a anulabilidade do campo interno em conjunto
  • [FAÍSCA-32130] [SQL] Habilitar a inferência de carimbos de data/hora no JsonBenchmark
  • [FAÍSCA-32121] [BARALHAR] Suporte ao sistema operacional Windows em ExecutorDiskUtils
  • [FAÍSCA-32130] [SQL] Desative a opção inferTimestamp JSON por padrão
  • [FAÍSCA-31935] [SQL] A configuração do sistema de arquivos Hadoop deve ser eficaz nas opções da fonte de dados
  • [FAÍSCA-32095] [SQL] Atualizar a documentação para refletir o uso de estatísticas atualizadas
  • [FAÍSCA-32131] [SQL] Corrigir mensagens AnalysisException em operações UNION/EXCEPT/MINUS
  • [FAÍSCA-32068] [WEBUI] Corrigir tarefa lauchtime show problema devido ao fuso horário na guia estágio
  • [FAÍSCA-29999] [SS] Teste de correção para verificar o diretório de log de metadados real
  • [FAÍSCA-32127] [SQL] As regras de verificação para MERGE INTO devem usar MergeAction.conditition diferente de MergeAction.children
  • [FAÍSCA-32038] [SQL] Torne o nome do alias bonito após a normalização float/double
  • [FAÍSCA-32126] [SS] Scope Session.ative em IncrementalExecution
  • [FAÍSCA-32115] [SQL] Corrigir SUBSTRING para lidar com estouros de números inteiros
  • [FAÍSCA-32098] [PYTHON] Use iloc para fatiamento posicional em vez de fatiamento direto em createDataFrame com seta
  • [FAÍSCA-32080][FAÍSCA-31998] [SQL] Simplifique o acessador ArrowColumnVector ListArray
  • [FAÍSCA-32028] [WEBUI] corrigir link de id do aplicativo para várias tentativas de aplicativo na página de resumo do histórico
  • [FAÍSCA-31918] [R] Ignorar métodos genéricos S4 no namespace SparkR na limpeza de fechamento para suportar R 4.0.0+
  • [FAÍSCA-32038] [SQL] NormalizeFloatingNumbers também deve funcionar em agregados distintos
  • [FAÍSCA-32034] [SQL] Porta HIVE-14817: Desligue o thread timeoutChecker do SessionManager corretamente após o desligamento
  • [FAÍSCA-32021] [SQL] Aumente a precisão de segundos e frações de make_interval
  • [FAÍSCA-31980] [SQL] A função sequence() falha se o início e o fim do intervalo forem datas iguais
  • [FAÍSCA-32020] [SQL] Melhor mensagem de erro quando SPARK_HOME ou spark.test.home não está definido
  • [FAÍSCA-32011] [PYTHON] [CORE] Remover avisos sobre modos pin-thread e guia para usar collectWithJobGroup

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 7.2.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 18.04.4 LTS
  • Java: 1.8.0_252
  • Escala: 2.12.10
  • Píton: 3.7.5
  • R: R versão 3.6.3 (2020-02-29)
  • Lago Delta 0.7.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
asn1crypto 1.3.0 Backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.6.20 cffi 1.14.0
chardet 3.0.4 criptografia 2.8 cycler 0.10.0
Quisto 0.29.15 decorador 4.4.1 docutils 0.15.2
pontos de entrada 0.3 idna 2.8 Ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 Jedi 0.14.1
jmespath 0.10.0 Joblib 0.14.1 jupyter-cliente 5.3.4
Jupyter-core 4.6.1 Kiwisolver 1.1.0 coalas 1.1.0
matplotlib 3.1.3 numpy 1.18.1 pandas 1.0.1
Parso 0.5.2 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 pip 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 0.15.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 Meias PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil 2.8.1 pytz 2019.3
Pyzmq 18.1.1 pedidos 2.22.0 s3transferir 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 seaborn 0.10.0
setuptools 45.2.0 seis 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 traços 4.3.3
Upgrades autônomos 0.1 urllib3 1.25.8 virtualenv 16.7.10
largura de wc 0.1.8 roda 0.34.2

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2020-07-14.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AskPass 1.1 asserçãoat 0.2.1 backports 1.1.8
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 1.1-15.2 bit64 0.9-7 blob 1.2.1
arranque 1.3-25 brew 1.0-6 vassoura 0.7.0
Chamador 3.4.3 acento circunflexo 6.0-86 Cellranger 1.1.0
crono 2.3-55 classe 7.3-17 cli 2.0.2
Clipr 0.7.0 cluster 2.1.0 codetools 0.2-16
espaço em cores 1.4-1 marca comum 1.7 compilador 3.6.3
configuração 0.3 CoVR 3.5.0 lápis de cor 1.3.4
conversa cruzada 1.1.0.1 curl 4.3 data.table 1.12.8
conjuntos de dados 3.6.3 DBI 1.1.0 DBPlyr 1.4.4
desc 1.2.0 devtools 2.3.0 resumo 0.6.25
dplyr 0.8.5 DT 0.14 ellipsis 0.3.1
evaluate 0.14 Fãsi 0.4.1 Farver 2.0.3
mapa rápido 1.0.1 FORCATS 0.5.0 foreach 1.5.0
externa 0.8-76 forjar 0.2.0 FS 1.4.2
Genéricos 0.0.2 ggplot2 3.3.2 GH 1.1.0
git2r 0.27.1 glmnet 3.0-2 Globais 0.12.5
colar 1.4.1 gower 0.2.2 gráficos 3.6.3
grDevices 3.6.3 grelha 3.6.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 Refúgio 2.3.1
mais alto 0.8 HMS 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.1 httpuv 1.5.4 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 Isoband 0.2.2 iteradores 1.0.12
jsonlite 1.7.0 KernSmooth 2.23-17 Knitr 1,29
etiquetagem 0.3 mais tarde 1.1.0.1 lattice 0.20-41
lava 1.6.7 lazyeval 0.2.2 ciclo de vida 0.2.0
lubridate 1.7.9 magrittr 1.5 Marcação 1.1
MASSA 7.3-51.6 Matriz 1.2-18 memoise 1.1.0
métodos 3.6.3 mgcv 1.8-31 mime 0,9
ModelMetrics 1.2.2.2 Modelador 0.1.8 munsell 0.5.0
nlme 3.1-147 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.2 paralelo 3.6.3 pilar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 elogiar 1.0.0
unidades bonitas 1.1.1 pROC 1.16.2 processx 3.4.3
prodlim 2019.11.13 Progresso 1.2.2 promessas 1.1.1
proto 1.0.0 PS 1.3.3 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 Leitor 1.3.1 ReadXL 1.3.1
receitas 0.1.13 revanche 1.0.1 revanche2 2.1.2
Controles remotos 2.1.1 Reprex 0.3.0 remodelar2 1.4.4
Rex 1.2.0 RJSON 0.2.20 rlang 0.4.7
rmarkdown 2.3 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.0 rstudioapi 0,11 rversões 2.0.2
Rvest 0.3.5 escalas 1.1.1 seletor 0.4-2
sessioninfo 1.1.1 forma 1.4.4 brilhante 1.5.0
ferramentas de origem 0.1.7 sparklyr 1.3.1 SparkR 3.0.0
espacial 7.3-11 splines 3.6.3 sqldf 0.4-11
QUADRADO 2020.3 estatísticas 3.6.3 stats4 3.6.3
stringi 1.4.6 stringr 1.4.0 sobrevivência 3.1-12
sys 3.3 tcltk 3.6.3 TeachingDemos 2.10
testeatat 2.3.2 tibble 3.0.3 tidyr 1.1.0
tidyselect 1.1.0 Tidyverse 1.3.0 timeDate 3043.102
Tinytex 0.24 ferramentas 3.6.3 usethis 1.6.1
UTF8 1.1.4 utilitários 3.6.3 uuid 0.1-4
VCTRS 0.3.1 viridisLite 0.3.0 whisker 0.4
withr 2.2.0 xfun 0,15 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.10.0
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben ZSTD-JNI 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.8.3
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics métricas-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pirolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.12.8
net.floco de neve faísca-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato de seta 0.15.1
org.apache.arrow seta-memória 0.15.1
org.apache.arrow vetor de seta 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-texto 1.6
org.apache.curator curador-cliente 2.7.1
org.apache.curator curador-framework 2.7.1
org.apache.curator curador-receitas 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive colmeia-comum 2.3.7
org.apache.hive colmeia-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-cliente 2.3.7
org.apache.hive colmeia-lamp-comum 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive Colmeia-Serde 2.3.7
org.apache.hive colmeias-calços 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims colmeia-calços-0,23 2.3.7
org.apache.hive.shims colmeia-calços-comum 2.3.7
org.apache.hive.shims colmeia-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 incubação
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy hera 2.4.0
org.apache.orc orc-núcleo 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc Orc-calços 1.5.10
org.apache.parquet parquet-column 1.10.1.2-DATABRICKS4
org.apache.parquet parquet-common 1.10.1.2-DATABRICKS4
org.apache.parquet parquet-encoding 1.10.1.2-DATABRICKS4
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.2-DATABRICKS4
org.apache.parquet parquet-jackson 1.10.1.2-DATABRICKS4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocidade 1.5
org.apache.xbean xbean-asm7-sombreado 4.15
org.apache.yetus anotações de audiência 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-continuation 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core servidor de jersey 2.30
org.glassfish.jersey.inject Jersey-HK2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.6.6
org.json4s JSON4S-core_2.12 3.6.6
org.json4s JSON4S-jackson_2,12 3.6.6
org.json4s JSON4S-scalap_2.12 3.6.6
org.lz4 LZ4-Java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap calços 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.10
org.scala-lang Escala-library_2.12 2.12.10
org.scala-lang Escala-reflect_2,12 2.12.10
org.scala-lang.modules scala-coleção-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp Brisa-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark não utilizado 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework teste de primavera 4.1.4.RELEASE
org.threeten trêsdez-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel gatos-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel torre-macros_2.12 0,17,0-m1
org.typelevel torre-platform_2.12 0,17,0-m1
org.typelevel torre-util_2.12 0,17,0-m1
org.typelevel spire_2.12 0,17,0-m1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52