Tempo de execução do Databricks 9.1 LTS

  • Artigo

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 9.1 LTS e o Databricks Runtime 9.1 LTS Photon, com tecnologia Apache Spark 3.1.2. A Databricks divulgou essas imagens em setembro de 2021. Photon está em Visualização Pública.

Nota

LTS significa que esta versão está sob suporte a longo prazo. Consulte Ciclo de vida da versão do Databricks Runtime LTS.

Novos recursos e melhorias

As dicas de esquema do Auto Loader agora funcionam com tipos de matriz e mapa

Os tipos de matriz e mapa são suportados em Substituir inferência de esquema com dicas de esquema para o Auto Loader.

Exemplos de dicas de esquema para matrizes incluem:

  1. arr Array<TYPE> Altera o tipo de matriz.
  2. arr.element TYPE Altera o tipo de matriz (usando a element palavra-chave).
  3. arr.element.x TYPE Altera um tipo de campo aninhado em uma matriz de estruturas.

Os dois primeiros exemplos são dicas para alterar o tipo de matriz arr para TYPE, mas usam sintaxe diferente. No terceiro exemplo, arr é uma matriz de estruturas com um campo x. Este exemplo mostra como alterar o tipo de x para TYPE.

Exemplos de dicas de esquema para mapas incluem:

  1. m Map<KEY-TYPE, VALUE-TYPE> altera a chave do mapa e os tipos de valor.
  2. m.key TYPE Altera o tipo de chaves de mapa.
  3. m.value TYPE Altera o tipo de valores de mapa.
  4. m.key.x TYPE Altera o tipo de campo em uma chave de mapa.
  5. m.value.x TYPE Altera o tipo de campo de um valor de mapa.

O primeiro exemplo altera os tipos de chave e valor do mapa m para KEY_TYPE e VALUE_TYPE respectivamente. O segundo e terceiro exemplos podem ser usados se apenas o tipo de chave ou apenas o tipo de valor precisar ser alterado. No quarto e quinto exemplos, m é um mapa com chave e valor de tipos de estrutura com um campo x. Este exemplo mostra como alterar o tipo de x para TYPE.

Suporte de arquivo Avro para esquema de mesclagem

O formato de arquivo Avro agora suporta a mergeSchema opção ao ler arquivos. A configuração mergeSchema como true ao ler arquivos Avro inferirá um esquema de um conjunto de arquivos Avro em vez de um único arquivo. Isso melhora a usabilidade inferindo um esquema que pode ser capaz de ler todos os arquivos, mesmo que seus esquemas individuais sejam diferentes. Consulte Configuração.

Suporte de listagem incremental do carregador automático (Visualização pública)

No caso de arquivos gerados lexicograficamente, O que é Auto Loader? agora aproveita a ordenação de arquivos lexical e APIs otimizadas existentes para tornar a listagem de diretórios mais eficiente, listando arquivos ingeridos anteriormente em vez de listar o diretório inteiro. O Auto Loader deteta automaticamente se um determinado diretório é adequado para listagem incremental por padrão. Para controlar esse comportamento explicitamente, defina a nova cloudFiles.useIncrementalListing opção como ativada (), desativada () ou automática (falsetrueauto). Se você definir esse comportamento como true, também poderá definir a cloudFiles.backfillInterval opção para agendar preenchimentos regulares sobre seus dados, para garantir que todos os seus dados sejam completamente ingeridos.

Delta agora suporta substituição arbitráriaOnde

Em combinação com o modo de substituição, a replaceWhere opção pode ser usada para substituir simultaneamente dados que correspondam a um predicado definido na opção. Anteriormente, suportava um predicado apenas sobre colunas de partição, replaceWhere mas agora pode ser uma expressão arbitrária. Consulte Gravar em uma tabela.

O Auto Loader para Google Cloud agora suporta notificações de arquivos (Visualização pública)

O Auto Loader agora suporta o modo de notificação de arquivos no Google Cloud. Definido .option("cloudFiles.useNotifications", "true") para permitir que o Auto Loader configure automaticamente os recursos do Google Cloud Pub/Sub para você. Com o modo de notificação de arquivos, novos arquivos são detetados e ingeridos à medida que chegam sem listar o diretório de entrada. Consulte O que é o modo de notificação de ficheiros do Auto Loader?.

CREATE FUNCTION agora suporta a criação de funções de tabela

Além de criar uma função escalar que retorna um valor escalar, agora você pode criar uma função de tabela que retorna um conjunto de linhas. Consulte CREATE FUNCTION (SQL e Python).

Kafka Streaming Source agora relata estimatedTotalBytesBehindLatest métrica

A fonte de streaming Kafka agora relata uma estimativa de quantos bytes o consumidor está por trás do último byte disponível após cada lote. Você pode usar essa métrica para acompanhar o progresso do fluxo. Consulte Recuperar métricas de Kafka.

Exemplo de saída métrica:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

Para structs dentro de arrays, Delta MERGE INTO agora resolve campos struct por nome e evolui esquemas struct

O Delta MERGE INTO agora suporta resolução de campos struct por nome e evolução automática de esquema para arrays de structs. Quando a evolução automática do esquema é habilitada definindo spark.databricks.delta.schema.autoMerge.enabled como true, e as cláusulas resolverão campos struct dentro de uma matriz pelo nome, UPDATE convertendo para o tipo de dados correspondente definido na matriz de destino e INSERT preenchendo campos adicionais ou ausentes na origem ou destino com valores nulos. Quando a evolução automática do esquema é desativada, as INSERT cláusulas resolverão campos struct dentro de uma matriz pelo nome, UPDATE mas não poderão evoluir os campos adicionais. Consulte Evolução automática do esquema para matrizes de estruturas.

Correções de erros

  • Corrigido um vazamento de memória no conector do Amazon S3 que poderia ocorrer em trabalhos ou serviços de longa execução, causado pela funcionalidade da JVM DeleteOnExit .

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • plotly de 4.14.3 a 5.1.0
  • Bibliotecas R atualizadas:
    • base de 4.1.0 a 4.1.1
    • bslib de 0.2.5.1 a 0.3.0
    • cachem de 1.0.5 a 1.0.6
    • compilador de 4.1.0 a 4.1.1
    • conjuntos de dados de 4.1.0 a 4.1.1
    • futuro de 1.21.0 a 1.22.1
    • Gert de 1.3.1 a 1.3.2
    • Gráficos de 4.1.0 a 4.1.1
    • grDevices de 4.1.0 a 4.1.1
    • grelha de 4.1.0 a 4.1.1
  • Bibliotecas Java atualizadas:
    • org.eclipse.jetty de 9.4.36.v20210114 a 9.4.42.v20210604

Faísca Apache

O Databricks Runtime 9.1 LTS inclui o Apache Spark 3.1.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 9.0 (sem suporte), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [FAÍSCA-36674][SQL] [ESCOLHA SELETIVA] Suporte ILIKE - insensível a maiúsculas e minúsculas LIKE
  • [FAÍSCA-36353][SQL] [3.1] RemoveNoopOperators deve manter o esquema de saída
  • [FAÍSCA-35876][SQL] [3.1] ArraysZip deve manter nomes de campo para evitar ser reescrito pelo analisador/otimizador
  • [FAÍSCA-36398][SQL] Redigir informações confidenciais no log do Spark Thrift Server
  • [FAÍSCA-36498][SQL] Reordenar campos internos da consulta de entrada em byName V2 write
  • [FAÍSCA-36614][CORE] [UI] Corrigir o motivo da perda do executor causado pela desativação na interface do usuário
  • [FAÍSCA-36012][SQL] Adicionar sinalizador nulo em SHOW CREATE TABLE
  • [FAÍSCA-36509][CORE] Corrija o problema de que os executores nunca são reagendados se o trabalhador parar com cluster autônomo
  • [FAÍSCA-36603][CORE] Use WeakReference e não SoftReference no LevelDB
  • [FAÍSCA-36564][CORE] Corrigir NullPointerException em LiveRDDDistribution.toApi
  • [FAÍSCA-36086][SQL] [3.1] O alias de substituição do projeto CollapseProject deve usar o nome da coluna de origem
  • [FAÍSCA-33527][SQL] Estenda a função de decodificação de modo consistente com os bancos de dados principais
  • [FAÍSCA-36400][FAÍSCA-36398][SQL] [WEBUI] Faça o ThriftServer reconhecer spark.sql.redaction.string.regex
  • [FAÍSCA-34054][CORE] Limpeza de código BlockManagerDecommissioner
  • [FAÍSCA-36500][CORE] Corrigir temp_shuffle vazamento de arquivo quando uma tarefa é interrompida
  • [FAÍSCA-36489][SQL] Agregar funções sem chaves de agrupamento, em tabelas com um único bucket, retornar várias linhas
  • [FAÍSCA-36464][CORE] Corrigir a inicialização da variável de tamanho subjacente em ChunkedByteBufferOutputStream para gravar mais de 2 GB de dados
  • [FAÍSCA-36339][SQL] [3.0] As referências a agrupamentos que não fazem parte da agregação devem ser substituídas
  • [FAÍSCA-36354][CORE] EventLogFileReader deve ignorar diretórios de log de eventos sem logs
  • [FAÍSCA-36242][CORE] [3.1] Certifique-se de que o ficheiro de derrame foi fechado antes do êxito definido = true no método ExternalSorter.spillMemoryIteratorToDisk
  • [FAÍSCA-36211][PYTHON] Digitação correta do valor de udf retorno
  • [FAÍSCA-34222][SQL] Melhorar a regra de simplificação booleana
  • [FAÍSCA-35027][CORE] Feche o inputStream no FileAppender quando writin...
  • [FAÍSCA-36269][SQL] Corrigir apenas definir colunas de dados para a configuração de nomes de colunas do Hive
  • [FAÍSCA-36213][SQL] Normalize PartitionSpec para descrever o comando Table com PartitionSpec
  • [FAÍSCA-36210][SQL] Preservar a ordem de inserção da coluna em Dataset.withColumns
  • [FAÍSCA-36079][SQL] A estimativa de filtro baseada em nulo deve estar sempre no intervalo [0, 1]
  • [FAÍSCA-28266][SQL] convertToLogicalRelation não deve interpretar path a propriedade ao ler tabelas Hive

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 9.1 LTS.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Escala: 2.12.10
  • Píton: 3.8.10
  • R: 4.1.1
  • Lago Delta: 1.0.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Antergos Linux 2015.10 (Laminação ISO) Appdirs 1.4.4 Backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cycler 0.10.0 Quisto 0.29.23
dbus-python 1.2.16 decorador 5.0.6 Distlib 0.3.2
distro-info 0,23ubuntu1 facetas-visão geral 1.0.0 filelock 3.0.12
idna 2.10 Ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
Joblib 1.0.1 jupyter-cliente 6.1.12 Jupyter-core 4.7.1
Kiwisolver 1.3.1 coalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 Parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Travesseiro 8.2.0 pip 21.0.1 enredo 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 Pyzmq 20.0.0
pedidos 2.25.1 pedidos-unixsocket 0.2.0 s3transferir 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
setuptools 52.0.0 seis 1.15.0 ssh-import-id 5.10
statsmodels 0.12.2 tenacidade 8.0.1 ThreadPoolCtl 2.1.0
tornado 6.1 traços 5.0.5 Upgrades autônomos 0.1
urllib3 1.25.11 virtualenv 20.4.1 largura de wc 0.2.5
roda 0.36.2

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2021-09-08.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AskPass 1.1 asserçãoat 0.2.1 backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 arranque 1.3-28
brew 1.0-6 Brio 1.1.2 vassoura 0.7.9
BSLIB 0.3.0 cachem 1.0.6 Chamador 3.7.0
acento circunflexo 6.0-88 Cellranger 1.1.0 crono 2.3-56
classe 7.3-19 cli 3.0.1 Clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 espaço em cores 2.0-2
marca comum 1.7 compilador 4.1.1 configuração 0.3.1
CPP11 0.3.1 lápis de cor 1.4.1 credenciais 1.3.1
curl 4.3.2 data.table 1.14.0 conjuntos de dados 4.1.1
DBI 1.1.1 DBPlyr 2.1.1 desc 1.3.0
devtools 2.4.2 diffobj 0.3.4 resumo 0.6.27
dplyr 1.0.7 DTPlyr 1.1.0 ellipsis 0.3.2
evaluate 0.14 Fãsi 0.5.0 Farver 2.1.0
mapa rápido 1.1.0 FORCATS 0.5.1 foreach 1.5.1
externa 0.8-81 forjar 0.2.0 FS 1.5.0
Futuro 1.22.1 future.apply 1.8.1 gargarejo 1.2.0
Genéricos 0.1.0 Gert 1.3.2 ggplot2 3.3.5
GH 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
Globais 0.14.0 colar 1.4.2 GoogleDrive 2.0.0
googlesheets4 1.0.0 gower 0.2.2 gráficos 4.1.1
grDevices 4.1.1 grelha 4.1.1 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 Refúgio 2.4.3
mais alto 0,9 HMS 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.3 httpuv 1.6.2 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 IDs 1.0.1
ini 0.3.1 ipred 0.9-11 Isoband 0.2.5
iteradores 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 Knitr 1.33 etiquetagem 0.4.2
mais tarde 1.3.0 lattice 0.20-44 lava 1.6.10
ciclo de vida 1.0.0 ouvirv 0.8.0 lubridate 1.7.10
magrittr 2.0.1 Marcação 1.1 MASSA 7.3-54
Matriz 1.3-4 memoise 2.0.0 métodos 4.1.1
mgcv 1.8-36 mime 0,11 ModelMetrics 1.2.2.2
Modelador 0.1.8 munsell 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016.8-1.1 openssl 1.4.5
paralelo 4.1.1 Paralelamente 1.27.0 pilar 1.6.2
pkgbuild 1.2.0 pkgconfig 2.0.3 pkgload 1.2.1
plogr 0.2.0 plyr 1.8.6 elogiar 1.0.0
unidades bonitas 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 Progresso 1.2.2 progressor 0.8.0
promessas 1.2.0.1 proto 1.0.0 PS 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 Leitor 2.0.1
ReadXL 1.3.1 receitas 0.1.16 revanche 1.0.1
revanche2 2.1.2 Controles remotos 2.4.0 Reprex 2.0.1
remodelar2 1.4.4 rlang 0.4.11 rmarkdown 2.10
RODBC 1.3-18 roxygen2 7.1.1 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversões 2.1.1 Rvest 1.0.1
Sass 0.4.0 escalas 1.1.1 seletor 0.4-2
sessioninfo 1.1.1 forma 1.4.6 brilhante 1.6.0
ferramentas de origem 0.1.7 sparklyr 1.7.1 SparkR 3.1.1
espacial 7.3-11 splines 4.1.1 sqldf 0.4-11
QUADRADO 2021.1 estatísticas 4.1.1 stats4 4.1.1
stringi 1.7.4 stringr 1.4.0 sobrevivência 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2.10
testeatat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 Tidyverse 1.3.1 timeDate 3043.102
Tinytex 0.33 ferramentas 4.1.1 TZDB 0.1.2
usethis 2.0.1 UTF8 1.2.2 utilitários 4.1.1
uuid 0.1-4 VCTRS 0.3.8 viridisLite 0.4.0
vroom 1.5.4 Waldo 0.3.0 whisker 0.4
withr 2.4.2 xfun 0.25 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.10.0
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben ZSTD-JNI 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
colmeia-2.3__hadoop-2,7 JETS3T-0,7 liball_deps_2.12
colmeia-2.3__hadoop-2,7 Zookeeper-3,4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.10
IO.Delta delta-compartilhamento-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics métricas-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-árvores colmeia-2.3__hadoop-2,7 liball_deps_2.12
net.java.dev.jna JNA 5.8.0
net.razorvine pirolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.13.3
net.floco de neve faísca-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato de seta 2.0.0
org.apache.arrow seta-memória-núcleo 2.0.0
org.apache.arrow seta-memória-netty 2.0.0
org.apache.arrow vetor de seta 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-texto 1.6
org.apache.curator curador-cliente 2.7.1
org.apache.curator curador-framework 2.7.1
org.apache.curator curador-receitas 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-cliente 2.3.7
org.apache.hive colmeia-lamp-comum 2.3.7
org.apache.hive Colmeia-Serde 2.3.7
org.apache.hive colmeias-calços 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims colmeia-calços-0,23 2.3.7
org.apache.hive.shims colmeia-calços-comum 2.3.7
org.apache.hive.shims colmeia-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 incubação
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy hera 2.4.0
org.apache.mesos mesos-sombreado-protobuf 1.4.0
org.apache.orc orc-núcleo 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc Orc-calços 1.5.12
org.apache.parquet parquet-column 1.10.1-DATABRICKS9
org.apache.parquet parquet-common 1.10.1-DATABRICKS9
org.apache.parquet parquet-encoding 1.10.1-DATABRICKS9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-DATABRICKS9
org.apache.parquet parquet-jackson 1.10.1-DATABRICKS9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-sombreado 4.15
org.apache.yetus anotações de audiência 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.42.v20210604
org.eclipse.jetty jetty-continuation 9.4.42.v20210604
org.eclipse.jetty jetty-http 9.4.42.v20210604
org.eclipse.jetty jetty-io 9.4.42.v20210604
org.eclipse.jetty jetty-jndi 9.4.42.v20210604
org.eclipse.jetty jetty-plus 9.4.42.v20210604
org.eclipse.jetty jetty-proxy 9.4.42.v20210604
org.eclipse.jetty jetty-security 9.4.42.v20210604
org.eclipse.jetty jetty-server 9.4.42.v20210604
org.eclipse.jetty jetty-servlet 9.4.42.v20210604
org.eclipse.jetty jetty-servlets 9.4.42.v20210604
org.eclipse.jetty jetty-util 9.4.42.v20210604
org.eclipse.jetty cais-util-ajax 9.4.42.v20210604
org.eclipse.jetty jetty-webapp 9.4.42.v20210604
org.eclipse.jetty jetty-xml 9.4.42.v20210604
org.eclipse.jetty.websocket API WebSocket 9.4.42.v20210604
org.eclipse.jetty.websocket Websocket-cliente 9.4.42.v20210604
org.eclipse.jetty.websocket Websocket-Comum 9.4.42.v20210604
org.eclipse.jetty.websocket servidor websocket 9.4.42.v20210604
org.eclipse.jetty.websocket Websocket-servlet 9.4.42.v20210604
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core servidor de jersey 2.30
org.glassfish.jersey.inject Jersey-HK2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M5
org.json4s JSON4S-core_2.12 3.7.0-M5
org.json4s JSON4S-jackson_2,12 3.7.0-M5
org.json4s JSON4S-scalap_2.12 3.7.0-M5
org.lz4 LZ4-Java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap calços 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.10
org.scala-lang Escala-library_2.12 2.12.10
org.scala-lang Escala-reflect_2,12 2.12.10
org.scala-lang.modules scala-coleção-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp Brisa-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark não utilizado 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework teste de primavera 4.1.4.RELEASE
org.threeten trêsdez-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel gatos-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel torre-macros_2.12 0,17,0-m1
org.typelevel torre-platform_2.12 0,17,0-m1
org.typelevel torre-util_2.12 0,17,0-m1
org.typelevel spire_2.12 0,17,0-m1
org.wildfly.openssl mosca-selvagem-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52