Databricks Runtime 7.5 (Não suportado)

Databricks divulgou esta imagem em dezembro de 2020.

As seguintes notas de lançamento fornecem informações sobre databricks Runtime 7.5, alimentado por Apache Spark 3.0.

Novas funcionalidades

Características e melhorias do Lago Delta

Esta versão fornece as seguintes funcionalidades e melhorias do Delta Lake:

Verificação assíncronia elimina picos de duração do micro-lote

Delta Lake realiza postos de controlo a cada 10 comete por defeito. Nas cargas de trabalho de streaming, o checkpoint pode causar pequenos picos na duração do micro-lote a cada 10 comprometimentos. O controlo assíncronos elimina estes picos.

O controlo assíncronos é ativado por padrão para todas as cargas de trabalho de streaming não ativadas. Com o checkpoint assíncronos, os escritores de streaming também escrevem pontos de verificação melhorados para que não seja necessário optar explicitamente por pontos de verificação melhorados.

Para desativar o controlo assíncronos, desinsuse a configuração SQL spark.databricks.delta.checkpoint.async.enabled false .

As cargas de trabalho dos lotes continuam a escrever pontos de verificação sincronizados e recomendamos que não permita a verificação assíncronus para as cargas de trabalho dos lotes.

As últimas informações da tabela são agora propagadas aos catálogos

Delta Lake agora propaga as últimas informações de tabela, como schema e propriedades de mesa, para catálogos como a metásta de Hive, em uma melhor base de esforço. Estas informações podem ajudá-lo a aproveitar as ferramentas de catalogação para entender o esquema das suas tabelas Delta.

Delta Lake não depende internamente desta informação, mas tenta mantê-la atualizada. Além disso, a Delta Lake armazena propriedades de mesa delta.lastUpdateVersion e delta.lastCommitTimestamp para denotar a versão e o calendário do compromisso que, pela última vez, empurrou uma mudança para a meta-loja. A metástore só é atualizada quando o esquema da tabela ou as propriedades da tabela não correspondem. Portanto, as propriedades da tabela acima mencionadas não refletem necessariamente a versão mais recente da tabela.

Se as informações da sua tabela e as informações da metásta estão dessincronizadas, pode executar um comando como DESCRIBE <table> atualizar a meta-loja.

Nota

Como a Hive não permite as colunas de partição em mudança, mas as tabelas Delta podem mudar a sua partição, as tabelas Delta não aparecem como divisórias na Colmeia.

MERGE INTO operação agora suporta evolução de esquema de colunas aninhadas

A evolução do esquema das colunas aninhadas tem agora a mesma semântica que a das colunas de alto nível. Por exemplo, novas colunas aninhadas podem ser adicionadas automaticamente a uma StructType coluna. Consulte a evolução automática do esquema em Merge para obter mais detalhes.

MERGE INTO operação agora usa automaticamente Escritas Otimizadas

Otimizado Writes pode proporcionar um desempenho muito melhor para MERGE INTO fora da caixa, especialmente para MERGE INTO em mesas divididas. Para desativar as escritas otimizadas, desaperte a configuração spark spark.databricks.delta.optimizeWrite.enabled para false .

MERGE INTO e UPDATE as operações agora resolver colunas de estrutura aninhada pelo nome

As operações UPDATE e MERGE INTO comandos de atualização resolvem agora colunas de estrutura aninhadas pelo nome. Ou seja, ao comparar ou atribuir colunas de tipo StructType, a ordem das colunas aninhadas não importa (exatamente da mesma forma que a ordem das colunas de nível superior). Para voltar a resolver a posição, desaperte a configuração spark spark.databricks.delta.resolveMergeUpdateStructsByName.enabled para false .

CLONE é GA e você agora pode sobrepor propriedades de mesa

O CLONE comando está geralmente disponível. Ver CLONE (Delta Lake on Azure Databricks). Além disso, pode agora especificar sobreposições de propriedade de mesa ao utilizar CLONE . Por exemplo, consulte os casos de utilização do Clone.

RESTORE é GA

O RESTORE comando está geralmente disponível. Ver RESTORE (Delta Lake on Azure Databricks).

Scala implícitos simplificam leitura de Faísca e escrevem APIs

Pode importar io.delta.implicits._ para usar o método com a leitura de Spark e escrever delta APIs.

import io.delta.implicits._

spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")

Melhorar a produção de streaming com fetchParallelism a opção de conector

O conector AQS suporta agora uma nova opção fetchParallelism para especificar o paralelismo para recolher mensagens do serviço de fila.

Track stream progresso com novas métricas de Auto Loader

O Loader automático relata agora quantos ficheiros existem no atraso e quão grande é o atraso após cada lote. Pode usar estas métricas para acompanhar o progresso do fluxo. Para mais detalhes sobre como ver as métricas, consulte métricas.

Melhorias

Suporte mais amplo para bibliotecas com âmbito de cadernos e %pip %conda comandos mágicos

Agora pode instalar bibliotecas com mira de portátil utilizando %pip e %conda comandos mágicos em clusters de Alta Concurrency com ACLs de mesa ou passthrough credenciais ativadas.

Ecrã SQL de faísca DECIMAL precisa

O tipo de dados Spark SQL DECIMAL é agora apresentado em tabelas sem perda de precisão e escala.

Conector de armazenamento ADLS Gen 2 baseado no Hadoop 3.3 para ABFS

Uma versão atualizada do conector de armazenamento ADLS Gen 2 baseia-se no Hadoop 3.3 para a ABFS. O conector atualizado contém muitas melhorias de estabilidade (ver estabilidade Hadoop)e inclui suporte para a autenticação de ficha sas.

Outras correções

O conector Kafka de Databricks para o streaming de faíscas foi removido. Utilize o conector Apache Spark.

Atualizações da biblioteca

  • Bibliotecas python atualizadas:
    • Koalas atualizado de 1.3.0 para 1.4.0.
  • Atualizou várias bibliotecas R instaladas. Ver Bibliotecas R instaladas.
  • Construção OpenJDK 8 atualizada para Zulu 8.50.0.51-CA-linux64 (construção 1.8.0_275-b01).

Faísca Apache

Databricks Runtime 7.5 inclui Apache Spark 3.0.1. Esta versão inclui todas as correções e melhorias da Spark incluídas no Databricks Runtime 7.4 (Não suportado), bem como as seguintes correções adicionais de bugs e melhorias feitas à Spark:

  • [SPARK-33611] [UI] Evite codificar duas vezes o parâmetro de consulta do URL de procuração reescrito
  • [SPARK-33587] [CORE] Mate o executor em erros fatais aninhados (7.x)
  • [SPARK-33140] [SQL] Revert código que não usa sparkSession passado para obter SQLConf.
  • [SPARK-33472] [SQL] Ajustar a ordem de regras removeRedundantSorts
  • [SPARK-33422] [DOC] Fixe o ecrã correto do item do menu esquerdo
  • [SPARK-27421] [SQL] Filtro de fixação para coluna int e classe de valor java.lang.String ao podar coluna de partição
  • [SPARK-33483] [INFRA][TESTES] Corrigir padrões de exclusão de ratos e adicionar uma LICENÇA
  • [SPARK-33464] [INFRA] Adicionar/remover (não)cache necessário e reestruturar GitHub Actions yaml
  • [SPARK-33407] [PYTHON][7.X] Simplificar a mensagem de exceção dos UDFs python (desativado por padrão)
  • [SPARK-33435] [SQL] DSv2: REFRESH TABLE deve invalidar caches referentes à tabela
  • [SPARK-33358] [SQL] Código de retorno quando o processo de comando falhou
  • [SPARK-33183] [DBCONNECT] Adicione RemoveRedundantSorts.scala a ALLOW_LIST.txt
  • [SPARK-33290] [SQL] REFRESH TABLE deve invalidar cache, mesmo que a tabela em si possa não estar em cache
  • [SPARK-33140] [SQL] Fix compila delta compila
  • [SPARK-33316] [SQL] Adicionar testes de unidade para from_avro e to_avro com registo de Schema e utilizador fornecido esquema avro nulo
  • [SPARK-33404] [SQL] Corrigir resultados incorretos na date_trunc expressão
  • [SPARK-33339] [PYTHON] Pyspark application será pendurada devido a erro de não exceção
  • [SPARK-33412] [SQL] OverwriteByExpression deve resolver a sua condição de eliminação com base na relação de tabela e não na consulta de entrada
  • [SPARK-33391] [SQL] element_at com a CreateArray não respeitar um índice baseado.
  • [SPARK-33316] [SQL] O utilizador de suporte forneceu esquema avro nupável para esquema de catalisador não anulado na escrita da Avro
  • [SPARK-33372] [SQL] Fix InSet poda de balde
  • [SPARK-33371] [PYTHON] Update setup.py e testes para Python 3.9
  • [SPARK-33140] [SQL] remove SQLConf e SparkSession em toda a subclasse da Regra[QueryPlan]
  • [SPARK-33338] [SQL] GRUPO USANDO mapa literal não deve falhar
  • [SPARK-33306] [SQL]Timezone é necessário quando a data do elenco para a cadeia
  • [SPARK-33284] [WEB-UI] Na página de UI de armazenamento, clicar em qualquer campo para classificar a tabela fará com que o conteúdo do cabeçalho seja perdido
  • [SPARK-33362] [SQL] skipSchemaResolution deve ainda exigir que a consulta seja resolvida
  • [SPARK-32257] [SQL] Reporta erros explícitos para utilização inválida do comando SET/RESET
  • [SPARK-32406] [SQL] Faça reset de configuração única de suporte à sintaxe reset
  • [SPARK-32376] [SQL] Faça com que o unionByName nulo o comportamento de enchimento nulo trabalhe com colunas de estrutura
  • [SPARK-32308] [SQL] Move by name resolution logic of unionByName from API code to analysis phase
  • [SPARK-20044] [UI] Support Spark UI atrás de front-end reverse proxy usando um prefixo de caminho Revert proxy url
  • [SPARK-33268] [SQL][PYTHON] Fix bugs para casting de/para PythonUserDefinedType
  • [SPARK-33292] [SQL] Tornar literal ArrayBasedMapData representação de cordas disambiguous
  • [SPARK-33183] [SQL] Fix Optimizer regra EliminaSorts e adicionar uma regra física para remover tipos redundantes
  • [SPARK-33272] [SQL] poda os atributos mapeamento em QueryPlan.transformUpWithNewOutput
  • [SPARK-32090] [SQL] Melhorar o UserDefinedType.equal() para torná-lo simétrico
  • [SPARK-33267] [SQL] Fix NPE emissão no filtro 'In' quando um dos valores contém nulo
  • [SPARK-33208] [SQL] Atualizar o documento da SparkSession#sql
  • [SPARK-33260] [SQL] Corrigir resultados incorretos do SortExec quando ordenar o Stream
  • [SPARK-33230] [SQL] Hadoop compromete-se a obter identificação de emprego único em "spark.sql.sources.writeJobUUID"
  • [SPARK-33197] [SQL] Fazer alterações na spark.sql.analyzer.maxIterations fazem efeito no tempo de funcionamento
  • [SPARK-33228] [SQL] Não desaperte os dados ao substituir uma vista com o mesmo plano lógico
  • [SPARK-32557] [CORE] Registação e deglutição da exceção por entrada no servidor History
  • [SPARK-32436] [CORE] Inicialize umNonEmptyBlocks em AltaCompressedMapStatus.readExternal
  • [SPARK-33131] [SQL] Fix conjuntos de agrupamento com cláusula não pode resolver nome de col qualificado
  • [SPARK-32761] [SQL] Permitir agregar múltiplas expressões distintivos dobráveis
  • [SPARK-33094] [SQL] Faça o formato ORC propagar Hadoop config das opções de DS para o sistema de ficheiros HDFS subjacente

Atualizações de manutenção

Consulte as atualizações de manutenção do Databricks Runtime 7.5.

Ambiente do sistema

  • Sistema Operativo: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (construção 1.8.0_275-b01)
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: Versão R 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

Bibliotecas python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certificado 2020.6.20 cffi 1.14.0
cari de contradeta 3.0.4 criptografia 2,8 ciclor 0.10.0
Rio Cython 0.29.15 decorador 4.4.1 docutils 0.15.2
pontos de entrada 0.3 idna 2,8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.17.2
jmespath 0.10.0 joblib 0.14.1 jupyter-cliente 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 koalas 1.4.0
matplotlib 3.1.3 numpy 1.18.1 pandas 1.0.1
parso 0.7.0 Patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 pip 20.0.2 kit de ferramentas de pronta 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 1.0.1
pycparser 2.19 Pigmeus 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 pedidos 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 nascidos no mar 0.10.0
armações de configuração 45.2.0 Seis 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 traços 4.3.3
atualizações sem supervisão 0.1 urllib3 1.25.8 virtualenv 16.7.10
wcwidth 0.1.8 roda 0.34.2

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo microsoft CRAN em 2020-11-02.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
askpass 1.1 assertthat 0.2.1 backports 1.1.10
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-25 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 acento circunflexo 6.0-86
cellranger 1.1.0 chron 2.3-56 classe 7.3-17
cli 2.1.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 colorspace 1.4-1 commonmark 1.7
compiler 3.6.3 config 0.3 covr 3.5.1
cpp11 0.2.3 crayon 1.3.4 crosstalk 1.1.0.1
curl 4.3 data.table 1.13.2 conjuntos de dados 3.6.3
DBI 1.1.0 dbplyr 1.4.4 desc 1.2.0
devtools 2.3.2 diffobj 0.3.2 digest 0.6.27
dplyr 0.8.5 DT 0.16 ellipsis 0.3.1
evaluate 0.14 fansi 0.4.1 farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.1
foreign 0.8-76 forjar 0.2.0 fs 1.5.0
genéricos 0.1.0 ggplot2 3.3.2 gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 globais 0.13.1
glue 1.4.2 gower 0.2.2 gráficos 3.6.3
grDevices 3.6.3 grid 3.6.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.2 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.2 iterators 1.0.13
jsonlite 1.7.1 KernSmooth 2.23-18 knitr 1.30
labeling 0.4.2 mais tarde 1.1.0.1 lattice 0.20-41
lava 1.6.8 lazyeval 0.2.2 ciclo de vida 0.2.0
lubridate 1.7.9 magrittr 1.5 markdown 1.1
MASS 7.3-53 Matriz 1.2-18 memoise 1.1.0
methods 3.6.3 mgcv 1.8-33 mime 0,9
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-150 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.3 parallel 3.6.3 pillar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkg carga 1.1.0
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.16.2 processx 3.4.4
prodlim 2019.11.13 progress 1.2.2 promessas 1.1.1
proto 1.0.0 ps 1.4.0 purrr 0.3.4
r2d3 0.2.3 R6 2.5.0 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 readr 1.4.0 readxl 1.3.1
recipes 0.1.14 rematch 1.0.1 desforra2 2.1.2
remotos 2.2.0 reprex 0.3.0 reshape2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.8
rmarkdown 2.5 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rio Rserve 1.8-7
RSQLite 2.2.1 rstudioapi 0.11 rversões 2.0.2
rvest 0.3.6 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.4 shiny 1.5.0
sourcetools 0.1.7 sparklyr 1.4.0 SparkR 3.0.0
spatial 7.3-11 splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.5 stats 3.6.3 stats4 3.6.3
stringi 1.5.3 stringr 1.4.0 survival 3.2-7
sys 3.4 tcltk 3.6.3 TeachingDemos 2,10
testthat 3.0.0 tibble 3.0.4 tidyr 1.1.2
tidyselect 1.1.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0.27 tools 3.6.3 usar este 1.6.3
utf8 1.1.4 utils 3.6.3 uuid 0.1-4
vctrs 0.3.4 viridisLite 0.3.0 waldo 0.2.2
whisker 0,4 withr 2.3.0 xfun 0.19
xml2 1.3.2 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1

Bibliotecas instaladas java e scala (versão de cluster Scala 2.12)

ID do Grupo ID de artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-cliente 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-diretório 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glaciar 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-bibliotecas 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics transmissão 2.9.6
com.databricks Rio Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esoftware kryo-sombreado 4.0.2
com.esoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-módulo-paranamer 2.10.0
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.10.0
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-nativos 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-nativos 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3,1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava goiaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger perfis 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lago-store-sdk 2.3.8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2,8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter app_2.12 7.1.0
com.twitter core_2.12 7.1.0
com.twitter function_2.12 7.1.0
com.twitter jvm_2.12 7.1.0
com.twitter lint_2.12 7.1.0
com.twitter registry_2.12 7.1.0
com.twitter stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
comuns-beanutils comuns-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
comuns-coleções comuns-coleções 3.2.2
configuração dos comuns configuração dos comuns 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
comuns-httpclient comuns-httpclient 3,1
commons-io commons-io 2,4
commons-lang commons-lang 2,6
registo de comuns registo de comuns 1.1.3
commons-net commons-net 3,1
comuns-pool comuns-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,10
io.dropwizard.metrics métricas-núcleo 4.1.1
io.dropwizard.metrics métricas-grafite 4.1.1
io.dropwizard.metrics verificações métricas-saúde 4.1.1
io.dropwizard.metrics métricas-jetty9 4.1.1
io.dropwizard.metrics métricas-jmx 4.1.1
io.dropwizard.metrics métricas-json 4.1.1
io.dropwizard.metrics métricas-jvm 4.1.1
io.dropwizard.metrics métricas-servidões 4.1.1
io.netty netty-all 4.1.47.Final
io.prometheus simplescliente 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx colecionador 0.12.0
jakarta.anotação jakarta.annotation-api 1.3.5
jakarta.validação jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.ativação ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transação jta 1.1
javax.transação transação-api 1.1
javax.xml.ligar jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolução javolução 5.5.1
jline jline 2.14.6
joda-tempo joda-tempo 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pirolito 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake floco de neve-ingest-sdk 0.9.6
net.snowflake floco de neve-jdbc 3.12.8
net.snowflake snowflake_2 faísca.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.formiga formiga 1.9.2
org.apache.formiga ant-jsch 1.9.2
org.apache.formiga lança-formigas 1.9.2
org.apache.seta seta-formato 0.15.1
org.apache.seta seta-memória 0.15.1
org.apache.seta seta-vetor 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons comuns-compress 1.8.1
org.apache.commons comuns-cripto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons comuns-texto 1.6
org.apache.curator curador-cliente 2.7.1
org.apache.curator curador-quadro 2.7.1
org.apache.curator curador-receitas 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.direy.api api-asn1-api 1.0.0-M20
org.apache.direy.api api-util 1.0.0-M20
org.apache.directy.server apacheds-i18n 2.0.0-M15
org.apache.directy.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-anotações 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-cliente 2.7.4
org.apache.hadoop hadoop-comum 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-cliente-app 2.7.4
org.apache.hadoop hadoop-mapreduce-cliente-comum 2.7.4
org.apache.hadoop hadoop-mapreduce-cliente-core 2.7.4
org.apache.hadoop hadoop-mapreduce-cliente-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-cliente-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-cliente 2.7.4
org.apache.hadoop hadoop-yarn-comum 2.7.4
org.apache.hadoop hadoop-yarn-servidor-comum 2.7.4
org.apache.hive colmeia-beeline 2.3.7
org.apache.hive colmeia-cli 2.3.7
org.apache.hive colmeia-comum 2.3.7
org.apache.hive colmeia-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-cliente 2.3.7
org.apache.hive colmeia-llap-comum 2.3.7
org.apache.hive colmeia-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive colmeia-shims 2.3.7
org.apache.hive colmeia-armazenamento-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims colmeia-shims-0.23 2.3.7
org.apache.hive.shims colmeia-shims-comum 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 incubação
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy hera 2.4.0
org.apache.mesos mesos-sombreado-protobuf 1.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-coluna 1.10.1-databricks6
org.apache.parquet parquet-comum 1.10.1-databricks6
org.apache.parquet parquet-codificação 1.10.1-databricks6
org.apache.parquet parquet-formato 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocidade velocidade 1.5
org.apache.xbean xbean-asm7-sombreado 4.15
org.apache.yetus anotações de público 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino compilador de comuns 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-cliente 9.4.18.v20190429
org.eclipse.jetty molhe-continuação 9.4.18.v20190429
org.eclipse.jetty cais-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jett--se 9.4.18.v20190429
org.eclipse.jetty molhe-segurança 9.4.18.v20190429
org.eclipse.jetty jetty-servidor 9.4.18.v20190429
org.eclipse.jetty jett--- 9.4.18.v20190429
org.eclipse.jetty jett---- 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni niveladobjni-todos 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-localizador 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-localização de recursos 1.0.3
org.glassfish.hk2.external aopalliance-reembalado 2.6.1
org.glassfish.hk2.external jakarta.injetar 2.6.1
org.glassfish.jersey.containers jersey-contentor-servlet 2.30
org.glassfish.jersey.containers jersey-contentor-servlet-core 2.30
org.glassfish.jersey.core jersey-cliente 2.30
org.glassfish.jersey.core jersey-comum 2.30
org.glassfish.jersey.core jersey-servidor 2.30
org.glassfish.jersey.injetar jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validor hibernante-validador 6.1.0.Final
org.javassista javassista 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convertido 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 Lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-cliente 2.1.2
org.objenesis objenese 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap calços 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine Rio REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
módulos org.scala-lang scala-coleção-compat_2.12 2.1.1
módulos org.scala-lang scala-parser-combinators_2.12 1.1.2
módulos org.scala-lang scala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp brisa-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark não éused 1.0.0
org.springframework mola-núcleo 4.1.4.RELEASE
org.springframework teste de primavera 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel gatos-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenco xmlenco 0.52