Databricks Runtime 4.3 (sem suporte)

  • Artigo

A Databricks divulgou esta imagem em agosto de 2018.

Importante

Esta versão foi preterida em 9 de abril de 2019. Para obter mais informações sobre a política e o cronograma de substituição do Databricks Runtime, consulte Ciclos de vida de suporte ao tempo de execução do Databricks.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 4.3, desenvolvido pelo Apache Spark.

Novas funcionalidades

  • Lago Delta
    • TRUNCATE TABLE command: exclua todas as linhas de uma tabela. Ao contrário de sua contraparte para tabelas Spark, as tabelas Delta não suportam a exclusão de partições específicas.
    • ALTER TABLE REPLACE COLUMNS command: Substitua colunas em uma tabela Delta. Ele suporta alterar o comentário de uma coluna e reordenar várias colunas.
    • FSCK REPAIR TABLE comando: remova as entradas de arquivo do log de transações de uma tabela Delta que não pode mais ser encontrada no sistema de arquivos subjacente. Isso pode acontecer quando esses arquivos foram excluídos manualmente.
    • Suporte para consultas em tabelas Delta obsoletas para melhorar a experiência de consulta interativa: as consultas em tabelas Delta agora podem ser executadas em uma versão obsoleta da tabela quando resultados atualizados não são necessários. Esse recurso reduz a latência das consultas, especialmente quando as tabelas Delta subjacentes são atualizadas continuamente por meio de fluxos.
  • Streaming estruturado
    • Suporte de gravação de streaming escalável para o Azure Synapse Analytics Connector.
    • Suporte para foreachBatch() em Python (já disponível em Scala). Consulte a documentação foreach e foreachBatch para obter mais detalhes.
    • Suporte para escolher a marca d'água min ou max quando há vários fluxos de entrada em uma consulta. Anteriormente, o carimbo de data/hora mínimo era sempre usado. Consulte a política de várias marcas d'água para obter mais detalhes.
    • Suporte para o LIMIT operador para fluxos em Append e Complete modos de saída. Para minimizar erros OOM no driver, LIMIT é aplicado automaticamente quando você usa display() em fluxos não limitados.

Melhorias

  • Delta Lake

    • Visualização privada da nova implementação escalável do comando que não tem o limite de inserção de MERGE INTO 10000 linhas. Entre em contato com o suporte se quiser experimentar isso.
    • Melhor desempenho e escalabilidade do OPTIMIZE comando, especialmente em clusters maiores.
    • O comando OTIMIZE agora se compromete com a tabela incrementalmente, o que significa que, se o comando falhar, uma nova tentativa não precisará processar todo o conjunto de dados.
    • Reduziu o número de RPCs do sistema de arquivos necessárias para descobrir novos dados ao usar o Delta Lake como fonte de streaming.
    • Adicionado suporte para em Python para df.writeStream.table(table-name) criar uma tabela Delta a partir de um fluxo.

  • Desempenho melhorado para consultas com várias junções, agregações ou janelas.

  • Melhor eficiência na eliminação ao nível da partição em consultas com associações hash de difusão.

  • Melhorias na geração de código de estágio inteiro para detetar expressões duplicadas, reduzir a quantidade de código gerado e melhorar o desempenho para determinados tipos de expressão.

  • Clusters de alta simultaneidade agora suportam a execução %fs em blocos de anotações.

  • Py4J atualizado usado pelo PySpark para 0.10.7.

  • Melhor desempenho do cache de disco em instâncias da série Ls do Azure. O cache agora está habilitado por padrão nessas instâncias, acelerando cargas de trabalho que lêem repetidamente arquivos do Parquet.

Recursos preteridos

  • Data Skipping fora do Databricks Delta foi preterido. Uma versão aprimorada de pulo de dados continuará disponível como parte do Delta Lake. Recomendamos que você mude para usar o Delta Lake para continuar a aproveitar esse recurso. Consulte Databricks Delta Data Skipping para obter detalhes.

Correções de erros

  • Corrigida instrução pushdown MERGE INTO de predicado incorreta para Delta quando a condição ON tinha predicados que faziam referência apenas à tabela de destino.

  • Corrigido bug e mapGroupsWithStateflatMapGroupsWithState que impedia a definição de tempos limite quando o estado foi removido (SPARK-22187).

  • Corrigido o bug da marca d'água impedida de funcionar corretamente com Trigger.Once (SPARK-24699).

  • O comando Update agora valida as colunas na cláusula SET para garantir que todas as colunas realmente existam e que nenhuma coluna seja definida mais de uma vez.

  • Corrigida uma condição de corrida potencial que poderia causar bloqueios para confirmação de diretório.

  • Corrigido um bug que fazia com que uma versão preterida do cliente DBFS fosse usada ao atualizar montagens.

Problemas conhecidos

  • As opções de configuração do Delta Lake para uma tabela entram em vigor somente no primeiro bloco de anotações que carrega a tabela.

Apache Spark

O Databricks Runtime 4.3 inclui o Apache Spark 2.3.1. Esta versão inclui todas as correções e melhorias incluídas no Databricks Runtime 4.2 (sem suporte), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [FAÍSCA-24934][SQL] Permitir explicitamente tipos suportados em limites superiores/inferiores para remoção de partições na memória
    • Quando tipos de dados complexos são usados em filtros de consulta em dados armazenados em cache, o Spark sempre retorna um conjunto de resultados vazio. A remoção baseada em estatísticas na memória gera resultados incorretos, porque null é definido para limites superiores/inferiores para tipos complexos. A correção é não usar a poda baseada em estatísticas na memória para tipos complexos.
  • [FAÍSCA-24957][SQL] Média com decimal seguida de agregação retorna resultado errado
    • Os resultados incorretos de AVERAGE podem ser retornados. O CAST adicionado no operador Average será ignorado se o resultado de Divide for do mesmo tipo para o qual ele é moldado.
  • [FAÍSCA-24867][SQL] Adicionar AnalysisBarrier ao DataFrameWriter
    • O cache SQL não está sendo usado ao usar DataFrameWriter para gravar um DataFrame com UDF. Esta é uma regressão causada pelas alterações que fizemos no AnalysisBarrier, uma vez que nem todas as regras do Analyzer são idempotentes.
  • [FAÍSCA-24790][SQL] Permitir expressões agregadas complexas no Pivot
    • Relaxe a verificação para permitir expressões agregadas complexas, como ceil(sum(col1)) ou sum(col1) + 1, o que significa aproximadamente qualquer expressão agregada que possa aparecer em um plano Agregado, exceto pandas UDF.
  • [FAÍSCA-24870][SQL] O cache não pode funcionar normalmente se houver letras maiúsculas e minúsculas no SQL
    • Corrige um problema de canonicalização do plano.
  • [FAÍSCA-24852]Faça com que spark.ml treinamento use APIs de instrumentação atualizadas.
  • [FAÍSCA-24891][SQL] Corrigir regra HandleNullInputsForUDF
    • Torne a regra HandleNullInputsForUDF idempotente, para evitar incompatibilidade de planos no gerenciador de cache quando um plano é analisado mais de uma vez.
  • [FAÍSCA-24878][SQL] Corrija a função inversa para o tipo de matriz do tipo primitivo que contém null.
  • [FAÍSCA-24871][SQL] Refatore Concat e MapConcat para evitar a criação de objeto concatenador para cada linha.
  • [FAÍSCA-24802][SQL] Adicionar uma nova configuração para Exclusão de Regra de Otimização
    • Fornece uma configuração aos usuários para excluir algumas regras do otimizador.
  • [FAÍSCA-24879][SQL] Corrigir NPE no pushdown do filtro de remoção de partição do Hive
    • Quando o predicado da partição é algo como col IN (1, null), um NPE será lançado. Este patch corrige-o.
  • [FAÍSCA-23731][SQL] Tornar o FileSourceScanExec canonizável depois de ser (des)serializado
  • [FAÍSCA-24755][CORE] A perda do executor pode fazer com que a tarefa não seja reenviada
    • Corrige um bug que o Spark pode não reenviar tarefas falhadas por perda do executor. Este bug foi introduzido no Spark 2.3.
  • [FAÍSCA-24677][CORE] Evite NoSuchElementException do MedianHeap
    • Corrige um bug relacionado a tarefas especulativas ao coletar métricas de duração da tarefa.
  • [FAÍSCA-24868][PYTHON] adicionar função de sequência em Python
  • [FAÍSCA-21811][FAÍSCA-24012][FAÍSCA-24737][FAÍSCA-24165][FAÍSCA-24734][FAÍSCA-24840][SQL] Corrigir coerções de tipo e nulidades.
  • [FAÍSCA-24699][SS] Faça com que as marcas d'água funcionem com o Trigger.Once salvando a marca d'água atualizada para confirmar o log
  • [FAÍSCA-24537][R] Adicionar array_remove / array_zip / map_from_arrays / array_distinct
  • [FAÍSCA-22187][SS] Atualize o formato unsaferow para o estado salvo em flatMapGroupsWithState para permitir tempos limite com estado excluído (4.x)
  • [FAÍSCA-24681][SQL] Verificar nomes de colunas aninhadas no metastore do Hive
    • Verifique se os nomes das colunas aninhadas não incluem ',', ':' e ';' no metastore do Hive
  • [FAÍSCA-23486]armazenar em cache o nome da função do catálogo externo para lookupFunctions
    • Para acelerar as pesquisas de funções.
  • [FAÍSCA-24781][SQL] Usar uma referência do Conjunto de Dados em Filtrar/Classificar pode não funcionar
  • [FAÍSCA-24208][SQL] Corrigir a desduplicação de atributos para FlatMapGroupsInPandas
    • Corrigir falha de associação automática em um conjunto de dados que contém um FlatMapGroupsInPandas devido a atributos duplicados
  • [FAÍSCA-24530][PYTHON] Adicione um controle para forçar a versão Python na Sphinx via variável de ambiente, SPHINXPYTHON
  • [FAÍSCA-24250]suporte ao acesso ao SQLConf dentro de tarefas
    • Salve todas as configurações SQL nas propriedades do trabalho quando uma execução SQL for acionada. No lado do executor, reconstruímos o SQLConf a partir das propriedades do trabalho.
  • [FAÍSCA-23936][SQL] Implementar map_concat
  • [FAÍSCA-23914][SQL] Adicionar função array_union
  • [FAÍSCA-24732][SQL] Digite coerção entre MapTypes.
    • Adiciona suporte para coerção de tipo entre MapTypes onde os tipos de chave e os tipos de valor são compatíveis. Por exemplo, os tipos MapType(IntegerType, FloatType) e MapType(LongType, DoubleType) podem ser coagidos a digitar MapType(LongType, DoubleType)
  • [FAÍSCA-24662][SQL] [SS] Limite de suporte em streaming estruturado
  • [FAÍSCA-24730][SS] Adicionar política para escolher max como marca d'água global quando a consulta de streaming tiver várias marcas d'água (branch-4.x)
  • [FAÍSCA-24596][SQL] Invalidação de cache sem cascata
    • Ao cancelar o cache ou soltar a visualização temporária, é desnecessário desarmazenar em cascata todos os planos que dependem da exibição, pois os dados subjacentes não são alterados.
  • [FAÍSCA-23927][SQL] Adicionar expressão de "sequência"
  • [FAÍSCA-24636][SQL] Tipo de coerção de matrizes para array_join função
  • [FAÍSCA-22384][SQL] Refinar a remoção de partição quando o atributo é encapsulado no Cast
    • Melhore a poda de partição, capaz de empurrar predicados de partição para baixo com elenco de tipo seguro (int para longo, não longo para int).
  • [FAÍSCA-24385][SQL] Resolver a ambiguidade da condição de auto-associação para EqualNullSafe
    • Implementa EqualNullSafe para resolução de ambiguidade de condição de auto-associação.
  • [FAÍSCA-24696][SQL] A regra ColumnPruning não consegue remover o projeto extra
    • Corrige um bug na regra ColumnPruning que causava um erro de loop infinito no Optimizer.
  • [FAÍSCA-24603][SQL] Corrigir referência findTightestCommonType nos comentários
  • [FAÍSCA-24613][SQL] O cache com UDF não pôde ser correspondido com caches dependentes subsequentes
    • Encapsula o plano lógico com um AnalysisBarrier para compilação do plano de execução no CacheManager, a fim de evitar que o plano seja analisado novamente. Esta é também uma regressão do Spark 2.3.
  • [FAÍSCA-24017][SQL] Refatore ExternalCatalog para ser uma interface
  • [FAÍSCA-24324][PYTHON] pandas Mapa Agrupado UDF deve atribuir colunas de resultado por nome
    • Atribui colunas de resultado por nome de esquema se o usuário rotulado com cadeias de caracteres, caso contrário, usando posição.
  • [FAÍSCA-23778][CORE] Evite embaralhamento desnecessário quando a união tiver um RDD vazio
    • Ignora RDDs vazios de entrada no método union para evitar um extra-shuffle desnecessário quando todos os outros RDDs têm o mesmo particionamento.
  • [FAÍSCA-24552][CORE] [SQL] Use id exclusivo em vez de número de tentativa para gravações.
    • Passa o id de tentativa de tarefa exclusivo em vez do número de tentativa para fontes de dados v2 porque o número de tentativa é reutilizado quando os estágios são repetidos. Isso afeta as APIs V1 e V2 da fonte de dados, mas as APIs de formato de arquivo não serão afetadas porque a DBR usa um protocolo de confirmação diferente.
  • [SPARK-24588][SS] a associação de transmissão deve exigir HashClusteredPartitioning de elementos subordinados.
  • [FAÍSCA-24589][CORE] Identifique corretamente as tarefas no coordenador de confirmação de saída.
    • Adiciona mais informações ao estado do estágio controlado pelo coordenador, para que apenas uma tarefa tenha permissão para confirmar a saída. Essa correção também remove as alterações de código inúteis introduzidas pelo SPARK-18113.
  • [FAÍSCA-23933][SQL] Adicionar função map_from_arrays
  • [FAÍSCA-24583][SQL] Tipo de esquema errado em InsertIntoDataSourceCommand
    • Ao criar uma tabela Delta com restrições NOT NULL, poderíamos descartar a anulabilidade e inserir os valores NULL sem verificar a violação.
  • [FAÍSCA-24542][SQL] A série UDF UDFXPathXXXX permite que os usuários passem XML cuidadosamente criados para acessar arquivos arbitrários
    • Este é um patch de segurança relatado pela comunidade. A série UDF UDFXPathXXXX permite que os usuários passem XML cuidadosamente criados para acessar arquivos arbitrários. Quando os usuários usam a biblioteca de controle de acesso externo, os usuários podem ignorá-los e acessar o conteúdo do arquivo.
  • [FAÍSCA-23934][SQL] Adicionando map_from_entries função
  • [FAÍSCA-23912][SQL] Adicionar array_distinct
  • [FAÍSCA-24574][SQL] array_contains, array_position, array_remove e element_at funções lidam com o tipo de coluna

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 4.3.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Escala: 2.11.8
  • Python: 2.7.12 para clusters Python 2 e 3.5.2 para clusters Python 3.
  • R: R versão 3.4.4 (2018-03-15)
  • Clusters de GPU: As seguintes bibliotecas de GPU NVIDIA estão instaladas:
    • Piloto da Tesla 375.66
    • CUDA 9,0
    • cuDNN 7,0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
criptografia 1.5 cycler 0.10.0 Quisto 0.24.1
decorador 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futuros 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Travesseiro 3.3.1
pip 10.0.1 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
pedidos 2.11.1 s3transferir 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 vasculhar 0.32 seaborn 0.7.1
setuptools 39.2.0 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 seis 1.10.0 statsmodels 0.6.1
tornado 5.0.2 traços 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 largura de wc 0.1.7 roda 0.31.1
wsgiref 0.1.2

Bibliotecas R instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
abind 1.4-5 asserçãoat 0.2.0 backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 arranque 1.3-20
brew 1.0-6 vassoura 0.4.4 carro 3.0-0
carData 3.0-1 acento circunflexo 6.0-79 Cellranger 1.1.0
crono 2.3-52 classe 7.3-14 cli 1.0.0
cluster 2.0.7-1 codetools 0.2-15 espaço em cores 1.3-2
marca comum 1.4 compilador 3.4.4 lápis de cor 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
conjuntos de dados 3.4.4 DBI 0.8 ddalpha 1.3.1.1
DEoptimR 1.0-8 desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 resumo 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
FORCATS 0.3.0 foreach 1.4.4 externa 0.8-70
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 colar 1.2.0 gower 0.1.2
gráficos 3.4.4 grDevices 3.4.4 grelha 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.16.0.2
Refúgio 1.1.1 HMS 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iteradores 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 etiquetagem 0.3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 mapas 3.3.0 Ferramentas de mapa 0.9-2
MASSA 7.3-50 Matriz 1.2-14 MatrizModels 0.4-1
memoise 1.1.0 métodos 3.4.4 mgcv 1.8-24
mime 0.5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 OpenXLSX 4.0.17
paralelo 3.4.4 pbkrtest 0.4-7 pilar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 elogiar 1.0.0 unidades bonitas 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
psique 1.8.3.3 purrr 0.2.4 quantreg 5,35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 Leitor 1.1.1 ReadXL 1.0.0
receitas 0.1.2 revanche 1.0.1 remodelar2 1.4.3
Rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 escalas 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.1 Disperso 1.77
espacial 7.3-11 splines 3.4.4 sqldf 0.4-11
QUADRADO 2017.10-1 estatmod 1.4.30 estatísticas 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
sobrevivência 2.42-3 tcltk 3.4.4 TeachingDemos 2.10
testeatat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 ferramentas 3.4.4
UTF8 1.1.3 utilitários 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics transmissão em fluxo 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-faísca2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-faísca2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware sombreado de kryo 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.0.0
com.fasterxml.jackson.core jackson-anotações 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben ZSTD-JNI 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.JRE8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.ponte aérea compressor de ar 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx recoletor 0.7
javax.activation ativação 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pirolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve Flocos de Neve-JDBC 3.6.3
net.floco de neve faísca-snowflake_2.11 2.4.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato de seta 0.8.0
org.apache.arrow seta-memória 0.8.0
org.apache.arrow vetor de seta 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0 incubação
org.apache.calcite calcite-core 1.2.0 incubação
org.apache.calcite calcite-linq4j 1.2.0 incubação
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curador-cliente 2.7.1
org.apache.curator curador-framework 2.7.1
org.apache.curator curador-receitas 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0 incubação
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy hera 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet parquet-column 1.8.3-DATABRICKS2
org.apache.parquet parquet-common 1.8.3-DATABRICKS2
org.apache.parquet parquet-encoding 1.8.3-DATABRICKS2
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-DATABRICKS2
org.apache.parquet parquet-jackson 1.8.3-DATABRICKS2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 localizador hk2 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core servidor de jersey 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 LZ4-Java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark não utilizado 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework teste de primavera 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52