Databricks Runtime 5.3 (Não suportado)

Databricks divulgou esta imagem em abril de 2019.

As seguintes notas de lançamento fornecem informações sobre databricks Runtime 5.3, alimentado por Apache Spark.

Novas Funcionalidades

Databricks Delta

Viagem no tempo GA

A viagem no tempo da Delta formou-se em disponibilidade geral. Adiciona a capacidade de consultar uma imagem de uma tabela utilizando uma corda de relógio ou uma versão, utilizando a sintaxe SQL, bem como DataFrameReader opções para expressões de etiquetas de tempo.

SELECT count(*) FROM events TIMESTAMP AS OF timestamp_expression
SELECT count(*) FROM events VERSION AS OF version

A viagem no tempo tem muitos casos de uso, incluindo:

  • Recriando análises, relatórios ou saídas (por exemplo, a saída de um modelo de aprendizagem automática), que é útil para depuração ou auditoria, especialmente em indústrias regulamentadas.
  • Escrever consultas temporais complexas.
  • Corrigir erros nos seus dados.
  • Proporcionando isolamento instantâneo para um conjunto de consultas para mudanças rápidas de mesas.

Viagem no tempo delta

Consulte uma imagem mais antiga de uma tabela (viagem no tempo), Selecionee Merge Into (Delta Lake on Azure Databricks).

Replicação da tabela MySQL para a pré-visualização pública da Delta

Transmita os dados de uma tabela MySQL diretamente para a Delta para consumo a jusante em análises de spark ou fluxos de trabalho de ciência de dados. Aproveitando a mesma estratégia que o MySQL utiliza para a replicação de outras instâncias, binlog é usado para identificar atualizações que são depois processadas e transmitidas para Databricks da seguinte forma:

  • As leituras mudam os eventos a partir do registo da base de dados.
  • Transmite os eventos a Databricks.
  • Escreve na mesma ordem para uma mesa Delta.
  • Mantém o estado em caso de desconexão da fonte.

Funcionalidades de pré-visualização privadas

Esta versão contém as seguintes funcionalidades de pré-visualização privadas para Delta Lake:

  • Adicionei um comando experimental que permite ao Presto consultar diretamente as tabelas Delta.
  • A Auto Otimize otimiza o layout do ficheiro durante as escritas individuais para uma tabela Delta e impede que pequenos ficheiros se acumulem nas suas tabelas Delta para manter o desempenho da consulta à velocidade de raios. Além disso, os escritos e os upserts em mesas Delta divididas podem desfrutar de grandes acelerações graças a uma baralhada adaptativa introduzida em escritas.

Se quiser participar em qualquer uma das pré-visualizações, contacte o representante da conta Databricks.

Pasta de FUSE DBFS otimizada para cargas de trabalho de aprendizagem profunda

A Azure Databricks oferece agora um suporte de FUSE otimizado. Pode ter acesso a dados de alto desempenho durante o treino e inferência sem aplicar scripts init. Os dados armazenados dbfs:/ml abaixo e acessíveis localmente file:/dbfs/ml são agora apoiados por este suporte de FUSE otimizado. Consulte os dados de carga.

Melhorias

  • Bibliotecas com âmbito de portátil:

    • Suporte para Extras em dbutils.library.installPyPI .
    • Suporte para instalação de bibliotecas com âmbito de lista para bibliotecas no sistema de ficheiros Azure, incluindo wasbs adls , e abfss .
    • Mensagens de erro melhoradas para bibliotecas com âmbito de notas em alvos não suportados. Por exemplo: "Os utilitários da biblioteca não estão disponíveis no tempo de execução de databricks para machine learning."
  • Ligue-se ao Azure Data Lake Storage Gen2 (ADLS Gen2) sem ter de conceder ao diretor de serviço um papel DE RBAC "Storage Blob Data Contributor".

  • Databricks Advisor tem dicas adicionais para melhorar o desempenho das consultas:

    • Quando há muitos pequenos ficheiros por partição -> Converta a mesa para a Delta e OPTIMIZE corra.
    • Quando houver um filtro altamente seletivo - > Converta-se em Delta e use ZORDER BY .
    • Quando os metadados recolhem da Hive tornam-se um estrangulamento - > Converta a sua mesa para a Delta.
  • Ubuntu atualizado de 16.04.5 LTS para 16.04.6 LTS.

  • Escala 2.11 atualizado de 2.11.8 para 2.11.12.

  • Atualizou algumas bibliotecas python instaladas:

    • pip: 18.1 a 19.0.3.
    • instalações: 40.6.3 a 40.8.0
    • roda: 0.32.3 a 0.33.1
  • R atualizado de 3.4.4 para 3.5.2.

  • Atualizou várias bibliotecas R instaladas. Ver Bibliotecas R instaladas.

Preterição

  • O conector Apache Kafka 0.8 para o streaming estruturado já não é suportado. Está incluído no Databricks Runtime 5.3 mas será removido de uma futura versão do Databricks Runtime.
  • Databricks ML Model Export é depreciado e será removido em Databricks Runtime 6.0. Utilize o MLeap para os modelos de importação e exportação.
  • Removido spark.databricks.pyspark.enableExecutorFsPerms como uma opção de configuração.

Correções de erros

  • Instalação fixa da biblioteca python egg para clusters habilitados para ACLs de mesa.
  • Melhor cancelamento do comando Python, corrigindo a situação em que o cancelamento é chamado antes do comando ser executado.
  • Corrigiu um bug em ACLs de tabela: agora, quando lista objetos numa base de dados ou catálogo, vê apenas os objetos que tem permissão para ver.

Apache Spark

Databricks Runtime 5.3 inclui Apache Spark 2.4.0. Esta versão inclui todas as correções e melhorias da Spark incluídas no Databricks Runtime 5.2 (Não suportado), bem como as seguintes correções adicionais de bugs e melhorias feitas à Spark:

  • [SPARK-27134][SQL] array_distinct função não funciona corretamente com colunas que contenham matriz de matriz
  • [SPARK-24669][SQL] Invalida as tabelas no caso da DROP DATABASE CASCADE
  • [SPARK-26572][SQL] corrigir avaliação agregada de resultados de codegen
  • [SPARK-27046][DSTREAMS] Remove as referências relacionadas COM o SPARK-19185 da documentação
  • [SPARK-26449][PYTHON] Adicionar método de transformação à DataFrame API
  • [SPARK-26740][SQL] Ler estatísticas de tempo/data colunas escritas por Spark 3.0
  • [SPARK-26909][SQL] use inseguroRow.hashCode() como valor de haxixe em HashAggregate
  • [SPARK-26990][SQL] FileIndex: use nomes de campo especificados pelo utilizador, se possível
  • [SPARK-26851][SQL] Fix double-checked locking in CachedRDDBuilder
  • [SPARK-26864]A consulta pode devolver um resultado incorreto quando a Python UDF for usada como condição de união à esquerda
  • [SPARK-26887][SQL][PYTHON] Criar datetime.date diretamente em vez de criar datatime64 como dados intermédios.
  • [SPARK-26859][SQL] Fix field writer index bug in non-vectorized ORC deserializer
  • [SPARK-26864][SQL] A consulta pode devolver um resultado incorreto quando python UDF é usado como uma condição de união e o udf usa atributos de ambas as pernas de semi-junta esquerda
  • [SPARK-24360][SPARK-26091][BACKPORT][SQL] Support Hive 3.1 metastria
  • [SPARK-26873][SQL] Use um timetamp consistente para construir IDs de trabalho hadoop.
  • [SPARK-26734][STREAMING] Fix StackOverflowError com fila de bloco grande
  • [SPARK-26758][CORE] Executores Idle não são mortos após spark.dynamiAllocation.exevalor cutorIdleTimeout
  • [SPARK-26751][SQL] Corrigir fuga de memória quando a declaração é executada em segundo plano e lançar exceção que não é HiveSQLException
  • [SPARK-26806][SS] EventTimeStats.merge deve lidar corretamente com zeros
  • [SPARK-26745][SPARK-24959][SQL] Revert contagem otimização em fonte de dados JSON por
  • [SPARK-26757][GRAPHX] Retorno 0 para contar com RDDs de borda/vertex vazios
  • [SPARK-26726] Sincronizar a quantidade de memória utilizada pela variável de transmissão para o ecrã de UI
  • [SPARK-26718][SS] Transbordo inteiro fixo no cálculo da taxa SS kafkaLimit
  • [SPARK-26708][SQL] Resultado incorreto causado pela inconsistência entre o RDD cachedo de uma cache SQL e o seu plano físico
  • [SPARK-26735][SQL] Verifique a integridade do plano para expressões especiais
  • [SPARK-26619][SQL] Prune os serializers não-uused de SerializeFromObject
  • [SPARK-26379][SS] Use timeZoneId manequim para evitar a não-concepção não resolvida no actualbástamp de Tempos de Corrente
  • [SPARK-26495][SQL] Simplifique o extrator SelectField
  • [SPARK-26379][SS] Problema de correção na adição de current_timestamp/current_date à consulta de streaming
  • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery não lida corretamente com registos vazios
  • [SPARK-26680][SQL] Ansiosamente criar insumadas enquanto as condições são apropriadas
  • [SPARK-26682][SQL] Use taskAttemptID em vez de tentativaNumber for Hadoop.
  • [SPARK-26706][SQL] Fix illegalNumericPrecedence for ByteType
  • [SPARK-26228][Emissão MLLIB] OOM encontrada ao calcular a matriz gramiana
  • [SPARK-26665][CORE] Fixe um bug que o BlockTransferService.fetchBlockSync pode pendurar para sempre
  • [SPARK-26549][PYSPARK] Fix for python worker reuse não ter efeito para paralelamente gama iterável preguiçosa
  • [SPARK-26351][MLLIB] Atualizar doc e pequena correção nas métricas de avaliação mllib
  • [SPARK-26450] Evite reconstruir mapa de esquemas para cada coluna numa projeção
  • [SPARK-26638][PYSPARK][ML] Pyspark classes vetoriais sempre devolvem erro por negação nãoária
  • [SPARK-26633][REPL] Add ExecutorClassLoader.getResourceAsStream
  • [SPARK-26629][SS] Erro fixo com fluxo de ficheiros múltiplo numa consulta + reiniciar num lote que não tem dados para um fluxo de ficheiros
  • [SPARK-25992][PYTHON] Document SparkContext não pode ser partilhado para multiprocessamento
  • [SPARK-26615][CORE] Corrigir fugas de servidores de transporte/recursos do cliente nos testes de núcleo
  • [SPARK-26350][SS] Permitir anular o id do grupo do consumidor kafka
  • [SPARK-26538][SQL] Definir precisão e escala padrão para elementos de matriz numérica postgres
  • [SPARK-26586][SS] Corrigir condição de corrida que faz com que os riachos corram com confs inesperados
  • [SPARK-26551][SQL] Corrigir erro de poda de esquema ao selecionar um campo complexo e ter não é predicado nulo em outro
  • [SPARK-26576][SQL] Dica de transmissão não aplicada à mesa dividida
  • [SPARK-26571][SQL] Update Hive Serde mapping com nome canónico de Parquet e Orc FileFormat
  • [SPARK-26267][SS] Retry ao detetar compensações incorretas de Kafka (2.4)
  • [SPARK-26559][ML][PYSPARK] Imagem ML não pode funcionar com versões numpiadas antes de 1.9
  • [SPARK-26078][SQL] Dedup atribui atributos de auto-junção em subqueries IN

Atualizações de manutenção

Consulte as atualizações de manutenção do Databricks Runtime 5.3.

Ambiente do sistema

  • Sistema Operativo: Ubuntu 16.04.6 LTS
  • Java: 1.8.0_191
  • Scala: 2.11.12
  • Python: 2.7.12 para os aglomerados Python 2 e 3.5.2 para os aglomerados Python 3. Para mais detalhes, consulte a versão Python.
  • R: Versão R 3.5.2 (2018-12-20)
  • Aglomerados GPU: São instaladas as seguintes bibliotecas GPU da NVIDIA:
    • Piloto da Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Nota

Embora o Scala 2.12 seja suportado em Apache Spark 2.4, não é suportado em Databricks Runtime 5.3.

Bibliotecas python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0,5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certificado 2016.2.28 cffi 1.7.0
cari de contradeta 2.3.0 colorama 0.3.7 configobj 5.0.6
criptografia 1.5 ciclor 0.10.0 Rio Cython 0.24.1
decorador 4.0.10 docutils 0,14 enum34 1.1.6
et-xmlfil 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futuros 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2,8 jmespath 0.9.0 llvmlite 0.13.0
Lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 Patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Travesseiro 3.3.1
pip 19.0.3 ply 3.9 kit de ferramentas de pronta 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pigmeus 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 pitão-geohash 0.8.5 pytz 2016.6.1
pedidos 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0.32 nascidos no mar 0.7.1
armações de configuração 40.8.0 simplejson 3.8.2 simples3 1,0
singledispatch 3.4.0.3 Seis 1.10.0 statsmodels 0.6.1
tornado 5.1.1 traços 4.3.0 urllib3 1.19.1
virtualenv 16.1.0 wcwidth 0.1.7 roda 0.33.1
wsgiref 0.1.2

Bibliotecas R instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
abind 1.4-5 askpass 1.1 assertthat 0.2.0
backports 1.1.3 base 3.5.2 base64enc 0.1-3
BH 1.69.0-1 bit 1.1-14 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 boot 1.3-20
brew 1.0-6 callr 3.1.1 car 3.0-2
carData 3.0-2 acento circunflexo 6.0-81 cellranger 1.1.0
chron 2.3-53 classe 7.3-15 cli 1.0.1
clipr 0.5.0 clisymbols 1.2.0 cluster 2.0.7-1
codetools 0.2-16 colorspace 1.4-0 commonmark 1.7
compiler 3.5.2 config 0.3 crayon 1.3.4
curl 3.3 data.table 1.12.0 conjuntos de dados 3.5.2
DBI 1.0.0 dbplyr 1.3.0 desc 1.2.0
devtools 2.0.1 digest 0.6.18 doMC 1.3.5
dplyr 0.8.0.1 ellipsis 0.1.0 fansi 0.4.0
forcats 0.4.0 foreach 1.4.4 foreign 0.8-71
forjar 0.2.0 fs 1.2.6 gbm 2.1.5
genéricos 0.0.2 ggplot2 3.1.0 gh 1.0.1
git2r 0.24.0 glmnet 2.0-16 glue 1.3.0
gower 0.1.2 gráficos 3.5.2 grDevices 3.5.2
grid 3.5.2 gridExtra 2.3 gsubfn 0.7
gtable 0.2.0 h2o 3.22.1.1 haven 2.1.0
hms 0.4.2 htmltools 0.3.6 htmlwidgets 1.3
httr 1.4.0 hwriter 1.3.2 hwriterPlus 1.0-3
ini 0.3.1 ipred 0.9-8 iterators 1.0.10
jsonlite 1.6 KernSmooth 2.23-15 labeling 0.3
lattice 0.20-38 lava 1.6.5 lazyeval 0.2.1
mais pequeno 0.3.6 lme4 1.1-20 lubridate 1.7.4
magrittr 1.5 mapproj 1.2.6 maps 3.3.0
maptools 0.9-5 MASS 7.3-51.1 Matriz 1.2-15
MatrixModels 0.4-1 memoise 1.1.0 methods 3.5.2
mgcv 1.8-27 mime 0.6 minqa 1.2.4
ModelMetrics 1.2.2 munsell 0.5.0 mvtnorm 1.0-9
nlme 3.1-137 nloptr 1.2.1 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.2.2 openxlsx 4.1.0
parallel 3.5.2 pbkrtest 0.4-7 pillar 1.3.1
pkgbuild 1.0.2 pkgconfig 2.0.2 pkgKitten 0.1.4
pkg carga 1.0.2 plogr 0.2.0 plyr 1.8.4
praise 1.0.0 prettyunits 1.0.2 pROC 1.13.0
processx 3.2.1 prodlim 2018.04.18 progress 1.2.0
proto 1.0.0 ps 1.3.0 purrr 0.3.0
quantreg 5.38 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils 2.8.0 r2d3 0.2.3 R6 2.4.0
randomForest 4.6-14 rappdirs 0.3.1 rcmdcheck 1.3.2
RColorBrewer 1.1-2 Rcpp 1.0.0 RcppEigen 0.3.3.5.0
RcppRoll 0.3.0 RCurl 1.95-4.11 readr 1.3.1
readxl 1.3.0 recipes 0.1.4 rematch 1.0.1
remotos 2.0.2 reshape2 1.4.3 rio 0.5.16
rlang 0.3.1 RODBC 1.3-15 roxygen2 6.1.1
rpart 4.1-13 rprojroot 1.3-2 Rio Rserve 1.8-6
RSQLite 2.1.1 rstudioapi 0.9.0 scales 1.0.0
sessioninfo 1.1.1 sp 1.3-1 sparklyr 1.0.0
SparkR 2.4.2 SparseM 1.77 spatial 7.3-11
splines 3.5.2 sqldf 0.4-11 SQUAREM 2017.10-1
statmod 1.4.30 stats 3.5.2 stats4 3.5.2
stringi 1.3.1 stringr 1.4.0 survival 2.43-3
sys 3,0 tcltk 3.5.2 TeachingDemos 2,10
testthat 2.0.1 tibble 2.0.1 tidyr 0.8.3
tidyselect 0.2.5 timeDate 3043.102 tools 3.5.2
usar este 1.4.0 utf8 1.1.4 utils 3.5.2
viridisLite 0.3.0 whisker 0.3-2 withr 2.1.2
xml2 1.2.0 xopen 1.0.0 yaml 2.2.0
zip 2.0.0

Bibliotecas instaladas java e scala (versão de cluster Scala 2.11)

ID do Grupo ID de artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-cliente 1.8.10
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-diretório 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glaciar 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-bibliotecas 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics transmissão 2.7.0
com.databricks Rio Rserve 1.8-3
com.databricks dbml-local_2.11 0.5.0-db8-spark2.4
com.databricks dbml-local_2.11-testes 0.5.0-db8-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esoftware kryo-sombreado 4.0.2
com.esoftware minlog 1.3.0
com.fasterxml colega de turma 1.0.0
com.fasterxml.jackson.core jackson-anotações 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-módulo-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-nativos 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-nativos 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava goiaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaeWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.microsoft.azure azure-data-lago-store-sdk 2.2.8
com.microsoft.azure azure-armazenamento 5.2.0
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2,8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter app_2.11 6.23.0
com.twitter core_2.11 6.23.0
com.twitter jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.7.3
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
comuns-beanutils comuns-beanutils 1.7.0
comuns-beanutils comuns-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
comuns-coleções comuns-coleções 3.2.2
configuração dos comuns configuração dos comuns 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
comuns-httpclient comuns-httpclient 3,1
commons-io commons-io 2.4
commons-lang commons-lang 2,6
registo de comuns registo de comuns 1.1.3
commons-net commons-net 3,1
comuns-pool comuns-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,10
io.dropwizard.metrics métricas-núcleo 3.1.5
io.dropwizard.metrics métricas-gânglios 3.1.5
io.dropwizard.metrics métricas-grafite 3.1.5
io.dropwizard.metrics verificações métricas-saúde 3.1.5
io.dropwizard.metrics métricas-jetty9 3.1.5
io.dropwizard.metrics métricas-json 3.1.5
io.dropwizard.metrics métricas-jvm 3.1.5
io.dropwizard.metrics métricas-log4j 3.1.5
io.dropwizard.metrics métricas-servidões 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simplescliente 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx colecionador 0.7
javax.ativação ativação 1.1.1
javax.anotação javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transação jta 1.1
javax.validação validação-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.ligar jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolução javolução 5.5.1
jline jline 2.14.6
joda-tempo joda-tempo 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hidromático eigenbase-propriedades 1.1.5
net.razorvine pirolito 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake floco de neve-ingest-sdk 0.9.5
net.snowflake floco de neve-jdbc 3.6.15
net.snowflake snowflake_2 faísca.11 2.4.10-spark_2.4
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.formiga formiga 1.9.2
org.apache.formiga ant-jsch 1.9.2
org.apache.formiga lança-formigas 1.9.2
org.apache.seta seta-formato 0.10.0
org.apache.seta seta-memória 0.10.0
org.apache.seta seta-vetor 0.10.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0 incubação
org.apache.calcite calcite-núcleo 1.2.0 incubação
org.apache.calcite calcite-linq4j 1.2.0 incubação
org.apache.commons comuns-compress 1.8.1
org.apache.commons comuns-cripto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curador-cliente 2.7.1
org.apache.curator curador-quadro 2.7.1
org.apache.curator curador-receitas 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.direy.api api-asn1-api 1.0.0-M20
org.apache.direy.api api-util 1.0.0-M20
org.apache.directy.server apacheds-i18n 2.0.0-M15
org.apache.directy.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-anotações 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-cliente 2.7.3
org.apache.hadoop hadoop-comum 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-cliente-app 2.7.3
org.apache.hadoop hadoop-mapreduce-cliente-comum 2.7.3
org.apache.hadoop hadoop-mapreduce-cliente-core 2.7.3
org.apache.hadoop hadoop-mapreduce-cliente-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-cliente-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-cliente 2.7.3
org.apache.hadoop hadoop-yarn-comum 2.7.3
org.apache.hadoop hadoop-yarn-servidor-comum 2.7.3
org.apache.htrace htrace-core 3.1.0 incubação
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy hera 2.4.0
org.apache.orc orc-core-nohive 1.5.2
org.apache.orc orc-mapreduce-nohive 1.5.2
org.apache.orc orc-shims 1.5.2
org.apache.parquet parquet-coluna 1.10.1.1-databricks3
org.apache.parquet parquet-comum 1.10.1.1-databricks3
org.apache.parquet parquet-codificação 1.10.1.1-databricks3
org.apache.parquet parquet-formato 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.1-databricks3
org.apache.parquet parquet-jackson 1.10.1.1-databricks3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-sombreado 4.8
org.apache.zookeeper zookeeper 3.4.6
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino compilador de comuns 3.0.10
org.codehaus.janino janino 3.0.10
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-cliente 9.3.20.v20170531
org.eclipse.jetty molhe-continuação 9.3.20.v20170531
org.eclipse.jetty cais-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jett----se 9.3.20.v20170531
org.eclipse.jetty molhe-segurança 9.3.20.v20170531
org.eclipse.jetty jetty-servidor 9.3.20.v20170531
org.eclipse.jetty jett--- 9.3.20.v20170531
org.eclipse.jetty jett---- 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni niveladobjni-todos 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-localizador 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-localização de recursos 1.0.1
org.glassfish.hk2.external aopalliance-reembalado 2.4.0-b34
org.glassfish.hk2.external javax.injetar 2.4.0-b34
org.glassfish.jersey.bundles.reembalado jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-contentor-servlet 2.22.2
org.glassfish.jersey.containers jersey-contentor-servlet-core 2.22.2
org.glassfish.jersey.core jersey-cliente 2.22.2
org.glassfish.jersey.core jersey-comum 2.22.2
org.glassfish.jersey.core jersey-servidor 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernante-validador 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassista javassista 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convertido 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 Lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-cliente 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenese 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine Rio REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.12
org.scala-lang scala-library_2.11 2.11.12
org.scala-lang scala-reflect_2.11 2.11.12
módulos org.scala-lang scala-parser-combinators_2.11 1.1.0
módulos org.scala-lang scala-xml_2.11 1.0.5
org.scala-sbt interface de teste 1,0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp brisa-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive colmeia-beeline 1.2.1.faísca
org.spark-project.hive colmeia-cli 1.2.1.faísca
org.spark-project.hive hive-executivo 1.2.1.faísca
org.spark-project.hive hive-jdbc 1.2.1.faísca
org.spark-project.hive colmeia-metastore 1.2.1.faísca
org.spark-project.spark não éused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework mola-núcleo 4.1.4.RELEASE
org.springframework teste de primavera 4.1.4.RELEASE
org.tukaani xz 1.5
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.1
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenco xmlenco 0.52