Share via

Databricks Runtime 8.0 (sem suporte)

  • Artigo

O Databricks lançou esta imagem em março de 2021.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 8.0, da plataforma Apache Spark 3.1.1.

Novos recursos

O Databricks Runtime 8.0 inclui o Apache Spark 3.1.1. Para obter mais detalhes, confira Apache Spark.

Aprimoramentos

O Delta já é o formato padrão quando um formato não é especificado

O Databricks Runtime 8.0 altera o formato padrão para delta a fim de simplificar a criação de uma tabela Delta. Quando você cria uma tabela usando comandos SQL ou APIs {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} e não especifica um formato, o formato padrão é delta.

Com o Delta Lake, você obtém melhor desempenho em relação ao Parquet, melhor confiabilidade de dados com validação avançada de esquema, restrições de qualidade e garantias transacionais. Com o Delta Lake, você pode simplificar seus pipelines de dados com streaming estruturado unificado e processamento em lote em uma só fonte de dados.

Embora o Databricks recomende o uso do Delta Lake para armazenar seus dados, você pode ter fluxos de trabalho herdados que exijam a migração para o Delta Lake. Para obter informações sobre como migrar fluxos de trabalho existentes, confira O que é o Delta Lake?.

Novo intervalo de gatilho padrão do Streaming Estruturado reduz os custos

Se você não definir um intervalo de gatilho usando Trigger.ProcessingTime na consulta de streaming, o intervalo será definido como 500 ms. Anteriormente, o intervalo padrão era 0 ms. Essa alteração deverá reduzir o número de gatilhos vazios e reduzir os custos do armazenamento em nuvem, como a listagem.

Usar a função de transformação LDA com a passagem de credenciais (versão prévia pública)

Você já pode usar a função de transformação LDA em um cluster configurado para usar a passagem de credenciais para autenticação.

Os clusters de usuário único configurados com a passagem de credenciais não exigem mais sistemas de arquivos confiáveis (versão prévia pública)

Você não precisa mais configurar sistemas de arquivos locais como sistemas de arquivos confiáveis ao usar um cluster padrão ou de trabalho configurado para passagem de credenciais com um só usuário. Essa alteração remove as restrições desnecessárias do sistema de arquivos quando os trabalhos são executados em um cluster de usuário único.

Atualizações da biblioteca

Apache Spark

O Databricks Runtime 8.0 inclui o Apache Spark 3.1.1.

Nesta seção:

Core e Spark SQL

Destaque

Aprimoramentos na compatibilidade com o ANSI SQL

  • Suporte ao tipo de dados char/varchar (SPARK-33480)
  • Modo ANSI: erros de runtime em vez de retorno de nulo (SPARK-33275)
  • Modo ANSI: novas regras de sintaxe de conversão explícita (SPARK-33354)
  • Adição do comando SQL SET TIME ZONE padrão (SPARK-32272)
  • Unificação da sintaxe de SQL create table (SPARK-31257)
  • Unificação da exibição temporária e dos comportamentos de exibição permanentes (SPARK-33138)
  • Suporte à lista de colunas instrução INSERT (SPARK-32976)
  • Suporte aos comentários em colchetes aninhados ANSI (SPARK-28880)

Aprimoramentos de desempenho

  • Leitura de dados em ordem aleatória local do host sem serviço de ordem aleatória (SPARK-32077)
  • Remoção das classificações redundantes antes do reparticionamento de nós (SPARK-32276)
  • Pushdown parcial de predicados (SPARK-32302 e SPARK-32352)
  • Pushdown de filtros por meio da expansão (SPARK-33302)
  • Push de outros possíveis predicados por meio da junção usando a conversão CNF (SPARK-31705)
  • Remoção da ordem aleatória preservando o particionamento de saída da junção hash de difusão (SPARK-31869)
  • Remoção da ordem aleatória aprimorando a reordenação das chaves de junção (SPARK-32282)
  • Remoção da ordem aleatória normalizando o particionamento de saída e a ordem de classificação (SPARK-33399)
  • Aprimoramento da junção hash em ordem aleatória (SPARK-32461)
    • Preservação do particionamento no lado do build da junção hash em ordem aleatória (SPARK-32330)
    • Preservação da ordenação no lado do fluxo da junção hash (BHJ e SHJ) (SPARK-32383)
    • União de tabelas em buckets para junção de mesclagem de classificação (SPARK-32286)
    • Adição de code-gen para junção hash em ordem aleatória (SPARK-32421)
    • Suporte à junção externa completa na junção hash em ordem aleatória (SPARK-32399)
  • Suporte à eliminação de subexpressão no projeto com a geração de código de fase completa (SPARK-33092)
  • Suporte à eliminação de subexpressão em expressões condicionais (SPARK-33337)
  • Suporte à eliminação de subexpressão para avaliação de expressão interpretada (SPARK-33427)
  • Suporte à eliminação de subexpressão para predicado interpretado (SPARK-33540)
  • Outras regras do otimizador
    • Regra ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
    • Regra EliminateNullAwareAntiJoin (SPARK-32573)
    • Regra EliminateAggregateFilter (SPARK-32540)
    • Regra UnwrapCastInBinaryComparison (SPARK-32858)
    • Regra DisableUnnecessaryBucketedScan (SPARK-32859)
    • Regra CoalesceBucketsInJoin (SPARK-31350)
    • Remoção de campos aninhados desnecessários da geração sem projeto (SPARK-29721)
    • Remoção de campos aninhados desnecessários da agregação e da expansão (SPARK-27217)
    • Remoção de campos aninhados desnecessários do reparticionamento por expressão e junção (SPARK-31736)
    • Remoção de campos aninhados desnecessários em variações superficiais (SPARK-32163)
    • Remoção de campos aninhados desnecessários da janela e da classificação (SPARK-32059)
    • Otimização do tamanho de CreateArray/CreateMap para ter o tamanho dos filhos (SPARK-33544)

Aprimoramentos de extensibilidade

  • Adição das APIs SupportsPartitions a DataSourceV2 (SPARK-31694)
  • Adição das APIs SupportsMetadataColumns a DataSourceV2 (SPARK-31255)
  • A serialização de cache SQL passa a ser conectável (SPARK-32274)
  • Introdução da opção purge em TableCatalog.dropTable no catálogo v2 (SPARK-33364)

Aprimoramentos do conector

  • Aprimoramento de pushdown do filtro de partição do metastore do Hive (SPARK-33537)
    • Suporte aos filtros Contém, Começa com e Termina com (SPARK-33458)
    • Suporte ao filtro por tipo de data (SPARK-33477)
    • Suporte ao filtro por Não igual a (SPARK-33582)
  • Parquet
    • Permissão do tipo complexo no tipo de chave do mapa em Parquet (SPARK-32639)
    • Permissão do salvamento e do carregamento de INT96 em Parquet sem troca de base (SPARK-33160)
  • ORC
    • Pushdown de predicado de coluna aninhada para ORC (SPARK-25557)
    • Atualização do Apache ORC para 1.5.12 (SPARK-33050)
  • CSV
    • Aproveitamento da fonte de dados de texto SQL durante a inferência de esquema CSV (SPARK-32270)
  • JSON
    • Suporte ao pushdown de filtros na fonte de dados JSON (SPARK-30648)
  • JDBC
  • Avro
    • Suporte ao pushdown de filtros na fonte de dados Avro (SPARK-32346)

Aprimoramentos de recursos

  • Descomissionamento de nó (SPARK-20624)
    • Estrutura básica (SPARK-20628)
    • Migração de blocos RDD durante a desativação (SPARK-20732)
    • Desativação normal como parte da escala dinâmica (SPARK-31198)
    • Migração de blocos de ordem aleatória durante a desativação (SPARK-20629)
    • Saída do executor somente quando as tarefas e a migração de bloco são concluídas (SPARK-31197)
    • Suporte ao armazenamento de fallback durante a desativação (SPARK-33545)
  • Novas funções internas
  • Aprimoramento do comando EXPLAIN (SPARK-32337 e SPARK-31325)
  • Fornecimento de uma opção para desabilitar as dicas fornecidas pelo usuário (SPARK-31875)
  • Suporte à sintaxe REPLACE COLUMNS de estilo do Hive (SPARK-30613)
  • Suporte aos operadores LIKE ANY e LIKE ALL (SPARK-30724)
  • Suporte ilimitado a MATCHED e NOT MATCHED em MERGE INTO (SPARK-32030)
  • Suporte aos literais float com o sufixo F (SPARK-32207)
  • Suporte à sintaxe RESET para redefinir a configuração única (SPARK-32406)
  • O suporte à expressão de filtro permite o uso simultâneo de DISTINCT (SPARK-30276)
  • Suporte ao comando alter table add/drop partition em DSv2 (SPARK-32512)
  • Suporte às subconsultas NOT IN dentro de condições aninhadas OR (SPARK-25154)
  • Suporte ao comando REFRESH FUNCTION (SPARK-31999)
  • Adicção dos métodos sameSemantics e sementicHash ao conjunto de dados (SPARK-30791)
  • Suporte ao tipo composto de classe Case no UDF (SPARK-31826)
  • Suporte à enumeração em codificadores (SPARK-32585)
  • Suporte às APIs de campo aninhado withField e dropFields (SPARK-31317 e SPARK-32511)
  • Suporte ao preenchimento de nulos para colunas ausentes em unionByName (SPARK-29358)
  • Suporte a DataFrameReader.table para uso das opções especificadas (SPARK-32592 e SPARK-32844)
  • Suporte ao local do HDFS em spark.sql.hive.metastore.jars (SPARK-32852)
  • Opção de suporte nativo a --archives (SPARK-33530 e SPARK-33615)
  • Aprimoramento da API ExecutorPlugin para inclusão de métodos para eventos de início e de término da tarefa (SPARK-33088)

Outras alterações importantes

  • Fornecimento da função de pesquisa no site de documentação do Spark (SPARK-33166)
  • Atualização do Apache Arrow para 2.0.0 (SPARK-33213)
  • Habilitação da API de tempo Java 8 no servidor Thrift (SPARK-31910)
  • Habilitação da API de tempo Java 8 em UDFs (SPARK-32154)
  • Verificação de estouro na soma de agregação com decimais (SPARK-28067)
  • Correção da colisão de confirmação no modo de substituição de partição dinâmica (SPARK-27194 e SPARK-29302)
  • Remoção de referências para subordinado, lista de bloqueios e lista de permissões (SPARK-32004, SPARK-32036 e SPARK-32037)
  • Remoção da verificação do tamanho do resultado da tarefa para a fase de mapa em ordem aleatória (SPARK-32470)
  • Generalização de ExecutorSource para exposição dos esquemas de sistema de arquivos fornecidos pelo usuário (SPARK-33476)
  • Adição de StorageLevel.DISK_ONLY_3 (SPARK-32517)
  • Exposição de métricas de memória do executor na interface do usuário da Web para executores (SPARK-23432)
  • Exposição das métricas de memória do executor na fase, na guia Fases (SPARK-26341)
  • Correção explícita de spark.ui.port no modo de cluster YARN (SPARK-29465)
  • Adição da configuração spark.submit.waitForCompletion para controlar a saída do Spark-submit no modo de cluster autônomo (SPARK-31486)
  • Configuração de yarn.Client para impressão de links diretos para StdOut/stderr do driver (SPARK-33185)
  • Correção da perda de memória durante uma falha no armazenamento de partes da difusão (SPARK-32715)
  • O tempo limite de pulsação do driver BlockManagerMaster passa a ser configurável (SPARK-34278)
  • Unificação e conclusão dos comportamentos do cache (SPARK-33507)

Alterações de comportamento

Confira os guias de migração de cada componente: Spark Core e Spark SQL.

PySpark

Projeto Zen

  • Project Zen: aprimoramento da usabilidade do Python (SPARK-32082)
  • Suporte às dicas de tipo do PySpark (SPARK-32681)
  • Reformulação da documentação do PySpark (SPARK-31851)
  • Migração para o estilo de documentação do NumPy (SPARK-32085)
  • Opção de instalação para usuários do PyPI (SPARK-32017)
  • Reprovação desfeita do esquema do DataFrame de inferência da lista de dict (SPARK-32686)
  • Simplificação da mensagem de exceção em UDFs do Python (SPARK-33407)

Outras alterações importantes

  • Eliminação de duplicações em chamadas determinísticas UDF do Python (SPARK-33303)
  • Suporte às funções de ordem superior em funções do PySpark (SPARK-30681)
  • Suporte às APIs de gravação V2X da fonte de dados (SPARK-29157)
  • Suporte a percentile_approx em funções do PySpark (SPARK-30569)
  • Suporte a inputFiles no DataFrame do PySpark (SPARK-31763)
  • Suporte a withField em colunas do PySpark (SPARK-32835)
  • Suporte a dropFields em colunas do PySpark (SPARK-32511)
  • Suporte a nth_value em funções do PySpark (SPARK-33020)
  • Support a acosh, asinh e atanh (SPARK-33563)
  • Suporte ao método getCheckpointDir no SparkContext do PySpark (SPARK-33017)
  • Suporte ao preenchimento de nulos para colunas ausentes em unionByName (SPARK-32798)
  • Atualização de cloudpickle para v1.5.0 (SPARK-32094)
  • Adição de suporte a MapType no PySpark com o Arrow (SPARK-24554)
  • DataStreamReader.table e DataStreamWriter.toTable (SPARK-33836)

Alterações de comportamento

Confira os guias de migração do [PySpark]https://spark.apache.org/docs/3.1.1/pyspark-migration-guide.html.

Streaming estruturado

Aprimoramentos de desempenho

  • Armazenamento em cache da lista de arquivos buscados além de maxFilesPerTrigger como arquivos não lidos (SPARK-30866)
  • Simplificação da lógica no log de metadados de origem do fluxo de arquivos e do coletor (SPARK-30462)
  • Evitar a leitura do log de metadados compactos duas vezes se a consulta é reiniciada do lote compacto (SPARK-30900)

Aprimoramentos de recursos

  • Adição da API DataStreamReader.table (SPARK-32885)
  • Adição da API DataStreamWriter.toTable (SPARK-32896)
  • Junção de fluxo – Semifluxo à esquerda (SPARK-32862)
  • Junção de fluxo – Fluxo externo completo (SPARK-32863)
  • Fornecimento de uma nova opção para a presença da retenção em arquivos de saída (SPARK-27188)
  • Adição de suporte ao servidor de histórico do Streaming Estruturado do Spark (SPARK-31953)
  • Introdução da validação de esquema de estado entre a reinicialização da consulta (SPARK-27237)

Outras alterações importantes

  • Introdução da validação de esquema para o armazenamento de estado de streaming (SPARK-31894)
  • Suporte ao uso de um codec de compactação diferente no armazenamento de estado (SPARK-33263)
  • Espera infinita do conector do Kafka devido a não atualização dos metadados (SPARK-28367)
  • Atualização do Kafka para 2.6.0 (SPARK-32568)
  • Suporte à paginação em páginas da interface do usuário do Streaming Estruturado (SPARK-31642 e SPARK-30119)
  • Informações de estado na interface do usuário do Streaming Estruturado (SPARK-33223)
  • Informações de lacuna de marca d'água na interface do usuário do Streaming Estruturado (SPARK-33224)
  • Exposição de informações de métricas personalizadas de estado na interface do usuário do SS (SPARK-33287)
  • Adição de uma nova métrica em relação ao número de linhas posteriores à marca d'água (SPARK-24634)

Alterações de comportamento

Confira os guias de migração do Streaming Estruturado.

MLlib

Destaques

  • Bloqueio de LinearSVC dos vetores de entrada (SPARK-30642)
  • Bloqueio de LogisticRegression dos vetores de entrada (SPARK-30659)
  • Bloqueio de LinearRegression dos vetores de entrada (SPARK-30660)
  • Bloqueio de AFT dos vetores de entrada (SPARK-31656)
  • Adição de suporte para regras de associação no ML (SPARK-19939)
  • Adição do resumo de treinamento para LinearSVCModel (SPARK-20249)
  • Adição de resumo a RandomForestClassificationModel (SPARK-23631)
  • Adição de resumo de treinamento a FMClassificationModel (SPARK-32140)
  • Adição de resumo a MultilayerPerceptronClassificationModel (SPARK-32449)
  • Adição de FMClassifier ao SparkR (SPARK-30820)
  • Adição do wrapper LinearRegression ao SparkR (SPARK-30818)
  • Adição do wrapper FMRegressor ao SparkR (SPARK-30819)
  • Adição do wrapper do SparkR a vector_to_array (SPARK-33040)
  • Bloqueio de instâncias de maneira adaptável – LinearSVC (SPARK-32907)
  • CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer passam a dar suporte ao avaliador de back-end do Python (SPARK-33520)
  • Aprimoramento do desempenho do recommendForAll do ML ALS por GEMV (SPARK-33518)
  • Adição de UnivariateFeatureSelector (SPARK-34080)

Outras alterações importantes

  • Resumo de computação do GMM e distribuições de atualização em um trabalho (SPARK-31032)
  • Remoção da dependência ChiSqSelector em mllib.ChiSqSelectorModel (SPARK-31077)
  • Mesclagem do dataframe de resultados dos testes em testChiSquare (SPARK-31301)
  • Otimização de MinHash keyDistance (SPARK-31436)
  • Otimização do KMeans com base na desigualdade de triângulo (SPARK-31007)
  • Adição de suporte de peso em ClusteringEvaluator (SPARK-31734)
  • Adição de getMetrics em Avaliadores (SPARK-31768)
  • Adição de suporte de peso da instância em LinearRegressionSummary (SPARK-31944)
  • Adição da coluna de dobra especificada pelo usuário a CrossValidator (SPARK-31777)
  • Paridade de valor padrão de parâmetros do ML no recurso e no ajuste (SPARK-32310)
  • Correção do cache duplo em KMeans/BiKMeans (SPARK-32676)
  • Otimização da transformação aft (SPARK-33111)
  • Otimização da transformação FeatureHasher (SPARK-32974)
  • Adição da função array_to_vector à coluna dataframe (SPARK-33556)
  • Paridade de valor padrão de parâmetros do ML na classificação, na regressão, no clustering e no fpm (SPARK-32310)
  • Summary.totalIterations maior que maxIters (SPARK-31925)
  • Otimização da previsão de modelos de árvore (SPARK-32298)

Alterações de comportamento

Confira os guias de migração da MLlib.

SparkR

  • Adição da interface do SparkR às funções de ordem superior (SPARK-30682)
  • Suporte ao preenchimento de nulos para colunas ausentes em unionByName (SPARK-32798)
  • Suporte a withColumn em funções do SparkR (SPARK-32946)
  • Suporte a timestamp_seconds em funções do SparkR (SPARK-32949)
  • Suporte a nth_value em funções do SparkR (SPARK-33030)
  • Versão mínima do Arrow aumentada para 1.0.0 (SPARK-32452)
  • Suporte a array_to_vector em funções do SparkR (SPARK-33622)
  • Suporte a acosh, asinh e atanh (SPARK-33563)
  • Suporte a from_avro e to_avro (SPARK-33304)

Alterações de comportamento

Confira os guias de migração do SparkR (R no Spark).

GraphX

Guia de programação: Guia de programação do GraphX.

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 8.0.

Ambiente do sistema

  • Sistema operacional: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
  • Scala: 2.12.10
  • Python: 3.8.8 (atualizado da versão 3.8.6 em 26 de maio de 2021 – Atualização de manutenção)
  • R: versão do R 4.0.3 (10/10/2020)
  • Delta Lake 0.8.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
criptografia 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.1 docutils 0.15.2
entrypoints 0.3 filelock 3.0.12 idna 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
koalas 1.5.0 matplotlib 3.2.2 numpy 1.19.2
pandas 1.1.3 parso 0.7.0 patsy 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pip 20.2.4
prompt-toolkit 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.1 pyzmq 19.0.2
solicitações 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
scipy 1.5.2 seaborn 0.10.0 setuptools 50.3.1
six 1.15.0 statsmodels 0.12.0 threadpoolctl 2.1.0
tornado 6.0.4 traitlets 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 wheel 0.35.1

Bibliotecas R instaladas

As bibliotecas do R foram instaladas por meio do instantâneo do Microsoft CRAN em 02-11-2020.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
askpass 1,1 assertthat 0.2.1 backports 1.2.1
base 4.0.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-25 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 sinal de interpolação 6.0-86
cellranger 1.1.0 chron 2.3-56 classe 7.3-17
cli 2.2.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 colorspace 2.0-0 commonmark 1,7
compiler 4.0.3 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 credenciais 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
conjuntos de dados 4.0.3 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 evaluate 0,14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-79 forge 0.2.0
fs 1.5.0 future 1.21.0 Genéricos 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 elemento gráfico 4.0.3
grDevices 4.0.3 grade 4.0.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 ciclo de vida 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1,1 MASS 7.3-53 Matriz 1.2-18
memoise 1.1.0 methods 4.0.3 mgcv 1.8-33
mime 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.3
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
progress 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 spatial 7.3-11 splines 4.0.3
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.3
stats4 4.0.3 stringi 1.5.3 stringr 1.4.0
survival 3.2-7 sys 3.4 tcltk 4.0.3
TeachingDemos 2,10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.0.3
usethis 2.0.0 utf8 1.1.4 utils 4.0.3
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0,19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1,2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocity 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty jetty-continuation 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty jetty-plus 9.4.34.v20201102
org.eclipse.jetty jetty-proxy 9.4.34.v20201102
org.eclipse.jetty jetty-security 9.4.34.v20201102
org.eclipse.jetty jetty-server 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap shims 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,0
org.scalanlp breeze_2.12 1,0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52