Tempo de execução do Databricks 10.4 LTS

  • Artigo

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 10.4 LTS e o Databricks Runtime 10.4 LTS Photon, com tecnologia Apache Spark 3.2.1. Photon está em Visualização Pública. A Databricks divulgou essas imagens em março de 2022.

Nota

LTS significa que esta versão está sob suporte a longo prazo. Consulte Ciclo de vida da versão do Databricks Runtime LTS.

Novos recursos e melhorias

Conversor de mesa Iceberg para Delta (Visualização pública)

Converter para Delta agora suporta a conversão de uma tabela Iceberg em uma tabela Delta no lugar. Ele faz isso usando metadados nativos do Iceberg e manifestos de arquivo. Consulte Converter para Delta Lake.

As reversões de compactação automática agora estão habilitadas por padrão

Esta versão melhora o comportamento das gravações Delta Lake que confirmam quando há transações simultâneas de Auto Compaction. Antes desta versão, essas gravações muitas vezes eram encerradas, devido a modificações simultâneas em uma tabela. As gravações agora serão bem-sucedidas mesmo se houver transações simultâneas de Compactação Automática.

A Mesclagem Baixa de Embaralhamento agora está habilitada por padrão

O MERGE INTO comando agora sempre usa a nova implementação low-shuffle. Esse comportamento melhora o desempenho do comando significativamente para a MERGE INTO maioria das cargas de trabalho. A definição de configuração que era usada anteriormente para habilitar esse recurso foi removida. Consulte Mesclagem de baixa shuffle no Azure Databricks.

As tags de ordem de inserção agora são preservadas para UPDATEs e DELETEs

Os UPDATE comandos e DELETE agora preservam as informações de clustering existentes (incluindo Z-ordering) para arquivos que são atualizados ou excluídos. Esse comportamento é uma abordagem de melhor esforço, e essa abordagem não se aplica a casos em que os arquivos são tão pequenos que esses arquivos são combinados durante a atualização ou exclusão.

HikariCP agora é o pool de conexões de metastore padrão do Hive

O HikariCP traz muitas melhorias de estabilidade para o acesso ao metastore do Hive, mantendo menos conexões em comparação com a implementação anterior do pool de conexões BoneCP. O HikariCP é habilitado por padrão em qualquer cluster Databricks Runtime que use o metastore Databricks Hive (por exemplo, quando spark.sql.hive.metastore.jars não está definido). Você também pode alternar explicitamente para outras implementações de pool de conexões, por exemplo BoneCP, definindo spark.databricks.hive.metastore.client.pool.type.

O conector Synapse do Azure agora permite que o número máximo de linhas de rejeição permitidas seja definido

O conector Synapse do Azure agora dá suporte a uma opção maxErrors DataFrame. Esta atualização permite configurar o número máximo de linhas rejeitadas permitidas durante leituras e gravações antes que a operação de carregamento seja cancelada. Todas as linhas rejeitadas são ignoradas. Por exemplo, se dois em cada dez registos tiverem erros, apenas oito registos são processados.

Esta opção mapeia diretamente para a opção para a instrução no PolyBase e para a REJECT_VALUECREATE EXTERNAL TABLEMAXERRORS opção para o comando do conector Synapse do COPY Azure.

Por padrão, maxErrors o valor é definido como 0: espera-se que todos os registros sejam válidos.

O ponto de verificação de estado assíncrono agora está disponível para o público em geral

Você pode habilitar o ponto de verificação de estado assíncrono em consultas de streaming com monitoração de estado com atualizações de estado grandes. Isso pode reduzir a latência de microlote de ponta a ponta. Esta funcionalidade já está em disponibilidade geral. Consulte Ponto de verificação de estado assíncrono para consultas com monitoração de estado.

Os padrões de parâmetro agora podem ser especificados para funções definidas pelo usuário do SQL

Ao criar uma função SQL definida pelo usuário (SQL UDF), agora você pode especificar expressões padrão para os parâmetros do SQL UDF. Em seguida, você pode chamar o SQL UDF sem fornecer argumentos para esses parâmetros, e o Databricks preencherá os valores padrão para esses parâmetros. Consulte CREATE FUNCTION (SQL e Python).

Novas funções do Spark SQL

As seguintes funções do Spark SQL estão agora disponíveis com esta versão:

  • try_multiply: Devoluções multiplier multiplicadas por multiplicand, ou NULL em excesso.
  • try_subtract: Devolve a subtração de expr2 de expr1, ou NULL em estouro.

Novo diretório de trabalho para clusters de alta simultaneidade

Em clusters de alta simultaneidade com controle de acesso à tabela ou passagem de credenciais habilitado, o diretório de trabalho atual dos blocos de anotações agora é o diretório base do usuário. Anteriormente, o diretório de trabalho era /databricks/driver.

O suporte a colunas de identidade em tabelas Delta agora está disponível para o público em geral

Delta Lake agora suporta colunas de identidade. Quando você grava em uma tabela Delta que define uma coluna de identidade e não fornece valores para essa coluna, a Delta agora atribui automaticamente um valor exclusivo e estatisticamente crescente ou decrescente. Consulte CREATE TABLE [USING].

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • filelock de 3.4.2 a 3.6.0
  • Bibliotecas R atualizadas:
    • Fermente de 1.0-6 a 1.0-7
    • Vassoura de 0.7.11 a 0.7.12
    • CLI de 3.1.0 a 3.2.0
    • clipr de 0.7.1 a 0.8.0
    • espaço de cores de 2.0-2 a 2.0-3
    • giz de cera de 1.4.2 a 1.5.0
    • dplyr de 1.0.7 a 1.0.8
    • dtplyr de 1.2.0 a 1.2.1
    • avaliar de 0,14 a 0,15
    • para cada um dos pontos 1.5.1 a 1.5.2
    • futuro de 1.23.0 a 1.24.0
    • Genéricos de 0.1.1 a 0.1.2
    • cola de 1.6.0 a 1.6.1
    • gower de 0.2.2 a 1.0.0
    • iteradores de 1.0.13 a 1.0.14
    • jsonlite de 1.7.3 a 1.8.0
    • magrittr de 2.0.1 a 2.0.2
    • mgcv de 1.8-38 a 1.8-39
    • pilar de 1.6.4 a 1.7.0
    • randomFloresta de 4,6-14 a 4,7-1
    • readr de 2.1.1 a 2.1.2
    • receitas de 0.1.17 a 0.2.0
    • rlang de 0.4.12 a 1.0.1
    • parte de 4.1-15 a 4.1.16
    • RSQLite de 2.2.9 a 2.2.10
    • Sparklyr de 1.7.4 a 1.7.5
    • ensaio de 3.1.1 a 3.1.2
    • Tidyr de 1.1.4 a 1.2.0
    • TidySelect de 1.1.1 a 1.1.2
    • tinytex de 0,36 a 0,37
    • yaml de 2.2.1 a 2.3.5
  • Bibliotecas Java atualizadas:
    • io.delta.delta-sharing-spark_2.12 de 0.3.0 a 0.4.0

Faísca Apache

O Databricks Runtime 10.4 LTS inclui o Apache Spark 3.2.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 10.3 (sem suporte), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [FAÍSCA-38322] [SQL] Suporte ao estágio de consulta mostrar estatísticas de tempo de execução no modo explicativo formatado
  • [FAÍSCA-38162] [SQL] Otimize o plano de uma linha no normal e no AQE Optimizer
  • [FAÍSCA-38229] [SQL] Não deve verificar temp/external/ifNotExists com visitReplaceTable quando analisador
  • [FAÍSCA-34183] [SS] DataSource V2: Distribuição e ordenação necessárias na execução de microlotes
  • [FAÍSCA-37932] [SQL] Aguarde para resolver atributos ausentes antes de aplicar DeduplicateRelations
  • [FAÍSCA-37904] [SQL] Melhorar RebalancePartitions em regras do Optimizer
  • [FAÍSCA-38236] [SQL] [3.2] [3.1] Verifique se a localização da tabela é absoluta por "new Path(locationUri).isAbsolute" em create/alter table
  • [FAÍSCA-38035] [SQL] Adicionar testes docker para dialeto JDBC integrado
  • [FAÍSCA-38042] [SQL] Verifique se ScalaReflection.dataTypeFor funciona em tipos de matriz com alias
  • [FAÍSCA-38273] [SQL] decodeUnsafeRows» s iteradores devem fechar fluxos de entrada subjacentes
  • [FAÍSCA-38311] [SQL] Corrija DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite no modo ANSI
  • [FAÍSCA-38305] [CORE] Verifique explicitamente se a origem existe em unpack() antes de chamar os métodos FileUtil
  • [FAÍSCA-38275] [SS] Inclua o uso de memória do writeBatch como o uso total de memória do armazenamento de estado do RocksDB
  • [FAÍSCA-38132] [SQL] Remover NotPropagation regra
  • [FAÍSCA-38286] [SQL] MaxRows e maxRowsPerPartition da União podem estourar
  • [FAÍSCA-38306] [SQL] Corrija ExplainSuite, StatisticsCollectionSuite e StringFunctionsSuite no modo ANSI
  • [FAÍSCA-38281] [SQL] [Testes] Corrija o AnalysisSuite no modo ANSI
  • [FAÍSCA-38307] [SQL] [Testes] Corrija ExpressionTypeCheckingSuite e CollectionExpressionsSuite no modo ANSI
  • [FAÍSCA-38300] [SQL] Use ByteStreams.toByteArray para simplificar fileToString e resourceToBytes no catalyst.util
  • [FAÍSCA-38304] [SQL] Elt() deve retornar null se index for null no modo ANSI
  • [FAÍSCA-38271] PoissonSampler pode gerar mais linhas do que MaxRows
  • [FAÍSCA-38297] [PYTHON] Transmitir explicitamente o valor de retorno em DataFrame.to_numpy no PDV
  • [FAÍSCA-38295] [SQL] [Testes] Corrigir ArithmeticExpressionSuite no modo ANSI
  • [FAÍSCA-38290] [SQL] Corrija JsonSuite e ParquetIOSuite no modo ANSI
  • [FAÍSCA-38299] [SQL] Limpar o uso preterido de StringBuilder.newBuilder
  • [FAÍSCA-38060] [SQL] Respeite allowNonNumericNumbers ao analisar valores NaN e Infinity cotados no leitor JSON
  • [FAÍSCA-38276] [SQL] Adicionar planos TPCDS aprovados no modo ANSI
  • [FAÍSCA-38206] [SS] Ignorar a anulabilidade ao comparar o tipo de dados de chaves de junção na junção de fluxo de fluxo
  • [FAÍSCA-37290] [SQL] - Tempo de planeamento exponencial em caso de função não determinística
  • [FAÍSCA-38232] [SQL] Explicar formatado não coleta subconsultas no estágio de consulta no AQE
  • [FAÍSCA-38283] [SQL] Teste a análise de data/hora inválida no modo ANSI
  • [FAÍSCA-38140] [SQL] As estatísticas da coluna Desc (min, max) para o tipo de carimbo de data/hora não são consistentes com os valores devido à diferença de fuso horário
  • [FAÍSCA-38227] [SQL] [SS] Aplicar anulabilidade estrita da coluna aninhada na janela de tempo / janela de sessão
  • [FAÍSCA-38221] [SQL] Itere ansiosamente sobre groupingExpressions ao mover expressões de agrupamento complexas para fora de um nó Aggregate
  • [FAÍSCA-38216] [SQL] Falha antecipada se todas as colunas forem colunas particionadas ao criar uma tabela Hive
  • [FAÍSCA-38214] [SS] Não há necessidade de filtrar janelas quando windowDuration é múltiplo de slideDuration
  • [FAÍSCA-38182] [SQL] Corrija NoSuchElementException se o filtro push não contiver referências
  • [FAÍSCA-38159] [SQL] Adicionar um novo FileSourceMetadataAttribute para os metadados de arquivo ocultos
  • [FAÍSCA-38123] [SQL] Utilização DataType unificada a partir targetType de QueryExecutionErrors#castingCauseOverflowError
  • [FAÍSCA-38118] [SQL] Func (tipo de dados errado) na cláusula HAVING deve gerar erro de incompatibilidade de dados
  • [FAÍSCA-35173] [SQL] [PYTHON] Adicionar várias colunas adicionando suporte
  • [FAÍSCA-38177] [SQL] Corrigir transformExpressions erradas no Optimizer
  • [FAÍSCA-38228] [SQL] A atribuição de armazenamento herdado não deve falhar em caso de erro no modo ANSI
  • [FAÍSCA-38173] [SQL] A coluna citada não pode ser reconhecida corretamente quando citadaRegexColumnNa...
  • [FAÍSCA-38130] [SQL] Remover array_sort verificação de entradas ordenáveis
  • [FAÍSCA-38199] [SQL] Suprimir o não utilizado dataType especificado na definição de IntervalColumnAccessor
  • [FAÍSCA-38203] [SQL] Corrija SQLInsertTestSuite e SchemaPruningSuite no modo ANSI
  • [FAÍSCA-38163] [SQL] Preservar a classe de erro de durante a construção do construtor de SparkThrowable funções
  • [FAÍSCA-38157] [SQL] Defina explicitamente ANSI como false no teste timestampNTZ/timestamp.sql e SQLQueryTestSuite para corresponder aos resultados dourados esperados
  • [FAÍSCA-38069] [SQL] [SS] Melhorar o cálculo da janela de tempo
  • [FAÍSCA-38164] [SQL] Novas funções SQL: try_subtract e try_multiply
  • [FAÍSCA-38176] [SQL] Modo ANSI: permite transmitir implicitamente String para outros tipos simples
  • [FAÍSCA-37498] [PYTHON] Adicionar eventualmente para test_reuse_worker_of_parallelize_range
  • [FAÍSCA-38198] [SQL] [3.2] Fix QueryExecution.debug#toFile use o passado em maxFields quando explainMode é CodegenMode
  • [FAÍSCA-38131] [SQL] Usar classes de erro somente em exceções voltadas para o usuário
  • [FAÍSCA-37652] [SQL] Adicionar teste para otimizar a junção enviesada através da união
  • [FAÍSCA-37585] [SQL] Atualizar InputMetric em DataSourceRDD com TaskCompletionListener
  • [FAÍSCA-38113] [SQL] Usar classes de erro nos erros de execução da dinâmica
  • [FAÍSCA-38178] [SS] Corrija a lógica para medir o uso de memória do RocksDB
  • [FAÍSCA-37969] [SQL] HiveFileFormat deve verificar o nome do campo
  • [FAÍSCA-37652] Reverter "[SQL]Adicionar teste para otimizar a junção enviesada através da união"
  • [FAÍSCA-38124] [SQL] [SS] Introduza StatefulOpClusteredDistribution e aplique à junção de fluxo de fluxo
  • [FAÍSCA-38030] [SQL] A canonicalização não deve remover a anulabilidade de AttributeReference dataType
  • [FAÍSCA-37907] [SQL] Suporte InvokeLike ConstantFolding
  • [FAÍSCA-37891] [CORE] Adicionar verificação scalastyle para desativar scala.concurrent.ExecutionContext.Implicits.global
  • [FAÍSCA-38150] [SQL] Comentário de atualização de RelationConversions
  • [FAÍSCA-37943] [SQL] Usar classes de erro nos erros de compilação do agrupamento
  • [FAÍSCA-37652] [SQL] Adicionar teste para otimizar a junção enviesada através da união
  • [FAÍSCA-38056] [Interface do usuário da Web] [3.2] Corrigir problema de streaming estruturado não funcionar no servidor de histórico ao usar o LevelDB
  • [FAÍSCA-38144] [CORE] Remover configuração não utilizada spark.storage.safetyFraction
  • [FAÍSCA-38120] [SQL] Corrija HiveExternalCatalog.listPartitions quando o nome da coluna da partição estiver em maiúsculas e o ponto no valor da partição
  • [FAÍSCA-38122] [Documentos] Atualizar a chave da aplicação do DocSearch
  • [FAÍSCA-37479] [SQL] Migrar DROP NAMESPACE para usar o comando V2 por padrão
  • [FAÍSCA-35703] [SQL] Relaxe a restrição para associação de bucket e remova HashClusteredDistribution
  • [FAÍSCA-37983] [SQL] Voltar para fora agg métricas de tempo de construção de sort aggregate
  • [FAÍSCA-37915] [SQL] Combinar sindicatos se houver um projeto entre eles
  • [FAÍSCA-38105] [SQL] Usar classes de erro nos erros de análise de junções
  • [FAÍSCA-38073] [PYTHON] Atualize a função atexit para evitar problemas com a vinculação tardia
  • [FAÍSCA-37941] [SQL] Usar classes de erro nos erros de compilação da transmissão
  • [FAÍSCA-37937] [SQL] Usar classes de erro nos erros de análise da junção lateral
  • [FAÍSCA-38100] [SQL] Remover método privado não utilizado em Decimal
  • [FAÍSCA-37987] [SS] Corrigir teste escamoso StreamingAggregationSuite.alterando esquema de estado ao reiniciar a consulta
  • [FAÍSCA-38003] [SQL] A regra LookupFunctions só deve procurar funções a partir do registo de funções escalares
  • [FAÍSCA-38075] [SQL] Correção hasNext no HiveScriptTransformationExeciterador de saída de processo do
  • [FAÍSCA-37965] [SQL] Remover o nome do campo de verificação ao ler/gravar dados existentes no Orc
  • [FAÍSCA-37922] [SQL] Combine para um elenco se pudermos up-cast com segurança dois moldes (para dbr-branch-10.x)
  • [FAÍSCA-37675] [FAÍSCA-37793] Impedir a substituição de arquivos mesclados por push shuffle depois que o shuffle for finalizado
  • [FAÍSCA-38011] [SQL] Remova a configuração duplicada e inútil no ParquetFileFormat
  • [FAÍSCA-37929] [SQL] Suporte ao modo cascata para dropNamespace API
  • [FAÍSCA-37931] [SQL] Cite o nome da coluna, se necessário
  • [FAÍSCA-37990] [SQL] Suporte TimestampNTZ em RowToColumnConverter
  • [FAÍSCA-38001] [SQL] Substitua as classes de erro relacionadas a recursos sem suporte por UNSUPPORTED_FEATURE
  • [FAÍSCA-37839] [SQL] O DS V2 suporta push-down agregado parcial AVG
  • [FAÍSCA-37878] [SQL] Migrar SHOW CREATE TABLE para usar o comando v2 por padrão
  • [FAÍSCA-37731] [SQL] Pesquisa de função de refatoração e limpeza no Analyzer
  • [FAÍSCA-37979] [SQL] Alternar para classes de erro mais genéricas em funções AES
  • [FAÍSCA-37867] [SQL] Compilar funções agregadas do dialeto JDBC integrado
  • [FAÍSCA-38028] [SQL] Expor vetor de seta de ArrowColumnVector
  • [FAÍSCA-30062] [SQL] Adicione a instrução IMMEDIATE à implementação truncada do dialeto DB2
  • [FAÍSCA-36649] [SQL] Suporte Trigger.AvailableNow na fonte de dados Kafka
  • [FAÍSCA-38018] [SQL] Corrija ColumnVectorUtils.populate para manipular CalendarIntervalType corretamente
  • [FAÍSCA-38023] [CORE] ExecutorMonitor.onExecutorRemoved deve manusear ExecutorDecommission como acabado
  • [FAÍSCA-38019] [CORE] Tornar ExecutorMonitor.timedOutExecutors determinista
  • [FAÍSCA-37957] [SQL] Passar corretamente o sinalizador determinístico para funções escalares V2
  • [FAÍSCA-37985] [SQL] Corrigir teste escamoso para SPARK-37578
  • [FAÍSCA-37986] [SQL] Suporte TimestampNTZ em radix sort
  • [FAÍSCA-37967] [SQL] Literal.create suporte ObjectType
  • [FAÍSCA-37827] [SQL] Coloque algumas propriedades internas da tabela em V1Table.propertie para se adaptar ao comando V2
  • [FAÍSCA-37963] [SQL] Precisa atualizar o URI da partição após renomear a tabela em InMemoryCatalog
  • [FAÍSCA-35442] [SQL] Apoiar a propagação da relação vazia através da agregação/união
  • [FAÍSCA-37933] [SQL] Alterar o método transversal das regras de push down V2ScanRelationPushDown
  • [FAÍSCA-37917] [SQL] Empurre para baixo o limite 1 para o lado direito da semi/antijunção esquerda se a condição de junção estiver vazia
  • [FAÍSCA-37959] [ML] Corrigir a UT da norma de verificação no KMeans & BiKMeans
  • [FAÍSCA-37906] [SQL] spark-sql não deve passar o último comentário para back-end
  • [FAÍSCA-37627] [SQL] Adicionar coluna classificada em BucketTransform

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 10.4 LTS.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Escala: 2.12.14
  • Píton: 3.8.10
  • R: 4.1.2
  • Lago Delta: 1.1.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Antergos Linux 2015.10 (Laminação ISO) Appdirs 1.4.4 Argônio2-CFFI 20.1.0
gerador assíncrono 1.10 ATRs 20.3.0 Backcall 0.2.0
Bidico 0.21.4 lixívia 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Quisto 0.29.23
dbus-python 1.2.16 decorador 5.0.6 DeUsedXML 0.7.1
Distlib 0.3.4 distro-info 0,23ubuntu1 pontos de entrada 0.3
facetas-visão geral 1.0.0 filelock 3.6.0 idna 2.10
Ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 Joblib 1.0.1 jsonschema 3.2.0
jupyter-cliente 6.1.12 Jupyter-core 4.7.1 Jupyterlab-Pygments 0.1.2
jupyterlab-widgets 1.0.0 Kiwisolver 1.3.1 coalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 Mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
Ninho-Asyncio 1.5.1 bloco de notas 6.3.0 numpy 1.20.1
embalagem 20.9 pandas 1.2.4 PandocFilters 1.4.3
Parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Travesseiro 8.2.0 pip 21.0.1
enredo 5.5.0 Prometheus-cliente 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pirsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 Python-Engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 Pyzmq 20.0.0
pedidos 2.25.1 pedidos-unixsocket 0.2.0 s3transferir 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Enviar2Lixo 1.5.0 setuptools 52.0.0 seis 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacidade 8.0.1
terminado 0.9.4 caminho de teste 0.4.4 ThreadPoolCtl 2.1.0
tornado 6.1 traços 5.0.5 Upgrades autônomos 0.1
urllib3 1.25.11 virtualenv 20.4.1 largura de wc 0.2.5
WebEncodings 0.5.1 roda 0.36.2 widgetsnbextension 3.5.1

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2022-02-24.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AskPass 1.1 asserçãoat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 arranque 1.3-28
brew 1.0-7 Brio 1.1.3 vassoura 0.7.12
BSLIB 0.3.1 cachem 1.0.6 Chamador 3.7.0
acento circunflexo 6.0-90 Cellranger 1.1.0 crono 2.3-56
classe 7.3-20 cli 3.2.0 Clipr 0.8.0
cluster 2.1.2 codetools 0.2-18 espaço em cores 2.0-3
marca comum 1.7 compilador 4.1.2 configuração 0.3.1
CPP11 0.4.2 lápis de cor 1.5.0 credenciais 1.3.2
curl 4.3.2 data.table 1.14.2 conjuntos de dados 4.1.2
DBI 1.1.2 DBPlyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 resumo 0.6.29
dplyr 1.0.8 DTPlyr 1.2.1 E1071 1.7-9
ellipsis 0.3.2 evaluate 0,15 Fãsi 1.0.2
Farver 2.1.0 mapa rápido 1.1.0 fontawesome 0.2.2
FORCATS 0.5.1 foreach 1.5.2 externa 0.8-82
forjar 0.2.0 FS 1.5.2 Futuro 1.24.0
future.apply 1.8.1 gargarejo 1.2.0 Genéricos 0.1.2
Gert 1.5.0 ggplot2 3.3.5 GH 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 Globais 0.14.0
colar 1.6.1 GoogleDrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 gráficos 4.1.2 grDevices 4.1.2
grelha 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 capacete 0.2.0 Refúgio 2.4.3
mais alto 0,9 HMS 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 IDs 1.0.1
ini 0.3.1 ipred 0.9-12 Isoband 0.2.5
iteradores 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 Knitr 1.37 etiquetagem 0.4.2
mais tarde 1.3.0 lattice 0.20-45 lava 1.6.10
ciclo de vida 1.0.1 ouvirv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 Marcação 1.1 MASSA 7.3-55
Matriz 1.4-0 memoise 2.0.1 métodos 4.1.2
mgcv 1.8-39 mime 0,12 ModelMetrics 1.2.2.2
Modelador 0.1.8 munsell 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
paralelo 4.1.2 Paralelamente 1.30.0 pilar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 elogiar 1.0.0
unidades bonitas 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 Progresso 1.2.2 progressor 0.10.0
promessas 1.2.0.1 proto 1.0.0 procuração 0.4-26
PS 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 Leitor 2.1.2 ReadXL 1.3.1
receitas 0.2.0 revanche 1.0.1 revanche2 2.1.2
Controles remotos 2.4.2 Reprex 2.0.1 remodelar2 1.4.4
rlang 1.0.1 rmarkdown 2.11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0,13
rversões 2.1.1 Rvest 1.0.2 Sass 0.4.0
escalas 1.1.1 seletor 0.4-2 sessioninfo 1.2.2
forma 1.4.6 brilhante 1.7.1 ferramentas de origem 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 espacial 7.3-11
splines 4.1.2 sqldf 0.4-11 QUADRADO 2021.1
estatísticas 4.1.2 stats4 4.1.2 stringi 1.7.6
stringr 1.4.0 sobrevivência 3.2-13 sys 3.4
tcltk 4.1.2 TeachingDemos 2.10 testeatat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
Tidyverse 1.3.1 timeDate 3043.102 Tinytex 0,37
ferramentas 4.1.2 TZDB 0.2.0 usethis 2.1.5
UTF8 1.2.2 utilitários 4.1.2 uuid 1.0-3
VCTRS 0.3.8 viridisLite 0.4.0 vroom 1.5.7
Waldo 0.3.1 whisker 0.4 withr 2.4.3
xfun 0,29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.12.3
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben ZSTD-JNI 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-tempo de execução 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib Lapack | 2.2.1
colmeia-2.3__hadoop-3.2 JETS3T-0,7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.21
IO.Delta delta-compartilhamento-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics métricas-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.servlet jacarta.servlet-api 4.0.3
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-árvores colmeia-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna JNA 5.8.0
net.razorvine pirolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.13.3
net.floco de neve faísca-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato de seta 2.0.0
org.apache.arrow seta-memória-núcleo 2.0.0
org.apache.arrow seta-memória-netty 2.0.0
org.apache.arrow vetor de seta 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapeado 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-texto 1.6
org.apache.curator curador-cliente 2.13.0
org.apache.curator curador-framework 2.13.0
org.apache.curator curador-receitas 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-Databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive colmeia-lamp-comum 2.3.9
org.apache.hive Colmeia-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims colmeia-calços-0,23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims colmeia-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubação
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy hera 2.5.0
org.apache.mesos mesos-sombreado-protobuf 1.4.0
org.apache.orc orc-núcleo 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc Orc-calços 1.6.12
org.apache.parquet parquet-column 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-common 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-encoding 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-formato-estruturas 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-hadoop 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-jackson 1.12.0-DATABRICKS-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-sombreado 4.20
org.apache.yetus anotações de audiência 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-juta 3.6.2
org.checkerframework verificador-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty cais-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket API WebSocket 9.4.43.v20210629
org.eclipse.jetty.websocket Websocket-cliente 9.4.43.v20210629
org.eclipse.jetty.websocket Websocket-Comum 9.4.43.v20210629
org.eclipse.jetty.websocket servidor websocket 9.4.43.v20210629
org.eclipse.jetty.websocket Websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jaxb jaxb-tempo de execução 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core servidor de jersey 2.34
org.glassfish.jersey.inject Jersey-HK2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M11
org.json4s JSON4S-core_2.12 3.7.0-M11
org.json4s JSON4S-jackson_2,12 3.7.0-M11
org.json4s JSON4S-scalap_2.12 3.7.0-M11
org.lz4 LZ4-Java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap calços 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.14
org.scala-lang Escala-library_2.12 2.12.14
org.scala-lang Escala-reflect_2,12 2.12.14
org.scala-lang.modules scala-coleção-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp Brisa-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark não utilizado 1.0.0
org.threeten trêsdez-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel gatos-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel torre-macros_2.12 0.17.0
org.typelevel torre-platform_2.12 0.17.0
org.typelevel torre-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl mosca-selvagem-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1