Share via

Databricks Runtime 9.0 (sem suporte)

  • Artigo

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 9.0 e o Photon do Databricks Runtime 9.0, da plataforma do Apache Spark 3.1.2. O Databricks lançou essas imagens em agosto de 2021. O Photon está em Visualização Pública.

Correção

Uma versão anterior dessas notas de versão declarava incorretamente que as dependências do Apache Parquet foram atualizadas da versão 1.10 para a 1.12. Na verdade, as dependências do Parquet permanecem na versão 1.10. A nota de versão incorreta foi removida.

Novos recursos e aprimoramentos

Nova API para estatísticas resumidas de conjuntos de dados (Visualização Pública)

O novo comando dbutils.data.summarize em Utilitários do Databricks permite iniciar um trabalho do Spark que calcula automaticamente as estatísticas resumidas nas colunas de um DataFrame do Spark e, em seguida, exibe os resultados interativamente. Essa função está disponível no Scala e no Python. Consulte Utilitário de dados (dbutils.data).

Configuração de fonte de dados externa mais fácil para o conector do Azure Synapse

A nova opção externalDataSource no conector Consultar dados no Azure Synapse Analytics permite que você use uma fonte de dados externa pré-provisionada para ler um banco de dados do Azure Synapse. A opção externalDataSource remove a necessidade da permissão CONTROL necessária anteriormente.

Ao definir externalDataSource, a fonte de dados externa e a opção tempDir usada para configurar o armazenamento temporário devem referenciar o mesmo contêiner na conta de armazenamento.

Opcionalmente, limite a sessão a uma duração especificada para o conector do Amazon Redshift

A nova fs.s3a.assumed.role.session.duration opção no conector Consultar o Amazon Redshift com o Azure Databricks permite que você defina opcionalmente uma duração para a sessão quando o Redshift estiver acessando o bucket S3 temporário com uma função assumida.

Carregador Automático

Listagem de arquivo otimizada

As otimizações do Carregador Automático fornecem melhorias de desempenho e economia de custos ao listar diretórios aninhados no armazenamento em nuvem, incluindo AWS S3, ADLS Gen2 (Azure Data Lake Armazenamento Gen2) e GCS (Google Cloud Armazenamento).

Por exemplo, se você tivesse arquivos sendo carregados como /some/path/YYYY/MM/DD/HH/fileName, para encontrar todos os arquivos nesses diretórios, o Carregador Automático costumava fazer uma listagem paralela de todos os subdiretórios, causando 365 (por dia) * 24 (por hora) = 8760 LIST de chamadas de diretório da API para o armazenamento subjacente para cada diretório de ano. Ao receber uma resposta nivelada desses sistemas de armazenamento, o Carregador Automático reduz o número de chamadas à API para o número de arquivos no sistema de armazenamento dividido pelo número de resultados retornados por cada chamada à API (1000 para S3, 5000 para ADLS Gen2 e 1024 para GCS), reduzindo significativamente os custos de nuvem.

Armazenamento de dados de imagem otimizado

O Carregador Automático agora pode detectar automaticamente os dados de imagem que estão sendo ingeridos e otimizar seu armazenamento em tabelas Delta para melhorar o desempenho de leitura e gravação. Confira Ingerir dados binários ou de imagem no Delta Lake para ML.

Miniaturas de imagem para arquivos binários (Visualização Pública)

As imagens no formato binaryFile carregadas ou salvas como tabelas Delta usando o Carregador Automático têm anotações anexadas para que as miniaturas da imagem apareçam ao exibir a tabela em um notebook do Azure Databricks. Para obter mais informações, confira Imagens.

DirectoryRename eventos permitem o processamento atômico de vários arquivos

Os fluxos do Carregador Automático criados no Databricks Runtime 9.0 e superior no Data Lake Storage Gen2 configuram notificações de eventos de arquivo para incluir renomeações de diretório e escutar eventos RenameDirectory. É possível usar renomeações de diretório para fazer com que vários arquivos apareçam atomicamente no Carregador Automático.

SQL

Excluir colunas em SELECT * (Visualização Pública)

SELECT * agora dá suporte a uma palavra-chave EXCEPT, que permite excluir colunas de nível superior especificadas da expansão. Por exemplo, SELECT * EXCEPT (b) FROM tbl de uma tabela com esquema expande (a, b, c) para (a, c).

Funções escalares do SQL (Visualização Pública)

CREATE FUNCTION agora dá suporte funções escalares do SQL. É possível criar funções escalares que levam um conjunto de argumentos e retornam um único valor de tipo escalar. O corpo da função do SQL pode ser qualquer expressão. Por exemplo:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Para obter detalhes, consulte CRIAR FUNÇÃO (SQL e Python).

Referência de aliases e colunas anteriores em subconsultas FROM (Visualização Pública)

As subconsultas FROM na cláusula de uma consulta agora podem ser precedidas pela palavra-chave LATERAL, que permite referenciar aliases e colunas nos itens FROM anteriores. Por exemplo:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

A palavra-chave LATERAL dá suporte INNER, CROSS, e LEFT (OUTER) JOIN.

Consulte Parâmetros e Parâmetros.

Suporte a R

Bibliotecas do R no escopo do notebook (Visualização Pública)

As bibliotecas no escopo do notebook permitem instalar bibliotecas e criar um ambiente com escopo para uma sessão de notebook. Essas bibliotecas não afetam outros notebooks em execução no mesmo cluster. As bibliotecas estão disponíveis nos nós de driver e de trabalho, portanto, você pode fazer referência a elas em funções definidas pelo usuário. Consulte Bibliotecas do R no escopo do notebook.

Mensagens de aviso em notebooks do R

O valor padrão da opção warn agora está definido como 1 dentro de notebooks do R. Como resultado, todos os avisos agora são expostos como parte do resultado do comando. Para saber mais sobre a opção warn, consulte Configurações de opções.

Evite refazer ao especificar o estado inicial para o processamento com estado de Streaming Estruturado

Agora você pode especificar um estado inicial definido pelo usuário para processamento com estado de streaming estruturado usando o operador [flat]MapGroupsWithState.

Confira Especificar o estado inicial para mapGroupsWithState.

Uma implementação de ordem aleatória baixa do comando MERGE INTO Delta agora está disponível (Visualização Pública)

O comando Delta MERGE INTO tem uma nova implementação disponível que reduz o embaraçamento de linhas não modificadas. Isso melhora o desempenho do comando e ajuda a preservar o clustering existente na tabela, como a ordenação Z. Para habilitar a mesclagem aleatória baixa, de definido spark.databricks.delta.merge.enableLowShuffle como true. Veja Mesclagem baixa de ordem aleatória no Azure Databricks.

Correções de bug

  • Não é mais possível substituir uma exibição criando uma exibição com o mesmo nome.

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • certificado de 2021.5.30 a 2020.12.5
    • chardet de 3.0.4 a 4.0.0
    • Cython de 0.29.21 a 0.29.23
    • decorador de 4.4.2 a 5.0.6
    • ipython de 7.19.0 a 7.22.0
    • joblib de 0.17.0 a 1.0.1
    • jupyter-client de 6.1.7 a 6.1.12
    • jupyter-core de 4.6.3 a 4.7.1
    • kiwisolver de 1.3.0 a 1.3.1
    • matplotlib de 3.2.2 a 3.4.2
    • pandas de 1.1.5 a 1.2.4
    • pip de 20.2.4 a 21.0.1
    • prompt-toolkit de 3.0.8 a 3.0.17
    • protobuf de 3.17.3 a 3.17.2
    • ptyprocess de 0.6.0 a 0.7.0
    • pyarrow de 1.0.1 a 4.0.0
    • Pygments de 2.7.2 a 2.8.1
    • pyzmq de 19.0.2 a 20.0.0
    • solicitações de 2.24.0 a 2.25.1
    • s3transfer de 0.3.6 a 0.3.7
    • scikit-learn de 0.23.2 a 0.24.1
    • scipy de 1.5.2 a 1.6.2
    • seaborn de 0.10.0 a 0.11.1
    • setuptools de 50.3.1 a 52.0.0
    • statsmodels de 0.12.0 a 0.12.2
    • tornado de 6.0.4 a 6.1
    • virtualenv de 20.2.1 a 20.4.1
    • roda de 0.35.1 a 0.36.2
  • Bibliotecas do R atualizadas:
    • Matriz de 1.3-3 a 1.3-4

Apache Spark

Databricks Runtime 9.0 inclui o Apache Spark 3.1.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.4 (sem suporte), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-35886] [SQL][3.1] PromotePrecision não deve substituir genCodePromotePrecision não deve substituir genCode
  • [SPARK-35879] [CORE][SHUFFLE] Correção da regressão de desempenho causada por collectFetchRequests
  • [SPARK-35817] [SQL][3.1] Restaurar o desempenho de consultas em tabelas Avro amplas
  • [SPARK-35841] [SQL] A transmissão da cadeia de caracteres para o tipo decimal não funcionará se o...
  • [SPARK-35783] [SQL] Definir a lista de colunas de leitura na configuração da tarefa para reduzir a leitura de dados ORC
  • [SPARK-35576] [SQL][3.1] Editar as informações confidenciais no resultado do comando Set
  • [SPARK-35449] [SQL][3.1] Extrair apenas expressões comuns de valores CaseWhen se elseValue for definido
  • [SPARK-35288] [SQL] StaticInvoke deve encontrar o método sem a combinação exata de classes de argumento
  • [SPARK-34794] [SQL] Corrigir problemas de nome de variável lambda em funções aninhadas do DataFrame
  • [SPARK-35278] [SQL] A invocação deve encontrar o método com o número correto de parâmetros
  • [SPARK-35226] [SQL] Opção refreshKrb5Config em fonte de dados JDBC
  • [SPARK-35244] [SQL] A invocação deve lançar a exceção original
  • [SPARK-35213] [SQL] Mantenha a ordenação correta de structs aninhados em operações encadeadas withField
  • [SPARK-35087] [interface do usuário] Algumas colunas na tabela Métricas Agregadas por Executor da página de detalhes do estágio são apresentadas incorretamente.
  • [SPARK-35168] [SQL] mapred.reduce.tasks devem ser shuffle.partitions não adaptive.coalescePartitions.initialPartitionNum
  • [SPARK-35127] [interface do usuário] Quando alternamos entre diferentes páginas de detalhes de estágio, o item de entrada na página recém-aberta pode estar em branco
  • [SPARK-35142] [PYTHON][ML] Corrigir o tipo de retorno incorreto para rawPredictionUDF em OneVsRestModel
  • [SPARK-35096] [SQL] O SchemaPruning deve aderir à configuração spark.sql.caseSensitive
  • [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias não deve criar UnresolvedAlias
  • [SPARK-35080] [SQL] Permitir apenas um subconjunto de predicados de igualdade correlacionados quando uma subconsulta é agregada
  • [SPARK-35117] [interface do usuário] Alterar a barra de progresso de volta para realça a taxa de tarefas em andamento
  • [SPARK-35136] Remover o valor nulo inicial de LiveStage.info
  • [SPARK-34834] [REDE] Corrigir um possível vazamento de memória Netty em TransportResponseHandler
  • [SPARK-35045] [SQL] Adicionar uma opção interna para controlar o buffer de entrada em univocidade
  • [SPARK-35014] Corrige o padrão PhysicalAggregation para não reescrever expressões fold
  • [SPARK-35019] [PYTHON][SQL] Corrigir incompatibilidades de dicas de tipo em pyspark.sql.*
  • [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() deve respeitar o valor da partição é nulo
  • [SPARK-34630] [PYTHON] Adicionar typehint para pyspark. Versão
  • [SPARK-34963] [SQL] Correção da remoção de coluna aninhada para extrair o campo de struct sem valor de maiúsculas e minúsculas da matriz de struct
  • [SPARK-34988] [CORE][3.1] Atualizar Jetty para CVE-2021-28165
  • [SPARK-34922] [SQL][3.1] Usar uma função de comparação de custo relativo no CBO
  • [SPARK-34970] [SQL][SECURITY][3.1] Redigir opções de map-type na saída de explain()
  • [SPARK-34923] [SQL] A saída de metadados deve estar vazia para mais planos
  • [SPARK-34949] [CORE] Impedir o novo registro do BlockManager quando o Executor estiver sendo desligado
  • [SPARK-34939] [CORE] Lançar exceção de falha de busca quando não for possível desserializar os status do mapa transmitido
  • [SPARK-34909] [SQL] Correção da conversão de negativo em não assinado em conv()
  • [SPARK-34845] [CORE] ProcfsMetricsGetter não deve retornar métricas de procfs parciais
  • [SPARK-34814] [SQL] LikeSimplification deve manipular NULL
  • [SPARK-34876] [SQL] Preenchimento defaultResult de agregações não anuladas
  • [SPARK-34829] [SQL] Corrigir resultados da função de ordem superior
  • [SPARK-34840] [SHUFFLE] Corrigir casos de corrupção em embaralhamento mesclado...
  • [SPARK-34833] [SQL] Aplicar o preenchimento à direita corretamente para subconsultas correlacionadas
  • [SPARK-34630] [PYTHON][SQL] Adicionado typehint para pyspark.sql.Column.contains
  • [SPARK-34763] [SQL] col(), $”name” e df(“name”) devem tratar os nomes de coluna entre aspas corretamente
  • [SPARK-33482][SPARK-34756] [SQL] Corrigir verificação de igualdade de FileScan
  • [SPARK-34790] [CORE] Desabilitar a busca de blocos de embaralhamento no lote quando a criptografia de E/S estiver habilitada
  • [SPARK-34803] [PYSPARK] Passe o ImportError gerado se pandas ou pyarrow falharem na importação
  • [SPARK-34225] [CORE] Não codificar mais quando uma cadeia de caracteres de formulário de URI for passada para addFile ou addJar
  • [SPARK-34811] [CORE] Editar fs.s3a.access.key como segredo e token
  • [SPARK-34796] [SQL][3.1] Inicializar variável de contador para LIMIT code-gen em doProduce()
  • [SPARK-34128] [SQL] Suprimir avisos TTransportException indesejáveis envolvidos no THRIFT-4805
  • [SPARK-34776] [SQL] A remoção de coluna aninhada não deve remoção de atributos produzidos pela janela
  • [SPARK-34087] [3.1][SQL] Correção do vazamento de memória de ExecutionListenerBus
  • [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords deve usar o carregador de classe Spark em vez do contexto
  • [SPARK-34719] [SQL][3.1] Resolver corretamente a consulta de exibição com nomes de coluna duplicados
  • [SPARK-34766] [SQL][3.1] Não capturar a configuração do Maven para exibições
  • [SPARK-34731] [CORE] Evite ConcurrentModificationException ao redigir propriedades em EventLoggingListener
  • [SPARK-34737] [SQL][3.1] Fazer a entrada de entrada float para dobrar TIMESTAMP_SECONDS
  • [SPARK-34749] [SQL][3.1] Simplificar ResolveCreateNamedStruct
  • [SPARK-34768] [SQL] Respeitar o tamanho padrão do buffer de entrada em Univocity
  • [SPARK-34770] [SQL] InMemoryCatalog.tableExists não deverá falhar se o banco de dados não existir
  • [SPARK-34504] [SQL] Evite resolver desnecessariamente o SQL de exibições temporárias para comandos DDL
  • [SPARK-34727] [SQL] Correção da discrepância na transmissão de float para o carimbo de data/hora
  • [SPARK-34723] [SQL] Tipo de parâmetro correto para eliminação de subexpressão em estágio inteiro
  • [SPARK-34724] [SQL] Correção da avaliação interpretada usando getMethod em vez de getDeclaredMethod
  • [SPARK-34713] [SQL] Corrigir grupo por CreateStruct com ExtractValue
  • [SPARK-34697] [SQL] Permitir DESCREVER FUNÇÃO e MOSTRAR FUNÇÕES explicam sobre || (operador de concatenação de cadeia de caracteres)
  • [SPARK-34682] [SQL] Usar PrivateMethodTester em vez de reflexão
  • [SPARK-34682] [SQL] Correção da regressão na verificação de erros de canonização em CustomShureadReaderExec
  • [SPARK-34681] [SQL] Correção de bug para a junção de hash embaralhada externa completa ao compilar o lado esquerdo com condição não igual
  • [SPARK-34545] [SQL] Correção de problemas com o recurso valueCompare de seu uso
  • [SPARK-34607] [SQL][3.1] Adicionar Utils.isMemberClass para corrigir um erro de nome de classe malformado no jdk8u
  • [SPARK-34596] [SQL] Use Utils.getSimpleName para evitar atingir o nome da classe Malformed em NewInstance.doGenCode
  • [SPARK-34613] [SQL] A exibição de correção não captura configuração de dica de desabilitação
  • [SPARK-32924] [WEBUI] Fazer a coluna duração na interface do usuário mestra classificação na ordem correta
  • [SPARK-34482] [SS] Corrigir a SparkSession ativa para StreamExecution.logicalPlan
  • [SPARK-34567] [SQL] CreateTableAsSelect também deve atualizar as métricas
  • [SPARK-34599] [SQL] Corrige o problema em que INSERIR EM SUBSTITUIÇÃO não dá suporte a colunas de partição que contêm ponto para DSv2
  • [SPARK-34577] [SQL] Correção de soltar/adicionar colunas a um conjuntos de dados de DESCRIBE NAMESPACE
  • [SPARK-34584] [SQL] A partição estática também deve seguir StoreAssignmentPolicy ao inserir em tabelas v2
  • [SPARK-34555] [SQL] Resolver a saída de metadados do DataFrame
  • [SPARK-34534] Corrige a ordem de blockIds ao usar o FetchShuffleBlocks para pegar os blocos
  • [SPARK-34547] [SQL] Usar apenas colunas de metadados para resolução como último recurso
  • [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap falha para o nome da coluna que tem um ponto
  • [SPARK-34561] [SQL] Correção de soltar/adicionar colunas de/para um conjunto de dados do v2DESCRIBE TABLE
  • [SPARK-34556] [SQL] A verificação de colunas de partição estática duplicada deve respeitar a verificação de minúsculas
  • [SPARK-34392] [SQL] suporte a ZoneOffset + h:mm em DateTimeUtils. getZoneId
  • [SPARK-34550] [SQL] Ignorar valor nulo de inserção durante o filtro de push para metastore do Hive
  • [SPARK-34543] [SQL] respeitar a configuração spark.sql.caseSensitive ao resolver a especificação de partição em v1SET LOCATION
  • [SPARK-34436] [SQL] Suporte a DPP como qualquer expressão/todas
  • [Spark-34531] [CORE] Remover marca de API experimental em PrometheusServlet
  • [SPARK-34497] [SQL] Corrigir os provedores de conexão JDBC internos para restaurar as alterações do contexto de segurança da JVM
  • [SPARK-34515] [SQL] Corrigir NPE se InSet contiver valor nulo durante getPartitionsByFilter
  • [SPARK-34490] [SQL] A análise deverá falhar se a exibição se referir a uma tabela descartado
  • [SPARK-34473] [SQL] Evitar NPE em DataFrameReader.schema(StructType)
  • [SPARK-34384] [CORE] Adicionar documentos ausentes para as APIs ResourceProfile
  • [SPARK-34373] [SQL] HiveThriftServer2 startWithContext pode ficar com um problema de corrida
  • [SPARK-20977] [CORE] Use um campo não final para o estado de CollectionAccumulator
  • [SPARK-34421] [SQL] Resolver funções e exibições temporárias em exibições com CTEs
  • [SPARK-34431] [CORE] Carregar apenas hive-site.xml uma vez
  • [SPARK-34405] [CORE] Corrigir o valor médio de timersLabels na classe PrometheusServlet
  • [SPARK-33438] [SQL] Objetos de inicialização com afinco com as Confs do SQL definidos para comando set -v
  • [SPARK-34158] URL incorreta do único desenvolvedor Matei em pom.xml
  • [SPARK-34346] [CORE][SQL][3.1] io.file.buffer.size definido por spark.buffer.size substituirá carregando hive-site.xml acidentalmente pode causar regressão do desempenho
  • [SPARK-34359] [SQL][3.1] Adicionar uma configuração herdada para restaurar o esquema de saída de MOSTRAR BANCOS DE DADOS
  • [SPARK-34331] [SQL] Acelerar a resolução de col de metadados DS v2
  • [SPARK-34318] [SQL][3.1] Dataset.colRegex deve funcionar com nomes de coluna e qualificadores que contêm novas linhas
  • [SPARK-34326] [CORE][SQL] Correção de UTs adicionadas no SPARK-31793, dependendo do comprimento do caminho temporário
  • [SPARK-34319] [SQL] Resolver atributos duplicados para FlatMapCoGroupsInPandas/MapInPandas
  • [SPARK-34310] [CORE][SQL] Substitui o mapa e o nivela por flatMap
  • [SPARK-34083] [SQL][3.1] Usando definições originais de TPCDS para colunas char/varchar
  • [SPARK-34233] [SQL][3.1] CORRIGIR NPE para preenchimento de caracteres na comparação binária
  • [SPARK-34270] [SS] Combinar StateStoreMetrics não deve substituir StateStoreCustomMetric
  • [SPARK-34144] [SQL] Exceção lançada ao tentar gravar valores LocalDate e Instant em uma relação JDBC
  • [SPARK-34273] [CORE] Não faça o registro do BlockManager de novo quando SparkContext for interrompido
  • [SPARK-34262] [SQL][3.1] Atualizar dados armazenados em cache da tabela v1 noALTER TABLE .. SET LOCATION
  • [SPARK-34275] [CORE][SQL][MLLIB] Substitui filtro e tamanho pela contagem
  • [SPARK-34260] [SQL] Corrigir UnresolvedException ao criar a exibição temporária duas vezes
  • [SPARK-33867] [SQL] Valores instantâneos e LocalDate não são tratados ao gerar consultas do SQL
  • [SPARK-34193] [CORE] O gerenciador de blocos TorrentBroadcast desativa a correção de corrida
  • [SPARK-34221] [WEBUI] Verifique se um estágio falha na página da interface do usuário, a mensagem de erro correspondente pode ser exibida corretamente
  • [SPARK-34236] [SQL] Correção v2 Aumento de partição estática w/ nula Não é possível converter expressão em filtro de origem: nulo
  • [SPARK-34212] [SQL] Corrigir leitura decimal incorreta de arquivos Parquet
  • [SPARK-34244] [SQL] Remover a versão da função Scala do regexp_extract_all
  • [SPARK-34235] [SS] Tornar spark.sql.hive como um pacote privado
  • [SPARK-34232] [CORE] Editar o evento SparkListenerEnvironmentUpdate no log
  • [SPARK-34229] [SQL] Avro deve ler valores decimais com o esquema de arquivo
  • [SPARK-34223] [SQL] CORRIGIR NPE para partição estática com nulo em InsertIntoHadoopFsRelationCommand
  • [SPARK-34192] [SQL] Mover o preenchimento char para o lado de gravação e remover a verificação de comprimento no lado de leitura também
  • [SPARK-34203] [SQL] Converter valores null de partição em __HIVE_DEFAULT_PARTITION__ no catálogo v1 In-Memory
  • [SPARK-33726] [SQL] Correção para nomes de campo duplicados durante a agregação
  • [SPARK-34133] [AVRO] Respeitar a sensibilidade de caso ao executar a correspondência de campo do Catalyst para Avro
  • [SPARK-34187] [SS] Usar o intervalo de deslocamento disponível obtido durante a sondagem ao verificar a validação de deslocamento
  • [SPARK-34052] [SQL][3.1] Armazenar texto do SQL para uma exibição temporária criada usando “TABELA DE CACHE .. COMO SELECIONAR …”
  • [SPARK-34213] [SQL] Atualizar dados armazenados em cache da tabela v1 noLOAD DATA
  • [SPARK-34191] [PYTHON][SQL] Adicionar digitação para sobrecarga udf
  • [SPARK-34200] [SQL] A referência de coluna ambígua deve considerar a disponibilidade do atributo
  • [SPARK-33813] [SQL][3.1] Correção do problema em que a fonte JDBC não pode tratar os tipos espaciais do MS SQL Server
  • [SPARK-34178] [SQL] Copiar marcas para o novo nó criado por MultiInstanceRelation.newInstance
  • [SPARK-34005] [CORE][3.1] Atualizar métricas de memória de pico para cada Executor no final da tarefa
  • [SPARK-34115] [CORE] Verificar SPARK_TESTING como val lento para evitar lentidão
  • [SPARK-34153] [SQL][3.1][3.0] Remover não utilizado getRawTable() de HiveExternalCatalog.alterPartitions()
  • [SPARK-34130] [SQL] Melhorar o desempenho para preenchimento de char varchar e verificação de comprimento com StaticInvoke
  • [SPARK-34027] [SQL][3.1] Atualizar o cache no ALTER TABLE .. RECOVER PARTITIONS
  • [SPARK-34151] [SQL] Substitui java.io.File.toURL por java.io.File.toURI.toURL
  • [SPARK-34140] [SQL][3.1] Mover QueryCompilationErrors.scala para org/apache/spark/sql/errors
  • [SPARK-34080] [ML][PYTHON] Adicionar UnivariateFeatureSelector
  • [SPARK-33790] [CORE][3.1] Reduzir a chamada rpc de getFileStatus em SingleFileEventLogFileReader
  • [SPARK-34118] [CORE][SQL][3.1] Substitui o filtro e verifica se existe ou forall
  • [SPARK-34114] [SQL] não deve cortar direito para verificação e preenchimento de comprimento de caractere do lado da leitura
  • [SPARK-34086] [SQL][3.1] RaiseError gera muito código e pode falhar na verificação de codegen em comprimento para char varchar
  • [SPARK-34075] [SQL][CORE] Diretórios ocultos estão sendo listados para inferência de partição
  • [SPARK-34076] [SQL] SQLContext.dropTempTable falhará se o cache não estiver vazio
  • [SPARK-34084] [SQL][3.1] Corrigir atualização automática de estatísticas de tabela no ALTER TABLE .. ADD PARTITION
  • [SPARK-34090] [SS] Cache HadoopDelegationTokenManager.isServiceEnabled resultado usado em KafkaTokenUtil.needTokenUpdate
  • [SPARK-34069] [CORE] Tarefas de barreira de encerramento devem respeitar SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-34091] [SQL] A busca em lote aleatória deve ser capaz de desabilitar depois que ela for habilitada
  • [SPARK-34059] [SQL][CORE][3.1] Usar for/foreach em vez de mapear para certificar-se de executá-lo com ânsia
  • [SPARK-34002] [SQL] Corrigir o uso do codificador no ScalaUDF
  • [SPARK-34060] [SQL][3.1] Corrigir o cache de tabela do Hive ao atualizar estatísticas por ALTER TABLE .. DROP PARTITION
  • [SPARK-31952] [SQL] Corrigir métrica de vazamento de memória incorreta ao fazer a agregação
  • [SPARK-33591] [SQL][3.1] Reconhecer null em valores de especificação de partição
  • [SPARK-34055] [SQL][3.1] Atualizar o cache no ALTER TABLE .. ADD PARTITION
  • [SPARK-34039] [SQL][3.1] ReplaceTable deve invalidar o cache
  • [SPARK-34003] [SQL] Corrigir conflitos de regra entre PaddingAndLengthCheckForCharVarchar e ResolveAggregateFunctions
  • [SPARK-33938] [SQL][3.1] Otimizar como qualquer/tudo por LikeSimplification
  • [SPARK-34021] [R] Corrigir hiper links na documentação do SparkR para envio CRAN
  • [SPARK-34011] [SQL][3.1][3.0] Atualizar o cache no ALTER TABLE .. RENAME TO PARTITION
  • [SPARK-33948] [SQL] Correção do erro CodeGen do método MapObjects.doGenCode no Scala 2.13
  • [SPARK-33635] [SS] Ajuste a ordem de verificação em KafkaTokenUtil.needTokenUpdate para corrigir a regressão de desempenho
  • [SPARK-33029] [CORE][WEBUI] Corrigir a página do executor da interface do usuário marcando incorretamente o driver como excluído
  • [SPARK-34015] [R] Corrigindo o tempo de entrada no gapply
  • [SPARK-34012] [SQL] Manter o comportamento consistente quando conf spark.sql.legacy.parser.havingWithoutGroupByAsWhere for verdadeiro com o guia de migração
  • [SPARK-33844] [SQL][3.1] O comando InsertIntoHiveDir também deve verificar o nome col
  • [SPARK-33935] [SQL] Corrigir função de custo CBO
  • [SPARK-33100] [SQL] Ignorar um ponto e vírgula dentro de um comentário entre colchetes no spark-sql
  • [SPARK-34000] [CORE] Corrigir stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
  • [SPARK-33992] [SQL] Substir transformUpWithNewOutput para adicionar allowInvokingTransformsInAnalyzer
  • [SPARK-33894] [SQL] Alterar a visibilidade de classes de caso particular em mllib para evitar erros de compilação em tempo de execução com Scala 2.13
  • [SPARK-33950] [SQL][3.1][3.0] Atualizar o cache no v1 ALTER TABLE .. DROP PARTITION
  • [SPARK-33980] [SS] Invalidar char/varchar em Spark. readStream. Schema
  • [SPARK-33945] [SQL] [3.1] Manipular uma semente aleatória que consiste em uma árvore de expr
  • [SPARK-33398] Corrigir modelos de árvore de carregamento antes do Spark 3.0
  • [SPARK-33963] [SQL] Canonizar HiveTableRelation as estatísticas da tabela w/o
  • [SPARK-33906] [WEBUI] Corrigir o bug da página do executor da interface do usuário devido a peakMemoryMetrics indefinido
  • [SPARK-33944] [SQL] Registro em log incorreto para chaves de depósito em opções de SharedState
  • [SPARK-33936] [SQL] [3.1] Adicionar a versão quando as interfaces do conector foram adicionadas
  • [SPARK-33916] [núcleo] Corrigir o deslocamento do armazenamento de fallback e melhorar a cobertura do teste do codec de compactação
  • [SPARK-33899] [SQL] [3.1] Corrigir falha de declaração em v1 mostrar tabelas/exibições em spark_catalog
  • [SPARK-33901] [SQL] Corrigir o erro de exibição de Char e Varchar após DDLs
  • [SPARK-33897] [SQL] Não é possível definir a opção ' cross ' no método join
  • [SPARK-33907] [SQL] [3.1] Remover apenas colunas de JsonToStructs se as opções de análise estiverem vazias
  • [SPARK-33621][SPARK-33784] [SQL] [3,1] Adicionar uma maneira de injetar regras de regravação de fonte de dados
  • [SPARK-33900] [WEBUI] Mostrar o tamanho de leitura aleatória/registros corretamente quando apenas remotebytesread estiver disponível
  • [SPARK-33892] [SQL] Exibir char/varchar em DESC e mostrar CREATE TABLE
  • [SPARK-33895] [SQL] Char e Varchar falham em MetaOperação de ThriftServer
  • [SPARK-33659] [SS] Documentar o comportamento atual para a API datastreamwriter. ToTable
  • [SPARK-33893] [núcleo] Excluir gerenciador de bloqueio de fallback da executorlist
  • [SPARK-33277] [PYSPARK] [SQL] Usar ContextAwareIterator para parar de consumir após o término da tarefa
  • [SPARK-33889] [SQL] [3.1] Corrigir o NPE de SHOW PARTITIONS em tabelas V2
  • [SPARK-33879] [SQL] os valores Varchar de Char falham w/correspondem ao erro como colunas de partição
  • [SPARK-33877] [SQL] Documentos de referência SQL para INSERIR w/uma lista de colunas
  • [SPARK-33876] [SQL] Adicionar comprimento-verificação para ler char/varchar de tabelas com um local externo
  • [SPARK-33846] [SQL] Incluir comentários para um esquema aninhado em structtype. toDDL
  • [SPARK-33860] [SQL] Fazer CatalystTypeConverters. convertToCatalyst corresponder ao valor de matriz especial
  • [SPARK-33834] [SQL] Verificar coluna alterar alteração de tabela com Char e Varchar
  • [SPARK-33853] [SQL] EXPLIQUE O CODEGEN e BenchmarkQueryTest não mostram o código de subconsulta
  • [SPARK-33836] [SS] [Python] Expor DataStreamReader.table e DataStreamWriter.toTable
  • [SPARK-33829] [SQL] [3.1] Renomear as tabelas v2 deve recriar o cache
  • [SPARK-33756] [SQL] Tornar o idempotente MapIterator de BytesToBytesMap
  • [SPARK-33850] [SQL] EXPLICAÇÃO FORMATADA não mostra o plano para subconsultas se AQE estiver habilitado
  • [SPARK-33841] [núcleo] [3.1] Corrigir problema com trabalhos desaparecendo de forma intermitente do SHS em alta carga
  • [SPARK-33593] [SQL] O leitor de vetor recebeu dados incorretos com o valor de partição binária
  • [SPARK-26341] [WEBUI] Expor métricas de memória de executor no nível de estágio, na guia estágios
  • [SPARK-33831] [UI] Atualizar para Jetty 9.4.34
  • [SPARK-33822] [SQL] Usar o método CastSupport.cast em HashJoin
  • [SPARK-33774] [UI] [núcleo] de volta ao mestre "retorna 500 erro no cluster autônomo
  • [SPARK-26199][Spark-31517] [R] Corrigir estratégia para manipulação... nomes em mutação
  • [SPARK-33819] [Core] [3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader devem ser package private
  • [SPARK-33697] [SQL] RemoveRedundantProjects deve exigir ordenação de coluna por padrão
  • [SPARK-33752] [SQL] [3.1] Evitar o getSimpleMessage de analysisexception adiciona ponto e vírgula repetidamente
  • [SPARK-33788] [SQL] [3.1] [3.0] [2.4] Lançar NoSuchPartitionsException do HiveExternalCatalog. dropPartitions ()
  • [SPARK-33803] [SQL] Classificar propriedades da tabela por chave no comando descrever tabela
  • [SPARK-33786] [SQL] O nível de armazenamento para um cache deve ser respeitado quando um nome de tabela é alterado
  • [SPARK-33273] [SQL] Corrigir uma condição de corrida na execução da subconsulta
  • [SPARK-33653] [SQL] [3.1] DSv2: a TABELA DE ATUALIZAÇÃO deve armazenar novamente em cache a própria tabela
  • [SPARK-33777] [SQL] Classificar saída de V2 mostrar partições
  • [SPARK-33733] [SQL] PullOutNondeterministic deve verificar e coletar o campo determinístico
  • [SPARK-33764] [SS] Tornar o intervalo de manutenção do repositório de estado como configuração do SQL
  • [SPARK-33729] [SQL] Ao atualizar o cache, o SPARK não deve usar o plano armazenado em cache ao rearmazenar os dados em cache
  • [SPARK-33742] [SQL] [3.1] Lançar PartitionsAlreadyExistException do HiveExternalCatalog. createpartitions ()
  • [SPARK-33706] [SQL] Requer identificador de partição totalmente especificado em partitionExists ()
  • [SPARK-33740] [SQL] As configurações do hadoop no hive-site.xml podem substituir os hadoop pré-existentes
  • [SPARK-33692] [SQL] A exibição deve usar o catálogo e o namespace capturados para a função de pesquisa
  • [Spark-33669] Mensagem de erro incorreta do monitor de estado do aplicativo YARN quando SC. Stop no modo de cliente do yarn
  • [SPARK-32110] [SQL] Normalizar números flutuantes especiais no HyperLogLog++
  • [SPARK-33677] [SQL] Ignorar regra LikeSimplification se o padrão contiver qualquer escapeChar
  • [SPARK-33693] [SQL] Preterido spark.sql.hive.convertCTAS
  • [SPARK-33641] [SQL] Invalidar novos tipos char/varchar em APIs públicas que produzem resultados incorretos
  • [SPARK-32680] [SQL] Não pré-processe CTAS V2 com consulta não resolvida
  • [SPARK-33676] [SQL] Exigir correspondência exata da especificação de partição para o esquema na V2 ALTER TABLE .. ADD/DROP PARTITION
  • [SPARK-33670] [SQL] Verificar se o provedor de partição é Hive no v1 MOSTRAR TABELA ESTENDIDA
  • [SPARK-33663] [SQL] O armazenamento em cache não deve ser chamado em exibições temporárias não existentes
  • [SPARK-33667] [SQL] respeitar a configuração spark.sql.caseSensitive ao resolver a especificação de partição em v1SHOW PARTITIONS
  • [SPARK-33652] [SQL] DSv2: DeleteFrom deve atualizar o cache

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 9.0.

Ambiente do sistema

  • Sistema operacional: Ubuntu 20.04.2 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.10
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Antergos Linux 2015.10 (atualização cumulativa de ISO) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 distlib 0.3.2
distro-info 0.23ubuntu1 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 4.14.3
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
solicitações 2.25.1 requests-unixsocket 0.2.0 retrying 1.3.3
s3transfer 0.3.7 scikit-learn 0.24.1 scipy 1.6.2
seaborn 0.11.1 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
wheel 0.36.2

Bibliotecas R instaladas

As bibliotecas do R são instaladas do instantâneo do Microsoft CRAN em 2021-07-28.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
askpass 1,1 assertthat 0.2.1 backports 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-28 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 sinal de interpolação 6.0-86
cellranger 1.1.0 chron 2.3-56 classe 7.3-19
cli 2.2.0 clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 colorspace 2.0-0 commonmark 1,7
compiler 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 credenciais 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
conjuntos de dados 4.1.0 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 evaluate 0,14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 forge 0.2.0
fs 1.5.0 future 1.21.0 Genéricos 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 elemento gráfico 4.1.0
grDevices 4.1.0 grade 4.1.0 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-44
lava 1.6.8.1 lazyeval 0.2.2 ciclo de vida 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1,1 MASS 7.3-54 Matriz 1.3-4
memoise 1.1.0 methods 4.1.0 mgcv 1.8-36
mime 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
progress 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 spatial 7.3-11 splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 stats 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
survival 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2,10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0,19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1,2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,0
org.scalanlp breeze_2.12 1,0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52