Notas sobre a versão da plataforma Azure Databricks
- Março de 2024
- A HIPAA agora dá suporte à computação sem servidor
- Os SQL warehouses para notebooks estão em GA
- Delegar a capacidade de exibir os metadados de um objeto no Catálogo do Unity (Visualização Pública)
- Novo limite por região para pontos de extremidade privados
- Databricks Runtime 15.0 (Beta)
- Nova computação para sys.path e CWD em Repos
- O Serviço de Recursos está em GA
- Otimização preditiva disponível em mais regiões
- Fevereiro de 2024
- Usar Delta Live Tables na engenharia de recursos (Visualização Pública)
- Endereços IPv4 de origem para conexões PrivateLink em logs de auditoria
- Restringir a alteração de um proprietário de trabalho e a configuração executar como
- Suporte para entidades de serviço gerenciadas do Databricks
- Habilitar a atualização automática do cluster (Visualização Pública)
- Administradores podem habilitar recursos aprimorados de segurança e conformidade (Visualização Pública)
- Suporte para armazenamento Cloudflare R2 para evitar valor de saída entre regiões (Versão Prévia Pública)
- A interface do usuário de adição de dados dá suporte ao formato de arquivo XML
- Use funções de IA para invocar um modelo de IA generativo a partir de APIs do Foundation Model
- Os volumes do Unity Catalog são GA
- Pesquisa de página completa com IA
- Execute trabalhos de notebook SQL em um armazém SQL
- Os gatilhos de chegada de arquivos nos fluxos de trabalho do Azure Databricks são GA
- Pesquise modelos de aprendizado de máquina no Unity Catalog usando a pesquisa global de espaço de trabalho
- O proxy do servidor Databricks Git é GA
- O proxy do servidor Databricks Git não requer mais permissões CAN_ATTACH_TO
- O suporte de arquivo do espaço de trabalho para as tarefas de arquivo dbt e SQL é GA
- Databricks Connect é GA para Scala
- Crie tabelas a partir de arquivos em volumes
- Databricks Runtime 14.3 LTS é GA
- O Compartilhamento Delta oferece suporte a tabelas que usam vetores de exclusão (Versão Prévia Pública)
- Janeiro de 2024
- Suporte ao formato de arquivo XML nativo (Versão Prévia Pública)
- Compartilhar modelos de IA usando o Databricks Marketplace (Visualização Pública)
- Atualizações das regras do grupo de segurança de rede
- Atualização do caminho do workspace
- O suporte para o firewall de Armazenamento do Azure a partir da computação sem servidor está em disponibilidade geral
- Criação simplificada de empregos do Azure Databricks
- Monitorar um modelo de GPU que atenda às cargas de trabalho usando tabelas de inferência
- Acesso baseado em caminho de URI aos volumes externos do Catálogo do Unity
- As listas de controles de acesso podem ser habilitadas em workspaces atualizados
- A tabela do sistema de eventos de listagem do Marketplace agora está disponível (Visualização Pública)
- Interface do usuário atualizada para células de notebook (versão prévia pública)
- Ajuda da Correção Rápida com erros de sintaxe no notebook
- Databricks Runtime 14.3 LTS (Beta)
- Compartilhe modelos de IA usando o Delta Sharing (Visualização Pública)
- O Databricks Marketplace dá suporte para o compartilhamento de volumes
- Crie widgets a partir da interface do usuário do Databricks
- A tabela do sistema de eventos do warehouse agora está disponível (Visualização Pública)
- O limite de tamanho do arquivo do workspace agora é de 500 MB
- Aviso de remoção de recursos da integração herdada do Git no Databricks
- Driver ODBC do Databricks 2.7.7
- O suporte da série Databricks Runtime 13.2 termina
- Os recursos de assistência de IA estão habilitados por padrão
- Dezembro de 2023
- Compartilhar exibições dinâmicas usando o Compartilhamento Delta (Visualização Pública)
- Compartilhar volumes usando o Compartilhamento Delta (Versão Prévia)
- Diagrama de Relacionamento de Entidades para chaves primárias e chaves estrangeiras
- Aumento do limite de tamanho de upload do arquivo de volume do Catálogo do Unity
- Nova renderização de resultados de célula de notebook disponível (Visualização Pública)
- Temas do editor do Notebook disponíveis
- O suporte a modelos externos no Model Serving está em Versão Prévia Pública
- Tabelas Online do Databricks estão em Visualização Pública
- Repos e a interface do usuário de Configurações de Integração do Git agora registra corretamente o suporte para o GitHub Enterprise Server
- Driver JDBC do Databricks 2.6.36
- Suporte para referenciar arquivos de workspace de scripts de inicialização
- Recurso e Serviço de Função está em Visualização Pública
- As APIs de foundation models estáo em visualização pública
- Nova interface do usuário de configurações de administrador unificada
- Os scripts de inicialização no DBFS chegaram ao fim da sua vida útil
- Scripts de inicialização globais e nomeados por cluster herdados estão no fim da vida útil
- novembrod e 2023
- A Busca em Vetores do Databricks está Visualização Pública
- As listas de controle de acesso não podem mais ser desabilitadas
- Novos comportamentos e ações no Explorador de Catálogos para volumes
- O Databricks para o Databricks Runtime 14.2 é GA
- Conector Databricks SQL para Python versão 3.0.0
- Bibliotecas em arquivos de workspace com suporte em clusters compartilhados sem isolamento
- Substituição de bibliotecas de workspace
- Suporte para tipos de VM de computação confidencial do Azure agora em disponibilidade geral
- Pesquisar listagens do Databricks Marketplace usando a pesquisa de workspace global
- Consumir produtos de dados no Databricks Marketplace usando plataformas externas
- Suporte para sql warehouses sem servidor adicionados para várias regiões do Azure
- Ativação automática do Catálogo do Unity para novos espaçose trabalho
- Databricks Runtime 14.2 (beta)
- O Databricks Marketplace inclui Aceleradores de Solução do Databricks
- Federação do Lakehouse adiciona suporte ao Google BigQuery
- Outubro de 2023
- Conectividade segura sem servidor para Databricks SQL Serverless (Versão Prévia Pública)
- Exibir a fonte YAML para um trabalho do Azure Databricks
- Adicionar lógica condicional aos fluxos de trabalho do Azure Databricks
- Configurar parâmetros em um trabalho do Azure Databricks que pode ser referenciado por todas as tarefas de trabalho
- Habilitar automaticamente vetores de exclusão
- O suporte ao Catálogo do Unity para
UNDROP TABLEestá em GA - OPartner Connect dá suporte ao Dataiku
- Os notebooks gerados pelo Databricks AutoML agora são salvos como artefatos do MLflow
- Nova região: Catar Central
- Volumes do Catálogo do Unity compatíveis com o Firewall do Azure e o Link Privado
- Otimização preditiva (Visualização Pública)
- As tabelas do sistema de computação já estão disponíveis (Visualização Pública)
- A computação de recursos sob demanda está em GA
- A definição de recursos no Catálogo do Unity está em GA
- Comentários de tabela gerados por IA (Visualização Pública)
- Modelos no Catálogo do Unity são de GA
- As bibliotecas agora têm suporte nas políticas de computação (Visualização Pública)
- O Partner Connect dá suporte ao Monte Carlo
- Pesquisa semântica (Visualização Pública)
- Habilitar o Assistente do Databricks no nível do espaço de trabalho
- Novos padrões do Photon
- Databricks Runtime 14.1 é GA
- As notas sobre a versão das ferramentas de desenvolvedor foram movidas
- Extensão do Databricks para Visual Studio Code atualizada para a versão 1.1.5
- A E/S preditiva para atualizações está em disponibilidade geral
- Os vetores de exclusão estão em disponibilidade geral
- O Partner Connect dá suporte ao RudderStack
- CLI do Databricks atualizada para a versão 0.207.0 (Versão prévia pública)
- Executar as células selecionadas em um notebook
- Usar a vinculação de dados do catálogo da área de trabalho para dar acesso somente leitura a um catálogo
- Extensão do Databricks para Visual Studio Code atualizada para a versão 1.1.4
- SDK do Databricks para Python atualizado para a versão 0.10.0 (Beta)
- SDK do Databricks para Go atualizado para a versão 0.22.0 (beta)
- Volumes do Catálogo do Unity agora em Visualização Pública para o Azure China
- Setembro de 2023
- Federação do Lakehouse disponível nos clusters de usuário único
- Delegar a capacidade de criar uma credencial de armazenamento no Catálogo do Unity
- Databricks Runtime 14.1 (Beta)
- Serviço de modelo de GPU otimizado para LLMs em Visualização Pública
- Impedir que execuções de um trabalho sejam ignoradas quando você atingir limites de simultaneidade
- Provedor Terraform do Databricks atualizado para a versão 1.27.0
- CLI do Databricks atualizada para a versão 0.206.0 (versão prévia pública)
- SDK do Databricks para Go atualizado para a versão 0.21.0 (beta)
- As tabelas de inferência para pontos de extremidade de serviço de modelo estão em Visualização Pública
- Driver ODBC do Databricks 2.7.5
- Extensão do Databricks para Visual Studio Code atualizada para a versão 1.1.3
- A execução de trabalhos usando uma entidade de serviço está em disponibilidade geral
- CLI do Databricks atualizada para a versão 0.205.2 (versão prévia pública)
- CLI do Databricks atualizada para a versão 0.205.1 (versão prévia pública)
- SDK do Databricks para Go atualizado para a versão 0.20.0 (beta)
- SDK do Databricks para Python atualizado para a versão 0.9.0 (Beta)
- SDK do Databricks para Python atualizado para a versão 0.7.1 (Beta)
- Provedor Terraform do Databricks atualizado para a versão 1.26.0
- Databricks Connect para Databricks Runtime 14.0
- Painéis do Lakeview em Visualização Pública
- O Databricks Connect V2 está em Visualização Pública para Scala
- Serviço de modelo de GPU em Visualização Pública
- Computação de recursos sob demanda já disponível no Unity Catalog (Visualização Pública)
- O Databricks Runtime 14.0 está em disponibilidade geral
- Atualização de notificações por email da conta
- Provedor Terraform do Databricks atualizado para a versão 1.25.1
- SDK do Databricks para Go atualizado para a versão 0.19.2 (beta)
- CLI do Databricks atualizada para a versão 0.205.0 (Visualização Pública)
- Local reservado para
/Workspace - Pacote de Ativos do Databricks (Visualização Pública)
- Provedor Terraform do Databricks atualizado para a versão 1.25.0
- Extensão do Databricks para Visual Studio Code atualizada para a versão 1.1.2
- O Partner Connect dá suporte ao Snowplow
- CLI do Databricks atualizada para a versão 0.204.1 (Visualização Pública)
- Filtrar dados confidenciais com filtros de linha e máscaras de coluna (Visualização Pública)
- As tabelas do sistema agora incluem o esquema do Marketplace (Visualização Pública)
- A tabela do sistema de preços já está disponível (Visualização Pública)
- SDK do Databricks para Go atualizado para a versão 0.19.1 (beta)
- Driver ODBC do Databricks 2.7.3
- CLI do Databricks atualizada para a versão 0.204.0 (Visualização Pública)
- Data Explorer agora é Explorador do Catálogo
- SDK do Databricks para Go atualizado para a versão 0.19.0 (beta)
- SDK do Databricks para Python atualizado para a versão 0.8.0 (Beta)
- Delegar privilégios da lista de permissões no Unity Catalog
- A integração dos aplicativos do GitHub no Repos está em disponibilidade geral
- Agosto de 2023
- Agora as tabelas são exibidas na pesquisa de navegação
- CLI do Databricks atualizada para a versão 0.203.3 (Visualização Pública)
- Driver JDBC do Databricks 2.6.34
- SDK do Databricks para Go atualizado para a versão 0.18.0 (beta)
- SDK do Databricks para Python atualizado para a versão 0.7.0 (Beta)
- Provedor Terraform do Databricks atualizado para a versão 1.24.1
- Scripts de inicialização no fim da vida útil do DBFS estendidos para 1º de dezembro de 2023
- Databricks Runtime 14.0 (Beta)
- A experiência de navegação unificada é GA
- Provedor Terraform do Databricks atualizado para a versão 1.24.0
- Configuração do Databricks Runtime para Genomics removida da página de configurações de administrador do workspace
- Configuração dos Serviços de Contêiner removida da página de configurações de administrador do workspace
- CLI do Databricks atualizada para a versão 0.203.2 (Visualização Pública)
- Acessar definições das funções e variáveis nos notebooks do Python
- O navegador de esquema unificado é GA
- Databricks Runtime 13.3 LTS é GA
- Apresentando marcas com o Catálogo do Unity
- A lista de permitidos para scripts de inicialização, JARs e coordenadas maven em clusters compartilhados do Catálogo do Unity está em Visualização Pública
- O suporte a volumes para scripts de inicialização e JARs está em Visualização Pública
- Confirmações de saída de arquivo .ipynb do Databricks Repos mais fáceis
- O suporte ao notebook IPYNB no Repos do Databricks é GA
- SDK do Databricks para Go atualizado para a versão 0.17.0 (beta)
- SDK do Databricks para Python atualizado para a versão 0.6.0 (Beta)
- CLI do Databricks atualizada para a versão 0.203.1 (Versão Prévia Pública)
- O Unified Schema Browser agora é GA
- As alterações de sub-rede sem servidor poderão afetar você se você codificar IDs em um script ou modelo
- SDK do Databricks para Go atualizado para a versão 0.16.0 (beta)
- O Partner Connect dá suporte ao Censo
- As chaves HSM Gerenciadas do Azure Key Vault agora têm suporte para chaves gerenciadas pelo cliente
- SDK do Databricks para Python atualizado para a versão 0.5.0 (Beta)
- Suporte de gravação programática para arquivos de workspace
- CLI do Databricks atualizada para a versão 0.203.0 (Versão Prévia Pública)
- Provedor Terraform do Databricks atualizado para a versão 1.23.0
- Os grupos agora podem ser renomeados
- SDK do Databricks para Go atualizado para a versão 0.15.0 (Beta)
- SDK do Databricks para Python atualizado para a versão 0.4.0 (Beta)
- A configuração de prevenção de iFraming de terceiros foi removida
- Extensão do Databricks para Visual Studio Code atualizada para a versão 1.1.1
- LangChain disponível na versão 13.1 e superior
- A engenharia de recursos no Unity Catalog é uma Visualização Pública
- Melhor tratamento de erros para falhas de trabalho contínuas repetidas
- Os SQL warehouses sem servidor agora estão disponíveis em regiões adicionais
- Compartilhar esquemas usando o Compartilhamento Delta (Visualização Pública)
- Executar tarefas condicionalmente em seus trabalhos do Azure Databricks
- Provedor Databricks Terraform atualizado para a versão 1.22.0
- Recursos aprimorados de segurança e conformidade
- O Monitoramento do Lakehouse é visualização pública
- Databricks Runtime 13.3 LTS (Beta)
- As novas operações do Git estão em disponibilidade geral: mesclar branches, rebasear e efetuar pull com resolução de conflitos
- Julho de 2023
- Os administradores do workspace agora podem criar grupos de contas
- A função de gerente de grupo está em Visualização Pública
- CLI do Databricks atualizada para a versão 0.202.0 (Versão Prévia Pública)
- SDK do Databricks para Python atualizado para a versão 0.3.0 (Beta)
- SDK do Databricks para Go atualizado para a versão 0.14.1 (Beta)
- SDK do Databricks para Go atualizado para a versão 0.14.0 (Beta)
- Executar outro trabalho como uma tarefa em um trabalho do Azure Databricks
- A atualização de rede do workspace obtém o GA (suporte à interface do usuário)
- Todos os usuários podem acessar produtos de dados no Databricks Marketplace por padrão
- Modo de atalhos de teclado clássico
- A Federação de Lakehouse permite executar consultas em provedores de banco de dados externos (Visualização Pública)
- Mover para a lixeira habilitada para Repos
- Criar alertas para trabalhos lentos ou travados
- SDK do Databricks para Go atualizado para a versão 0.13.0 (Beta)
- SDK do Databricks para Python atualizado para a versão 0.2.0 (Beta)
- CLI do Databricks atualizada para a versão 0.201.0 (Versão Prévia Pública)
- SDK do Databricks para Python atualizado para a versão 0.2.1 (Beta)
- O Assistente do Databricks está em versão prévia pública
- Desativar usuários e entidades de serviço de sua conta
- O provisionamento SCIM no nível da conta agora desativa os usuários quando eles são desativados no provedor de identidade
- Acesso de administrador do diretório de lixo
- A prevenção de detecção de tipo MIME e renderização de página de ataque XSS agora está sempre habilitada
- Os volumes do Catálogo do Unity estão em Visualização Pública
- Experiência simplificada para enviar comentários sobre o produto do workspace
- Extensão do Databricks para Visual Studio Code atualizada para a versão 1.1.0
- Funções agora exibidas no Explorador do Catálogo (Visualização Pública)
- Provedor Databricks Terraform atualizado para a versão 1.21.0
- O deslocamento máximo para as
List all jobssolicitações de API eList job runsagora é limitado - O Databricks Runtime 13.2 é GA
- Compartilhamento Delta e compartilhamento de suporte do Databricks Marketplace (versão prévia pública)
- Scripts de inicialização no DBFS atingem o fim da vida útil em 1º de setembro de 2023
- Junho de 2023
- Provedor Databricks Terraform atualizado para a versão 1.20.0
- CLI do Databricks atualizada para a versão 0.200.1 (Versão Prévia Pública)
- SDK do Databricks para Go atualizado para a versão 0.12.0 (Beta)
- SDK do Databricks para Go atualizado para a versão 0.11.0 (Beta)
- SDK do Databricks para Python (Beta)
- SDK do Databricks para Go (Beta)
- Acesse o registro de auditoria, o uso cobrável e as tabelas do sistema de linhagem (Visualização pública)
- Modelos no Catálogo do Unity (visualização pública)
- O Databricks Marketplace agora está em disponibilidade geral
- Databricks Runtime 13.2 (Beta)
- Extensão do Databricks para o Visual Studio Code (Disponibilidade geral)
- Habilitar chaves gerenciadas pelo cliente usando a CLI do Azure e o PowerShell sem um modelo
- Os SQL Warehouses sem servidor funcionam com o back-end do Link Privado do Azure habilitado
- Confira uma visão geral visual das execuções de trabalho concluídas na interface do usuário do Azure Databricks Jobs
- CLI do Databricks (versão prévia pública)
- Paginação aprimorada de resultados de solicitações de API
List all jobseList job runs - O navegador de workspace de página inteira inclui o Repos
- Provedor Databricks Terraform atualizado para a versão 1.19.0
- Executar trabalhos como entidade de serviço (Visualização Pública)
- A nova interface do usuário da entidade de serviço proporciona uma melhor experiência de gerenciamento
- Pastas base restauradas quando os usuários são adicionados novamente aos workspaces
- Databricks Marketplace: as trocas privadas agora estão disponíveis
- Databricks Marketplace: os consumidores podem desinstalar produtos de dados usando a interface do usuário
- Databricks Marketplace: os provedores podem criar seus próprios perfis
- O Databricks Connect V2 tem disponibilidade geral para Python
- Provedor Databricks Terraform atualizado para a versão 1.18.0
- Novos provedores do Databricks Marketplace
- O Databricks Runtime 13.1 está em disponibilidade geral
- Exibir dados de blocos de anotações, editor SQL e Explorador do Catálogo com o navegador de esquema unificado (Visualização Pública)
- Maio de 2023
- Criar ou modificar a interface do usuário da tabela dá suporte a uploads de Avro, Parquet e arquivo de texto
- Use a interface do usuário de adição de dados para carregar dados usando locais externos do Catálogo do Unity (versão prévia pública)
- Executar notebooks do Databricks em warehouses de SQL(Visualização Pública)
- Impedir que a tecla Enter aceite a sugestão de preenchimento automático
- Nova região: Leste da China 3
- Suporte para tipos de VM de computação confidencial do Azure (Visualização Pública)
- O provedor Databricks Terraform foi atualizado para a versão 1.17.0
- Carregar a interface do usuário de dados dá suporte a novos tipos de dados de coluna
- Vincular catálogos do Catálogo do Unity a espaços de trabalho específicos
- Todos os usuários podem se conectar ao Fivetran usando o Partner Connect (Visualização Pública)
- O provedor Databricks Terraform foi atualizado para a versão 1.16.1
- Driver JDBC do Databricks 2.6.33
- O Partner Connect tem suporte à Alation
- Novo tema padrão para editor
- O provedor Databricks Terraform foi atualizado para a versão 1.16.0
- O suporte do Catálogo do Unity para identidades gerenciadas do Azure agora está em GA
- Databricks Runtime 13.1 (Beta)
- Executar consultas SQL baseadas em arquivos em um fluxo de trabalho do Azure Databricks
- O provedor Databricks Terraform foi atualizado para a versão 1.15.0
- As regiões do Azure China agora tem suporte para o Catálogo do Unity
- Apelidos de conta agora disponíveis no console da conta
- Compartilhar notebooks usando o Compartilhamento Delta
- O Azure Databricks não cria mais um SQL Warehouses inicial sem servidor
- Na API do SQL Warehouses, habilitar a computação sem servidor agora deve ser explícito
- Alterações nas configurações do espaço de trabalho para o SQL Warehouses sem servidor
- Alterações nas configurações de computação sem servidor para contas e espaços de trabalho
- O Databricks SQL Sem Servidor está em GA
- Atualizar um espaço de trabalho existente com conectividade de cluster segura ou Link Privado do Azure (Visualização Pública)
- Substituição de scripts de inicialização com escopo de cluster no DBFS
- Navegação unificada (Visualização Pública)
- Abril de 2023
- Databricks Marketplace (Visualização Pública): um mercado aberto para dados, análises e IA
- Configure o formatador Python
- Os arquivos do espaço de trabalho estão em GA
- Os scripts de inicialização com escopo de cluster agora podem ser armazenados em arquivos de espaço de trabalho
- Crie um escopo secreto apoiado pelo Azure Key Vault com uma entidade de serviço
- Novos privilégios do Compartilhamento Delta permitem a delegação de tarefas de gerenciamento de compartilhamento, destinatário e provedor
- Databricks Connect V2 (Visualização Pública)
- Nova interface de usuário de métricas de cluster
- O Databricks Runtime 13.0 está em GA
- Controle o acesso ao console da conta por intervalos de endereços IP (Visualização Pública)
- O provedor Databricks Terraform foi atualizado para a versão 1.14.3
- Entradas de log de diagnóstico para as configurações de administração alteradas para o espaço de trabalho
- Para a chave inicial gerenciada pelo cliente para discos gerenciados, o Azure Databricks agora encerra os recursos de computação
- O provedor Databricks Terraform foi atualizado para as versões 1.14.1 e 1.14.2
- Configurações combinadas do usuário SQL e configurações gerais do usuário
- As visualizações herdadas do notebook foram preteridas
- Criar ou modificar tabela a partir da página de upload de arquivos suporta uploads de arquivos JSON
- Março de 2023
- O provedor Databricks Terraform foi atualizado para a versão 1.14.0
- Fim do suporte para o Databricks Runtime 7.3 LTS ML
- Treinamento distribuído com o TorchDistributor
- Databricks Runtime 13.0 (Beta)
- Editor de arquivos aprimorado
- Altere a Redundância de Armazenamento Raiz do DBFS para os Espaços de Trabalho do Azure Databricks existentes
- Suporte para notebook .ipynb (Jupyter) no Azure Repos (versão prévia)
- Suporte para reload4j
- Novos endereços IP para a região do Pacífico Asiático
- Executar células SQL no notebook em paralelo
- Crie tarefas de trabalho usando o código Python armazenado em um repositório do Git
- O provedor Databricks Terraform foi atualizado para a versão 1.13.0
- O provedor Databricks Terraform foi atualizado para a versão 1.12.0
- Console de administração do SQL e console de administração do espaço de trabalho combinados
- O Serviço de Modelo está em GA
- Pesquisa automática de recursos é GA
- Para novos espaços de trabalho que usam UDRs, o IP de armazenamento do Azure precisa de um UDR adicional
- O armazenamento raiz do Azure Databricks DBFS usa o Azure Data Lake Storage Gen2 para novos espaços de trabalho
- Disponibilidade do novo Explorador do Catálogo
- Exibir consultas frequentes e usuários de uma tabela usando a guia Insights
- A pesquisa de correspondência exata está disponível na pesquisa global
- Exibir informações de linhagem para seus trabalhos do Azure Databricks
- Databricks Runtime 12.2 LTS e Databricks Runtime 12.2 LTS ML estão em GA
- Os arquivos do Espaço de Trabalho agora estão em Visualização Pública
- Fevereiro de 2023
- Suporte para instâncias da série ND A100 v4 (Visualização Pública)
- Raio no Azure Databricks (Visualização Pública)
- O limite de resultados de saída da célula do notebook aumentou
- O Trabalho do Azure Databricks agora tem suporte para a execução de trabalhos contínuos
- Disparar seu trabalho do Azure Databricks quando novos arquivos chegarem
- O provedor Databricks Terraform foi atualizado para a versão 1.10.0
- Scripts de inicialização globais herdados e scripts de inicialização desabilitados nomeados pelo cluster
- Melhorias na interface do usuário do experimento do MLflow
- Databricks Runtime 12.2 (Beta)
- Usar identidades gerenciadas atribuídas pelo usuário para acessar o armazenamento no Catálogo do Unity (Visualização Pública)
- Extensão do Databricks para o Visual Studio Code (Visualização Pública)
- A Visualização Pública de Inferências em Tempo Real Sem Servidor agora está disponível para todos os clientes
- O SQL Warehouses sem servidor está disponível para espaços de trabalho em regiões com suporte (Visualização Pública)
- O provedor Databricks Terraform foi atualizado para a versão 1.9.2
- As chaves gerenciadas pelo cliente ajudam a proteger e controlar o acesso a alguns tipos de dados (GA)
- Explorador de variáveis nos notebooks do Azure Databricks
- Janeiro de 2023
- Habilitar a conectividade privada com o Link Privado do Azure (GA)
- O SCIM da conta agora está em GA
- Criação e edição mais fáceis de trabalhos do Azure Databricks na interface do usuário
- Melhorias na interface do usuário de Trabalho do Azure Databricks ao visualizar as execuções do trabalho
- A nova tela inicial do console da conta fornece uma melhor experiência de gerenciamento de conta
- O provedor Databricks Terraform foi atualizado para a versão 1.9.1
- Os usuários da conta podem atualizar as preferências de email no console da conta
- Suporte regional consolidado em uma página
- O Databricks Runtime 12.1 e o Databricks Runtime 12.1 ML são GA
- As políticas de cluster agora dão suporte à limitação do número máximo de clusters por usuário
- Provedor do Databricks Terraform atualizado para a versão 1.9.0
- Os warehouses de SQL sem servidor estão disponíveis nas regiões EUA Central e Norte da Europa
- O Partner Connect dá suporte à conexão com o Privacera
- Provedor do Databricks Terraform atualizado para a versão 1.8.0
- Databricks Runtime 12.1 (Beta)
- O Partner Connect dá suporte ao Sigma
- Novas barras laterais esquerda e direita nos notebooks do Databricks
- Dezembro de 2022
- O Driver de SQL do Databricks para Go está em disponibilidade geral
- Impedir atualizações simultâneas do workspace
- Nova região do Azure: Norte da China 3
- Provedor do Databricks Terraform atualizado para a versão 1.7.0
- Databricks Runtime 12.0 e 12.0 ML estão em GA
- Os trabalhos agora estão disponíveis na pesquisa global (Visualização Pública)
- Grafos de uso faturáveis agora podem ser agregados por marcas individuais
- Uso de SQL para especificar locais de armazenamento no nível do esquema e do catálogo para tabelas gerenciadas do Catálogo do Unity
- A captura de dados de linhagem com o Catálogo do Unity agora está em disponibilidade geral
- Driver ODBC do Databricks 2.6.29
- Driver JDBC do Databricks 2.6.32
- O Partner Connect dá suporte à conexão com o AtScale
- Novembro de 2022
- Notificações aprimoradas para seus trabalhos do Azure Databricks (Visualização Pública)
- Databricks Runtime 12.0 (Beta)
- Configurar firewalls de armazenamento do Azure para permitir o acesso de warehouses de SQL sem servidor
- A interface do usuário de upload de dados agora pode ser desabilitada por meio de configurações de administrador
- O suporte do Partner Connect para o Catálogo do Unity está em GA
- Trabalhar com repositórios grandes com check-out esparso
- Provedor do Databricks Terraform atualizado para a versão 1.6.5
- Criar warehouses de SQL sem servidor na região Oeste dos EUA
- Provedor do Databricks Terraform atualizado para as versões 1.6.3 e 1.6.4
- Especificar um local de armazenamento em nuvem para tabelas gerenciadas do Catálogo do Unity nos níveis de catálogo e esquema
- Acessar objetos recentes do campo de pesquisa na barra superior do workspace
- Criar ou modificar tabela da página de upload de arquivos agora dá suporte a vários arquivos
- Criar ou modificar tabela da página de upload de arquivo agora dá suporte à substituição
- Pesquisar trabalhos por nome com a API de Trabalhos 2.1
- Provedor do Databricks Terraform atualizado para a versão 1.6.2
- A pesquisa de tabelas no Catálogo do Unity está em GA
- Outubro de 2022
- GA: suporte do Repos para arquivos que não são de notebook
- Chaves gerenciadas pelo cliente para criptografia de disco gerenciado
- Implantar modelos para inferência de fluxo com notebooks do Delta Live Tables
- Conectar-se ao Fivetran por meio da interface do usuário para adicionar dados
- O Driver de SQL do Databricks para Node.js está em disponibilidade geral
- O Partner Connect dá suporte à conexão com o erwin Data Modeler by Quest
- Suporte do Repositório de Recursos do Databricks para o Azure Cosmos DB (Visualização Pública)
- Impor tipos de cluster de isolamento de usuário em um workspace
- Databricks Runtime 11.3 LTS e 11.3 LTS ML estão em GA
- Formatar código Python em notebooks (Visualização Pública)
- As entidades de serviço fornecem acesso somente à API para a conta do Azure Databricks
- A política de cluster de Computação Pessoal está disponível por padrão para todos os usuários
- A interface do usuário de adição de dados fornece uma interface do usuário central para carregar os dados no Azure Databricks
- Criar ou modificar a tabela da página de upload de arquivo unifica a experiência de upload de arquivos pequenos no Delta Lake
- O Partner Connect dá suporte à conexão com o Hevo Data
- Habilitar a proteção de administrador para clusters Sem isolamento compartilhado
- Persona SQL integrada à nova experiência de pesquisa
- Herança de privilégio agora com suporte no Catálogo do Unity
- Barra de navegação superior na interface do usuário
- Databricks Runtime 11.3 (Beta)
- O console da conta está disponível em vários idiomas
- Setembro de 2022
- Nova solução de referência para processamento de linguagem natural
- Mais regiões para o Catálogo do Unity
- Barra de navegação superior na interface do usuário
- Os logs de auditoria agora incluem eventos para o terminal Web
- Os logs de auditoria agora incluem eventos para gerenciar credenciais para repositórios Git
- Selecione políticas de cluster diretamente na interface do usuário do Delta Live Tables
- Novo cartão de transformação de dados nas páginas de aterrissagem do workspace
- Orquestrar tarefas do Databricks SQL em seus fluxos de trabalho do Databricks (Visualização Pública)
- O cache Delta agora é o cache de disco
- Capturar e exibir dados de linhagem com o Catálogo do Unity (Versão Prévia Pública)
- Pesquisar tabelas usando o Explorador do Catálogo (Visualização Pública)
- Exibir e organizar ativos no navegador de workspace entre personas
- O Databricks Runtime 11.2 e 11.2 ML estão em GA
- Agosto de 2022
- Os usuários da conta podem acessar o console da conta
- Driver ODBC do Databricks 2.6.26
- Driver JDBC do Databricks 2.6.29
- O cliente do Repositório de Recursos do Databricks agora está disponível no PyPI
- O Catálogo do Unity é GA
- O Compartilhamento Delta é GA
- Databricks Runtime 11.2 (Beta)
- Redução do volume de mensagens na interface do usuário do Delta Live Tables para pipelines contínuos
- Configuração mais simples do cluster para os pipelines do Delta Live Tables
- Orquestrar tarefas dbt em seus fluxos de trabalho do Databricks (Visualização pública)
- A federação de identidade é GA
- O Partner Connect dá suporte à conexão com o Stardog
- Integração do Repositório de Recursos do Databricks com Inferência em Tempo Real sem Servidor
- Suporte de tipo de dados adicional para a pesquisa automática de recursos do Armazenamento de Recursos do Databricks
- Traga sua própria chave: Criptografar as credenciais do Git
- A versão prévia e o acesso da interface do usuário do cluster substitui o modo de segurança
- Limitações do Catálogo do Unity (Visualização pública)
- Inferência em Tempo Real sem Servidor na Visualização Pública
- Agora, a pesquisa de workspace aprimorada é GA
- Usar colunas geradas ao criar conjuntos de dados do Delta Live Tables
- Edição aprimorada para blocos de anotações com editor baseado no Monaco (experimental)
- Término do suporte do Databricks Runtime série 10.3
- Habilitar a conectividade privada com Link Privado do Azure (Visualização Pública)
- Habilitar os SQL warehouses sem servidor para seu workspace (Visualização Pública)
- O Delta Live Tables agora dá suporte à atualização apenas de tabelas selecionadas em atualizações de pipeline
- A execução do trabalho agora aguarda as bibliotecas de cluster terminarem de instalar
- Julho de 2022
- O suporte para o Databricks Runtime 11.1 e 11.1 ML foi encerrado
- Photon é GA
- Notificação após a conclusão do notebook
- Aumento do limite para o número de trabalhos nos workspaces do Azure Databricks
- Os logs de auditoria detalhados agora são registrados quando as consultas do Databricks SQL são executadas
- Driver JDBC do Databricks 2.6.27
- Driver ODBC do Databricks 2.6.25
- Databricks Runtime 11.1 (Beta)
- Visualizações aprimoradas do notebook
- Junho de 2022
ALTER TABLEalterações de permissão para o Catálogo do Unity- O Suporte Estendido do Databricks Runtime 6.4 chega ao fim do suporte
- Término do suporte do Databricks Runtime série 10.2
- Driver ODBC do Databricks 2.6.24
- O provedor do Databricks Terraform agora está em GA
- O Databricks Runtime 11.0 e 11.0 ML estão em GA; o Photon 11.0 está em Versão Prévia Pública
- Alterar para o diretório de trabalho padrão do Repos no Databricks Runtime 11.0
- Término do suporte do Databricks Runtime série 10.1
- Agora o Delta Live Tables dá suporte ao SCD tipo 2
- Criar pipelines do Delta Live Tables diretamente na interface do usuário do Azure Databricks
- Selecionar o canal do Delta Live Tables quando criar ou editar um pipeline
- Comunicar-se entre as tarefas nos seus trabalhos do Azure Databricks com valores de tarefa
- Habilitar a comutação da conta na interface do usuário do Databricks
- Maio de 2022
- Copiar e colar células de notebook entre guias e janelas
- Suporte de tipo de dados adicional para a pesquisa automática de recursos do Armazenamento de Recursos do Databricks
- Databricks Runtime 11.0 (Beta)
- Pesquisa de workspace aprimorada (versão prévia pública)
- Explorar resultados de células SQL em notebooks Python nativamente usando Python
- Databricks Repos: suporte para mais arquivos em um repositório
- Databricks Repos: correção para problema com perda de dados do experimento MLflow
- Nova região do Azure: Centro-Oeste dos EUA
- O assistente de atualização facilita a cópia de bancos de dados e de várias tabelas para o Catálogo do Unity (versão prévia pública)
- Suporte a proxy HTTP em todo o sistema do Power BI Desktop
- Os logs de auditoria agora podem gerar registros quando um comando de notebook é executado
- O Databricks Runtime 10.5 e 10.5 ML estão em GA; o Photon 10.5 está em Visualização Pública
- Driver JDBC do Databricks 2.6.25
- Consultar o usuário como o qual um pipeline é executado na interface do usuário do Delta Live Tables
- Abril de 2022
- Nova região do Azure: Suécia Central
- Usar marcas para gerenciar melhor seus trabalhos do Azure Databricks
- Término do suporte do Databricks Runtime série 10.0
- Obter uma visão geral visual das execuções do trabalho com a nova exibição de matriz de trabalhos
- Economizar tempo e recursos quando execuções de trabalhos do Azure Databricks não têm êxito
- Exibir o histórico de execuções para tarefas de trabalho
- Atribuir um novo cluster na interface do usuário de trabalhos quando o acesso de usuário único não existir mais
- Databricks Runtime 10.5 (Beta)
- A interface do usuário do Delta Live Tables é aprimorada para desabilitar ações não autorizadas
- O AutoML do Databricks está em disponibilidade geral
- Usar conjuntos de dados do Catálogo do Unity com AutoML
- O Delta Live Tables está em disponibilidade geral no AWS e no Azure e em Visualização Pública no GCP
- Interface de SQL do Delta Live Tables: alteração sem interrupção de nomes de tabela
- Março de 2022
- Melhor desempenho e custo para seus pipelines do Delta Live Tables com o Dimensionamento Automático Aprimorado do Databricks
- Arquivos no Repos habilitados por padrão em novos workspaces
- O Repositório de Recursos do Databricks está em disponibilidade geral
- Compartilhar um experimento da página de experimentos
- Correção de bug do RStudio Workbench
- Novas opções de idioma do espaço de trabalho
- O Databricks Runtime 10.4 LTS e o 10.4 LTS ML estão em disponibilidade geral; o 10.4 Photon está em Visualização Pública
- O Catálogo do Unity está disponível em Visualização Pública
- O Delta Sharing está disponível em Visualização Pública
- Girar a chave gerenciada pelo cliente para serviços gerenciados
- Controle de acesso aprimorado para pipelines do Delta Live Tables
- Testar a funcionalidade da versão prévia do Delta Live Tables com a nova configuração
channel(Visualização Pública) - Aprimoramento do tratamento de erro para funções de Python do Delta Live Tables (Visualização Pública)
- Aprimoramentos no Databricks Repos
- Log de diagnósticos para alterações de política de cluster
- Databricks Runtime 10.4 (Beta)
- Fevereiro de 2022
- Agendamento mais fácil para seus pipelines do Delta Live Tables (Visualização Pública)
- Navegue facilmente pelo histórico de atualizações do pipeline do Delta Live Tables (Visualização Pública)
- Garantir a idempotência do trabalho para a solicitação Executar API de Trabalhos agora
- Melhorias de escalabilidade e estabilidade do serviço de trabalhos
- Comparar as execuções do MLflow de diferentes experimentos
- Melhorias na exibição de execuções de comparação do MLflow
- Visibilidade aprimorada em proprietários de executar trabalho na interface do usuário de clusters
- Soltar colunas do conjuntos de dados no AutoML
- A página Experimentos é GA
- Suporte para tabelas temporárias na interface de Python do Delta Live Tables
- Melhorias na interface do usuário para o Delta Live Tables (versão prévia pública)
- Término do suporte do Databricks Runtime série 9.0
- Atualizações da página de aterrissagem de Ciência de Dados e Engenharia
- O Databricks Repos agora oferece suporte à integração do AWS CodeCommit para Git
- Visualização aprimorada para seus pipelines do Delta Live Tables (Versão Prévia Pública)
- Analisador de Markdown atualizado
- O Delta Live Tables agora oferece suporte ao processamento de captura de dados de alterações (Versão Prévia Pública)
- Metastores adicionais agora disponíveis em várias regiões
- Selecionar estruturas de algoritmo a serem usadas com o AutoML
- Os modelos do MLflow hospedados no Databricks agora podem pesquisar recursos em armazenamentos online
- O Databricks Runtime 10.3 e 10.3 ML estão em GA. O Photon 10.3 está em versão prévia pública
- Janeiro de 2022
- Webhooks do MLflow Model Registry no Azure Databricks (Versão Prévia Pública)
- Alteração interruptiva: token de idempotência de cluster limpo no encerramento do cluster
- Databricks Runtime 10.3 (Beta)
- Exibir informações sobre execuções de trabalho recentes
- Usar Markdown no editor de arquivos do Databricks Repos
- Melhor gerenciamento de cluster para trabalhos que orquestram várias tarefas
- Fim do suporte às séries Databricks Runtime 8.3 e Databricks Runtime 8.4
- Driver JDBC do Databricks 2.6.22
- Metastores adicionais agora disponíveis em várias regiões
- O botão Novo Compartilhamento substitui o ícone de Permissões em notebooks
- Novas opções de idioma do espaço de trabalho
- Metastores adicionais agora disponíveis em várias regiões
- Dezembro de 2021
- A data de fim do suporte da série de Suporte Estendido do Databricks Runtime 6.4 foi estendida
- O Databricks Runtime 5.5 da série Suporte Estendido chega ao fim do suporte
- Driver JDBC do Databricks 2.6.21
- Conector do Databricks para Tableau 2021.4
- O Databricks Runtime 10.2 e 10.2 ML estão em GA. O Photon 10.2 está em versão prévia pública
- A região Oeste da Suíça agora está disponível
- Analisador de Markdown atualizado
- Melhorias na interface do usuário para o Delta Live Tables
- Em breve, metastores adicionais para várias regiões
- Atualizar a retransmissão de SCC para a região Sudeste da Austrália
- O suporte do Databricks Runtime série 8.3 foi estendido
- Databricks Runtime 10.2 (Beta)
- Reverter a alteração recente da quebra que removeu o escape e as aspas de $ em valores de variável de ambiente para a criação do cluster
- Novembro de 2021
- Criar marcas para tabelas de recursos (Visualização Pública)
- Realce de sintaxe e preenchimento automático para comandos SQL em células do Python
- Renomear, excluir e alterar permissões para experimentos do MLflow da página de experimento (Visualização Pública)
- Novos perfis de dados em notebooks: resumos de tabelas e gráficos de seus dados (Visualização Pública)
- Registro em log aprimorado quando os esquemas evoluem durante a execução de um pipeline do Delta Live Tables
- GA do Databricks Partner Connect
- Alteração interruptiva: remova a saída e as aspas de $ em valores de variáveis de ambiente para a criação do cluster
- Facilidade de uso das melhorias para Arquivos no Repos
- O suporte para widgets herdados do SQL termina em 15 de janeiro de 2022
- Melhorias na interface do usuário para trabalhos do Azure Databricks
- Conector do Delta Sharing para Power BI
- Driver ODBC do Databricks 2.6.19
- O Databricks Runtime 10.1 e 10.1 ML estão em GA. O Photon 10.1 está em versão prévia pública
- Databricks Runtime 10.1 (Beta)
- Renomear e excluir experimentos do MLflow (Visualização Pública)
- Agora você pode criar uma política de cluster clonando uma política existente
- Altere o idioma padrão de notebooks e células do notebook com mais facilidade
- Usar Arquivos no Repos do terminal da Web
- Outubro de 2021
- Término do suporte do Databricks Runtime série 8.2
- O Databricks Runtime 10.0 e 10.0 ML estão em GA. O Photon 10.0 está em versão prévia pública
- Melhorias na interface do usuário para o Delta Live Tables (versão prévia pública)
- Especifique um cluster de tamanho fixo ao criar um novo pipeline em Tabelas Dinâmicas delta (versão prévia pública)
- Exibir métricas de qualidade de dados para tabelas em pipelines disparados do Delta Live Tables (Visualização Pública)
- A orquestração de trabalhos agora é GA
- Conector do Databricks para Power BI
- Repos agora dá suporte a tipos de arquivo arbitrários
- Saída de executar trabalho mais detalhada com a API de Trabalhos
- Melhor capacidade de leitura de caminhos de notebook na interface do usuário de trabalhos
- Abra o pipeline do Delta Live Tables em uma nova guia ou janela
- Nova sequência de escape para
$em widgets de entrada herdados no SQL - Implantação de modelo mais rápida com o notebook de inferência em lote gerado automaticamente
- Setembro de 2021
- Databricks Runtime 10.0 (Beta)
- Driver ODBC do Databricks 2.6.18
- Usar chaves gerenciadas pelo cliente para criptografia com workspaces existentes
- Databricks Runtime 9.1 LTS e 9.1 LTS ML são GA; 9.1 LTS Photon é Visualização Pública
- Término do suporte do Databricks Runtime série 8.1
- Driver JDBC do Databricks 2.6.19
- Compartilhar tabelas de recursos entre workspaces
- Disponibilidade geral de vários tipos de instância de GPU do Azure
- O Repos agora dá suporte a
.gitignore - A interface do usuário de trabalhos aprimorada agora é padrão para todos os workspaces
- Databricks Runtime 9.1 (Beta)
- Gerenciamento simplificado de configurações para trabalhos do Azure Databricks
- Versão Prévia Pública do SQL do Databricks disponível em todos os workspaces
- Excluir tabelas de recursos do Repositório de Recursos
- Conceder permissões de pipeline de exibição na interface do usuário do Delta Live Tables (Versão Prévia Pública)
- Reduzir o uso de recursos de cluster com tabelas Delta Live (Versão Prévia Pública)
- Usar modelos do MLFlow em seus pipelines do Delta Live Tables (Visualização Pública)
- Localizar pipelines do Delta Live Tables por nome (Versão Prévia Pública)
- TorchScript do PyTorch e outras bibliotecas de terceiros agora têm suporte em trabalhos do Azure Databricks
- Término do suporte do Databricks Runtime série 8.0
- Agosto de 2021
- GA do Databricks Repos
- Maior tempo limite para trabalhos de notebook de execução prolongada
- Melhorias de escalabilidade e estabilidade do serviço de trabalhos
- Os direitos de usuário concedidos pela associação de grupo são exibidos no console do administrador
- Gerenciar permissões de experimento do MLflow (versão prévia pública)
- Criação aprimorada de trabalho de notebooks
- VMs da série Ddsv4 (versão prévia pública)
- Suporte aprimorado para recolher títulos de notebook
- O Databricks Runtime 9.0 e 9.0 ML estão em GA. O Photon 9.0 está em versão prévia pública
- Databricks Runtime 9.0 (Beta)
- Gerenciar repositórios programaticamente com a CLI do Databricks (Versão Prévia Pública)
- Gerenciar repositórios programaticamente com a API REST do Databricks (Versão Prévia Pública)
- Término do suporte do Databricks Runtime série 7.6
- Os eventos de auditoria são registrados quando você interage com o Databricks Repos
- Fluxo de trabalho de gerenciamento e criação de trabalhos aprimorado
- Tempos de execução do Photon agora disponíveis (Versão Prévia Pública)
- Instruções simplificadas para definir credenciais do Git (Versão Prévia Pública)
- Importar vários notebooks no formato
.html - Aprimoramentos de usabilidade para tabelas Delta em tempo real
- Julho de 2021
- Gerenciar permissões de teste do MLflow com a API REST do Databricks
- A interface da Web do Azure Databricks foi traduzida para português e francês (versão prévia pública)
- Fim do suporte ao Databricks Runtime 5.5 LTS para Machine Learning, substituído pela versão de Suporte estendido
- O suporte do Databricks Light 2.4 termina em 5 de setembro, substituído pela versão de Suporte Estendido
- Nova região do Azure: Centro-Oeste da Alemanha
- Informações de atualização de recurso disponíveis na interface do usuário do repositório de recursos do Databricks (versão prévia pública)
- Exibir até 10 mil linhas de resultado
- Importar e exportar notebooks em massa em uma pasta como arquivos de origem
- O preenchimento automático em notebooks do SQL agora usa as palavras-chave do SQL em maiúsculas
- Widgets reordenáveis e redimensionáveis em notebooks
- Correções de usabilidade da interface do usuário do Azure Databricks
- Definir rapidamente as configurações de pipeline ao criar um pipeline do Delta Live Tables
- O Databricks Runtime 8.4 e 8.4 ML estão em GA. O Photon 8.4 está em versão prévia pública
- Usar o Spark SQL com a API do Python do Delta Live Tables
- Processamento e análise de dados aprimorados com trabalhos do Azure Databricks (versão prévia pública)
- Redução do custo de clusters padrão do Delta Live Tables (versão prévia pública)
- Classificar pipelines por nome na interface do usuário do Delta Live Tables (versão prévia pública)
- Alterações na página de computação
- Fim do suporte ao Databricks Runtime 5.5 LTS, substituição pelo suporte estendido do Databricks Runtime 5.5 até o fim de 2021
- API do Repos (versão prévia pública)
- Databricks Runtime 8.4 (Beta)
- Junho de 2021
- Correção: o Repos para Git é habilitado por padrão nos workspaces novos e existentes de algumas regiões
- Alterar para permissões de repositório de recursos
- Acesso aprimorado aos resultados na tabela de execuções do MLflow
- Melhor visibilidade de custo para o Delta Live Tables
- Restrições de qualidade de dados aprimoradas para o Delta Live Tables
- Alterações de API para atualizar e substituir listas de endereços IP
- Driver ODBC do Databricks 2.6.17
- Término do suporte do Databricks Runtime série 7.5
- Otimize o desempenho e controle os custos usando diferentes pools para o nó do driver e os nós de trabalho
- Permissões de todo o registro para o Registro de Modelos
- O diretório base de um usuário não está mais protegido quando você exclui um usuário usando a API do SCIM
- O Databricks Runtime 8.3 e 8.3 ML estão em GA. O Photon 8.3 está em versão prévia pública
- Controle de acesso à tabela do Python e do SQL (GA)
- A interface do usuário e a API de trabalhos agora mostram o proprietário de uma execução de trabalho
- Proteger as propriedades de configuração confidenciais e as variáveis de ambiente do Spark usando segredos (versão prévia pública)
- O Repos para Git está habilitado por padrão nos workspaces novos e existentes de algumas regiões
- Interface do usuário para configurações de workspace reprojetada
- Atualizações para tokens expirados de consultas de banco de dados
ListTokenseListAllTokens - Confirmação necessária ao conceder ou revogar permissões de administração
- Alterações nos atalhos de teclado na interface do usuário da Web
- Maio de 2021
- Machine Learning do Databricks: uma solução colaborativa e nativa de dados para o ciclo de vida completo do ML
- A Análise de SQL foi renomeada para Databricks SQL
- Criar e gerenciar pipelines de ETL usando o Delta Live Tables (versão prévia pública)
- As VMs Spot do Azure estão em GA
- Criptografar as consultas e o histórico de consultas do Databricks SQL usando sua própria chave (versão prévia pública)
- Maior limite para o número de clusters de uso geral encerrados
- Maior limite para o número de clusters fixados
- Gerenciar onde os resultados do notebook são armazenados (Versão Prévia Pública)
- Criptografar dados secretos e de notebook no painel de controle com sua própria chave (visualização pública)
- Fim do suporte para o Databricks Runtime série 7.4
- Agora, os usuários de repositórios podem se integrar ao Azure DevOps usando tokens de acesso pessoal
- Abril de 2021
- Databricks Runtime 8.2 (GA)
- Gerenciamento mais fácil de trabalhos com a interface do usuário de trabalhos aprimorada
- As alterações de política de cluster são aplicadas automaticamente a clusters existentes na reinicialização e na edição
- Acompanhar novas tentativas nas tarefas do trabalho quando as tentativas de tarefa falharem
- Ver rapidamente os detalhes do cluster ao criar um cluster
- A barra lateral do MLflow reflete o experimento mais recente
- Alteração do canal padrão dos arquivos
conda.yamlno MLflow - Autenticação simplificada do Tableau Online para o Azure Databricks usando o Microsoft Entra ID
- Databricks Runtime 8.2 (Beta)
- A nova infraestrutura estendida requer atualização para rotas personalizadas e firewalls de saída
- Limites de usuários e grupos
- Monitoramento mais fácil do status de execução do trabalho
- Os scripts de inicialização global não são mais executados nos clusters de serviço de modelo
- Receber notificação por email sobre a atividade no registro de modelo
- Fim do suporte para a série 6.4 do Databricks Runtime
- Março de 2021
- Agora, o Azure Databricks dá suporte ao modo escuro para exibir notebooks
- Economize seu TCO do Azure Databricks com as VMs de Spot do Azure (Versão Prévia Pública)
- Databricks Runtime 8.1 (GA)
- Criação e gerenciamento de trabalhos mais fáceis com a interface do usuário de trabalhos avançada (versão prévia pública)
- Acompanhe tentativas de repetição de trabalho com um novo valor sequencial retornado para cada tentativa de execução de trabalho
- Maior limite para o número de trabalhos salvos em workspaces Premium
- Maneira mais fácil de se conectar ao Azure Databricks de suas ferramentas de BI e clientes SQL favoritos
- Os Repositórios do Azure Databricks permitem que você use repositórios Git para integrar o Databricks a sistemas de CI/CD
- Repetições automáticas para clusters de trabalho com falha revertidas
- Autenticação simplificada do Tableau Desktop para o Azure Databricks usando o Microsoft Entra ID
- Databricks Runtime 8.1 (Beta)
- O Serviço de Modelo agora dá suporte a mais tipos de modelo
- Novas opções para pesquisar o Registro de Modelos
- Maior limite para o número de clusters de uso geral encerrados
- Maior limite para o número de clusters fixados em um workspace
- Databricks Runtime 8.0 (GA)
- Fevereiro de 2021
- Novo conector do Power BI para Azure Databricks (GA)
- O log de diagnósticos de atividades do usuário no Azure Databricks está em GA
- Adicionado modification_time às respostas de Get-status e List da API REST do DBFS
- Copiar com facilidade nomes de experimento longos no MLflow
- Ajustar o tamanho da memória e o número de núcleos para o fornecimento de clusters
- O terminal da Web está em GA
- O conector do Apache Spark para o Banco de Dados SQL do Azure e o SQL Server dá suporte ao Databricks Runtime 7. x e superior
- Término do suporte da série 7.2 do Databricks Runtime
- GA do Databricks Runtime 7.6
- Databricks Runtime 8.0 (Beta)
- O Databricks Runtime para Genomics foi preterido
- Exibir JSON mais legível na exibição de artefato de execução do MLflow
- Fornecer comentários no Registro de Modelo usando a API REST
- Especificar facilmente valores de cluster padrão em chamadas à API
- Ajustar a configuração de trabalho do cluster de acordo com a alocação de trabalho atual
- Passar informações específicas de contexto para a tarefa de um trabalho com variáveis de parâmetro de tarefa
- Mensagens de erro de falhas do trabalho não contêm mais informações possivelmente confidenciais
- Janeiro de 2021
- A conectividade de cluster seguro (sem IPs públicos) está em GA
- Término do suporte da série 7.1 do Databricks Runtime
- Iniciar clusters de modo mais rápido usando imagens do Docker pré-carregadas em pools de instâncias
- As opções localizar e substituir do notebook agora são compatíveis com alterações de todas as ocorrências de uma correspondência
- Clusters de Nó Único (GA)
- O tipo de política do cluster de forma livre foi renomeado como Irrestrito
- O campo Política do cluster não será exibido caso um usuário tenha acesso a somente uma política
- Término do suporte da série 7.0 do Databricks Runtime
- Dezembro de 2020
- GA do Databricks Runtime 7.5
- A API dos trabalhos agora dá suporte à atualização de trabalhos existentes
- A nova estrutura de script de inicialização global está em GA
- Databricks Runtime 7.5 (Beta)
- O campo end_time da API de trabalhos agora usa a hora da época
- Localizar arquivos do DBFS usando o novo navegador visual
- Controles de visibilidade para trabalhos, clusters, notebooks e outros objetos do workspace já estão habilitados por padrão nos novos workspaces
- Exibição aprimorada de execuções aninhadas no MLflow
- Os administradores agora podem bloquear contas de usuário (versão prévia pública)
- Driver NVIDIA atualizado
- Novembro de 2020
- Término do suporte da série 6.6 do Databricks Runtime
- GA do Registro de modelos do MLflow
- O experimento de filtro é executado com base no fato de um modelo registrado estar associado
- A galeria de integrações de parceiros já está disponível por meio da guia Dados
- As políticas de cluster agora usam lista de permissões e lista de bloqueios como nomes de tipo da política
- Novas tentativas automáticas em caso de falha na criação de um cluster de trabalho
- Navegação pelos notebooks usando o Sumário
- Databricks SQL (versão prévia pública)
- Clusters de nó único agora dão suporte a serviços de contêiner do Databricks
- GA do Databricks Runtime 7.4
- Atualização do driver JDBC do Databricks
- Databricks Connect 7.3 (Beta)
- Outubro de 2020
- Novo conector do Power BI para Azure Databricks disponível no serviço do Power BI online (Versão Prévia Pública)
- Databricks Runtime 7.4 (Beta)
- Usar chaves gerenciadas pelo cliente para a raiz do DBFS (GA)
- ACLs (listas de controle de acesso) de experimento expandidas
- Importação e exportação de alta fidelidade de arquivos do Jupyter Notebook (ipynb)
- Aprimoramento da API do SCIM: grupos indiretos e diretos retornados na resposta de registro do usuário
- A ID de solicitação do Azure agora está incluída nas exceções
- Término do suporte do Databricks Runtime série 6.5
- Conectividade de cluster seguro (sem IPs públicos) em versão prévia pública
- Aprimoramento da API do SCIM: resposta do campo
$ref - Os logs de diagnóstico (auditoria) agora são entregues com baixa latência
- LTS (Suporte a Longo Prazo) declarado do Databricks Runtime 7.3, 7.3 ML e 7.3 Genomics
- Renderizar imagens com uma resolução mais alta usando o matplotlib
- Usar a CLI do Databricks ou a API do Databricks para criar escopos de segredos com o backup do Azure Key Vault
- Usar os tokens do Microsoft Entra ID para autenticar na CLI do Databricks
- Novas regiões do Azure (versão prévia pública)
- Setembro de 2020
- Databricks Runtime 7.3, 7.3 ML e 7.3 Genomics agora estão no GA
- Clusters de nó único (Versão Prévia Pública)
- Limitação da taxa da API REST do DBFS
- Novos ícones da barra lateral
- Aumento do limite de trabalhos em execução
- ACLs (listas de controle de acesso) do artefato no MLflow
- Melhorias na usabilidade do MLflow
- Novo conector do Power BI para Azure Databricks (Versão Prévia Pública)
- Usar chaves gerenciadas pelo cliente para a raiz DBFS (Versão prévia pública)
- Novos drivers ODBC e JDBC têm um BI com latência mais rápida e baixa
- Serviço de Modelo de MLflow (Versão prévia pública)
- Aprimoramentos de interface do usuário dos clusters
- Controles de visibilidade para trabalhos, clusters, notebooks e outros objetos do espaço de trabalho
- Capacidade de criar tokens que não são mais permitidos por padrão
- O Registro de Modelos MLflow dá suporte ao compartilhamento de modelos entre workspaces
- Databricks Runtime 7.3 (Beta)
- Alteração de nome de tipo de carga de trabalho do Azure Databricks
- Agosto de 2020
- A API de Gerenciamento de Token está em GA e os administradores podem usar o Console de Administração para conceder e revogar o acesso do usuário aos tokens
- Os limites de tamanho de mensagem para aplicativos Shiny foram aumentados
- Instruções aprimoradas para configurar um cluster no modo local
- Exibir a versão do notebook associada a uma execução
- GA do Databricks Runtime 7.2
- GA do Databricks Runtime 7.2 ML
- GA do Databricks Runtime 7.2 Genomics
- API de Permissões (Versão prévia pública)
- Databricks Connect 7.1 (GA)
- Ordem de instalação repetível para bibliotecas de cluster
- Criar modelo da página de modelos registrados do MLflow (Versão Prévia Pública)
- Os Serviços de Contêiner do Databricks são compatíveis com imagens GPU
- Julho de 2020
- Terminal da Web (Versão Prévia Pública)
- Nova estrutura de script de inicialização global mais segura (Versão Prévia Pública)
- Listas de acesso de IP agora em GA
- Nova caixa de diálogo de upload do arquivo
- Melhorias na classificação e no filtro da API do SCIM
- Regiões do Azure Government adicionadas
- GA do Databricks Runtime 7.1
- GA do Databricks Runtime 7.1 ML
- GA do Databricks Runtime 7.1 Genomics
- Databricks Connect 7.1 (Versão Prévia Pública)
- Atualizações de API da lista de acesso de IP
- Os notebooks do Python agora dão suporte a várias saídas por célula
- Exibir as células de código e de resultados do notebook lado a lado
- Pausar agendamentos de trabalhos
- Pontos de extremidade de API de trabalho validam a ID de execução
- Tokens do Microsoft Entra ID para autorizar a disponibilidade geral da API REST do Databricks
- Formatar SQL em notebooks automaticamente
- Ordem reproduzível de instalação para bibliotecas Maven e CRAN
- Assuma o controle dos tokens de acesso pessoal dos seus usuários com a API de Gerenciamento de Tokens (versão prévia pública)
- Restaurar células do notebook recortadas
- Atribuir permissão PODE GERENCIAR de trabalhos para usuários não administradores
- Usuários não administradores do Azure Databricks podem ver nomes de usuário e filtrar por esses nomes usando a API SCIM
- Link para ver a especificação do cluster na exibição de detalhes da execução do trabalho
- Junho de 2020
- O Databricks Connect agora é compatível com o Databricks Runtime 6.6
- GA do Databricks Runtime 7.0 ML
- Databricks Runtime GA 7.0, da plataforma Apache Spark 3.0
- Databricks Runtime 7.0 para Genomics GA
- Controles de acesso dependentes de fase para modelos MLflow
- Os notebooks agora são compatíveis com a desabilitação da rolagem automática
- Endereços IP do metastore a serem alterados em 30 de junho de 2020
- O suporte do Internet Explorer 11 termina em 15 de agosto
- O suporte do Databricks Runtime série 6.2 termina
- Simplificar e controlar a criação do cluster usando políticas de cluster (versão prévia pública)
- O ponto de extremidade SCIM Me agora retorna a resposta em conformidade com o SCIM
- Restringir o acesso ao Azure Databricks usando listas de acesso de IP (versão prévia pública)
- Maio de 2020
- VMs da série Easv4 (Beta)
- GA do Databricks Runtime 6.6 para Genomics
- GA do Databricks Runtime 6.6 ML
- GA do Databricks Runtime 6.6
- Limite de tamanho do ponto de extremidade de exclusão da API REST do DBFS
- Exibir facilmente um grande número de modelos registrados do MLflow
- As bibliotecas configuradas para serem instaladas em todos os clusters não estão instaladas em clusters que executam o Databricks Runtime 7.0 e superior
- Databricks Runtime 7.0 para Genomics (Beta)
- Databricks Runtime 7.0 ML (Beta)
- Databricks Runtime 6.6 para Genomics (Beta)
- Databricks Runtime 6.6 ML (Beta)
- Databricks Runtime 6.6 (Beta)
- Clusters de trabalho agora são marcados com o nome e a ID do trabalho
- Restaurar células do notebook excluídas
- Limite de fila de trabalhos pendentes
- Abril de 2020
- URLs exclusivas para cada workspace do Azure Databricks
- Aprimoramento da interface do usuário de acompanhamento do MLflow
- Aprimoramentos da usabilidade de notebooks
- Usar tokens para autorizar a API REST do Databricks (Visualização Pública)
- O usuário único pode exibir os logs do Apache Spark em um cluster de passagem
- O Databricks Connect agora é compatível com o Databricks Runtime 6.5
- O suporte para o Databricks Runtime 6.1 e 6.1 ML foi encerrado
- GA do Databricks Runtime 6.5
- GA do Databricks Runtime 6.5 para Machine Learning
- GA do Databricks Runtime 6.5 para Genomics
- O suporte para o Databricks Runtime 6.0 e 6.0 ML foi encerrado
- Março de 2020
- Hub de colaboração Registro de Modelos MLflow gerenciado disponível (versão prévia pública)
- As marcas de workspace, pool e cluster se propagam para os detalhes de uso do DBU e as VMs do Azure para gerar um melhor relatório de gerenciamento de custos
- O Databricks Runtime 7.0 (versão beta) inclui uma versão prévia do Apache Spark 3.0
- Databricks Runtime 6.5 ML (versão beta)
- Databricks Runtime 6.5 (versão beta)
- Os comentários sobre o Azure Databricks agora vão diretamente para o portal de comentários do Azure Databricks
- Desenvolver e testar aplicativos Shiny no RStudio Server
- Alterar o idioma padrão de um notebook
- O Databricks Connect agora é compatível com o Databricks Runtime 6.4
- O Databricks Connect agora é compatível com o Databricks Runtime 6.3
- Fevereiro de 2020
- Disponibilidade geral do Databricks Runtime 6.4 para Genomics
- Disponibilidade geral do Databricks Runtime 6.4 ML
- Disponibilidade geral do Databricks Runtime 6.4
- Novos gráficos interativos oferecem interações avançadas do lado do cliente
- Nova rede de ingestão de dados adiciona integrações de parceiros com o Delta Lake (versão prévia pública)
- Criador do workspace adicionado automaticamente como administrador do Azure Databricks
- Sinalizadores para gerenciar a segurança do workspace e os recursos do notebook disponíveis agora
- Janeiro de 2020
- Em breve: as marcas de workspace, pool e cluster se propagam para os detalhes de uso do DBU e as VMs do Azure para gerar um melhor relatório de gerenciamento de custos
- Agora o Azure Databricks e o Azure Lighthouse podem residir na mesma assinatura
- Disponibilidade geral do Databricks Runtime 6.3 para Genomics
- Disponibilidade geral do Databricks Runtime 6.3 ML
- Disponibilidade geral do Databricks Runtime 6.3
- Cache de disco habilitado por padrão
- A etapa de dimensionamento automático padrão do cluster agora é configurável
- A API SCIM dá suporte à paginação para Obter Usuários e Obter Grupos (versão prévia pública)
- Larguras de raia de navegador de arquivos aumentadas para 240 pixels
- O suporte do Databricks Runtime 3.5 LTS termina
- Dezembro de 2019
- O Databricks Connect agora é compatível com o Databricks Runtime 6.2
- Configurar clusters com sua própria imagem de contêiner usando os Serviços de Contêiner do Databricks (GA)
- Disponibilidade geral do Databricks Runtime 6.2 para Genomics
- O conector de provisionamento de SCIM do Azure Databricks está disponível na galeria de aplicativos
- O suporte do Databricks Runtime 5.3 e 5.4 termina
- Disponibilidade geral do Databricks Runtime 6.2 ML
- Disponibilidade geral do Databricks Runtime 6.2
- O Databricks Connect agora é compatível com o Databricks Runtime 6.1
- Novembro de 2019
- Databricks Runtime 6.2 ML Beta
- Databricks Runtime 6.2 Beta
- Configurar clusters com sua própria imagem de contêiner usando os Serviços de Contêiner do Databricks
- O detalhe do cluster agora mostra apenas a ID do cluster no caminho HTTP
- Segredos referenciados por propriedades de configuração do Spark e variáveis de ambiente (versão prévia pública)
- Outubro de 2019
- Métricas de suporte movidas para os Hubs de Eventos do Azure
- Passagem de credencial do Azure Data Lake Storage em clusters padrão e Scala é GA
- Disponibilidade geral do Databricks Runtime 6.1 para Genomics
- Disponibilidade geral do Databricks Runtime 6.1 para Machine Learning
- Agora, as chamadas de API MLflow são limitadas por taxa
- Pools de instâncias para lançamento rápido de cluster disponíveis para o público geral
- Databricks Runtime 6.1 GA
- Disponibilidade geral do Databricks Runtime 6.0 para Genomics
- A capacidade de implantar um espaço de trabalho do Azure Databricks em sua própria rede virtual, também conhecida como injeção de VNet, está em GA
- Os usuários do Azure Databricks não administradores podem ler nomes e IDs de usuário e grupo usando a API SCIM
- API de espaço de trabalho retorna IDs de objeto de bloco de anotações e pasta
- Databricks Runtime 6.0 ML GA
- Novas regiões: Sul do Brasil e centro da França
- Databricks Runtime 6.0 GA
- Setembro de 2019
- O suporte do Databricks Runtime 5.2 termina em
- Iniciar clusters automatizados com suporte do pool que usam o Databricks Light (visualização pública)
- Os endereços IP de gateway do Banco de Dados SQL do Microsoft Azure mudarão em 14 de outubro de 2019
- Passagem de credencial do Azure Data Lake Storage agora tem suporte em clusters padrão e escalabilidade (visualização pública)
- os DataFrames do pandas são renderizados em blocos de anotações sem dimensionamento
- Exibição do seletor de versão do Python agora dinâmico
- Databricks Runtime 6.0 Beta
- Agosto de 2019
- Nova região: Norte dos EAU
- Aprimoramento da instalação da biblioteca de espaços de trabalho
- A interface do usuário de clusters agora reflete terminologia de cluster interativo e automatizado
- Databricks Runtime 5.5 e Databricks Runtime 5.5 ML são LTS
- Notificações de alocação de instância para pools
- Novos eventos do cluster
- Atualizações de MLflow
- Julho de 2019
- Em breve! O Databricks 6.0 não dará suporte a Python 2
- Pré-carregar a versão Databricks Runtime em instâncias ociosas do pool
- Marcas de cluster personalizadas e marcas de pool funcionam melhor juntas
- O MLflow 1.1 traz vários aprimoramentos na interface do usuário e na API
- O DataFrame do Pandas exibe renderizações como faz no Jupyter
- Novas regiões
- Databricks Runtime 5.5 com o Conda (Beta)
- Limite de conexão do metastore atualizado
- Definir permissões em pools (visualização pública)
- Databricks Runtime 5.5 para Machine Learning
- Databricks Runtime 5.5
- Manter um pool de instâncias em espera para a inicialização rápida do cluster (visualização pública)
- Métricas de Ganglia
- Cor da série de gráfico
- Junho de 2019
- Maio de 2019
- Abril de 2019
- Março de 2019
- Fevereiro de 2019
- Janeiro de 2019
- Alterações futuras: O Python 3 agora é o padrão quando você cria clusters
- Versão do Databricks Runtime 5.2 para Machine Learning (Beta)
- Exibição JSON da configuração do cluster
- IU do cluster
- Implantar o Azure Databricks em sua Rede Virtual do Azure (Injeção de VNet)
- IU da biblioteca
- Eventos do cluster
- Controle de versão do notebook usando Azure DevOps Services
- Dezembro de 2018
- Novembro de 2018
- IU da biblioteca
- Configurações de memória de heap do Spark personalizadas habilitadas
- Remoção de contexto de execução de trabalhos e de ociosidade
- Versão do Databricks Runtime 5.0 para Machine Learning (Beta)
- Versão do Databricks Runtime 5.0
displayHTMLsuporte para carregamento irrestrito de conteúdo de terceiros
- Outubro de 2018
- Setembro de 2018
- Agosto de 2018
- Julho de 2018
- API de bibliotecas dá suporte a rodas do Python
- Exportar notebook IPython
- Escopos de segredo com backup Azure Key Vault
- Espaços de trabalho de avaliação Premium
- Modo de cluster e clusters de Alta Simultaneidade
- Controle de acesso de tabela
- Tipos de nó de cluster indisponíveis acinzentados
- Markdown R com suporte
- Reformulação da página inicial, com a capacidade de descartar arquivos para importar dados
- Comportamento padrão de widget
- IU de criação de tabela
- Importação de dados JSON de várias linhas
- Junho de 2018
- Maio de 2018
- Regulamentação de Proteção Geral de Dados (GDPR)
- Os usuários do Azure Databricks devem pertencer ao locatário Microsoft Entra ID
- HorovodEstimator
- Exportação de modelo do MLeap ML
- Ainda mais tipos de cluster GPU
- Células do bloco de anotações: ocultar e mostrar
- Pesquisa de site do documento
- Databricks Runtime 4.1 ML para Machine Learning (Beta)
- Delta do Databricks
- Exibir suporte () para tipos de dados de imagem
- Tipos de cluster de GPU
- GA de gerenciamento de segredos
- Alterações de ponto de extremidade de API de segredos e comandos da CLI
- Fixação de cluster
- Inicialização automática de cluster
- Limpeza do espaço de trabalho
- CLI do Databricks 0.7.1
- Abril de 2018
- CLI de segredos
- Guia do aprendizado profundo
- Atualização de API de segredos para criar escopo secreto
- Dicas de erro do Spark
- CLI de Databricks 0.7.0
- Aumentar limite de truncamento de saída do script de inicialização
- API de clusters: tipo de evento UPSIZE_COMPLETED adicionado
- Preenchimento automático do comando
- Pools sem servidor atualizados para o Databricks Runtime 4.0
- Março de 2018
- Detalhes de execução de comando
- Suporte para CLI do Databricks
--profile - ACLs habilitadas por padrão para novos clientes do SKU Premium
- O Azure Databricks já está disponível ao público em geral
- Novo tema do site do documento
- Dimensionamento automático do armazenamento local
- Emparelhamento de rede virtual (VNet)
- Log de eventos do cluster
- CLI do Databricks: versão 0.6.0
- Gerenciamento de execução de trabalho
- Editar permissões de cluster agora requer o modo de edição
- Exportação de modelo do Databricks ML
- Fevereiro de 2018
- Novo gráfico de linhas dá suporte a dados de série temporal
- Mais aprimoramentos de visualização
- Excluir execuções de trabalho usando a API de trabalho
- Biblioteca de renderização matemática do KaTeX atualizada
- CLI do Databricks: Versão 0.5.0
- Biblioteca de API do DBUtils
- Filtrar somente os trabalhos
- Envio Spark da página Criar trabalho
- Selecione Python 3 na página criar cluster
- Aprimoramentos de interface do usuário do espaço de trabalho
- Preenchimento automático para comandos SQL e nomes de banco de dados
- Pools sem servidor agora dão suporte a R
- XGBoost disponível como um pacote Spark
- Controle de acesso de tabela para SQL e Python (Beta)
- Janeiro de 2018
- Pontos de montagem para contêineres de armazenamento de Blobs do Azure e Data Lake Stores
- Tags de cluster
- Controle de acesso de tabela para SQL e Python (Versão prévia privada)
- Exportando resultados de execução de trabalho de bloco de anotações via API
- O Apache Flow 1.9.0 inclui a integração do Databricks