Junho de 2020
Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em junho de 2020.
Observação
As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.
O Databricks Connect agora é compatível com o Databricks Runtime 6.6
26 de junho de 2020
O Databricks Connect já dá suporte ao Databricks Runtime 6.6.
GA do Databricks Runtime 7.0 ML
22 de junho de 2020
O Databricks Runtime 7.0 ML foi desenvolvido com base no Databricks Runtime 7.0 e inclui os seguintes novos recursos:
- Bibliotecas do Python no escopo do notebook e ambientes personalizados gerenciados por comandos do Conda e do Pip.
- Atualizações para os principais pacotes do Python, incluindo tensorflow, tensorboard, pytorch, xgboost, sparkdl e hyperopt.
- Pacotes do Python recém-adicionados: lightgbm, nltk, petastorm e plotly.
- RStudio Server de código aberto v1.2.
Para obter mais informações, confira as notas completas sobre a versão do Databricks Runtime 7.0 para ML (sem suporte).
Databricks Runtime GA 7.0, da plataforma Apache Spark 3.0
18 de junho de 2020
O Databricks Runtime 7.0 é da plataforma Apache Spark 3.0 e já dá suporte ao Scala 2.12.
O Spark 3.0 traz muitos recursos e aprimoramentos adicionais, incluindo:
- Execução de Consulta Adaptável, uma estrutura flexível para realizar a execução adaptável no Spark SQL e dar suporte ao número variável de redutores em runtime.
- UDFs do Pandas reformuladas com dicas de tipo.
- Interface do usuário da Web do Streaming Estruturado.
- Melhor compatibilidade com os padrões de SQL do ANSI.
- Dicas de junção.
O Databricks Runtime 7.0 adiciona:
- Carregador Automático aprimorado para processar novos arquivos de dados de maneira incremental conforme eles são recebidos em um armazenamento de blobs em nuvem durante o ETL.
- Comando COPY INTO aprimorado para carregar dados no Delta Lake com repetições idempotentes.
- Vários aprimoramentos e várias adições e atualizações de bibliotecas e correções de bugs.
Para obter mais informações, confira as notas completas sobre a versão do Databricks Runtime 7.0 (sem suporte).
Databricks Runtime 7.0 para Genomics GA
18 de junho de 2020
O Databricks Runtime 7.0 para Genomics foi desenvolvido com base no Databricks Runtime 7.0 e inclui as seguintes atualizações de bibliotecas:
- A biblioteca ADAM foi atualizada da versão 0.30.0 para 0.32.0.
- A biblioteca Hail não está incluída no Databricks Runtime 7.0 para Genomics, pois não há nenhuma versão baseada no Apache Spark 3.0.
Controles de acesso dependentes de fase para modelos MLflow
16 a 23 de junho de 2020: versão 3.22
Agora é possível atribuir controles de acesso dependentes da fase a usuários ou grupos, permitindo que eles gerenciem os Modelos do MLflow registrados no Registro de Modelos do MLflow na fase de Preparo ou de produção. Introduzimos dois novos níveis de permissão: PODE GERENCIAR VERSÕES DE PREPARO e PODE GERENCIAR VERSÕES DE PRODUÇÃO. Os usuários com essas permissões podem executar transições entre as fases permitidas para o nível.
Para obter detalhes, consulte ACLs de modelo do MLFlow.
Os notebooks agora são compatíveis com a desabilitação da rolagem automática
16 a 23 de junho de 2020: versão 3.22
Quando você executar uma célula do notebook usando SHIFT+ENTER, o comportamento padrão do notebook será rolar automaticamente o conteúdo para a próxima célula se a célula não estiver visível. Agora você pode desativar a rolagem automática em 
> Configurações do Usuário > Configurações do Editor. Se você desabilitar a rolagem automática, em SHIFT+ENTER, o foco será deslocado para a próxima célula, mas o notebook não rolará para essa célula.
Endereços IP do metastore a serem alterados em 30 de junho de 2020
11 de junho de 2020
O metastore padrão do Azure Databricks usa o Banco de Dados do Azure para MySQL. Todos os endereços IP do Banco de Dados do Azure para MySQL de metastores do Azure Databricks foram alterados em 30 de junho de 2020. Se você tiver um workspace do Azure Databricks implantado em uma rede virtual própria, sua tabela de rotas para essa implantação poderá incluir um endereço IP de metastore do Azure Databricks ou uma rota para um firewall ou um dispositivo de proxy com uma lista de acesso que inclui esse endereço. Se este for o caso, atualize as tabelas de rotas ou os firewalls do Azure Databricks com os novos IPs do MySQL antes de 30 de junho de 2020 para evitar interrupções.
O suporte do Internet Explorer 11 termina em 15 de agosto
9 de junho de 2020
A fim de nos mantermos atualizados com as tendências do setor e garantirmos uma experiência do usuário estável e consistente para nossos clientes, o Azure Databricks encerrou o suporte para o Internet Explorer 11 em 15 de agosto de 2020.
O suporte do Databricks Runtime série 6.2 termina
3 de junho de 2020
O suporte para o Databricks Runtime 6.2, o Databricks Runtime 6.2 para Machine Learning e o Databricks Runtime 6.2 para Genomics terminou em 3 de junho. Confira Ciclos de vida de suporte do Databricks Runtime.
Simplificar e controlar a criação do cluster usando políticas de cluster (versão prévia pública)
2 a 9 de junho de 2020: versão 3.21
As políticas de cluster são modelos de cluster reutilizáveis e definidos pelo administrador que impõem regras em atributos de cluster e, portanto, garantem que os usuários criem clusters em conformidade com essas regras. Como administrador do Azure Databricks, você já pode criar políticas de cluster e conceder permissões de política aos usuários. Ao fazer isso, você tem mais controle sobre os recursos criados, oferece aos usuários o nível de flexibilidade de que eles precisam para realizar o trabalho e simplifica consideravelmente a experiência de criação do cluster.
Para obter mais detalhes, confira Criar e gerenciar políticas de computação.
O ponto de extremidade SCIM Me agora retorna a resposta em conformidade com o SCIM
2 a 9 de junho de 2020: versão 3.21
O ponto de extremidade do Me do SCIM já retorna as mesmas informações que o ponto de extremidade /users/{id}, incluindo informações como grupos e direitos.
Confira API CurrentUser.
Restringir o acesso ao Azure Databricks usando listas de acesso de IP (versão prévia pública)
1 de junho de 2020
Os workspaces do Azure Databricks já podem ser configurados para que os usuários se conectem ao serviço apenas por meio de redes corporativas existentes com um perímetro seguro. Os administradores do Azure Databricks podem usar a API de Lista de Acesso de IP para definir um conjunto de endereços IP aprovados, incluindo listas de permissões e bloqueios. Todo o acesso de entrada ao aplicativo Web e às APIs REST exige que o usuário se conecte em um endereço IP autorizado, garantindo que os workspaces não possam ser acessados em uma rede pública como uma cafeteria ou um aeroporto, a menos que os usuários usem a VPN.
Esse recurso requer o plano Premium.
Para obter mais informações, confira Configurar listas de acesso IP para espaços de trabalho.