Outubro de 2019
Esses recursos e melhorias da plataforma Azure Databricks foram lançados em outubro de 2019.
Observação
As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.
Métricas de suporte movidas para os Hubs de Eventos do Azure
De 22 a 29 de outubro de 2019
As métricas de suporte que permitem que o Azure Databricks monitore a integridade do cluster foram migradas do Armazenamento de Blobs do Azure para os pontos de extremidade do Hub de Eventos. Isso permite que o Azure Databricks forneça respostas de latência mais baixa para resolver incidentes no cliente. Para workspaces de injeção de VNet, adicionamos uma regra adicional ao grupo de segurança de rede para o ponto de extremidade de serviço EventHub. Os detalhes estão disponíveis na tabela Regras do grupo de segurança de rede. Não há nenhuma ação necessária para a disponibilidade contínua dos serviços.
Para obter uma lista dos pontos de extremidade dos Hubs de Eventos de métricas de suporte do Azure Databricks por região, confira Metastore, armazenamento de Blobs de artefatos, armazenamento de tabelas do sistema, armazenamento de Blobs de logs e endereços IP do ponto de extremidade do Hub de Eventos.
Passagem de credencial do Azure Data Lake Storage em clusters padrão e Scala é GA
De 22 a 29 de outubro de 2019: versão 3.5
A passagem de credencial por Python, SQL e Scala em clusters padrão que executam o Databricks Runtime 5.5 e superior, bem como o SparkR no Databricks Runtime 6.0 Beta e superior está em disponibilidade geral. Consulte Habilitar a passagem de credenciais do Azure Data Lake Storage para um cluster padrão.
Disponibilidade geral do Databricks Runtime 6.1 para Genomics
22 de outubro de 2019
O Databricks Runtime 6.1 para Genomics está em disponibilidade geral.
Disponibilidade geral do Databricks Runtime 6.1 para Machine Learning
22 de outubro de 2019
O Databricks Runtime 6.1 ML está em disponibilidade geral. Ele inclui suporte para clusters de GPU e atualizações para as seguintes bibliotecas de aprendizado de máquina:
- TensorFlow para 1.14.0
- PyTorch para 1.2.0
- Torchvision para 0.4.0
- MLflow para 1.3.0
Para obter mais informações, consulte as notas da versão completa do Databricks Runtime 6.1 para ML (sem suporte).
Agora, as chamadas de API MLflow são limitadas por taxa
De 22 a 29 de outubro de 2019: versão 3.5
Para garantir a alta qualidade do serviço sob carga pesada, o Azure Databricks agora impõe limites de taxa de API para todas as chamadas à API do MLflow. Os limites são definidos por conta para garantir o uso justo e a alta disponibilidade para todas as organizações que compartilham um workspace.
Os clientes do MLflow com recuperações automáticas estão disponíveis no MLflow 1.3.0 e estão no Databricks Runtime 6.1 para Machine Learning (sem suporte). Recomendamos que todos os clientes alternem para a versão do cliente mais recente do MLflow.
Para obter detalhes, consulte API de experimentos.
Pools de instâncias para lançamento rápido de cluster disponíveis para o público geral
De 22 a 29 de outubro de 2019: versão 3.5
O recurso do Azure Databricks que dá suporte à anexação de um cluster a um pool predefinido de instâncias ociosas agora está em disponibilidade geral.
O Azure Databricks não cobra DBUs enquanto as instâncias estão ociosas no pool. A cobrança do provedor de instâncias se aplica. Confira o preço.
Para obter detalhes, confira Referência de configuração de pools.
Databricks Runtime 6.1 GA
16 de outubro de 2019
O Databricks Runtime 6.1 traz vários aprimoramentos para o Delta Lake:
- Converte facilmente tabelas no formato do Delta Lake
- APIs do Python para tabelas do Delta (Visualização Pública)
- DFP (Remoção Dinâmica de Arquivo) habilitada por padrão
O Databricks Runtime 6.1 também remove várias limitações na passagem de credencial.
Observação
A partir da versão 6.1, o Databricks Runtime dá suporte apenas a clusters de CPU. Se você quiser usar clusters de GPU, deverá usar o Databricks Runtime ML.
Para obter mais informações, consulte as notas da versão completa Databricks Runtime 6.1 (sem suporte).
Disponibilidade geral do Databricks Runtime 6.0 para Genomics
16 de outubro de 2019
O Databricks Runtime para Genomics (Databricks Runtime Genomics) é uma variante do Databricks Runtime otimizado para trabalhar usando dados genômicos e biomédicos. A partir da versão 6.0, o Databricks Runtime para Genomics está em disponibilidade geral.
A capacidade de implantar um workspace do Azure Databricks em sua própria rede virtual, também conhecida como injeção de VNet, está em Disponibilidade geral
9 de outubro de 2019
Temos o prazer de anunciar a GA da capacidade de implantar um workspace do Azure Databricks em sua própria rede virtual, também conhecida como injeção de VNet. Essa opção destina-se a aqueles que precisam de personalização de rede e, portanto, não querem usar a VNet padrão criada quando você implanta um workspace do Azure Databricks da maneira padrão. Com a injeção de VNet, você pode:
- Conectar o Azure Databricks a outros serviços do Azure (como o Armazenamento do Azure) de maneira mais segura usando pontos de extremidade de serviço.
- Conectar-se a fontes de dados locais para uso com o Azure Databricks aproveitando as rotas definidas pelo usuário.
- Conectar o Azure Databricks a uma solução de virtualização de rede para inspecionar todo o tráfego de saída e realizar ações de acordo com as regras de permissão e negação.
- Configurar o Azure Databricks para usar o DNS personalizado.
- Configurar as regras de NSG (grupo de segurança de rede) para especificar restrições de tráfego de saída.
- Implantar clusters do Azure Databricks em sua rede virtual existente.
Implantar o Azure Databricks à sua rede virtual também permite que você aproveite as vantagens dos intervalos de CIDR flexíveis (algo em torno de /16-/24 para a rede virtual e até /26 para sub-redes).
A configuração usando a interface do usuário portal do Azure é rápida e fácil: quando você cria um workspace, basta selecionar Implantar um workspace do Azure Databricks em sua Rede Virtual, selecionar sua rede virtual e fornecer intervalos de CIDR para duas sub-redes. O Azure Databricks atualiza a rede virtual com as duas novas sub-redes e grupos de segurança de rede, permite o acesso ao tráfego de sub-rede de entrada e saída e implanta o workspace na rede virtual atualizada.
Se você preferir configurar a rede virtual para injeção de VNet por conta própria – por exemplo, você deseja usar sub-redes existentes, grupos de segurança de rede existentes ou criar suas próprias regras de segurança – você pode usar modelos do ARM fornecidos pelo Azure Databricks em vez da interface do usuário do portal.
Observação
Se você tiver participado da versão prévia da injeção de VNet, deverá atualizar seu workspace de versão prévia para a versão de GA antes de 31 de janeiro de 2020 para continuar recebendo suporte.
Para obter detalhes, consulte Implantar o Azure Databricks em sua rede virtual do Azure (injeção de VNet) e Conecte seu workspace do Azure Databricks na rede local.
Os usuários do Azure Databricks não administradores podem ler nomes e IDs de usuário e grupo usando a API SCIM
De 8 a 15 de outubro de 2019: versão 3.4
Os usuários não administradores agora podem invocar os pontos de extremidade Obter Usuários e Obter Grupos da API de Grupos para ler somente os nomes de exibição de usuário e grupo e as IDs. Todas as outras operações da API do SCIM continuam a exigir acesso de administrador.
API de espaço de trabalho retorna IDs de objeto de bloco de anotações e pasta
De 8 a 15 de outubro de 2019: versão 3.4
Os pontos de extremidade get-status e list da API de Workspace agora retornam IDs de objeto de pasta e notebook, dando a você a capacidade de referenciar esses objetos em outras chamadas à API.
Databricks Runtime 6.0 ML GA
4 de outubro de 2019
O Databricks Runtime 6.0 ML inclui as seguintes atualizações:
- MLflow
- Uma nova fonte de dados do Spark para experimentos do MLflow agora fornece uma API padrão para carregar dados de execução de experimentos do MLflow.
- Adicionado cliente Java do MLflow
- O MLflow agora é promovido como uma biblioteca de nível superior
- GA do Hyperopt – melhorias importantes desde a visualização pública incluem suporte para registro em log do MLflow em trabalhos do Spark, manipulação correta de variáveis de difusão do PySpark, bem como um novo guia sobre a seleção de modelo usando o Hyperopt.
- Bibliotecas Horovod e MLflow atualizadas e distribuição Anaconda.
Observação
Somente clusters de CPU têm suporte nesta versão.
Para obter mais informações, consulte as notas da versão completa do Databricks Runtime 6.0 para ML (sem suporte).
Novas regiões: Sul do Brasil e centro da França
1º de outubro de 2019
O Azure Databricks agora está disponível no Sul do Brasil (Estado de São Paulo) e na França Central (Paris).
Databricks Runtime 6.0 GA
1º de outubro de 2019
O Databricks Runtime 6.0 Beta traz muitas atualizações de biblioteca e novos recursos, incluindo:
- Novas APIs do Scala e do Java para comandos de DML do Delta Lake, bem como os comandos do utilitário vácuo e histórico.
- Cliente DBFS FUSE v2 melhorado para leituras e gravações mais rápidas e mais confiáveis durante o treinamento do modelo.
- Suporte para vários gráficos matplotlib por célula de notebook.
- Atualize para o Python 3.7, bem como numpy, pandas, matplotlib e outras bibliotecas atualizadas.
- Fim do suporte a Python 2.
Observação
Somente clusters de CPU têm suporte nesta versão.
Para obter mais informações, consulte as notas da versão completa do Databricks Runtime 6.0 (sem suporte).