Outubro de 2019

Estas funcionalidades e as melhorias na plataforma Azure Databricks foram lançadas em outubro de 2019.

Nota

Os lançamentos são encenados. A sua conta Azure Databricks só poderá ser atualizada uma semana após a data de lançamento inicial.

As métricas de suporte foram movidas para os Hubs de Eventos do Azure

22 a 29 de outubro de 2019

As métricas de suporte que permitem ao Azure Databricks monitorizar a saúde do cluster foram migradas do armazenamento de Azure Blob para os pontos finais do Event Hub. Isto permite que a Azure Databricks forneça respostas de latência mais baixas para resolver incidentes com o cliente. Para os espaços de trabalho de injeção VNet, adicionámos uma regra adicional ao grupo de segurança da rede para o ponto final de EventHub serviço. Os detalhes estão disponíveis na tabela de regras do grupo de segurança da Rede. Não é necessária qualquer ação para a continuação da disponibilidade de serviços.

Para obter uma lista das métricas de suporte do Azure Databricks, os pontos finais do Event Hubs por região, consulte metasteiros, armazenamento de artefactos Blob, armazenamento de log Blob e endereços IP do ponto final do Event Hub.

O pass-through de credenciais do Azure Data Lake Storage em clusters padrão e em Scala está em disponibilidade geral

22 de outubro - 29, 2019: Versão 3.5

A passagem credencial para Python, SQL e Scala em clusters padrão que executam Databricks Runtime 5.5 ou superior, bem como SparkR em Databricks Runtime 6.0 ou superior está geralmente disponível. Consulte ativar a passagem de credencial de armazenamento do lago de dados Azure para um cluster padrão.

Disponibilidade Geral do Databricks Runtime 6.1 para o Genomics

22 de outubro de 2019

Databricks O tempo de execução 6.1 para genómica está geralmente disponível. Ver Databricks Runtime for Genomics.

Disponibilidade Geral do Databricks Runtime 6.1 para Machine Learning

22 de outubro de 2019

Databricks O tempo de execução 6.1 ML está geralmente disponível. Inclui suporte para clusters gpu e upgrades para as seguintes bibliotecas de aprendizagem automática:

  • TensorFlow para 1.14.0
  • PyTorch a 1.2.0
  • Tocha para 0.4.0
  • MLflow para 1.3.0

Para obter mais informações, consulte as notas completas de execução de dados 6.1 para machine learning (não suportadas).

As chamadas à API do MLflow têm agora limite de taxa

22 de outubro - 29, 2019: Versão 3.5

Para garantir uma elevada qualidade de serviço sob carga pesada, a Azure Databricks agora aplica limites de taxa de API para todas as chamadas de API MLflow. Os limites são definidos por conta para garantir uma utilização justa e alta disponibilidade para todas as organizações que partilham um espaço de trabalho.

Os clientes MLflow com retrações automáticas estão disponíveis em MLflow 1.3.0 e estão em Databricks Runtime 6.1 para Machine Learning (Não suportado). Aconselhamos todos os clientes a mudarem para a versão mais recente do cliente MLflow.

Para mais informações, consulte a MLflow API.

Os conjuntos de instâncias para início rápido de clusters está em disponibilidade geral

22 de outubro - 29, 2019: Versão 3.5

A funcionalidade Azure Databricks que suporta a anexação de um cluster a um conjunto de instâncias ociosas predefinidas está agora geralmente disponível.

O Azure Databricks não cobra DBUs quando as instâncias estão inativas no conjunto. Contudo, a faturação do fornecedor de instâncias aplica-se; veja os preços.

Para mais detalhes, consulte Pools.

Disponibilidade Geral do Databricks Runtime 6.1

16 de outubro de 2019

Databricks Runtime 6.1 traz vários melhoramentos para Delta Lake:

  • Converta facilmente as tabelas para o formato Delta Lake
  • APIs python para tabelas Delta (Visualização pública)
  • Poda de Ficheiros Dinâmicos (DFP) ativada por padrão

Databricks O Runtime 6.1 também remove várias limitações na passagem credencial.

Nota

Começando com a versão 6.1, o Prazo de Execução databricks suporta apenas clusters CPU. Se quiser utilizar clusters GPU, deve utilizar databricks Runtime ML.

Para obter mais informações, consulte as notas completas de lançamento databricks Runtime 6.1 (Não suportadas).

Disponibilidade Geral do Databricks Runtime 6.0 para o Genomics

16 de outubro de 2019

Databricks Runtime for Genomics (Databricks Runtime Genomics) é uma variante do Databricks Runtime otimizada para trabalhar com dados genômicos e biomédicos. Começando com o lançamento 6.0, databricks Runtime for Genomics está geralmente disponível.

A capacidade de implementar áreas de trabalho do Azure Databricks na sua própria rede virtual, também conhecida como injeção de VNet, está em disponibilidade geral

9 de outubro de 2019

Temos o prazer de anunciar o GA da capacidade de implantar um espaço de trabalho Azure Databricks para a sua própria rede virtual, também conhecida como injeção VNet. Esta opção destina-se a quem necessite de personalização da rede e, portanto, não quer utilizar o VNet predefinido que é criado quando implementa um espaço de trabalho Azure Databricks da forma padrão. Com a injeção de VNet, pode:

A implantação de dados Azure para a sua própria rede virtual também permite tirar partido das gamas CIDR flexíveis (em qualquer lugar entre /16-/24 para a rede virtual e até /26 para as sub-redes).

A configuração utilizando o portal Azure UI é rápida e fácil: quando criar um espaço de trabalho, basta selecionar implementar espaço de trabalho de Azure Databricks na sua Rede Virtual, selecione a sua rede virtual e forneça gamas CIDR para duas sub-redes. O Azure Databricks atualiza a rede virtual com as duas novas sub-redes e grupos de segurança de rede, o tráfego de sub-redes de entrada e saída de whitelists e implanta o espaço de trabalho para a rede virtual atualizada.

Injeção de VNet na implantação do espaço de trabalho

Se preferir configurar a rede virtual para a injeção de VNet por exemplo, pretende utilizar sub-redes existentes, utilizar grupos de segurança de rede existentes ou criar as suas próprias regras de segurança — pode utilizar modelos ARM fornecidos por Azure-Databricks em vez do portal UI.

Nota

Se participou na pré-visualização da injeção VNet, tem de atualizar o seu espaço de trabalho de pré-visualização para a versão GA antes de 31 de janeiro de 2020 para continuar a receber suporte. Consulte o seu espaço de trabalho de pré-visualização da injeção VNet para GA.

Para mais detalhes, consulte implementar dados Azure na sua rede virtual Azure (injeção VNet) e ligue o seu espaço de trabalho Azure Databricks à sua rede no local.

Os utilizadores não administradores do Azure Databricks podem ler nomes e IDs de utilizadores e de grupos com a API de SCIM

8 de outubro - 15, 2019: Versão 3.4

Os utilizadores não administrativos podem agora invocar o SCIM API Get Users e obter pontos finais de grupos para ler apenas nomes de visualizações de utilizadores e grupos e IDs. Todas as outras operações da API da SCIM continuam a exigir acesso ao administrador.

A API de Área de Trabalho devolve IDs de blocos de notas e de objetos de pastas

8 de outubro - 15, 2019: Versão 3.4

Os get-status list pontos finais e finais da API do Espaço de Trabalho agora devolvem os IDs do caderno e do objeto de pasta, dando-lhe a capacidade de fazer referência a esses objetos noutras chamadas da API.

Disponibilidade Geral do Databricks Runtime 6.0 ML

4 de outubro de 2019

Databricks Runtime 6.0 ML inclui as seguintes atualizações:

  • MLflow
    • Uma nova fonte de dados spark para experiências MLflow fornece agora uma API padrão para carregar dados de execução de experiências MLflow.
    • Cliente MLflow Java adicionado
    • MLflow é agora promovido como uma biblioteca de topo
  • Hyperopt GA - Melhorias notáveis desde a pré-visualização pública incluem suporte para registo de MLflow em trabalhadores de Spark, manuseamento correto de variáveis de transmissão PySpark, bem como um novo guia sobre a seleção de modelos usando Hyperopt.
  • Bibliotecas de Horovod e MLflow atualizadas e distribuição de Anaconda.

Nota

Apenas os clusters cpu são suportados nesta versão.

Para obter mais informações, consulte as notas completas de execução de dados 6.0 para machine learning (não suportadas).

Novas regiões: Sul do Brasil e França Central

1 de outubro de 2019

A Azure Databricks está agora disponível no Brasil Sul (Estado de São Paolo) e França Central (Paris).

Disponibilidade Geral do Databricks Runtime 6.0

1 de outubro de 2019

Databricks Runtime 6.0 traz muitas atualizações da biblioteca e novas funcionalidades, incluindo:

  • Novas APIs Scala e Java para comandos DML do Delta Lake, bem como os comandos de utilidade de vácuo e história.
  • Cliente DBFS FUSE melhorado para leituras e escritas mais rápidas e fiáveis durante o treino de modelo.
  • Suporte para vários enredos de matplotlib por célula de caderno.
  • Atualização para Python 3.7, bem como numpy atualizado, pandas, matplotlib, e outras bibliotecas.
  • Pôr do sol do suporte Python 2.

Nota

Apenas os clusters cpu são suportados nesta versão.

Para obter mais informações, consulte as notas completas de lançamento databricks Runtime 6.0 (Não suportadas).