Configurar a entrega do registo de diagnósticos

  • Artigo

Este artigo descreve como habilitar a entrega de log de diagnóstico para seus espaços de trabalho do Azure Databricks.

Nota

Os logs de diagnóstico exigem o plano Premium.

  1. Inicie sessão no portal do Azure como Proprietário ou Colaborador para a área de trabalho do Azure Databricks e clique no seu recurso do Serviço Azure Databricks.

  2. Na seção Monitoramento da barra lateral, clique na guia Configurações de diagnóstico .

  3. Clique em Ativar diagnósticos.

    Azure Databricks ativar diagnósticos

  4. Na página Configurações de diagnóstico, forneça a seguinte configuração:

    Nome

    Insira um nome para os logs a serem criados.

    Arquivar em uma conta de armazenamento

    Para usar essa opção, você precisa de uma conta de armazenamento existente para se conectar. Para criar uma nova conta de armazenamento no portal, consulte Criar uma conta de armazenamento e siga as instruções para criar uma conta de uso geral do Azure Resource Manager. Em seguida, volte a esta página no portal para selecionar sua conta de armazenamento. Pode levar alguns minutos para que as contas de armazenamento recém-criadas apareçam no menu suspenso. Para obter informações sobre custos adicionais incorridos ao gravar em uma conta de armazenamento, consulte Preços do Armazenamento do Azure.

    Transmitir em fluxo para um hub de eventos

    Para usar essa opção, você precisa de um namespace e hub de eventos existentes dos Hubs de Eventos do Azure para se conectar. Para criar um namespace de Hubs de Eventos, consulte Criar um namespace de Hubs de Eventos e um hub de eventos usando o portal do Azure. Em seguida, retorne a esta página no portal para selecionar o namespace e o nome da política dos Hubs de Eventos. Para obter informações sobre custos adicionais incorridos ao gravar em um hub de eventos, consulte Preços dos Hubs de Eventos do Azure.

    Enviar para o Log Analytics

    Para usar essa opção, use um espaço de trabalho existente do Log Analytics ou crie um novo seguindo as etapas para Criar um novo espaço de trabalho no portal. Para obter informações sobre custos adicionais incorridos com o envio de logs para o Log Analytics, consulte Preços do Azure Monitor.

    Configurações de diagnóstico do Azure Databricks

  5. Escolha os serviços para os quais deseja logs de diagnóstico.

  6. Selecione Guardar.

  7. Se você receber um erro que diz "Falha ao atualizar o diagnóstico para <workspace name>. A assinatura <subscription id> não está registrada para usar microsoft.insights", siga as instruções de Solucionar problemas do Diagnóstico do Azure para registrar a conta e tente novamente este procedimento.

  8. Se você quiser alterar como seus logs de diagnóstico serão salvos a qualquer momento no futuro, retorne a esta página para modificar as configurações de log de diagnóstico da sua conta.

Nota

Se você quiser definir políticas de retenção de armazenamento, configure uma política de gerenciamento do ciclo de vida do Azure.

Habilitar o registro em log usando o PowerShell

  1. Abra uma sessão no Azure PowerShell e inicie sessão na sua conta do Azure com o seguinte comando:

     Connect-AzAccount

    Para entrar na sua conta do Azure como usuário, consulte Logon do PowerShell com uma conta de usuário do Azure Databricks. Para entrar em sua conta do Azure como uma entidade de serviço, consulte Logon do PowerShell com uma entidade de serviço do Microsoft Entra ID.

    Se você ainda não tiver o Azure Powershell instalado, use os seguintes comandos para instalar o Azure PowerShell.

     Install-Module -Name Az -AllowClobber

  2. Na janela pop-up do browser, introduza o seu nome de utilizador da conta do Azure e a palavra-passe. O Azure PowerShell obtém todas as assinaturas associadas a essa conta e, por padrão, usa a primeira.

    Se você tiver mais de uma assinatura, talvez seja necessário especificar a assinatura específica que foi usada para criar seu Cofre da Chave do Azure. Para ver as subscrições da sua conta, escreva o seguinte comando:

    Get-AzSubscription

    Para especificar a assinatura associada à conta do Azure Databricks que você está registrando, digite o seguinte comando:

    Set-AzContext -SubscriptionId <subscription ID>

  3. Defina o nome do recurso do Log Analytics como uma variável chamada logAnalytics, onde ResourceName é o nome do espaço de trabalho do Log Analytics.

    $logAnalytics = Get-AzResource -ResourceGroupName <resource group name> -ResourceName <resource name> -ResourceType "Microsoft.OperationalInsights/workspaces"

  4. Defina o nome do recurso de serviço do Azure Databricks como uma variável chamada databricks, onde ResourceName é o nome do serviço Azure Databricks.

    $databricks = Get-AzResource -ResourceGroupName <your resource group name> -ResourceName <your Azure Databricks service name> -ResourceType "Microsoft.Databricks/workspaces"

  5. Para habilitar o log para o Azure Databricks, use o cmdlet New-AzDiagnosticSetting com variáveis para a nova conta de armazenamento, o serviço Azure Databricks e a categoria a ser habilitada para registro. Execute o seguinte comando e defina o -Enabled sinalizador como $true:

    New-AzDiagnosticSetting -ResourceId $databricks.ResourceId -WorkspaceId $logAnalytics.ResourceId -Enabled $true -name "<diagnostic setting name>" -Category <comma separated list>

Habilitar o registro em log usando a CLI do Azure

  1. Abra o PowerShell.

  2. Use o seguinte comando para se conectar à sua conta do Azure:

    az login

    Para se conectar usando uma entidade de serviço do Microsoft Entra ID, consulte Logon da CLI do Azure com uma entidade de serviço do Microsoft Entra ID.

    Para se conectar usando uma conta de usuário do Azure Databricks, consulte Logon da CLI do Azure com uma conta de usuário do Azure Databricks.

  3. Execute o seguinte comando de configuração de diagnóstico:

    az monitor diagnostic-settings create --name <diagnostic name>
--resource-group <log analytics workspace resource group>
--workspace <log analytics name or object ID>
--resource <target resource object ID>
--logs '[
{
 \"category\": <category name>,
  \"enabled\": true
}
]'

API REST

Use a API LogSettings .

Pedir

PUT https://management.azure.com/{resourceUri}/providers/microsoft.insights/diagnosticSettings/{name}?api-version=2017-05-01-preview

Corpo do pedido

{
    "properties": {
    "workspaceId": "<log analytics resourceId>",
    "logs": [
      {
        "category": "<category name>",
        "enabled": true,
        "retentionPolicy": {
          "enabled": false,
          "days": 0
        }
      }
    ]
  }
}

Latência do log de diagnóstico

Depois que o log é habilitado para sua conta, o Azure Databricks envia automaticamente os logs de diagnóstico para seu local de entrega. Os logs normalmente estão disponíveis dentro de 15 minutos após a ativação. Os eventos auditáveis do Azure Databricks normalmente aparecem em logs de diagnóstico em até 15 minutos nas regiões comerciais do Azure.

Os logs de login SSH são entregues com alta latência.

Nota

Embora se espere que a maioria dos logs seja entregue em 15 minutos, o Azure Databricks não garante um período de tempo para a entrega de logs.