진단 로그 배달 구성

아티클
05/04/2024

이 문서에서는 Azure Databricks 작업 영역에 진단 로그 배달을 사용하도록 설정하는 방법을 설명합니다.

참고 항목

진단 로그에는 프리미엄 계획이 필요합니다.

Azure Databricks 작업 영역에 대한 소유자 또는 기여자로 Azure Portal에 로그인하고 Azure Databricks Service 리소스를 클릭합니다.
사이드바의 모니터링 섹션에서 진단 설정 탭을 클릭합니다.
진단 켜기를 클릭합니다.
진단 설정 페이지에서 다음 구성을 제공합니다.

이름

만들 로그에 대한 이름을 입력합니다.

스토리지 계정에 보관

이 옵션을 사용하려면 연결할 기존 스토리지 계정이 필요합니다. 포털에서 새 스토리지 계정을 만들려면 스토리지 계정 만들기를 참조하고 지침에 따라 Azure Resource Manager 범용 계정을 만듭니다. 그런 다음 포털의 이 페이지로 돌아가 스토리지 계정을 선택합니다. 새로 만든 스토리지 계정이 드롭다운 메뉴에 나타나기까지 몇 분 정도 걸릴 수 있습니다. 스토리지 계정에 쓰기로 인해 발생하는 추가 비용에 대한 자세한 내용은 Azure Storage 가격 책정을 참조하세요.

이벤트 허브로 스트림

이 옵션을 사용하려면 연결할 기존 Azure Event Hubs 네임스페이스 및 이벤트 허브가 필요합니다. Event Hubs 네임스페이스를 만들려면 Azure Portal을 사용하여 Event Hubs 네임스페이스 및 이벤트 허브 만들기를 참조하세요. 그런 다음, 포털의 이 페이지로 돌아가 Event Hubs 네임스페이스 및 정책 이름을 선택합니다. 이벤트 허브에 쓰기로 인해 발생하는 추가 비용에 대한 자세한 내용은 Azure Event Hubs 가격 책정을 참조하세요.

Log Analytics에 보내기

이 옵션을 사용하려면 기존 Log Analytics 작업 영역을 사용하거나 포털에서 새 작업 영역 만들기 단계에 따라 새 작업 영역을 만듭니다. Log Analytics에 로그를 전송하여 발생하는 추가 비용에 대한 자세한 내용은 Azure Monitor 가격 책정을 참조하세요.
진단 로그를 사용할 서비스를 선택합니다.
저장을 선택합니다.
"에 대한 <workspace name>진단 업데이트하지 못했습니다. microsoft.insights를 사용하도록 구독 <subscription id> 이 등록되지 않았습니다." Azure Diagnostics 문제 해결 지침에 따라 계정을 등록한 다음 이 절차를 다시 시도합니다.
나중에 진단 로그를 저장하는 방식을 변경하려면 이 페이지로 돌아와 사용자 계정의 진단 로그 설정을 수정합니다.

참고 항목

스토리지 보존 정책을 설정하려면 Azure 수 명 주기 관리 정책을 구성합니다.

PowerShell을 사용하여 로깅 사용

Azure PowerShell 세션을 시작하고 다음 명령 사용하여 Azure 계정에 로그인합니다.
```
 Connect-AzAccount
```
Azure 계정에 사용자로 로그인하려면 Azure Databricks 사용자 계정으로 PowerShell 로그인을 참조 하세요. Azure 계정에 서비스 주체로 로그인하려면 Microsoft Entra ID 서비스 주체를 사용하여 PowerShell 로그인을 참조하세요.

Azure Powershell이 아직 설치되어 있지 않은 경우 다음 명령을 사용하여 Azure PowerShell을 설치합니다.
```
 Install-Module -Name Az -AllowClobber
```
팝업 브라우저 창에 Azure 계정 사용자 이름 및 암호를 입력합니다. Azure PowerShell은 이 계정과 연관된 모든 구독을 가져와서 기본적으로 첫 번째 구독을 사용합니다.

둘 이상의 구독이 있는 경우 Azure Key Vault를 만드는 데 사용된 특정 구독을 지정해야 할 수 있습니다. 계정에 대한 구독을 보려면 다음 명령을 입력합니다.
```
Get-AzSubscription
```
로깅 중인 Azure Databricks 계정과 연결된 구독을 지정하려면 다음 명령을 입력합니다.
```
Set-AzContext -SubscriptionId <subscription ID>
```

Log Analytics 리소스 이름을 logAnalytics라는 변수로 설정합니다. 여기서 ResourceName은 Log Analytics 작업 영역의 이름입니다.

$logAnalytics = Get-AzResource -ResourceGroupName <resource group name> -ResourceName <resource name> -ResourceType "Microsoft.OperationalInsights/workspaces"

Azure Databricks 서비스 리소스 이름을 databricks라는 변수로 설정합니다. 여기서 ResourceName은 Azure Databricks 서비스의 이름입니다.

$databricks = Get-AzResource -ResourceGroupName <your resource group name> -ResourceName <your Azure Databricks service name> -ResourceType "Microsoft.Databricks/workspaces"

Azure Databricks에 대한 로깅을 사용하도록 설정하려면 새 스토리지 계정, Azure Databricks 서비스 및 범주에 대한 변수와 함께 New-AzDiagnosticSetting cmdlet을 사용하여 로깅을 사용하도록 설정합니다. 다음 명령을 실행하고 -Enabled 플래그를 $true로 설정합니다.
```
New-AzDiagnosticSetting -ResourceId $databricks.ResourceId -WorkspaceId $logAnalytics.ResourceId -Enabled $true -name "<diagnostic setting name>" -Category <comma separated list>
```

Azure CLI를 사용하여 로깅 활성화

PowerShell을 엽니다.
다음 명령을 사용하여 Azure 계정에 연결합니다.
```
az login
```
Microsoft Entra ID 서비스 주체를 사용하여 연결하려면 Microsoft Entra ID 서비스 주체를 사용하여 Azure CLI 로그인을 참조하세요.

Azure Databricks 사용자 계정을 사용하여 연결하려면 Azure Databricks 사용자 계정으로 Azure CLI 로그인을 참조 하세요.

다음 진단 설정 명령을 실행합니다.

az monitor diagnostic-settings create --name <diagnostic name>
--resource-group <log analytics workspace resource group>
--workspace <log analytics name or object ID>
--resource <target resource object ID>
--logs '[
{
 \"category\": <category name>,
  \"enabled\": true
}
]'

REST API

LogSettings API를 사용합니다.

요청

PUT https://management.azure.com/{resourceUri}/providers/microsoft.insights/diagnosticSettings/{name}?api-version=2017-05-01-preview

요청 본문

{
    "properties": {
    "workspaceId": "<log analytics resourceId>",
    "logs": [
      {
        "category": "<category name>",
        "enabled": true,
        "retentionPolicy": {
          "enabled": false,
          "days": 0
        }
      }
    ]
  }
}

진단 로그 대기 시간

계정에 대해 로깅을 사용하도록 설정한 후 Azure Databricks는 자동으로 진단 로그를 배달 위치로 보냅니다. 로그는 일반적으로 활성화 후 15분 이내에 사용할 수 있습니다. Azure Databricks 감사 가능 이벤트는 일반적으로 Azure Commercial 지역에서 15분 이내에 진단 로그에 표시됩니다.

SSH 로그인 로그는 긴 대기 시간으로 제공됩니다.

참고 항목

대부분의 로그는 15분 이내에 전달될 것으로 예상되지만 Azure Databricks는 로그 배달에 대한 시간 프레임을 보장하지 않습니다.

Share via

진단 로그 배달 구성

PowerShell을 사용하여 로깅 사용

Azure CLI를 사용하여 로깅 활성화

REST API

요청

요청 본문

진단 로그 대기 시간

피드백

피드백

추가 리소스