Azure Databricks에 대해 자주 묻는 질문

  • 아티클

이 문서에는 Azure Databricks와 관련될 수 있는 주요 질문이 나열되어 있습니다. 또한 Databricks를 사용하는 동안 발생할 수 있는 몇 가지 일반적인 문제도 나열합니다. 자세한 내용은 Azure Databricks란?을 참조 하세요.

Azure Key Vault를 사용하여 Azure Databricks에서 사용할 키/비밀을 저장할 수 있나요?

예. Azure Key Vault를 사용하여 Azure Databricks와 함께 사용할 키/비밀을 저장할 수 있습니다. 자세한 내용은 Azure Key Vault 지원 범위를 참조 하세요.

Databricks에서 Azure Virtual Network를 사용할 수 있나요?

예. Azure Databricks와 함께 Azure VNET(Virtual Network)을 사용할 수 있습니다. 자세한 내용은 Azure Virtual Network에 Azure Databricks 배포를 참조하세요.

Notebook에서 Azure Data Lake Storage에 액세스할 어떻게 할까요? 있나요?

다음 단계를 수행합니다.

  1. Microsoft Entra ID(이전의 Azure Active Directory)에서 서비스 주체를 프로비전하고 해당 키를 기록합니다.
  2. Data Lake Storage의 서비스 주체에 필요한 권한을 할당합니다.
  3. Data Lake Storage의 파일에 액세스하려면 Notebook에서 서비스 주체 자격 증명을 사용합니다.

자세한 내용은 Azure Databricks에서 Azure Data Lake Storage 사용을 참조 하세요.

일반적인 문제 해결

Databricks에서 발생할 수 있는 몇 가지 문제는 다음과 같습니다.

문제: 이 구독은 'Microsoft.Databricks' 네임스페이스를 사용하도록 등록되지 않았습니다.

오류 메시지

"이 구독은 'Microsoft.Databricks' 네임스페이스를 사용하도록 등록되지 않았습니다. 구독을 등록하는 방법을 참조 https://aka.ms/rps-not-found 하세요. (코드: MissingSubscriptionRegistration)"

솔루션

  1. Azure Portal로 이동합니다.
  2. 구독, 사용 중인 구독 및 리소스 공급자를 선택합니다.
  3. 리소스 공급자 목록에서 Microsoft.Databricks에 대해 등록을 선택합니다. 구독의 참가자 또는 소유자 역할이 할당된 사용자만 리소스 공급자를 등록할 수 있습니다.

문제: 계정에 Azure Portal의 Databricks 작업 영역 리소스에 대한 소유자 또는 기여자 역할이 없습니다.

오류 메시지

“{메일} 계정에는 Azure Portal의 Databricks 작업 영역 리소스에 소유자 또는 참가자 역할이 없습니다. 이 오류는 테넌트에서 게스트 사용자인 경우에도 발생할 수 있습니다. 관리자에게 액세스 권한을 부여하거나 Databricks 작업 영역에서 직접 사용자로 추가해 달라고 요청합니다."(코드: AADSTS90015)

솔루션

다음은 이 문제에 대한 일부 해결 방법입니다.

Databricks 작업 영역 리소스에 대한 소유자 또는 기여자 역할이 없는 Azure Databricks 사용자이면서 단지 작업 영역에 액세스하려는 경우 다음과 같이 수행합니다.

  • URL(예: https://adb-5555555555555555.19.azuredatabricks.net)을 사용하여 직접 액세스해야 합니다. Azure Portal에서 작업 영역 시작 단추를 사용하지 마세요.

작업 영역 리소스에서 소유자 또는 기여자로 인식되어야 하는 경우 다음과 같이 수행합니다.

  • 테넌트를 초기화하려면 게스트 사용자가 아닌 테넌트 일반 사용자로 로그인해야 합니다. Databricks 작업 영역 리소스에 대한 기여자 또는 소유자 역할도 있어야 합니다. 관리자는 Azure Portal의 Azure Databricks 작업 영역 내의 액세스 제어(IAM) 탭에서 사용자에게 역할을 부여할 수 있습니다.

  • 이 오류는 전자 메일이 기본 이름이 Microsoft Entra ID(이전의 Azure Active Directory)의 여러 디렉터리에 할당된 경우에도 발생할 수 있습니다. 이 문제를 해결하려면 Databricks 작업 영역이 있는 구독이 포함된 디렉터리에 새 사용자를 만듭니다.

    a. Azure Portal에서 Microsoft Entra ID(이전의 Azure Active Directory)로 이동합니다. 사용자 및 그룹>사용자 추가를 선택합니다.

    b. 전자 메일 대신 @<your-domain> 전자 메일이 있는 @<tenant-name>.onmicrosoft.com 사용자를 추가합니다. 이 옵션은 Azure Portal의 Microsoft Entra ID(이전의 Azure Active Directory)에서 Custom Do기본s에서 찾을 수 있습니다.

    c. 이 새 사용자에게 Databricks 작업 영역 리소스에 대한 기여자 역할을 부여합니다.

    d. 새 사용자로 Azure Portal에 로그인하고 Databricks 작업 영역을 찾습니다.

    e. 이 사용자로 Databricks 작업 영역을 시작합니다.

문제: {메일} 계정이 Databricks에 등록되지 않았습니다.

솔루션

작업 영역을 만들지 않았고 사용자로 추가된 경우 작업 영역을 만든 사람에게 문의하세요. 해당 사용자가 Azure Databricks 관리 콘솔을 사용하여 사용자를 추가하게 합니다. 지침은 사용자 추가 및 관리를 참조 하세요. 작업 영역을 만들었더라도 이 오류가 발생하는 경우 Azure Portal에서 작업 영역 초기화를 다시 선택해 보세요.

문제: 클러스터 설정 중 클라우드 공급자 시작 실패(PublicIPCountLimitReached)

오류 메시지

"클라우드 공급자 시작 실패: 클러스터를 설정하는 동안 클라우드 공급자 오류가 발생했습니다. 자세한 내용은 Databricks 가이드를 참조하세요. Azure 오류 코드: PublicIPCountLimitReached. Azure 오류 메시지: 이 지역에서 이 구독에 대해 10개 이상의 공용 IP 주소를 만들 수 없습니다."

배경

Databricks 클러스터는 노드당 하나의 공용 IP 주소(드라이버 노드 포함)를 사용합니다. Azure 구독에는 지역당 공용 IP 주소 제한이 있습니다 . 따라서 해당 지역의 해당 구독에 할당된 공용 IP 주소 수가 제한을 초과하는 경우 클러스터 만들기 및 강화 작업이 실패할 수 있습니다. 이 제한에는 사용자 지정 사용자 정의 VM과 같이 Databricks가 아닌 사용량에 할당된 공용 IP 주소도 포함됩니다.

일반적으로 클러스터는 활성 상태인 동안에만 공용 IP 주소를 사용합니다. 그러나 PublicIPCountLimitReached 다른 클러스터가 종료된 후에도 잠시 동안 오류가 계속 발생할 수 있습니다. 이는 클러스터가 종료될 때 Databricks가 Azure 리소스를 일시적으로 캐시하기 때문입니다. 리소스 캐싱은 많은 일반적인 시나리오에서 클러스터 시작 및 자동 크기 조정의 대기 시간을 크게 줄이기 때문에 설계되어 있습니다.

솔루션

구독이 지정된 지역의 공용 IP 주소 제한에 이미 도달한 경우 다음 중 하나 또는 다른 작업을 수행해야 합니다.

  • 다른 Databricks 작업 영역에 새 클러스터를 만듭니다. 다른 작업 영역은 구독의 공용 IP 주소 제한에 도달하지 않은 지역에 있어야 합니다.
  • 공용 IP 주소 제한을 늘리도록 요청합니다. 할당량을 문제 유형으로 선택하고 네트워킹: ARM을 할당량 유형으로 선택합니다. 세부 정보에서 공용 IP 주소 할당량 증가를 요청합니다. 예를 들어 한도가 현재 60이고 100노드 클러스터를 만들려는 경우 제한 증가를 160으로 요청합니다.

문제: 클러스터를 설정하는 동안 두 번째 유형의 클라우드 공급자 시작 실패(MissingSubscriptionRegistration)

오류 메시지

"클라우드 공급자 시작 실패: 클러스터를 설정하는 동안 클라우드 공급자 오류가 발생했습니다. 자세한 내용은 Databricks 가이드를 참조하세요. Azure 오류 코드: MissingSubscriptionRegistration Azure 오류 메시지: 구독이 'Microsoft.Compute' 네임스페이스를 사용하도록 등록되지 않았습니다. 구독을 등록하는 방법은 https://aka.ms/rps-not-found를 참조하세요.

솔루션

  1. Azure Portal로 이동합니다.
  2. 구독, 사용 중인 구독 및 리소스 공급자를 선택합니다.
  3. 리소스 공급자 목록에서 Microsoft.Compute에 대해 등록을 선택합니다. 구독의 참가자 또는 소유자 역할이 할당된 사용자만 리소스 공급자를 등록할 수 있습니다.

자세한 지침은 리소스 공급자 및 형식을 참조 하세요.

문제: Azure Databricks에는 관리자만이 부여할 수 있는 조직의 리소스에 액세스할 수 있는 권한이 필요합니다.

배경

Azure Databricks는 Microsoft Entra ID(이전의 Azure Active Directory)와 통합됩니다. Microsoft Entra ID(이전의 Azure Active Directory)에서 사용자를 지정하여 Azure Databricks 내에서 권한을 설정할 수 있습니다(예: Notebook 또는 클러스터). Azure Databricks가 Microsoft Entra ID(이전의 Azure Active Directory)에서 사용자의 이름을 나열하려면 해당 정보에 대한 읽기 권한과 동의가 필요합니다. 동의를 아직 사용할 수 없는 경우 오류가 표시됩니다.

솔루션

전역 관리자 권한으로 Azure Portal에 로그인합니다. Microsoft Entra ID(이전의 Azure Active Directory)의 경우 설정 탭으로 이동하여 사용자가 대신 회사 데이터에 액세스하는 앱에 동의할 수 있는지 확인합니다.

문제: Azure Databricks는 중국어 문자로 만든 Azure 리소스 그룹에서 작업 영역 만들기를 지원하지 않습니다.

솔루션

작업 영역 만들기의 일부로 이 시나리오의 유효성 검사에 대한 지원은 이후 릴리스에서 추가될 예정입니다.

다음 단계