표준 배포로 Azure Private Link 사용

이 문서에서는 Azure Private Link를 사용하여 사용자와 해당 Databricks 작업 영역 간의 프라이빗 연결을 사용하도록 설정하고 클래식 컴퓨팅 평면의 클러스터와 Databricks 작업 영역 인프라 내의 컨트롤 플레인의 핵심 서비스 간에 프라이빗 연결을 사용하도록 설정하는 방법을 설명합니다.

참고 항목

  • Private Link에 대한 요구 사항 및 개요는 Azure Private Link 백 엔드 및 프런트 엔드 연결 사용을 참조 하세요.
  • 표준 배포 유형과 간소화된 두 가지 배포 유형이 있습니다. 이 문서에서는 표준 배포에 대해 설명합니다. 이러한 배포 유형을 비교하려면 표준 또는 간소화된 배포 선택을 참조하세요.

표준 배포의 프런트 엔드 연결 소개

공용 인터넷 연결이 없는 클라이언트에 대해 Azure Databricks 웹 애플리케이션에 대한 프라이빗 프런트 엔드 연결을 지원하려면 Azure Databricks 웹 애플리케이션에 대한 SSO(Single Sign-On) 로그인 콜백을 지원하기 위해 브라우저 인증 프라이빗 엔드포인트를 추가해야 합니다. 일반적으로 이러한 사용자 연결은 온-프레미스 네트워크 및 VPN에 대한 연결을 처리하는 VNet을 통해 제공되며 이를 전송 VNet이라고 합니다.

백 엔드 Private Link 연결만 구현하는 경우 전송 VNet 또는 브라우저 인증 프라이빗 엔드포인트가 필요하지 않으며 이 섹션의 나머지 부분을 건너뛸 수 있습니다.

브라우저 인증 프라이빗 엔드포인트는 하위 리소스 유형을 browser_authentication사용하는 프라이빗 연결입니다. Microsoft Entra ID(이전의 Azure Active Directory)가 올바른 Azure Databricks 컨트롤 플레인 인스턴스에 로그인한 후 사용자를 리디렉션할 수 있도록 하는 전송 VNet에서 프라이빗 연결을 호스팅합니다.

  • 사용자 클라이언트 전송 네트워크에서 공용 인터넷으로의 연결을 허용하려는 경우 브라우저 인증 프라이빗 엔드포인트를 추가하는 것이 좋지만 필수아닙니다.
  • 클라이언트 전송 네트워크에서 공용 인터넷으로의 연결을 허용하지 않도록 하려는 경우 브라우저 인증 프라이빗 엔드포인트를 추가해야 합니다.

브라우저 인증 프라이빗 엔드포인트는 동일한 프라이빗 DNS 영역을 공유하는 지역의 모든 작업 영역 간에 공유됩니다. 또한 일부 회사 DNS 솔루션은 브라우저 인증을 위해 하나의 지역 프라이빗 엔드포인트로 효과적으로 제한합니다.

Important

웹 인증 프라이빗 네트워크 설정을 호스트하기 위해 Databricks는 각 지역에 대한 프라이빗 웹 인증 작업 영역이라는 작업 영역을 만드는 것이 좋습니다. 이렇게 하면 작업 영역이 삭제되어 해당 지역의 다른 작업 영역에 영향을 주게 되는 문제가 해결됩니다. 자세한 컨텍스트 및 세부 정보는 4단계: 웹 브라우저 액세스를 위한 SSO를 지원하는 프라이빗 엔드포인트 만들기를 참조하세요.

네트워크 흐름 및 네트워크 개체 다이어그램

다음 다이어그램은 Private Link 표준 배포의 일반적인 구현에서 네트워크 흐름을 보여 줍니다.

Azure Private Link 네트워크 흐름.

다음 다이어그램은 네트워크 개체 아키텍처를 보여 줍니다.

Azure Private Link 네트워크 개체 아키텍처.

이를 Private Link 간소화된 배포와 비교하려면 네트워크 흐름 및 네트워크 개체 다이어그램을 참조 하세요.

1단계: 리소스 그룹 만들기

  1. Azure Portal에서 리소스 그룹 블레이드로 이동합니다.
  2. 리소스 그룹 만들기를 클릭하여 작업 영역에 대한 리소스 그룹을 만듭니다. Azure 구독, 지역 및 리소스 그룹의 이름을 설정합니다. 검토 및 만들기를 클릭한 다음, 만들기를 클릭합니다.
  3. 이전 단계를 반복하여 Private Link 엔드포인트 및 영역과 같은 Private Link 리소스에 대한 리소스 그룹을 만듭니다. 지역은 작업 영역 지역과 일치할 필요가 없습니다. 전송 VNet에 사용하려는 지역과 일치하는 Azure 지역을 사용합니다. 작업 영역 지역 및 전송 VNet 지역이 일치하지 않는 경우 지역 간에 데이터를 전송하는 데 추가 비용이 발생합니다.

2단계: 작업 영역 VNet 만들기 또는 준비

사용할 VNet이 이미 있거나 Azure Databricks용으로 특별히 새 VNet을 만들 수 있습니다.

VNet의 IP 범위에 대한 요구 사항 및 작업 영역에 필요한 두 서브넷에 대한 자세한 내용은 Azure 가상 네트워크에 Azure Databricks 배포(VNet 삽입) 문서를 참조하세요.

Azure Databricks에 사용하는 VNet 및 서브넷 IP 범위는 한 번에 사용할 수 있는 최대 클러스터 노드 수를 정의합니다. Azure Databricks에서 한 번에 사용할 것으로 예상되는 조직의 네트워크 요구 사항 및 최대 클러스터 노드와 일치하도록 이러한 값을 신중하게 선택합니다. 주소 공간 및 최대 클러스터 노드를 참조 하세요.

예를 들어 다음 값을 사용하여 VNet을 만들 수 있습니다.

  • IP 범위: 먼저 기본 IP 범위를 제거한 다음, IP 범위 10.28.0.0/23을 추가합니다.
  • 범위가 10.28.0.0/25인 서브넷 public-subnet를 만듭니다.
  • 범위가 10.28.0.128/25인 서브넷 private-subnet를 만듭니다.
  • 범위가 10.28.1.0/27인 서브넷 private-link를 만듭니다.

3단계: Azure Databricks 작업 영역 및 프라이빗 엔드포인트 프로비저닝

다음 설정을 사용하여 새 Azure Databricks 작업 영역을 배포합니다.

이러한 설정을 사용하여 작업 영역을 배포하려면 Azure Portal의 사용자 인터페이스, 사용자 지정 템플릿(UI에서, Azure CLI 또는 PowerShell을 사용하여 적용할 수 있음) 또는 Terraform을 비롯한 여러 옵션을 사용할 수 있습니다. 사용자 지정 템플릿을 사용하여 Private Link 지원 작업 영역을 만들려면 이 템플릿을 사용합니다.

어떤 방법을 선택하든 새 작업 영역을 만들 때 다음 값을 설정합니다.

  • 공용 네트워크 액세스(프런트 엔드 Private Link용)(템플릿에서 publicNetworkAccess): Private Link의 프런트 엔드 사용 사례에 대한 설정을 제어합니다.
    • 이를 Enabled 기본값으로 설정하면 공용 인터넷의 사용자 및 REST API 클라이언트가 Azure Databricks에 액세스할 수 있지만, 작업 영역에 대한 IP 액세스 목록 구성을 사용하여 승인된 원본 네트워크에서 특정 IP 범위에 대한 액세스를 제한할 수 있습니다.
    • 이를 Disabled로 설정하면 공용 인터넷에서 사용자 액세스가 허용되지 않습니다. 사용 안 함으로 설정하면 공용 인터넷이 아닌 Private Link 연결을 사용해야만 프런트 엔드 연결에 액세스할 수 있습니다. IP 액세스 목록은 Private Link 연결에 적용되지 않습니다.
    • 프런트 엔드 Private Link이 아닌 백 엔드 Private Link만 사용하려는 경우 공용 네트워크 액세스를 Enabled로 설정해야 합니다.
  • 템플릿에서 필요한 NSG 규칙(백 엔드 Private Link의 requiredNsgRules경우): 가능한 값:
    • 모든 규칙 (기본값): 이 값은 템플릿에 다음과 같습니다 AllRules. 이는 작업 영역 컴퓨팅 평면에 컴퓨팅 평면에서 컨트롤 플레인으로의 공용 인터넷 연결을 허용하는 Azure Databricks 규칙을 포함하는 네트워크 보안 그룹이 필요했음을 나타냅니다. 백 엔드 Private Link를 사용하지 않는 경우 이 설정을 사용합니다.
    • Azure Databricks 규칙 없음: 이 값은 템플릿에 NoAzureDatabricksRules있습니다. 백 엔드 Private Link를 사용하는 경우 이 값을 사용합니다. 즉, 작업 영역 컴퓨팅 평면에서 Azure Databricks 컨트롤 플레인에 연결하는 데 네트워크 보안 그룹 규칙이 필요하지 않습니다. 백 엔드 Private Link를 사용하는 경우 이 설정을 사용합니다.
  • 보안 클러스터 연결 사용(No-Public-IP/NPIP)(템플릿에서 enableNoPublicIp): 항상 예(true)로 설정하여 보안 클러스터 연결을 사용하도록 설정합니다.

Important

작업 영역을 만드는 동안 이러한 Private Link 구성 설정이 정의되지 않은 경우 나중에 실행 중인 작업 영역에서 이러한 값을 추가하거나 업데이트할 수 있습니다. 기존 작업 영역에서 Azure Private Link 사용 또는 사용 안 함을 참조 하세요.

설정 공용 네트워크 액세스(템플릿에서 publicNetworkAccess) 및 필수 NSG 규칙(템플릿에서 requiredNsgRules)의 조합은 지원되는 Private Link 유형을 정의합니다.

다음 표에서는 프런트 엔드 및 백 엔드인 두 가지 주요 Private Link 사용 사례에 대해 지원되는 시나리오를 보여 줍니다.

시나리오 공용 네트워크 액세스를 설정할 값 필수 NSG 규칙을 설정할 값 만들 엔드포인트
프런트 엔드 또는 백 엔드에 대한 Private Link 없음 활성화 모든 규칙 해당 없음
권장 구성: 프런트 엔드 및 백 엔드 Private Link 둘 다. 프런트 엔드 연결은 Private Link가 필요하도록 잠겨 있습니다. 사용 안 함 NoAzureDatabricksRules 백 엔드용 1개(필수). 프런트 엔드용 1개(필수). 추가적으로 지역당 하나의 브라우저 인증 프라이빗 엔드포인트.
프런트 엔드 및 백 엔드 Private Link 둘 다. 하이브리드 프런트 엔드 연결을 사용하면 일반적으로 작업 영역에 대한 IP 액세스 목록 구성을 사용하여 Private Link 또는 공용 인터넷을 사용할 수 있습니다. 온-프레미스 사용자 액세스에 Private Link를 사용하지만 특정 인터넷 CIDR 범위를 허용해야 하는 경우 이 하이브리드 방법을 사용합니다. 추가 범위는 SCIM 또는 Azure Machine Learning과 같은 Azure 서비스에 사용되거나 JDBC, 클라우드 자동화 또는 관리 도구에 대한 외부 액세스를 제공하는 데 사용될 수 있습니다. 활성화 NoAzureDatabricksRules 백 엔드용 1개(필수). 프런트 엔드용 엔드포인트 1개(선택 사항). 추가적으로 지역당 하나의 브라우저 인증 프라이빗 엔드포인트.
프런트 엔드 전용 Private Link. 프런트 엔드 연결은 Private Link가 필요하도록 잠겨 있습니다(공용 네트워크 액세스는 사용하지 않도록 설정됨). 백 엔드용 Private Link는 없습니다. 지원되지 않는 시나리오입니다. 지원되지 않는 시나리오입니다. 지원되지 않는 시나리오입니다.
프런트 엔드 전용 Private Link. 하이브리드 프런트 엔드 연결을 사용하면 작업 영역에 대한 IP 액세스 목록 구성을 사용하여 Private Link 또는 공용 인터넷을 사용할 수 있습니다. 백 엔드용 Private Link는 없습니다. 활성화 모든 규칙 프런트 엔드용 엔드포인트 1개(선택 사항). 추가적으로 지역당 하나의 브라우저 인증 프라이빗 엔드포인트.
백 엔드 전용 Private Link. 프런트 엔드는 공용 인터넷을 사용하며, 작업 영역에 대한 IP 액세스 목록 구성을 사용할 수 있습니다. 프런트 엔드용 Private Link는 없습니다. 활성화 NoAzureDatabricksRules 백 엔드용 엔드포인트 1개(필수).

다음 작업 영역 구성 설정을 지정합니다.

  • 가격 책정 계층프리미엄(템플릿에서 이 값은 premium)으로 설정합니다.
  • 백 엔드 연결을 사용하도록 설정하는 경우 공용 IP 사용 안 함(보안 클러스터 연결)을 (템플릿에서 이 값)true로 설정합니다.
  • 자체 > VNet(Virtual Network)에서 네트워킹 배포 Azure Databricks 작업 영역을 예(템플릿에서 이 값true)로 설정합니다.

참고 항목

일반적으로 새 작업 영역을 만들 때 Private Link를 사용하도록 설정해야 합니다. 그러나 Private Link 프런트 엔드 또는 백 엔드 액세스가 수행된 적이 없는 기존 작업 영역이 있거나 공용 네트워크 액세스의 기본값(사용)과 필수 NSG 규칙의 기본값(모든 규칙)을 사용한 경우 나중에 프런트 엔드 Private Link를 추가하도록 선택할 수 있습니다. 그러나 공용 네트워크 액세스는 계속 사용하도록 설정되므로 일부 구성 옵션만 사용할 수 있습니다.

작업 영역을 만드는 방법에는 다음 두 가지가 있습니다.

Azure Portal UI에서 작업 영역 및 프라이빗 엔드포인트 만들기

Azure Portal에는 새 Azure Databricks 작업 영역을 만들 때 두 개의 Private Link 필드(공용 네트워크 액세스필수 NSG 규칙)가 자동으로 포함됩니다.

  1. 자체 VNet을 사용하여 작업 영역 만들기(VNet 삽입). 서브넷을 구성하고 크기를 조정하려면 Azure 가상 네트워크에 Azure Databricks 배포(VNet 삽입)의 작업 영역 절차를 따르되 아직 만들기를 누르지 않습니다.

    다음 필드를 설정합니다.

    1. 가격 책정 계층premium으로 설정합니다. 그렇지 않으면 UI에 Private Link 필드가 표시되지 않습니다.
    2. 네트워킹 > 보안 클러스터 연결(공용 IP 없음)을 사용하여 Azure Databricks 작업 영역 배포로 설정합니다.
    3. 자체 > VNet(Virtual Network)에서 네트워킹 배포 Azure Databricks 작업 영역을 예설정합니다.
    4. 이전 단계에서 만든 VNet에 따라 서브넷을 설정합니다. 자세한 내용은 VNet 삽입에 대한 문서를 참조하세요.
    5. 3단계: Azure Databricks 작업 영역 및 프라이빗 엔드포인트 프로비저닝의 시나리오 테이블에 따라 Private Link 작업 영역 필드 공용 네트워크 액세스필수 Nsg 규칙을 설정합니다.

    다음 스크린샷은 Private Link 연결에 가장 중요한 4개의 필드를 보여 줍니다.

    작업 영역에 대한 Azure Portal UI.

  2. 백 엔드 연결을 위한 프라이빗 엔드포인트를 만듭니다.

    1. 이전 스크린샷에 표시된 필드 아래에 있는 프라이빗 엔드포인트 섹션을 찾습니다. 이 섹션이 표시되지 않으면 가격 책정 계층프리미엄으로 설정하지 않았을 수 있습니다.

      프라이빗 엔드포인트의 Azure Portal 목록, 비어 있는 것으로 표시됨.

    2. + 추가를 클릭합니다.

      Azure Portal에는 작업 영역 만들기 내의 프라이빗 엔드포인트 만들기 블레이드가 표시됩니다.

      프라이빗 엔드포인트를 만들기 위한 Azure Portal 블레이드

      작업 영역 내에서 프라이빗 엔드포인트를 만들 때 이 개체 형식에 대한 일부 Azure 필드는 자동으로 채워지고 편집할 수 없으므로 표시되지 않습니다. 일부 필드는 표시되지만 편집할 필요는 없습니다.

      • Azure Databricks 하위 리소스 필드가 표시되고 databricks_ui_api 값으로 자동으로 채워집니다. 해당 하위 리소스 값은 작업 영역에 대한 현재 Azure Databricks 컨트롤 플레인을 나타냅니다. 이 하위 리소스 이름 값은 백 엔드 및 프런트 엔드 연결 모두에 대한 프라이빗 엔드포인트에 사용됩니다.

      • 사용자 지정 DNS 대신 Azure에서 만든 기본 제공 DNS를 사용하는 경우 리소스 그룹, VNet 및 서브넷을 설정한 후 프라이빗 DNS 영역이 자동으로 값으로 채워집니다.

        Important

        Azure는 사용하려는 프라이빗 DNS 영역을 자동으로 선택하지 않을 수 있습니다. 프라이빗 DNS 영역 필드의 값을 검토하고 필요에 따라 수정합니다.

    3. 작업 영역 지역과 일치하도록 위치를 설정합니다. 프런트 엔드 프라이빗 엔드포인트 연결의 경우 지역이 일치할 필요가 없지만 백 엔드 프라이빗 엔드포인트 지역 및 작업 영역 지역은 일치해야 합니다.

    4. 가상 네트워크를 작업 영역 VNet으로 설정합니다.

    5. 작업 영역에서 서브넷을 Private Link 특정 서브넷으로 설정합니다. 관련 정보에 대해서는 네트워크 요구 사항을 참조하세요.

    6. 기본 제공 Azure DNS에서 일반적으로 사용하려면 프라이빗 DNS 영역과 통합로 설정합니다. 이러한 지침의 나머지 부분에는 를 선택했다고 가정합니다.

      조직에서 자체 사용자 지정 DNS를 유지 관리하는 경우 이를 아니요로 설정할 수 있지만 계속 진행하기 전에 DNS 구성에 대한 이 Microsoft 문서를 검토하세요. 질문이 있는 경우 Azure Databricks 계정 팀에 문의하세요.

    7. 확인을 클릭하여 프라이빗 엔드포인트를 만들고 작업 영역 만들기 블레이드로 돌아갑니다.

    8. 하나의 프라이빗 엔드포인트만 작업 영역 만들기 흐름 내에서 직접 만들 수 있습니다. 전송 VNet에서 별도의 프런트 엔드 프라이빗 엔드포인트를 만들려면 추가 프라이빗 엔드포인트를 만들어야 하지만 작업 영역이 배포된 후에 이 작업을 수행해야 합니다.

      작업 영역 만들기를 완료하려면 검토 + 만들기를 클릭한 다음, 만들기를 클릭합니다.

      작업 영역이 배포될 때까지 기다린 다음 리소스로 이동을 클릭합니다. 이것은 Azure Databricks 작업 영역에 대한 Azure Portal 개체입니다. 이 리소스에 쉽게 액세스할 수 있도록 이 리소스를 Azure 대시보드에 고정하는 것이 좋습니다.

  3. 추가 프런트 엔드 프라이빗 엔드포인트를 만들어 전송 VNet을 Azure Databricks 컨트롤 플레인에 연결합니다.

    1. Azure Portal의 작업 영역 개체에서 네트워킹을 클릭합니다.
    2. 프라이빗 엔드포인트 연결 탭을 선택합니다.
    3. + 프라이빗 엔드포인트를 클릭합니다.
    4. 리소스 그룹을 프런트 엔드 연결을 위한 리소스 그룹으로 설정합니다.
    5. 지역의 경우 프런트 엔드 프라이빗 엔드포인트는 전송 VNet과 동일한 지역에 있어야 하지만 작업 영역 또는 컨트롤 플레인과는 다른 지역에 있을 수 있습니다.

사용자 지정 템플릿을 사용하여 작업 영역을 만들고 필요에 따라 프런트 엔드 프라이빗 엔드포인트 추가

표준 Azure Portal UI를 사용하여 작업 영역을 만들지 않으려면 템플릿을 사용하여 작업 영역을 배포할 수 있습니다. 다음에서 템플릿을 사용할 수 있습니다.

Private Link용 올인원 배포 ARM 템플릿은 다음 리소스를 만듭니다.

  • 네트워크 보안 그룹

  • 리소스 그룹

  • 작업 영역에 대한 서브넷(표준 두 서브넷) 및 Private Link(추가 서브넷)를 포함하는 VNet

  • Azure Databricks 작업 영역

  • 프라이빗 DNS 영역이 있는 백 엔드 Private Link 엔드포인트

    참고 항목

    템플릿은 전송 VNet에서 프런트 엔드 엔드포인트를 만들지 않습니다. 작업 영역을 만든 후 해당 엔드포인트를 수동으로 추가할 수 있습니다.

  1. 템플릿의 기본 페이지에서 직접 템플릿을 배포할 수 있습니다.

  2. 직접 배포하려면 Azure에서 배포를 클릭합니다. 원본을 보려면 GitHub에서 찾아보기를 클릭합니다.

    두 경우 모두 템플릿에 대해 다음 매개 변수 값을 설정합니다.

  3. 작업 영역이 배포될 때까지 기다립니다.

  4. 작업 영역을 나타내는 새 **Azure Databricks Service 리소스로 이동합니다. 이것은 Azure Databricks 작업 영역에 대한 Azure Portal 개체입니다. 이 리소스에 쉽게 액세스할 수 있도록 이 리소스를 Azure 대시보드에 고정하는 것이 좋습니다.

  5. (프런트 엔드 Private Link만 해당) 전송 VNet에 대한 프런트 엔드 연결을 만듭니다.

    1. 왼쪽 탐색 영역에서 설정>네트워킹을 클릭합니다.
    2. 프라이빗 엔드포인트 연결 탭을 선택합니다.
    3. + 프라이빗 엔드포인트를 클릭합니다.
    4. 리소스 그룹을 프런트 엔드 연결을 위한 리소스 그룹으로 설정합니다.
    5. 지역의 경우 프런트 엔드 프라이빗 엔드포인트는 전송 VNet과 동일한 지역에 있어야 하지만 작업 영역 또는 컨트롤 플레인과는 다른 지역에 있을 수 있습니다.

4단계: 웹 브라우저 액세스를 위한 SSO를 지원하는 프라이빗 엔드포인트 만들기

Important

프런트 엔드 Private Link를 구현하지 않는 경우 이 단계를 건너뜁니다. 또한 지역의 모든 작업 영역이 Private Link 프런트 엔드 연결을 지원하고 클라이언트 네트워크(전송 VNet)가 공용 인터넷 액세스를 허용하는 경우 이 단계에서 설명하는 구성은 권장되지만 선택 사항입니다.

Azure Databricks 웹 애플리케이션에 대한 사용자 인증은 Microsoft Entra ID(이전의 Azure Active Directory) SSO 구현의 일부로 OAuth를 사용합니다. 인증하는 동안 사용자 브라우저는 Azure Databricks 컨트롤 플레인에 연결합니다. 또한 OAuth 흐름에는 Microsoft Entra ID에서 네트워크 콜백 리디렉션이 필요합니다. 프런트 엔드 Private Link를 구성한 경우 추가 구성 없이 SSO 네트워크 리디렉션이 실패합니다. 즉, 전송 VNet의 사용자가 Azure Databricks에서 인증을 받을 수 없습니다. 이 문제는 프런트 엔드 연결을 통한 웹 애플리케이션 UI로의 사용자 로그인에 적용되지만 REST API 인증은 SSO 콜백을 사용하지 않으므로 REST API 연결에는 적용되지 않습니다.

웹 브라우저 인증을 지원하려면 클라이언트 네트워크( 전송 VNet) 가 공용 인터넷에 대한 액세스를 허용하지 않는 경우 SSO(Single Sign-On) 인증 콜백을 지원하기 위해 브라우저 인증 프라이빗 엔드포인트를 만들어야 합니다. 브라우저 인증 프라이빗 엔드포인트는 하위 리소스가 호출 browser_authentication된 프라이빗 엔드포인트입니다. 브라우저 인증 프라이빗 엔드포인트를 만들면 Azure Databricks가 SSO 로그인 중에 Microsoft Entra ID에서 콜백에 대한 DNS 레코드를 자동으로 구성합니다. DNS 변경은 기본적으로 작업 영역 VNet과 연결된 프라이빗 DNS 영역에서 수행됩니다.

여러 작업 영역이 있는 조직의 경우 올바르게 구성된 네트워크 구성이 각 프라이빗 DNS 영역에 대한 각 Azure Databricks 지역에 대해 정확히 하나의 브라우저 인증 프라이빗 엔드포인트임을 이해하는 것이 중요합니다. 브라우저 인증 프라이빗 엔드포인트는 동일한 프라이빗 DNS 영역을 공유하는 지역의 모든 Private Link 작업 영역에 대한 프라이빗 웹 인증을 구성합니다.

예를 들어 미국 서부 지역에 동일한 프라이빗 DNS 영역을 공유하는 10개의 프로덕션 작업 영역이 있는 경우 이러한 작업 영역을 지원하는 하나의 브라우저 인증 프라이빗 엔드포인트가 있습니다.

Important

  • 누군가가 해당 지역에 대한 브라우저 인증 프라이빗 엔드포인트를 호스트하는 작업 영역을 삭제하면 해당 브라우저 인증 프라이빗 엔드포인트 및 SSO 콜백에 대한 관련 DNS 구성에 의존한 해당 지역의 다른 작업 영역에 대한 사용자 웹 인증이 중단됩니다.
  • 작업 영역 삭제로 인한 위험을 줄이고 프로덕션 작업 영역에 대한 표준 작업 영역 구성을 촉진하기 위해 각 지역에 대한 “프라이빗 웹 인증 작업 영역”을 만드는 것이 좋습니다.
  • 비프로덕션 배포의 경우 추가 프라이빗 웹 인증 작업 영역을 생략하여 구현을 간소화할 수 있습니다. 이 경우 웹 인증 엔드포인트는 해당 지역의 다른 작업 영역 중 하나에 연결됩니다.

프라이빗 웹 인증 작업 영역은 Azure Databricks 작업 영역과 동일한 지역에서 만드는 작업 영역이며, 유일한 목적은 특정 전송 VNet에서 해당 지역의 실제 프로덕션 Azure Databricks 작업 영역으로의 브라우저 인증 프라이빗 엔드포인트 연결을 호스팅하는 것입니다. 다른 모든 방법으로 프라이빗 웹 인증 작업 영역은 어떤 용도로도 사용되지 않습니다. 예를 들어 작업 또는 기타 워크로드를 실행하는 데는 사용하지 않습니다. 브라우저 인증 프라이빗 엔드포인트 이외의 실제 사용자 데이터 또는 들어오는 네트워크 연결은 필요하지 않습니다. 사용자 액세스 권한이 없도록 구성할 수 있습니다. 작업 영역 설정 공용 네트워크 액세스사용 안 함으로 설정하고 작업 영역에 대한 프런트 엔드 프라이빗 엔드포인트를 만들지 않으면 사용자는 작업 영역에 대한 사용자 로그인에 액세스할 수 없습니다.

프라이빗 웹 인증 작업 영역이 Private Link 연결을 위해 다른 개체와 함께 작동하는 방식을 시각화하려면 이 문서의 앞부분에 있는 다이어그램을 참조하세요.

프라이빗 웹 인증 작업 영역은 로그인하는 동안 사용자 SSO에 대한 지역의 모든 작업 영역에 대한 콜백 서비스 역할을 합니다. 일반 작업 영역에 로그인이 완료되면 다음 로그인까지 프라이빗 웹 인증 작업 영역이 사용되지 않습니다.

프라이빗 웹 인증 작업 영역을 만들 것인지 여부에 관계없이 브라우저 인증 프라이빗 엔드포인트 대상을 호스트할 지역에서 하나의 작업 영역을 선택해야 합니다. Azure Portal에서 브라우저 인증 프라이빗 엔드포인트가 포함된 하나의 Azure Databricks 작업 영역 개체를 선택합니다. 런타임에 실제 네트워크 액세스는 전송 VNet에서 Microsoft Entra ID로 연결됩니다. Microsoft Entra ID를 사용하여 성공적으로 로그인하면 사용자의 웹 브라우저가 올바른 컨트롤 플레인 인스턴스로 리디렉션됩니다.

프라이빗 DNS 구성을 공유하는 여러 작업 영역이 있는 경우 프라이빗 웹 인증 작업 영역 구성이 권장됩니다. 다음 조건 중 하나를 위해 프라이빗 웹 인증 작업 영역을 생략하도록 선택할 수 있습니다.

  • 이 지역에는 하나의 작업 영역만 있으며 나중에 더 이상 추가하지 않을 것이라고 확신합니다.
  • 작업 영역을 삭제할 필요가 없다고 확신합니다.
  • 비프로덕션 배포.

이러한 경우 프라이빗 웹 인증 작업 영역을 생략하고 대신 프로덕션 작업 영역 중 하나를 선택하여 브라우저 인증 프라이빗 엔드포인트를 호스트합니다. 그러나 해당 작업 영역을 최종적으로 삭제하면 프런트 엔드 Private Link 지원을 통해 해당 지역의 다른 작업 영역에 대한 사용자 인증을 즉시 차단할 수 있는 위험에 유의해야 합니다.

SSO를 지원하는 프라이빗 엔드포인트를 만들려면 다음을 수행합니다.

  1. 권장되지만 선택적 단계: 웹 인증 서비스를 호스트할 프라이빗 웹 인증 작업 영역을 만듭니다.

    1. 프라이빗 웹 인증 작업 영역을 호스트하는 리소스 그룹을 만듭니다. Azure Databricks 작업 영역을 배포한 각 지역에 대해 하나를 만듭니다.

    2. Azure Databricks 작업 영역을 배포한 각 지역에 대해 하나의 프라이빗 웹 인증 작업 영역을 만듭니다.

      • Azure Portal, Azure CLI, Powershell 또는 Terraform을 사용하여 새 Azure Databricks 작업 영역을 만들 수 있습니다.
      • 계층을 프리미엄으로 설정합니다.
      • 삭제되지 않도록 작업 영역 이름을 WEB_AUTH_DO_NOT_DELETE_<region>으로 설정합니다.
      • 필수 NSG 규칙(requiredNsgRules)을 값 NoAzureDatabricksRules로 설정합니다.
      • 보안 클러스터 연결(NPIP)(disablePublicIp)을 사용으로 설정합니다.
      • 다른 프로덕션 작업 영역과 동일한 지역에 작업 영역을 만듭니다.
      • VNet 삽입을 사용합니다. 기본 작업 영역 VNet에 사용하는 VNet과는 별도로 VNet을 만들거나 사용합니다.
      • 공용 네트워크 액세스(publicNetworkAccess)를 사용 안 함으로 설정합니다.
      • 이 작업 영역에 Azure Databricks 워크로드를 배치하지 마세요.
      • 브라우저 인증 프라이빗 엔드포인트 이외의 프라이빗 엔드포인트를 추가하지 마세요. 예를 들어 작업 영역에 대한 프런트 엔드 또는 백 엔드 연결을 사용하도록 설정하는 databricks_ui_api 하위 리소스를 사용하여 프라이빗 엔드포인트를 만들지 마세요(필수는 아님).

      VNet 삽입을 사용하여 작업 영역을 배포하는 방법에 대한 자세한 내용은 Azure 가상 네트워크(VNet 삽입)에 Azure Databricks 배포를 참조하세요.

      작업 영역을 만들려면 표준 올인원 ARM 템플릿 을 사용하고 작업 영역 구성에 대해 위에 나열된 요구 사항을 따를 수 있습니다.

    3. 프라이빗 웹 인증 작업 영역을 만든 후 작업 영역이 삭제되지 않도록 잠금을 설정합니다. Azure Portal에서 Azure Databricks 서비스 인스턴스로 이동합니다. 왼쪽 탐색 메뉴에서 잠금을 클릭합니다. +추가를 클릭합니다. 잠금 형식삭제로 설정합니다. 자물쇠에 이름을 지정합니다. 확인을 클릭합니다.

      작업 영역 잠금.

  2. Azure Portal에서 작업 영역을 나타내는 Azure Databricks Service 인스턴스로 이동합니다.

    • 프라이빗 웹 인증 작업 영역을 사용하는 경우 프라이빗 웹 인증 작업 영역에 대한 Azure Databricks Service 인스턴스 개체로 이동합니다.
    • 프라이빗 웹 인증 작업 영역을 사용하지 않는 경우 웹 인증 프라이빗 엔드포인트를 호스트할 작업 영역을 하나 선택합니다. 해당 작업 영역을 삭제하면 Private Link 프런트 엔드 연결을 사용하는 해당 지역의 다른 모든 작업 영역에 필요한 DNS 레코드가 삭제됩니다. Azure Portal에서 이 작업 영역의 Azure Databricks Service 인스턴스 블레이드를 엽니다.
  3. 설정>네트워킹>프라이빗 엔드포인트 연결로 이동합니다.

  4. + 추가 단추를 클릭하여 이 작업 영역에 대한 프라이빗 엔드포인트를 만듭니다.

  5. Azure Portal에는 작업 영역 만들기 흐름 내의 프라이빗 엔드포인트 만들기 블레이드가 표시됩니다.

    프라이빗 엔드포인트 만들기

  6. 리소스 단계에서 대상 하위 리소스 필드를 browser_authentication으로 설정합니다.

    리소스 종류리소스 필드는 편집 중인 Azure Databricks Service 작업 영역 인스턴스를 자동으로 참조합니다.

    브라우저 인증 하위 리소스 설정

  7. Virtual Network 단계에서 다음을 수행합니다.

    프라이빗 엔드포인트 VNet을 설정합니다.

    • 가상 네트워크를 전송 VNet으로 설정합니다.
    • 서브넷을 전송 VNet의 Private Link 특정 서브넷으로 설정합니다. 이 서브넷은 VNet 삽입에 사용되는 표준 서브넷 중 하나일 수 없습니다. 해당 서브넷을 아직 만들지 않은 경우 이제 다른 브라우저 창에서 해당 작업을 수행합니다. 관련 정보는 네트워크 요구 사항을 참조 하세요.
  8. DNS 단계에서 다음을 수행합니다.

    프라이빗 엔드포인트 DNS를 설정합니다.

    • 기본 제공 Azure DNS에서 일반적으로 사용하려면 프라이빗 DNS 영역과 통합로 설정합니다.

      조직에서 자체 사용자 지정 DNS를 유지 관리하는 경우 프라이빗 DNS 영역과의 통합아니요로 설정할 수 있지만 계속하기 전에 DNS 구성에 대한 이 Microsoft 문서를 읽어보세요. 질문이 있는 경우 Azure Databricks 계정 팀에 문의하세요.

      이 문서의 나머지 지침에서는 를 선택했다고 가정합니다.

    • 리소스 그룹 필드가 올바른 리소스 그룹으로 설정되었는지 확인합니다. 올바른 리소스 그룹에 미리 채워졌을 수도 있지만 보장되지는 않습니다. 프런트 엔드 프라이빗 엔드포인트와 동일한 VNet으로 설정합니다.

      Important

      이는 잘못된 구성에 대한 일반적인 단계이므로 이 단계는 신중하게 수행합니다.

  9. 확인을 클릭하여 프라이빗 엔드포인트를 만듭니다.

  10. 기본 제공 Azure DNS와 통합하는 경우 이제 만든 브라우저 인증 프라이빗 엔드포인트에서 DNS가 자동으로 구성되었는지 확인할 수 있습니다. 예를 들어 프라이빗 DNS 영역 내부를 살펴보면 이름이 .pl-auth로 끝나는 하나 이상의 새 A 레코드가 표시됩니다. 해당 지역의 각 컨트롤 플레인 인스턴스에 대한 SSO 콜백을 나타내는 레코드입니다. 해당 지역에 둘 이상의 Azure Databricks 컨트롤 플레인 인스턴스가 있는 경우 둘 이상의 A 레코드가 있습니다.

    DNS 구성을 확인합니다.

사용자 지정 DNS

사용자 지정 DNS를 사용하는 경우 SSO 인증 콜백을 지원하도록 적절한 DNS 구성이 설정되어 있는지 확인해야 합니다. 지침은 Azure Databricks 계정 팀에 문의하세요.

프런트 엔드 프라이빗 엔드포인트를 사용하고 사용자가 사용자 지정 DNS를 사용하도록 설정한 전송 VNet에서 Azure Databricks 작업 영역에 액세스하는 경우 작업 영역 URL을 사용하여 작업 영역에 대한 프라이빗 엔드포인트 IP 주소에 액세스할 수 있도록 설정해야 합니다.

Azure에 대해 조건부 전달을 구성하거나 사용자 지정 DNS(온-프레미스 또는 내부 DNS)에서 작업 영역 URL에 대한 DNS A 레코드를 만들어야 할 수 있습니다. Private Link 지원 서비스에 대한 액세스를 사용하도록 설정하는 방법에 대한 자세한 지침은 Azure 프라이빗 엔드포인트 DNS 구성을 참조하세요.

예를 들어 리소스 URL을 내부 DNS의 프런트 엔드 프라이빗 엔드포인트 IP 주소에 직접 매핑하는 경우 다음 두 개의 항목이 필요합니다.

  • 하나의 DNS A 레코드는 작업 영역별 URL(adb-1111111111111.15.azuredatabricks.net)을 프런트 엔드 프라이빗 엔드포인트 IP 주소에 매핑합니다.

  • 하나 이상의 DNS A 레코드는 Microsoft Entra ID OAuth 흐름 회신 URL을 프런트 엔드 프라이빗 엔드포인트 IP 주소에 westus.pl-auth.azuredatabricks.net매핑합니다. 한 지역에 둘 이상의 컨트롤 플레인 인스턴스가 있을 수 있으므로 각 컨트롤 플레인 인스턴스에 대해 하나씩 여러 A 레코드를 추가해야 할 수 있습니다.

    참고 항목

    사용자 지정 DNS를 사용하는 경우 사용하려는 지역에 사용해야 하는 컨트롤 플레인 인스턴스 집합을 기본 Azure Databricks 계정 팀에 문의하세요. 일부 지역에는 둘 이상의 컨트롤 플레인 인스턴스가 있습니다.

작업 영역 프라이빗 엔드포인트 액세스에 필요한 개별 A 레코드 외에도 지역당 하나 이상의 OAuth(browser_authentication) DNS 레코드 집합을 구성해야 합니다. 이렇게 하면 컨트롤 플레인의 프라이빗 엔드포인트가 해당 지역의 작업 영역 간에 공유되므로 OAuth에서 해당 지역의 browser_authentication 모든 작업 영역에 대한 프라이빗 클라이언트 액세스를 제공합니다.

또는 공용 인터넷에 대한 액세스가 허용되는 경우 공용 네트워크를 통해 OAuth 트래픽이 송신되도록 허용할 수 있으며, 모든 사업부에 대한 단일 사용자-작업 영역 프라이빗 엔드포인트 IP 주소를 공유하는 것은 일반적인 DNS로 인해 문제가 될 수 있습니다.

이러한 구성이 준비되면 Azure Databricks 작업 영역에 액세스하고 워크로드에 대한 클러스터를 시작할 수 있어야 합니다.

5단계: 작업 영역에 대한 사용자 SSO 인증 테스트

새 작업 영역에 대한 인증을 테스트해야 합니다. 초기 인증 시도의 경우 Azure Portal 내에서 작업 영역을 시작합니다. 작업 영역 개체에는 중요한 작업 영역 시작 단추가 있습니다. 클릭하면 Azure Databricks가 작업 영역에 로그인하고 초기 작업 영역 관리자 사용자 계정을 프로비전하려고 시도합니다. 인증을 테스트하여 작업 영역이 제대로 작동하는지 확인하는 것이 중요합니다.

  1. 작업 영역 시작 단추를 클릭합니다.

  2. 전송 VNet 또는 해당 VNet과 피어링되는 네트워크 위치에서 네트워크 액세스를 테스트합니다. 예를 들어 온-프레미스 네트워크에서 전송 VNet에 액세스할 수 있는 경우 온-프레미스 네트워크에서 사용자 SSO를 검사 수 있습니다. 테스트 네트워크에서 전송 서브넷으로의 네트워크 액세스를 확인합니다.

    • 프런트 엔드 Private Link를 사용하도록 설정한 경우 전송 VNet에서 인증이 성공적으로 수행되는지 테스트해야 합니다. ExpressRoute 또는 VPN을 사용하여 온-프레미스 네트워크를 전송 VNet에 연결한 경우 사용자로서 전송 VNet에 연결할 수 있는 라우팅 가능한 위치에 있는 경우 현재 네트워크에서 로그인하여 Azure Databricks 인증을 테스트할 수 있습니다.

    전송 서브넷에 액세스할 수 있는 네트워크 위치에 있지 않은 경우 전송 서브넷에 가상 머신을 만들거나 연결할 수 있는 네트워크 위치를 만들어 연결을 테스트할 수 있습니다. 예를 들어 Windows 10 가상 머신을 사용합니다.

    1. Azure Portal의 가상 머신 블레이드로 이동합니다.
    2. 테스트 VNet 및 서브넷에서 Windows 10 가상 머신을 만듭니다.
    3. Microsoft 원격 데스크톱과 같은 RDP 클라이언트를 사용하여 연결합니다.
  3. VM 또는 다른 테스트 컴퓨터 내에서 웹 브라우저를 사용하여 Azure Portal에 연결하고 작업 영역을 시작합니다.

    1. Azure Portal에서 Azure Databricks 작업 영역 개체를 찾습니다.
    2. 작업 영역 시작을 클릭하여 Azure Portal에 로그인하는 데 사용한 사용자 ID를 사용하여 Azure Databricks에 로그인하는 창 탭을 시작합니다.
    3. 로그인에 성공했음을 확인합니다.

인증 문제 해결

오류: "구성된 개인 정보 설정은 현재 네트워크를 통해 작업 영역 <your-workspace-id>에 대한 액세스를 허용하지 않습니다. 자세한 내용은 관리자에게 문의하세요.” 메시지가 표시되는 경우

이 오류는 다음을 의미합니다.

  • 공용 인터넷을 통해 작업 영역에 연결하려고 합니다(Private Link 연결에서 연결되지 않음).
  • 공용 네트워크 액세스를 지원하지 않도록 작업 영역을 구성했습니다.

이 섹션의 이전 단계를 검토합니다.

오류: "오류 코드 DNS_PROBE_FINISHED_NXDOMAIN을 나타내며 브라우저 실패

이 오류는 대상 지역에서 Azure Databricks 컨트롤 플레인 인스턴스에 대한 적절한 DNS 구성을 찾을 수 없기 때문에 사용자가 Azure Databricks 웹 애플리케이션에 로그인하지 못했음을 의미합니다. <control-plane-instance-short-name>.pl-auth 이름을 가리키는 DNS 레코드를 찾을 수 없습니다. 브라우저 인증 프라이빗 엔드포인트를 잘못 구성했을 수 있습니다. 4단계: 웹 브라우저 액세스를 위한 SSO를 지원하는 프라이빗 엔드포인트 만들기에서 섹션을 다시 신중하게 검토합니다. 질문이 있는 경우 Azure Databricks 계정 팀에 문의하세요.

백 엔드 Private Link 연결을 추가한 경우 올바르게 작동하는지 테스트하는 것이 중요합니다. Azure Databricks 웹 애플리케이션에 로그인하기만 하면 백 엔드 연결이 테스트되지 않습니다.

Important

송신을 제어하기 위해 VNet 주변의 네트워크 보안 그룹 또는 방화벽을 사용하거나 사용하려는 경우 보안 클러스터 연결 릴레이를 포함하여 Azure Databricks 컨트롤 플레인에 대한 연결을 위해 프라이빗 엔드포인트 서브넷에서 포트 443, 6666, 3306 및 8443-8451을 열어야 합니다.

  1. Azure Databricks 작업 영역에 아직 로그인하지 않은 경우 작업 영역 URL을 사용하거나 Azure Portal에서 Azure Databricks Service 인스턴스의 작업 영역 시작 단추에서 다시 로그인합니다.

  2. 왼쪽 탐색 창에서 컴퓨팅을 클릭합니다.

  3. 클러스터 만들기를 클릭하고 클러스터 이름을 입력한 다음, 클러스터 만들기를 클릭합니다. 클러스터를 만드는 방법에 대한 자세한 내용은 Compute 구성 참조를 참조하세요.

    클러스터가 성공적으로 시작될 때까지 기다립니다. 이 작업은 몇 분 정도 걸릴 수 있습니다. 최신 상태를 얻으려면 페이지를 새로 고치십시오.

    시작에 실패하면 클러스터 페이지에서 이벤트 로그를 클릭하고 최신 항목을 검토합니다. 일반적인 Private Link 잘못된 구성의 경우 이벤트 로그에는 10-15분 대기 후 다음과 유사한 오류가 포함됩니다.

    Cluster terminated. Reason: Control Plane Request Failure
    

    이 오류가 발생하면 이 문서의 지침을 주의 깊게 다시 검토하세요. 질문이 있는 경우 Azure Databricks 계정 팀에 문의하세요.

프라이빗 엔드포인트가 있는 Azure Databricks 작업 영역을 삭제하는 방법

Important

프라이빗 웹 인증 작업 영역을 사용하는 권장되지만 선택적 배포 스타일을 사용하는 경우 작업 영역 또는 작업 영역과 연결된 브라우저 인증 프라이빗 엔드포인트를 삭제하지 않는 것이 중요합니다. 4단계: 웹 브라우저 액세스를 위한 SSO를 지원하는 프라이빗 엔드포인트 만들기를 참조하세요.

Azure는 프라이빗 엔드포인트가 있는 경우 Azure Databricks 작업 영역의 삭제를 차단합니다.

Important

Azure Databricks 작업 영역을 삭제하기 전에 프라이빗 엔드포인트를 삭제해야 합니다.

  1. Azure Portal에서 작업 영역을 나타내는 Azure Databricks Service 인스턴스를 엽니다.
  2. 왼쪽 탐색 창에서 설정 및 네트워킹을 클릭합니다.
  3. 프라이빗 엔드포인트 연결 탭을 선택합니다.
  4. 프라이빗 웹 인증 작업 영역을 사용하지 않는 경우 조직에서 이 작업 영역을 OAuth CNAME 링크로 사용하고 있으며 동일한 컨트롤 플레인 인스턴스를 사용하는 다른 작업 영역과 공유될 수 있는지 확인합니다. 이 경우 이 작업 영역에서 CNAME을 사용할 수 있는 프라이빗 엔드포인트를 삭제하기 전에 CNAME이 다른 작업 영역에서 유효한 영역 A 레코드를 가리키도록 다른 작업 영역의 네트워크 개체를 구성합니다. 4단계: 웹 브라우저 액세스를 위한 SSO를 지원하는 프라이빗 엔드포인트 만들기를 참조하세요.
  5. 각 프라이빗 엔드포인트에 대해 행을 선택하고 제거 아이콘을 클릭합니다. 제거를 확인하려면 [예]를 클릭하십시오.

완료되면 Azure Portal에서 작업 영역을 삭제할 수 있습니다.

보류 중인 승인 확인 또는 보류 중인 프라이빗 엔드포인트 승인

전송 VNet에 대한 프라이빗 엔드포인트를 만든 Azure 사용자에게 작업 영역에 대한 소유자/기여자 권한이 없는 경우 작업 영역에 대한 소유자/기여자 권한이 있는 별도의 사용자는 프라이빗 엔드포인트 만들기 요청을 사용하도록 설정하기 전에 수동으로 승인해야 합니다.

연결 상태는 다음과 같습니다.

  • 승인됨: 엔드포인트가 승인되었으며 추가 작업이 필요하지 않습니다.
  • 보류 중: 엔드포인트에는 작업 영역에 대한 소유자/기여자 권한이 있는 사용자의 승인이 필요합니다.
  • 연결 끊김: 이 연결에 대한 관련 개체가 삭제되었습니다.
  • 거부됨: 엔드포인트가 거부되었습니다.

연결 상태를 확인하려면 다음을 수행합니다.

  1. Azure Portal에서 최근에 만든 하나 이상의 프라이빗 엔드포인트가 포함된 작업 영역으로 이동합니다.

  2. 네트워킹을 클릭합니다.

  3. 프라이빗 엔드포인트 연결 탭을 선택합니다.

  4. 엔드포인트 목록에서 연결 상태 열을 확인합니다.

    • 모두 연결 상태 값이 승인됨인 경우 프라이빗 엔드포인트를 승인하는 데 필요한 작업이 없습니다.
    • 보류 중인 값이 있는 경우 작업 영역에 대한 소유자/기여자 권한이 있는 사용자의 승인이 필요합니다.
  5. 작업 영역에 대한 소유자/기여자 권한이 있는 경우:

    1. 보류 중인 하나 이상의 엔드포인트 행을 선택합니다.

    2. 연결을 승인하는 경우 승인 단추를 클릭합니다.

      연결을 승인하지 않는 경우 거부 단추를 클릭합니다.

    작업 영역에 대한 소유자/기여자 권한이 없는 경우 작업 영역 관리자에게 연결을 승인하도록 요청합니다.