SQL 엔드포인트

중요

이 기능은 공개 미리 보기 상태입니다.

SQL 엔드포인트는 Azure Databricks 환경 내의 데이터 개체에서 SQL 명령을 실행할 수 있는 계산 리소스입니다. 이 문서에서는 SQL 엔드포인트를 소개하고 Databricks SQL UI를 사용하여 엔드포인트를 사용하는 방법을 설명합니다. API를 사용하여 SQL 엔드포인트를 사용하려면 SQL 엔드포인트 API를 참조하세요.

시작하기 전에

첫 번째 SQL 엔드포인트를 만들 때 Databricks는 새 SQL 엔드포인트 페이지에 표시되는 기본값을 적용하는 것이 좋습니다. 하지만 특정 요구 사항에 맞게 구성할 수 있는 많은 옵션이 있습니다. 이러한 옵션 중에서 다음 사항을 알고 있어야 합니다.

  • 채널 -현재 SQL 엔드포인트 컴퓨팅 버전 또는 미리 보기 버전을 사용할지 여부를 선택할 수 있습니다. 미리 보기 버전을 사용하면 Databricks SQL 표준이 되기 전에 기능을 사용해 볼 수 있습니다. 미리 보기 버전을 활용하여 예정된 변경 내용에 대해 쿼리 및 대시보드를 테스트합니다. 일반적으로 미리 보기 버전은 초기 미리 보기 릴리스 후 2주 후에 현재 버전으로 승격되지만 일부 미리 보기는 더 오래 지속될 수 있습니다. 릴리스 정보를 검토하여 최신 미리 보기 버전의 기능에 대해 알아볼 수 있습니다. Databricks는 프로덕션 워크로드에 미리 보기 버전을 사용하지 않는 것이 좋습니다.

요구 사항

  • SQL 엔드포인트를 만들려면 Databricks Data Science Engineering에서 클러스터 만들기 권한이 있어야 합니다.

  • SQL 엔드포인트를 관리하려면 Databricks SQL 관리할 수 있는 권한이 있어야 합니다.

  • Azure 계정에 적절한 vCPU 할당량이 있어야 합니다. 기본 vCPU 할당량은 일반적으로 새 작업 영역에서 자동으로 생성되는 시작 엔드포인트를 만드는 데 적합합니다. 그러나 Azure 계정에 시작 엔드포인트의 크기를 조정하거나 추가 엔드포인트를 만드는 데 적절한 vCPU 할당량이 없을 수 있습니다. _를 참조하세요. 추가 vCPU 할당량을 요청할수 있습니다. Azure 계정에는 요청할 수 있는 vCPU 할당량의 양에 제한이 있을 수 있습니다. 자세한 내용은 Azure 계정 담당자에게 문의하세요.

SQL 엔드포인트 보기

사이드바에서 엔드포인트 아이콘SQL 엔드포인트를 클릭합니다.

기본적으로 엔드포인트는 상태(먼저 엔드포인트 실행)를 기준으로 정렬된 다음 사전순으로 정렬됩니다. 열 머리글을 클릭하여 목록의 순서를 변경할 수 있습니다.

Databricks SQL 빠른시작을 따를 때와 같이 빠르게 시작할 수 있도록 Azure Databricks 시작 엔드포인트라는 작은 SQL 엔드포인트를 자동으로 만듭니다. 이 SQL 엔드포인트를 편집하거나 삭제할 수 있습니다.

엔드포인트 목록을 필터링하려면 검색 상자에 텍스트를 입력합니다.

엔드포인트 필터링

연결 세부 정보, 모니터링 및 고급 설정을포함하여 엔드포인트의 구성에 대한 자세한 내용을 보려면 엔드포인트의 이름을 클릭합니다.

엔드포인트 세부 정보

SQL 엔드포인트 만들기

웹 UI의 새 SQL 엔드포인트 페이지를 사용하거나 SQL 엔드포인트 API를 사용하여 SQL 엔드포인트를만들 수 있습니다.

새 SQL 엔드포인트 페이지에서 모든 기본값을 적용하면 효율적이고 성능이 뛰어난 SQL 엔드포인트를 빠르고 쉽게 만들 수 있습니다. 워크로드 또는 환경에 필요한 경우 이러한 기본값을 재정의할 수 있습니다.

웹 UI를 사용하여 SQL 엔드포인트를 만들려면 다음을 수행합니다.

  1. 사이드바에서 엔드포인트 아이콘SQL 엔드포인트를 클릭합니다.

  2. SQL 엔드포인트 만들기를 클릭하여 새 SQL 엔드포인트 대화 상자를 엽니다.

    엔드포인트 만들기

  3. 엔드포인트에 사용할 이름을 입력합니다.

  4. 기본 엔드포인트 속성을 적용하거나 편집합니다.

    • 클러스터 크기는 클러스터 작업자 수와 쿼리 및 대시보드를 실행하는 데 사용할 수 있는 컴퓨팅 리소스의 크기를 나타냅니다. 기본값은 X-Large 입니다. 쿼리 대기 시간을 줄이려면 크기를 늘려야 합니다. 자세한 내용은 필수 Azure vCPU 할당량을 참조하세요.

    • 자동 중지는 지정된 분 동안 유휴 상태인 경우 엔드포인트가 중지되는지 여부를 결정합니다. 기본값은 10분입니다. 고급 옵션에서 서버리스를 사용하지 않도록 설정하는 경우 120분이 권장됩니다.

      유휴 SQL 엔드포인트는 중지될 때까지 DBU 및 클라우드 인스턴스 요금이 계속 누적됩니다.

    • 크기 조정은 엔드포인트로 전송된 쿼리가 분산되는 최소 및 최대 클러스터 수를 설정합니다.

      기본값은 최소 1개 및 최대 1개의 클러스터입니다.

      지정된 쿼리에 대해 더 많은 동시 사용자를 처리하려면 클러스터 수를 늘려야 합니다. Databricks는 10개의 동시 쿼리마다 클러스터를 권장합니다. Azure Databricks 클러스터를 엔드포인트에 추가하고 엔드포인트에서 클러스터를 제거하는 방법을 알아보려면 큐에 대기 및 자동 조정을 참조하세요.

  5. (선택 사항) 고급 옵션을 구성합니다.

    다음 중 원하는 작업을 수행하려면 고급 옵션를 확장합니다.

    • SQL 엔드포인트 사용을 모니터링하는 데 도움이 되는 태그 추가
    • Photon 성능 엔진 끄기
    • 미리 보기 채널을 사용하여 예정된 기능 테스트

    고급 옵션 구성

    자세한 내용은 고급 옵션 을 참조하세요.

  6. 만들기를 클릭합니다.

  7. 다음 중 하나를 수행합니다.

    엔드포인트가 만들어지고 시작됩니다.

고급 옵션

새 SQL 엔드포인트 대화 상자를 사용하여 SQL 엔드포인트를 만들 때 고급 옵션 영역을 확장하거나 편집 대화 상자를 사용하여 기존 SQL 엔드포인트를편집하여다음 고급 옵션을 구성할 수 있습니다. SQL 엔드포인트 API를사용하여 이러한 옵션을 구성할 수도 있습니다.

고급 옵션 구성

사용 모니터링을 위한 태그 추가

태그를 사용하면 조직의 사용자 및 그룹에서 사용하는 클라우드 리소스의 비용을 쉽게 모니터링할 수 있습니다. SQL 엔드포인트를 만들거나 편집할 때 고급 옵션 영역을 확장하여 태그를 키-값 쌍으로 지정합니다. Azure Databricks 이러한 태그를 클라우드 리소스에 적용합니다.

Photon 옵션을 사용하여 성능 관리

Photon을 켜두면 쿼리 실행 속도를 높이기 위해 Photon 네이티브 벡터화된 엔진에서 쿼리가 실행되도록 합니다. Databricks는 Photon을 사용하지 않도록 권장하며 이후 릴리스에서 off 옵션을 제거할 계획입니다. 그러나 Azure Databricks 지원 담당자가 사용하지 않도록 권장하는 경우가 있을 수 있습니다. 이 경우 고급 옵션을 확장하여 Photon을 해제합니다.

미리 보기 채널 사용

채널을 사용하면 현재 SQL 엔드포인트 컴퓨팅 버전 또는 미리 보기 버전을 사용할지 여부를 선택할 수 있습니다. 미리 보기 버전을 사용하면 Databricks SQL 표준이 되기 전에 기능을 사용해 볼 수 있습니다. 미리 보기 채널을 활용하여 예정된 변경 내용에 대해 쿼리 및 대시보드를 테스트합니다. 릴리스 정보에서 최신 미리 보기 버전의 내용에 대해 알아볼 수 있습니다.

현재 가 기본값입니다. SQL 엔드포인트를 미리 보기 채널로 전환하려면 고급 옵션을 확장하고 미리 보기를 선택합니다.

중요

Databricks는 프로덕션 워크로드에 미리 보기 버전을 사용하지 않도록 권장합니다. 관리자만 해당 채널을 포함하여 엔드포인트의 속성을 볼 수 있으므로 사용자가 실수로 프로덕션 워크로드에 사용하지 않도록 SQL 엔드포인트가 엔드포인트 이름에 미리 보기 버전을 사용함을 나타내는 것이 좋습니다.

SQL 엔드포인트 시작, 중지 또는 삭제

  1. 사이드바에서 엔드포인트 아이콘SQL 엔드포인트를 클릭합니다.
  2. 실행 중인 엔드포인트를 중지하려면 중지를클릭합니다.
  3. 중지된 엔드포인트를 시작하려면 시작을클릭합니다.
  4. 엔드포인트를 삭제하려면 작업 열에서 세로 타원 세로 타원을 클릭한 다음 삭제를클릭합니다.

서비스 주체 구성도참조하세요.

SQL 엔드포인트 편집

웹 UI 또는 SQL 엔드포인트 API를 사용하여 SQL 엔드포인트를편집하도록 선택할 수 있습니다.

웹 UI를 사용하여 SQL 엔드포인트를 편집하려면 다음을 수행합니다.

  1. 사이드바에서 엔드포인트 아이콘SQL 엔드포인트를 클릭합니다.

  2. 작업 열에서 세로 타원 세로 타원을 클릭하고 편집을클릭합니다.

  3. 엔드포인트 속성을 편집합니다.

    편집 가능한 각 속성에 대한 자세한 내용은 SQL 엔드포인트 만들기고급 옵션을 참조하세요.

  4. 저장 또는 저장을 클릭하고 를 다시 시작합니다.

SQL 엔드포인트 권한 구성

SQL 엔드포인트에 대한 권한을 구성하려면 다음을 수행합니다.

  1. 사이드바에서 엔드포인트 아이콘SQL 엔드포인트를 클릭합니다.

  2. 엔드포인트를 클릭합니다.

  3. 사용 권한 단추 단추를 클릭합니다.

    SQL 엔드포인트 사용 권한 대화 상자가 나타납니다. 엔드포인트 작성자 및 Azure Databricks 관리자는 기본적으로 관리할 수 있는 권한이 있습니다.

    권한 추가

  4. 사용자 또는 그룹 및 사용 권한을 선택합니다.

  5. 추가를 클릭합니다.

  6. 저장을 클릭합니다.

권한 수준에 대한 자세한 내용은 엔드포인트 액세스 제어 SQL참조하세요.

SQL 엔드포인트 모니터링

엔드포인트에서 처리하는 쿼리 수와 엔드포인트에 할당된 클러스터 수를 볼 수 있습니다.

  1. 사이드바에서 엔드포인트 아이콘SQL 엔드포인트를 클릭합니다.

  2. 엔드포인트를 클릭합니다.

  3. 모니터링을 클릭합니다.

    엔드포인트에서 처리한 쿼리 수와 지난 6시간 동안 엔드포인트에 할당된 클러스터 수를 보여주는 차트가 표시됩니다.

    차트 오른쪽 위에 있는 시간 표시줄 단추를 클릭하여 표시된 기간을 변경합니다. 예를 들어 다음 스크린샷은 7일 동안의 이러한 통계를 보여줍니다.

    엔드포인트 모니터링

    참고

    클러스터 수는 크기 조정을 사용하도록 설정되고 구성된 경우에만 1보다 클 수 있습니다.

클러스터 크기

이 섹션의 표는 SQL 엔드포인트 클러스터 크기를 Azure Databricks 클러스터 드라이버 크기 및 작업자 수에 매핑합니다.

클러스터 크기 드라이버 크기 작업자 수
2X-Small Standard_E8ds_v4 1
X-Small Standard_E8ds_v4 2
소형 Standard_E16ds_v4 4
중간 Standard_E32ds_v4 8
대형 Standard_E32ds_v4 16
X-Large Standard_E64ds_v4 32
2X-Large Standard_E64ds_v4 64
3X-Large Standard_E64ds_v4 128
4X-Large Standard_E64ds_v4 256

모든 작업자의 인스턴스 크기는 Standard_E8ds_v4.

각 드라이버와 작업자에는 8개의 128GB 표준 LRS 관리 디스크가 연결되어 있습니다. 연결된 디스크는 매시간 요금이 청구됩니다.

필요한 Azure vCPU 할당량

SQL 엔드포인트를 시작하려면 Azure 계정의 Standard_E8ds_v4 인스턴스에 적절한 Azure vCPU 할당량이 있어야 합니다. 다음 지침을 사용하여 필요한 vCPU 할당량을 확인합니다.

  • 하나 또는 두 개의 SQL 엔드포인트만 있는 경우 클러스터의 각 코어에 대해 8개의 Azure vCPU를 사용할 수 있는지 확인합니다. 이렇게 하면 대략 24시간마다 발생하는 엔드포인트의 다시 프로비저닝을 고려하기에 충분한 Azure vCPU가 있습니다. SQL 엔드포인트에서 자동 크기 조정 또는 다중 클러스터 부하 분산을 사용하는 경우 승수를 늘려야 할 수 있습니다.
  • SQL 엔드포인트 수가 증가함에 따라 클러스터의 각 코어에 대해 4~8개의 Azure vCPU를 허용합니다. Databricks는 더 많은 수로 시작하고 안정성을 모니터링하는 것이 좋습니다.
  • SQL 엔드포인트에서 사용되는 Azure vC CPU는 데이터 과학 엔지니어링 또는 비 Databricks 워크로드에서 사용하는 클러스터에서 사용되는 Azure vC CPU에 & 추가됩니다.

추가 Azure vCPU 할당량을 요청하려면 Azure 설명서의 표준 할당량: VM 시리즈별 제한 증가를 참조하세요.

큐 및 자동 조정

Azure Databricks SQL 엔드포인트에 할당된 클러스터의 쿼리 수를 10으로 제한합니다. 엔드포인트당 클러스터의 업스케일링은 쿼리 처리량, 들어오는 쿼리의 속도 및 큐 크기를 기반으로 합니다. Azure Databricks 현재 실행 중인 모든 쿼리, 대기 중인 모든 쿼리 및 다음 2분 동안 예상되는 들어오는 쿼리를 처리하는 데 걸리는 시간에 따라 클러스터를 추가합니다.

  • 2분 이내에 크기를 조정하지 마세요.
  • 2~6분, 클러스터 1개 추가
  • 6~12분 동안 2개의 클러스터를 추가합니다.
  • 12~22분 동안 3개의 클러스터를 추가합니다.

그렇지 않으면 Azure Databricks 예상되는 쿼리 로드의 15분마다 클러스터 3개와 클러스터 1개가 추가됩니다.

또한 쿼리가 큐에서 5분 동안 대기하는 경우 엔드포인트는 항상 업스케일됩니다.

부하가 15분 동안 낮으면 Azure Databricks SQL 엔드포인트의 크기를 축소합니다. 지난 15분 동안 최대 부하를 처리하기에 충분한 클러스터를 유지합니다. 예를 들어 최대 부하가 25개의 동시 쿼리인 경우 Azure Databricks 3개의 클러스터를 유지합니다.

쿼리 큐

Azure Databricks 엔드포인트에 할당된 모든 클러스터가 현재 10개의 쿼리를 실행 중이거나 엔드포인트가 상태일 때 쿼리를 큐에 STARTING 대기합니다.

메타데이터 쿼리(예: DESCRIBE <table> ) 및 상태 수정 쿼리(예: SET )는 엔드포인트가 상태에 있는 경우가 아니면 큐에 대기되지 STARTING 않습니다.

쿼리 라우팅

Azure Databricks 다음과 같이 쿼리를 라우팅합니다.

  • 새 세션:부하가 가장 적은 클러스터에 대한 입니다.
  • 기존 세션 : 해당 세션에대해 이전 쿼리를 실행한 클러스터에 대한 입니다. 해당 클러스터에 사용 가능한 용량이 없는 경우 쿼리는 부하가 가장 적은 클러스터로 라우팅됩니다.

Watchdog 및 SQL 엔드포인트 쿼리

SQL 엔드포인트를 통해 수행된 쿼리는 쿼리 Watchdog에 의해 관리됩니다. 이 프로세스는 쿼리가 큰 쿼리의 가장 일반적인 원인을 검사하고 임계값을 통과하는 쿼리를 종료하여 컴퓨팅 리소스를 독점하지 못하게 합니다. Query Watchdog에서 사용하는 기본값에 대한 설명은 대화형 워크플로에서 큰 쿼리 처리를 참조하세요.