Lakehouse Federation에 대한 네트워킹 권장 사항

이 문서에서는 Azure Databricks 클러스터 또는 SQL 웨어하우스와 Lakehouse Federation을 사용하여 연결하는 외부 데이터베이스 시스템 간에 실행 가능한 네트워크 경로를 설정하기 위한 지침을 제공합니다.

다음 중요한 정보를 염두에 두어야 합니다.

• 모든 네트워크 트래픽은 Azure Databricks 클러스터(또는 SQL 웨어하우스)와 외부 데이터베이스 시스템 간에 직접 발생합니다. Unity 카탈로그 또는 Azure Databricks 컨트롤 플레인은 네트워크 경로에 있지 않습니다.
• Azure Databricks 컴퓨팅(즉, 클러스터 및 SQL 웨어하우스)은 항상 클라우드에 배포되지만, Azure Databricks 컴퓨팅과 외부 데이터베이스 사이에 실행 가능한 네트워크 경로가 있는 한 외부 데이터베이스 시스템은 온-프레미스 또는 모든 클라우드 공급자에서 호스트될 수 있습니다.
• Azure Databricks 컴퓨팅 또는 외부 데이터베이스 시스템에 인바운드 또는 아웃바운드 네트워크 제한이 있는 경우 실행 가능한 네트워크 경로를 만드는 데 도움이 되는 일반적인 지침은 다음 섹션을 참조하세요.

Azure Databricks 작업 영역의 네트워킹에 대한 자세한 내용은 네트워킹을 참조 하세요.

데이터베이스 시스템과 Azure Databricks는 모두 인터넷에서 액세스할 수 있는 컴퓨팅

연결은 구성 없이 작동해야 합니다.

데이터베이스 시스템에 네트워크 액세스 제한이 있습니다.

외부 데이터베이스 시스템에 인바운드 또는 아웃바운드 네트워크 액세스 제한이 있고 인터넷에서 Azure Databricks 클러스터 또는 SQL 웨어하우스에 액세스할 수 있는 경우 컴퓨팅 유형에 따라 다음 구성을 수행합니다.

클래식 컴퓨팅 리소스:

다음 네트워크 솔루션 중 하나를 구성합니다.

• Azure Databricks 컴퓨팅의 안정적인 송신 IP입니다.

  부하 분산 장치, NAT 게이트웨이, 인터넷 게이트웨이 또는 동등한 IP 주소와 함께 안정적인 IP 주소를 설정하고 Azure Databricks 컴퓨팅이 배포된 서브넷에 연결합니다. 이렇게 하면 컴퓨팅이 외부 데이터베이스 쪽에서 허용 목록에 포함할 수 있는 안정적인 공용 IP 주소를 공유할 수 있습니다.

  외부 데이터베이스 시스템은 수신 및 송신 트래픽 모두에 대해 Azure Databricks 컴퓨팅 안정적인 IP를 허용 목록에 포함해야 합니다.

  • Private Link(외부 데이터베이스가 Azure Databricks 컴퓨팅과 동일한 클라우드에 있는 경우에만)

    데이터베이스가 배포된 네트워크와 Azure Databricks 컴퓨팅이 배포된 네트워크 간에 Private Link 연결을 구성합니다.

  서버리스 컴퓨팅 리소스:

  서버리스 컴퓨팅에서 외부 데이터베이스에 대한 보안 네트워크 액세스를 지원하는 계획에 대해 알아보려면 Azure Databricks 계정 팀에 문의하세요.

Azure Databricks 컴퓨팅에는 네트워크 액세스 제한이 있습니다.

인터넷에서 외부 데이터베이스 시스템에 액세스할 수 있고 Azure Databricks 컴퓨팅에 인바운드 또는 아웃바운드 네트워크 액세스 제한(고객 관리형 네트워크에 있는 경우에만 가능)이 있는 경우 다음 구성 중 하나를 수행합니다.

• Azure Databricks 컴퓨팅이 배포된 서브넷의 방화벽 규칙에서 외부 데이터베이스의 호스트 이름을 허용 목록에 추가합니다.

  호스트 이름이 아닌 외부 데이터베이스 IP 주소를 허용 목록에 추가하도록 선택한 경우 외부 데이터베이스에 안정적인 IP 주소가 있는지 확인합니다.

• Private Link(외부 데이터베이스가 Azure Databricks 컴퓨팅과 동일한 클라우드에 있는 경우에만)

  데이터베이스가 배포된 네트워크와 Azure Databricks 컴퓨팅이 배포된 네트워크 간에 Private Link 연결을 구성합니다.

Azure Databricks 컴퓨팅에 사용자 지정 DNS 서버가 있습니다.

외부 데이터베이스 시스템에 인터넷에서 액세스할 수 있고 Azure Databricks 컴퓨팅에 사용자 지정 DNS 서버(고객 관리형 네트워크에 있는 경우에만 가능)가 있는 경우 데이터베이스 시스템의 호스트 이름을 사용자 지정 DNS 서버에 추가하여 확인할 수 있습니다.