Data Science Virtual Machines의 공유 풀 만들기
이 문서에서는 팀에서 사용할 DSVM(Data Science Virtual Machines)의 공유 풀을 만드는 방법을 설명합니다. 공유 풀을 사용하면 다음과 같은 중요한 이점이 있습니다.
- 리소스 활용도 향상
- 더욱 쉬워진 공유 및 협업
- DSVM 리소스를 더욱 효과적으로 관리
다양한 메서드 및 기술을 사용하여 DSVM의 풀을 만들 수 있습니다. 이 문서는 대화형 VM(가상 머신)에 대한 풀에 중점을 둡니다. 대체 관리 컴퓨팅 인프라에는 Azure Machine Learning 컴퓨팅이 포함됩니다. 자세한 내용은 컴퓨팅 클러스터 만들기를 참조하세요.
대화형 VM 풀
전체 AI/데이터 과학 팀이 공유하는 대화형 VM 풀은 사용자에게 각 사용자 집합에 대한 전용 인스턴스를 보유하는 대신 사용 가능한 DSVM 인스턴스에 로그인하는 방법을 제공합니다. 이 방식은 더 나은 가용성과 더 효과적인 리소스 사용률을 제공합니다.
Azure Virtual Machine Scale Sets 기술을 사용하여 대화형 VM 풀을 만듭니다. 확장 집합을 사용하여 동일한 그룹의 부하 분산된 자동 크기 조정 VM을 만들고 관리할 수 있습니다.
사용자는 메인 풀의 IP 또는 DNS 주소로 로그인합니다. 확장 집합은 확장 집합에서 사용 가능한 DSVM으로 세션을 자동으로 라우팅합니다. 사용자는 로그인하는 VM에 관계없이 일관되고 친숙한 환경을 원하기 때문에 확장 집합에 있는 VM의 모든 인스턴스는 공유 네트워크 드라이브를 탑재합니다. 이는 Azure Files 공유 또는 NFS(네트워크 파일 시스템) 공유와 유사합니다. 사용자의 공유 작업 영역은 일반적으로 각 인스턴스에 탑재된 공유 파일 저장소에 보관됩니다.
Ubuntu DSVM 인스턴스를 사용하여 확장 집합을 만드는 샘플 Azure Resource Manager 템플릿은 GitHub에서 찾을 수 있습니다. 동일한 위치에서 Azure Resource Manager 템플릿의 매개 변수 파일 샘플을 호스팅합니다.
Azure Resource Manager 템플릿에서 확장 집합을 만들려면 Azure CLI에서 매개 변수 파일의 값을 지정합니다.
az group create --name [[NAME OF RESOURCE GROUP]] --location [[ Data center. For eg: "West US 2"]
az deployment group create --resource-group [[NAME OF RESOURCE GROUP ABOVE]] --template-uri https://raw.githubusercontent.com/Azure/DataScienceVM/master/Scripts/CreateDSVM/Ubuntu/dsvm-vmss-cluster.json --parameters @[[PARAMETER JSON FILE]]
해당 명령은 다음이 있다고 가정합니다.
- 확장 집합의 인스턴스에 지정된 값을 포함한 매개 변수 파일의 복사본
- VM 인스턴스 수
- Azure Files 공유에 대한 포인터
- 각 VM에 탑재될 스토리지 계정의 자격 증명
명령은 매개 변수 파일을 로컬로 참조하세요. 매개 변수를 인라인으로 전달하거나 스크립트에서 그에 대한 프롬프트를 표시할 수도 있습니다.
이전 템플릿은 프런트 엔드 확장 집합부터 Ubuntu DSVM의 백 엔드 풀까지의 SSH 및 JupyterHub 포트를 사용할 수 있습니다. 사용자는 SSH(Secure Shell) 또는 JupyterHub에서 일반적인 방법으로 VM에 로그인합니다. VM 인스턴스는 동적으로 스케일 업 또는 다운될 수 있기 때문에, 모든 상태는 탑재된 Azure Files 공유에 저장되어야 합니다. 같은 방식을 사용하여 Windows DSVM의 풀을 만들 수 있습니다.
Azure Files 공유를 탑재하는 스크립트는 Azure Data Science VM 리포지토리에서도 GitHub로 사용할 수 있습니다. 스크립트는 매개 변수 파일의 지정된 탑재 지점에서 Azure Files 공유를 탑재합니다. 또한 스크립트는 초기 사용자의 홈 디렉터리에서 탑재된 드라이브에 대한 소프트 링크를 만듭니다. Azure Files 공유의 사용자 특정 Notebook 디렉터리는 $HOME/notebooks/remote디렉터리에 소프트 링크되어 사용자가 Jupyter Notebook에 액세스하여 실행하고 저장할 수 있습니다. VM에서 더 많은 사용자를 만들 때 동일한 규칙을 사용하여 각 사용자의 Jupyter 작업 영역이 Azure Files 공유를 가리키도록 할 수 있습니다.
가상 머신 확장 집합은 자동 크기 조정 기능을 지원합니다. 더 많은 인스턴스를 만드는 경우 및 인스턴스를 스케일 다운하는 경우에 대한 규칙을 설정할 수 있습니다. 예를 들어 VM을 전혀 사용하지 않는 경우 클라우드 하드웨어 사용 비용을 절약하기 위해 0개의 인스턴스로 스케일 다운할 수 있습니다. 가상 머신 확장 집합 설명서 페이지에서는 자동 크기 조정에 대한 자세한 단계를 제공합니다.