클라우드에서 배포된 HPC 클러스터

Pipelines
Blob Storage
Batch
Monitor

HPC (고성능 컴퓨팅) 응용 프로그램은 수천 개의 계산 코어로 확장 하거나 온-프레미스 빅 계산을 확장 하거나 100% 클라우드 기본 솔루션으로 실행할 수 있습니다. 이 HPC 솔루션은 Azure 관리 서비스를 기반으로 하며, Azure Batch, Azure Pipelines 작업을 통해 시작 됩니다. 해당 서비스는 고가용성 환경에서 실행되고 패치되며 지원되므로 실행되는 환경이 아니라 솔루션에 집중할 수 있습니다.

아키텍처

아키텍처 다이어그램이 아키텍처의 SVG 를 다운로드 합니다.

이 솔루션에는 다음 단계가 포함 됩니다.

  1. Azure Pipelines 팀의 코드 프로젝트를 컴파일하고의 실행 파일로 저장 하는 파이프라인을 시작 Azure Storage
  2. 저장소 계정에 일부 처리 데이터를 로드 하 여 파이프라인 작업을 계속 합니다.
  3. 마지막으로 Azure Pipelines는 Azure Batch 서비스가 처리 작업을 시작 하 고 파이프라인을 완료 하도록 요청 합니다.
  4. Azure Batch 서비스는 저장소에서 프로그램 실행 파일 및 입력 데이터를 복사 하 여 계산 노드 풀에 할당 합니다.
  5. 일괄 처리 서비스는 풀에 대 한 작업 및 태스크 관리를 수행 하 고 노드가 작업을 완료 하면 작업을 다시 시도 하거나 다시 할당 합니다.
  6. 계산 노드가 작동 하면 Azure Monitor는 풀 (CPU, 메모리, 디스크 i/o) 및 로그 파일에서 성능 데이터를 수집 합니다. 팀에서이 원격 분석을 연구 하 여 향후 더 나은 작업을 빌드할 수 있습니다.
  7. 계산 노드는 작업을 완료할 때 프로그램 데이터를 다시 출력 하 여 팀의 검토를 Azure Storage 합니다.

구성 요소

  • Azure Pipelines 코드 프로젝트를 빌드 및 테스트 하 고 Azure Batch 서비스에서 HPC 작업을 시작 합니다.
  • Azure Storage 는 작업에 사용 되는 HPC 데이터 및 실행 파일을 저장 합니다.
  • Azure Batch 는 대량의 노드에 걸친 작업과 작업을 예약 하 고 모든 계산 리소스를 관리 합니다.
  • Azure Virtual Machines 작업자로 실행 되며 계산 작업을 수행 합니다.
  • Virtual Network 는 계산 리소스와 기타 클라우드 서비스 간의 IP 연결을 제공 합니다.
  • Azure Monitor 는 보고서, 경고 및 자동화 된 응답에 대 한 클라우드 리소스에서 성능 메트릭 및 로그를 수집 합니다.

고려 사항

Batch 계산 풀은 상용 하드웨어를 포함할 필요가 없습니다. GPU 프로세서와 고급 네트워킹을 포함 하는 특수 한 가상 머신은 Azure Batch에서 사용할 수 있습니다. NVIDIA Tesla Gpu 및 높은 처리량 Infiniband 네트워킹 을 사용 하는 GPU 최적화 가상 컴퓨터 를 사용할 수 있습니다.

Batch 계산 풀은 작업 양이 변경 될 때 풀의 노드 수를 증가 및 축소 하는 자동 크기 조정가능 합니다. 사용 하지 않는 풀 구성원에 대해 비용을 지불 하는 대신 자동 크기 조정을 사용 하면 작업을 수행 하는 리소스로만 작업의 계산 비용을 줄일 수 있습니다.

가격 책정

이 시나리오를 실행 하는 데 드는 비용을 살펴보려면 모든 Azure 서비스를 미리 구성 azure 가격 계산기를 사용 합니다.

Azure Batch은 무료 서비스 이며, 고객은 기본 가상 머신, 저장소 및 네트워킹 비용에 대해서만 비용을 지불 합니다. 이 솔루션에는 Azure Pipelines 및 Azure Monitor 서비스에 대 한 추가 비용이 있습니다. 그러나 특히 Azure Batch의 경우는 분당 속도로 그래픽 렌더링 소프트웨어 (예: Autodesk Maya 및 비정상 그룹 V-레이)를 구입할 수 있는 옵션입니다. 자세한 내용은 Azure Batch 가격 책정 을 참조 하세요.

다음 단계