딥 러닝

이 문서에서는 Azure Databricks에서 딥 러닝 모델을 개발하고 미세 조정하기 위한 PyTorch, Tensorflow 및 분산 학습 사용에 대한 간략한 소개를 제공합니다. 또한 이러한 도구를 사용하는 방법을 보여 주는 예제 전자 필기장이 있는 페이지에 대한 링크도 포함되어 있습니다.

• Azure Databricks에서 딥 러닝 워크플로를 최적화하는 일반적인 지침은 Azure Databricks에서 딥 러닝에 대한 모범 사례를 참조 하세요.
• Azure Databricks에서 대규모 언어 모델 및 생성 AI를 사용하는 방법에 대한 자세한 내용은 다음을 참조하세요.
  • Databricks의 LLM(대규모 언어 모델)
  • Azure Databricks의 생성 AI 및 LLM(대규모 언어 모델).

PyTorch

PyTorch는 Databricks Runtime ML에 포함되며 딥 러닝 네트워크를 빌드하기 위한 GPU 가속 텐서 계산 및 고급 기능을 제공합니다. Databricks에서 PyTorch를 사용하여 단일 노드 학습 또는 분산 학습을 수행할 수 있습니다. PyTorch를 참조하세요.

TensorFlow

Databricks Runtime ML에는 TensorFlow 및 TensorBoard가 포함되어 있으므로 패키지를 설치하지 않고도 이러한 라이브러리를 사용할 수 있습니다. TensorFlow는 CPU, GPU 및 GPU 클러스터에 대한 딥 러닝 및 일반 숫자 계산을 지원합니다. TensorBoard는 기계 학습 및 딥 러닝 워크플로를 디버그하고 최적화하는 데 도움이 되는 시각화 도구를 제공합니다. 단일 노드 및 분산 학습 예제는 TensorFlow를 참조하세요.

분산 학습

딥 러닝 모델은 데이터와 계산 집약적이기 때문에 분산 학습이 중요할 수 있습니다. Horovod, , spark-tensorflow-distributorTorchDistributor 및 DeepSpeed와의 통합을 사용하는 분산 딥 러닝의 예는 분산 학습을 참조하세요.

딥 러닝 모델 개발 추적

추적 다시 기본 MLflow 에코시스템의 초석이며 딥 러닝의 반복적 특성에 특히 중요합니다. Databricks는 MLflow를 사용하여 딥 러닝 학습 실행 및 모델 개발을 추적합니다. MLflow를 사용하여 모델 개발 추적을 참조하세요.