기계 학습이란 무엇인가요?

  • 아티클

기계 학습은 컴퓨터에서 기존 데이터를 사용하여 미래 동작, 결과 및 추세를 예측하는 데이터 과학 기술입니다. 컴퓨터는 기계 학습을 사용하여 명시적으로 프로그래밍되지 않고 학습합니다. 기계 학습 도구는 패턴을 식별하고 데이터 환경으로부터 연결을 만들 수 있는 AI 시스템을 사용합니다.

자동화된 Machine Learning 예측 또는 예측은 애플리케이션과 디바이스를 더 스마트하게 만들 수 있습니다. 예를 들어 온라인 쇼핑을 할 때 기계 학습은 구입한 제품에 따라 원하는 다른 제품을 추천하는 데 도움이 됩니다. 또는 신용 카드 스 와이프할 때 기계 학습은 트랜잭션을 트랜잭션 데이터베이스와 비교하고 사기를 감지하는 데 도움이 됩니다. 또한 로봇 진공 청소기가 방을 청소할 때, 머신 러닝은 작업이 완료되었는지 여부를 판단하도록 해줍니다.

각 작업에 맞는 기계 학습 도구

Azure Machine Learning은 다음을 포함하여 개발자와 데이터 과학자가 기계 학습 워크플로에 필요한 모든 도구를 제공합니다.

엔드 투 엔드 워크플로 파이프라인을 빌드하려면 Kubeflow를 사용할 수도 있습니다.

Python 또는 R에서 기계 학습 모델 빌드

Azure Machine Learning Python SDK 또는 R을 사용하여 로컬 머신에서 학습을 시작합니다. 그런 다음 클라우드로 확장할 수 있습니다. Azure Machine Learning 컴퓨팅 및 Azure Databricks와 같이 사용할 수 있는 여러 컴퓨팅 대상과 고급 하이퍼 매개 변수 튜닝 서비스를 통해 클라우드의 강력한 기능을 사용하여 더욱 우수한 모델을 더 빠르게 빌드할 수 있습니다. SDK를 사용하여 모델 학습 및 튜닝을 자동화할 수도 있습니다.

코드 없는 도구를 사용하여 기계 학습 모델 빌드

코드가 없거나 낮은 코드 학습 및 배포의 경우 다음을 시도합니다.

  • Azure Machine Learning 디자이너

    디자이너를 사용하여 코드를 작성하지 않고도 데이터를 준비, 학습, 테스트, 배포, 관리 및 추적할 수 있습니다. 프로그래밍이 필요하지 않습니다. 데이터 세트 및 모듈을 시각적으로 연결하여 모델을 생성합니다. 스튜디오에서 파이프라인 만들기를 시도합니다.

    Azure Machine Learning 디자이너 개요 문서에서 자세히 알아보세요.

  • AutoML(자동화된 기계 학습) SDK

    사용하기 쉬운 인터페이스에서 AutoML 실험을 만드는 방법을 알아봅니다.

MLOps: 배포 및 수명 주기 관리

MLOps(기계 학습 운영)는 워크플로 효율성을 향상시키는 DevOps 원칙과 사례를 기반으로 합니다. 예를 들어 연속 통합, 배달 및 배포가 있습니다. MLOps는 다음을 목표로 기계 학습 프로세스에 이러한 원칙을 적용합니다.

  • 더 빠른 실험 및 모델 개발
  • 프로덕션 단계로의 모델 배포 속도 향상
  • 품질 보증

올바른 모델이 있는 경우 온라인 엔드포인트에서 쉽게 사용할 수 있습니다. 자세한 내용은 Azure Machine Learning을 사용하여 모델 배포를 참조하세요.

그런 다음, Python용 Azure Machine Learning SDK, Azure Machine Learning 스튜디오 또는 Azure Machine Learning CLI를 사용하여 배포된 모델을 관리할 수 있습니다.

이러한 모델은 사용 가능하며 대량의 데이터에 대한 예측을 실시간으로 또는 비동기적으로 반환할 수 있습니다.

또한 고급 기계 학습 파이프라인을 사용하여 배포를 통해 데이터 준비, 모델 학습 및 평가에서 각 단계를 공동 작업할 수 있습니다. 파이프라인을 사용하면 다음을 수행할 수 있습니다.

  • 클라우드에서 엔드 투 엔드 기계 학습 프로세스 자동화
  • 구성 요소를 다시 사용하고 필요한 경우에만 단계 다시 실행
  • 각 단계에서 다른 컴퓨팅 리소스 사용
  • 일괄 처리 채점 작업 실행

스크립트를 사용하여 기계 학습 워크플로를 자동화하려면 Azure Machine Learning CLI에서 제공하는 명령줄 도구를 사용하여 학습 실행 제출이나 모델 배포와 같은 일반적인 작업을 수행합니다.

Azure Machine Learning 사용을 시작하려면 다음 단계를 참조 하세요.

자동화된 기계 학습

데이터 과학자는 실험 중에 모델을 반복하는 데 지나치게 많은 시간을 소비합니다. 허용되는 모델이 빌드될 때까지 다양한 알고리즘과 하이퍼 매개 변수 조합을 시도하는 것은 작업의 단조롭고 어려운 특성으로 인해 데이터 과학자에게 매우 부담이 됩니다. 이 연습에서는 모델 효율성이 크게 향상되지만 시간 및 리소스 측면에서 비용이 너무 많이 들기 때문에 ROI(투자 수익률)가 저하될 수 있습니다.

AutoML(자동화된 Machine Learning)이 들어오는 곳입니다. 확률 행렬 팩터리화에 대한 연구 논문의 개념을 사용합니다. 지정된 문제 또는 시나리오를 고려하여 제시된 데이터의 추론에 따라 지능적으로 선택된 알고리즘 및 하이퍼미터 설정을 시도하는 자동화된 파이프라인을 구현합니다. 이 파이프라인의 결과는 지정된 문제 및 데이터 세트에 가장 적합한 모델 집합입니다.

AutoML에 대한 자세한 내용은 Azure Machine Learning을 사용하는 AutoML 및 MLOps를 참조하세요.

관리되는 솔루션

Azure Machine Learning은 다음과 같은 완전 관리형 리소스를 제공합니다.

  • 컴퓨팅 인스턴스: SDK로 미리 구성된 클라우드 기반 VM 및 Jupyter Notebooks 및 JupyterLab과 같은 인기 있는 데이터 과학 도구 자세한 내용은 컴퓨팅 인스턴스 만들기 및 관리를 참조 하세요.
  • 컴퓨팅 클러스터: Azure 가상 머신의 클러스터 크기를 동적으로 조정하여 대규모로 모델을 학습시킵니다. 자세한 내용은 컴퓨팅 클러스터 만들기 및 관리를 참조 하세요.
  • 서버리스 컴퓨팅 클러스터: 동적으로 생성된 Azure 가상 머신의 클러스터 크기를 동적으로 조정하는 모델을 학습시킵니다. 자세한 내용은 서버리스 컴퓨팅에 대한 모델 학습(미리 보기)을 참조하세요.
  • 서버리스 Apache Spark: 동적으로 생성된 Apache Spark 클러스터를 대화형 데이터 랭글링 또는 학습 기계 학습 모델에 사용합니다. 자세한 내용은 서버리스 Spark 컴퓨팅을 참조 하세요.
  • 관리형 온라인 엔드포인트: 클라이언트 애플리케이션에서 사용할 수 있는 웹 서비스로 모델을 배포합니다. 자세한 내용은 온라인 엔드포인트를 참조 하세요.
  • 관리형 가상 네트워크: Azure Machine Learning 관리 리소스 및 Azure Machine Learning이 사용하는 다른 Azure 서비스에 대한 네트워크 격리를 제공합니다. 자세한 내용은 작업 영역 관리되는 네트워크 격리를 참조하세요.

Responsible ML

신뢰는 AI 시스템의 개발 및 사용 전반에 걸쳐 핵심이어야 합니다. 플랫폼, 프로세스 및 모델을 신뢰합니다. AI 및 자치 시스템이 사회 구조에 더 많이 통합됨에 따라 이러한 기술의 의도치 않은 결과를 예측하고 완화하기 위해 사전에 노력하는 것이 중요합니다.

  • 모델을 이해하고 공정성을 위해 빌드: 모델 동작을 설명하고 예측에 가장 영향을 주는 기능을 파악합니다. 모델 학습 및 유추 중에 유리 및 블랙 박스 모델에 대한 기본 제공 설명자를 사용합니다. 대화형 시각화를 사용하여 모델을 비교하고 가상 분석을 수행하여 모델 정확도를 향상시킵니다. 최첨단 알고리즘을 사용하여 모델 공정성을 테스트합니다. 기계 학습 수명 주기 전반에 걸쳐 불공정을 완화하고, 완화된 모델을 비교하고, 의도적인 공정성과 정확도를 원하는 대로 절충합니다.
  • 데이터 개인 정보 보호 및 기밀 유지: 중요한 정보 공개가 제한되도록 데이터에 정확한 수준의 통계 노이즈를 주입하는 차등 개인 정보의 최신 혁신을 사용하여 개인 정보를 보존하는 모델을 빌드합니다. 데이터 누출을 식별하고 반복 쿼리를 지능적으로 제한하여 노출 위험을 관리합니다. 기계 학습용으로 설계된 암호화 및 기밀 기계 학습 기술을 사용하여 기밀 데이터를 사용하여 모델을 안전하게 빌드합니다.
  • 기계 학습 프로세스의 모든 단계를 제어하고 제어합니다 . 기본 제공 기능에 액세스하여 계보를 자동으로 추적하고 기계 학습 수명 주기에 걸쳐 감사 내역을 만듭니다. 데이터 세트, 모델, 실험, 코드 등을 추적하여 기계 학습 프로세스에 대한 완전한 가시성을 얻습니다. 사용자 지정 태그를 사용하여 모델 데이터 시트를 구현하고, 키 모델 메타데이터를 문서화하고, 책임을 높이며, 책임 있는 프로세스를 보장합니다.

책임 있는 ML 구현에 대해 자세히 알아봅니다.

다른 서비스와 통합

Azure Machine Learning은 다른 Azure 플랫폼 서비스와 함께 작동하며 Git 및 MLflow와 같은 오픈 소스 도구와 통합됩니다.

다음 단계