2019년 6월

  • 아티클

이러한 기능 및 Azure Databricks 플랫폼 개선 사항은 2019년 6월에 릴리스되었습니다.

참고 항목

릴리스가 준비되었습니다. Azure Databricks 계정은 최초 릴리스 날짜 이후 최대 일주일까지 업데이트되지 않을 수 있습니다.

Lsv2 인스턴스 지원(GA)

2019년 6월 24~26일: 버전 2.100

이제 Azure Databricks는 높은 처리량 및 높은 IOPS 워크로드의 Lsv2 VM 시리즈에 대한 모든 지원을 제공합니다.

RStudio 통합은 더 이상 동시성이 높은 클러스터로 제한되지 않음

2019년 6월 6~11일: 버전 2.99

이제 이미 지원된 높은 동시성 클러스터 외에도 Azure Databricks의 표준 클러스터에서 RStudio Server를 사용하도록 설정할 수 있습니다. 클러스터 모드와 관계없이 RStudio Server 통합에서는 클러스터에 대한 자동 종료 옵션을 사용하지 않도록 설정해야 합니다. Azure Databricks의 RStudio를 참조하세요.

MLflow 1.0

2019년 6월 3일

MLflow는 전체 기계 학습 수명 주기를 관리하는 오픈 소스 플랫폼입니다. MLflow를 사용하면 데이터 과학자는 로컬 또는 클라우드에서 실험을 추적 및 공유하고, 프레임워크 간에 모델을 패키지 및 공유하고, 거의 모든 곳에서 모델을 배포할 수 있습니다.

오늘 MLflow 1.0 릴리스를 발표하게 되어 기쁩니다. 1.0 릴리스는 API의 완성도와 안정성을 표시할 뿐만 아니라 자주 요청되는 기능과 개선 사항을 추가합니다.

  • CLI가 다시 구성되어 이제 아티팩트, 모델, db(추적 데이터베이스) 및 서버(추적 서버)에 대한 전용 명령이 있습니다.
  • 추적 서버 검색은 SQL WHERE 절의 간소화된 버전을 지원합니다. 실행 메트릭 및 매개 변수를 지원하는 것 외에도 일부 실행 특성과 사용자 및 시스템 태그를 지원하도록 검색이 향상되었습니다.
  • 추적 API에서 x 좌표에 대한 지원을 추가합니다. 이제 MLflow UI 시각화 구성 요소는 제공된 x 좌표 값에 대한 메트릭 그리기도 지원합니다.
  • 단일 API 요청으로 여러 메트릭, 매개 변수 및 태그를 로깅하기 위한 Python, R 및 Java 메서드뿐만 아니라 runs/log-batch REST API 엔드포인트를 추가합니다.
  • 추적을 위해 MLflow 1.0 클라이언트는 이제 Windows에서 지원됩니다.
  • HDFS에 대한 지원을 아티팩트 저장소 백 엔드로 추가합니다.
  • 기본 진입점이 컨테이너 내의 포트 8080에서 지정된 MLflow Python 함수 모델을 제공하는 Docker 컨테이너를 빌드하는 명령을 추가합니다.
  • 실험적인 ONNX 모델 버전을 추가합니다.

MLflow 변경 로그에서 변경 내용의 전체 목록을 볼 수 있습니다.

Databricks Runtime 5.4 with Conda(베타)

2019년 6월 3일

Important

Databricks Runtime(Conda 포함)은 베타에 있습니다. 지원되는 환경의 내용은 향후 베타 릴리스에서 변경될 수 있습니다. 변경 내용에는 패키지 목록 또는 설치된 패키지 버전이 포함될 수 있습니다. Conda를 사용하는 Databricks Runtime 5.4는 Databricks Runtime 5.4(지원되지 않음)를 기반으로 빌드됩니다.

Conda를 활용하여 Python 라이브러리 및 환경을 관리할 수 있는 Databricks Runtime 5.4(Conda 포함)를 소개하게 되어 기쁩니다. 이 런타임은 클러스터를 만들 때 두 가지 루트 Conda 환경 옵션을 제공합니다.

  • Databricks Standard 환경에는 많은 인기 있는 Python 패키지의 업데이트된 버전이 포함되어 있습니다. 이 환경은 Databricks Runtime에서 실행되는 기존 Notebook을 대체하기 위한 것입니다. 이는 기본 Databricks Conda 기반 런타임 환경입니다.
  • Databricks 최소 환경에는 PySpark 및 Databricks Python Notebook 기능에 필요한 최소 패키지가 포함되어 있습니다. 이 환경은 다양한 Python 패키지로 런타임을 사용자 지정하려는 경우에 이상적입니다.

Conda를 사용하는 Databricks Runtime 5.4(지원되지 않음)의 전체 릴리스 정보를 참조하세요.

Machine Learning용 Databricks Runtime 5.4

2019년 6월 3일

Databricks Runtime 5.4 ML은 Databricks Runtime 5.4(지원되지 않음)를 기반으로 빌드됩니다. TensorFlow, PyTorch, Keras 및 XGBoost를 비롯한 많은 자주 사용되는 기계 학습 라이브러리가 포함되어 있으며 Horovod를 사용하여 분산 TensorFlow 학습을 제공합니다.

다음과 같은 새로운 기능이 있습니다.

  • MLflow와 MLlib 통합(공개 미리 보기).
  • 새 SparkTrials 클래스가 미리 설치된 Hyperopt(공개 미리 보기).
  • Horovod에서 Spark 드라이버 노드로 보낸 HorovodRunner 출력이 이제 Notebook 셀에 표시됩니다.
  • XGBoost Python 패키지가 미리 설치되어 있습니다.

자세한 내용은 ML용 Databricks Runtime 5.4(지원되지 않음)를 참조하세요.

Databricks Runtime 5.4

2019년 6월 3일

이제 Databricks Runtime 5.4를 사용할 수 있습니다. Databricks Runtime 5.4에는 Apache Spark 2.4.2, 업그레이드된 Python, R, Java 및 Scala 라이브러리와 다음과 같은 새로운 기능이 포함됩니다.

  • Databricks의 Delta Lake에서 자동 최적화 추가(공개 미리 보기)
  • Databricks Connect에서 즐겨 찾는 IDE 및 Notebook 서버 사용
  • 라이브러리 유틸리티 일반 공급
  • 이진 파일 데이터 원본

자세한 내용은 Databricks Runtime 5.4(지원되지 않음)를 참조하세요.