OneHotEncoderEstimator를 가져올 때 오류 발생

문제

Machine Learning Databricks Runtime 6.4에서 Machine Learning 이상의 경우 Databricks Runtime 7.3으로 Notebook을 마이그레이션했습니다.

가져오려고 하면 OneHotEncoderEstimator 가져오기 오류가 발생합니다.

ImportError: cannot import name 'OneHotEncoderEstimator' from 'pyspark.ml.feature' (/databricks/spark/python/pyspark/ml/feature.py)

원인

OneHotEncoderEstimator Apache Spark OneHotEncoder 3.0에서 의 이름이 로 바뀌었습니다.

해결 방법

Notebook의 참조를 로 바꾸어야 OneHotEncoderEstimatorOneHotEncoder 합니다.

예를 들어 다음 샘플 코드는 Machine Learning 이상에 대해 Databricks Runtime 7.3에서 가져오기 오류를 반환합니다.

from pyspark.ml.feature import OneHotEncoderEstimator

다음 샘플 코드는 Machine Learning 이상에 대해 Databricks Runtime 7.3에서 올바르게 작동합니다.

from pyspark.ml.feature import OneHotEncoder