Machine Learning için Databricks Runtime 11.3 LTS
Machine Learning için Databricks Runtime 11.3 LTS, Databricks Runtime 11.3 LTS'yi temel alan makine öğrenmesi ve veri bilimi için kullanıma hazır bir ortam sağlar. Databricks Runtime ML, TensorFlow, PyTorch ve XGBoost gibi birçok popüler makine öğrenmesi kitaplığı içerir. Databricks Runtime ML, makine öğrenmesi işlem hatlarını otomatik olarak eğitmeye yönelik bir araç olan AutoML'yi içerir. Databricks Runtime ML, Horovod kullanarak dağıtılmış derin öğrenme eğitimini de destekler.
Not
LTS, bu sürümün uzun vadeli destek altında olduğu anlamına gelir. Bkz. Databricks Runtime LTS sürüm yaşam döngüsü.
Databricks Runtime ML kümesi oluşturma yönergeleri de dahil olmak üzere daha fazla bilgi için bkz . Databricks'te AI ve Machine Learning.
Yeni özellikler ve geliştirmeler
Databricks Runtime 11.3 LTS ML, Databricks Runtime 11.3 LTS üzerine kurulmuştur. Apache Spark MLlib ve SparkR dahil olmak üzere Databricks Runtime 11.3 LTS'deki yenilikler hakkında bilgi için bkz . Databricks Runtime 11.3 LTS sürüm notları.
Databricks AutoML geliştirmeleri
Databricks AutoML artık AutoML denemelerinizde mevcut Özellik Deposu özellik tablolarının kullanımını destekliyor. Ayrıntılar için bkz . Özellik Deposu tümleştirmesi.
AutoML tarafından oluşturulan deneme not defterleri artık kullanıcıların hiper parametre ayarlamasını yeniden çalıştırmasını sağlayan kod parçacıkları içeriyor.
AutoML artık özellikleri destekliyor DecimalType .
Hata düzeltmeleri
Databricks Runtime 11.3 LTS ML, yükseltilmiş bir sürümünü sparkdl.xgboostiçerir. Önceki sürümleri sparkdl.xgboost bu sürümde düzeltilen hatalar içerdiğinden Databricks, kitaplık kullanıcılarının Databricks Runtime 11.3 LTS ML'ye yükseltmesini önerir.
Gelecek sürümlere hazırlanma
Databricks Runtime ML'nin yakında kullanıma sunulacak bir sürümü 1.0 sürümünü içerecektir sklearn . Bu değişikliğe sklearnhazırlanma hakkında bilgi için belgeleri ziyaret edin.
Databricks Runtime ML iki openblas paket içerir. Paket /opt/OpenBLAS Databricks Runtime 11.3 LTS ML'de kullanım dışıdır ve gelecek bir sürümde kaldırılacaktır.
Sistem ortamı
Databricks Runtime 11.3 LTS ML'deki sistem ortamı, Databricks Runtime 11.3 LTS'den aşağıdaki gibi farklıdır:
- DBUtils: Databricks Runtime ML, Kitaplık yardımcı programını (dbutils.library) (eski) içermez.
Bunun yerine komutları kullanın
%pip. Bkz. Not defteri kapsamlı Python kitaplıkları. - GPU kümeleri için Databricks Runtime ML aşağıdaki NVIDIA GPU kitaplıklarını içerir:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Databricks Runtime 11.3 LTS ML, 5.2 ve altı işlem özelliğine sahip GPU kümelerini desteklemeyen XGBoost 1.6.1'i içerir.
Kitaplıklar
Aşağıdaki bölümlerde Databricks Runtime 11.3 LTS ML'de bulunan ve Databricks Runtime 11.3 LTS'de bulunan kitaplıklardan farklı kitaplıklar listelenmiştir.
Bu bölümde:
- Üst katman kitaplıkları
- Python kitaplıkları
- R kitaplıkları
- Java ve Scala kitaplıkları (Scala 2.12 kümesi)
Üst katman kitaplıkları
Databricks Runtime 11.3 LTS ML aşağıdaki üst katman kitaplıklarını içerir:
- GraphFrames
- Horovod ve HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
Python kitaplıkları
Databricks Runtime 11.3 LTS ML, Python paket yönetimi için Virtualenv kullanır ve birçok popüler ML paketi içerir.
Aşağıdaki bölümlerde belirtilen paketlere ek olarak Databricks Runtime 11.3 LTS ML aşağıdaki paketleri de içerir:
- hyperopt 0.2.7.db1
- sparkdl 2.3.0-db3
- feature_store 0.7.0
- automl 1.13.2
Databricks Runtime ML Python ortamını yerel Python sanal ortamınızda yeniden oluşturmak için requirements-11.3.txt dosyasını indirin ve çalıştırınpip install -r requirements-11.3.txt. Bu komut, Databricks Runtime ML'nin kullandığı tüm açık kaynak kitaplıklarını yükler, ancak Databricks tarafından geliştirilen , databricks-feature-storeveya Databricks çatalı hyperoptgibi databricks-automlkitaplıkları yüklemez.
CPU kümelerinde Python kitaplıkları
| Kitaplık | Sürüm | Kitaplık | Sürüm | Kitaplık | Sürüm |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 20.1.0 | Astor | 0.8.1 |
| astunparse | 1.6.3 | async-generator | 1.10 | attrs | 21.2.0 |
| azure-core | 1.22.1 | azure-cosmos | 4.2.0 | geri arama | 0.2.0 |
| backports.entry-points-selectable | 1.1.1 | bcrypt | 4.0.0 | Siyah | 22.3.0 |
| Çamaşır suyu | 4.0.0 | Blıs | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | önbellek araçları | 5.2.0 | Katalog | 2.0.8 |
| sertifikalı | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | tıklama | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | Konfeksiyon | 0.0.1 | yapılandırmaparser | 5.2.0 |
| dönüştürme tarihi | 2.4.0 | Şifreleme | 3.4.8 | Cycler | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.11 |
| databricks-cli | 0.17.3 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| hata ayıklama | 1.4.1 | Dekoratör | 5.1.0 | defusedxml | 0.7.1 |
| Dereotu | 0.3.4 | diskcache | 5.4.0 | daistlib | 0.3.6 |
| Entrypoints | 0.3 | ephem | 4.1.3 | modellere genel bakış | 1.0.0 |
| fasttext | 0.9.2 | dosya kilidi | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | Gelecek | 0.18.2 |
| Gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | Tatil | 0,15 |
| horovod | 0.25.0 | htmlmin | 0.1.12 | huggingface-hub | 0.9.1 |
| ıdna | 3.2 | ImageHash | 4.3.0 | dengesiz-öğrenme | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | izodat | 0.6.1 |
| itsdangerous | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab pencere öğeleri | 1.0.0 | keras | 2.9.0 |
| Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 | korece-ay takvimi | 0.3.1 |
| langcodes | 3.3.0 | libclang | 14.0.6 | lightgbm | 3.3.2 |
| llvmlite | 0.37.0 | LunarCalendar | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.6 | İşaretlemeyi Kasa | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | yanlış | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 1.29.0 | multimethod | 1.9 |
| murmurhash | 1.0.8 | mypy uzantıları | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| networkx | 2.6.3 | nltk | 3.6.5 | not defteri | 6.4.5 |
| numba | 0.54.1 | numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | Ambalaj | 21.0 | pandas | 1.3.4 |
| pandas profili oluşturma | 3.1.0 | pandocfilters | 1.4.3 | paramiko | 2.9.2 |
| parso | 0.8.2 | pathspec | 0.9.0 | pathy | 0.6.2 |
| Patsy | 0.5.2 | petastorm | 0.11.4 | pexpect | 4.8.0 |
| phik | 0.12.2 | pickleshare | 0.7.5 | Yastık | 8.4.0 |
| Pip | 21.2.4 | platformdirs | 2.5.2 | çizim | 5.9.0 |
| pmdarima | 1.8.5 | önceden gösterilmiş | 3.0.7 | prometheus-client | 0.11.0 |
| prompt-toolkit | 3.0.20 | Peygamber | 1.0.1 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| serçe | 7.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.10.0 | pycparser | 2.20 | pydantic | 1.9.2 |
| Pygments | 2.10.0 | PyGObject | 3.36.0 | PyJWT | 2.5.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| pyparsing | 3.0.4 | pirsistent | 0.18.0 | pystan | 2.19.1.1 |
| python-dateutil | 2.8.2 | python düzenleyicisi | 1.0.4 | pytz | 2021.3 |
| PyWavelets | 1.1.1 | PyYAML | 6,0 | pyzmq | 22.2.1 |
| Regex | 2021.8.3 | istekler | 2.26.0 | requests-oauthlib | 1.3.1 |
| requests-unixsocket | 0.2.0 | rsa | 4,9 | s3transfer | 0.5.2 |
| scikit-learn | 0.24.2 | scipy | 1.7.1 | Sinan | 0.11.3 |
| Send2Trash | 1.8.0 | kurulum araçları | 58.0.4 | setuptools-git | 1.2 |
| Shap | 0.41.0 | simplejson | 3.17.6 | Altı | 1.16.0 |
| Dilimleyici | 0.0.7 | akıllı açma | 5.2.1 | smmap | 5.0.0 |
| spacy | 3.4.1 | spacy-legacy | 3.0.10 | spacy-loggers | 1.0.3 |
| spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 | srsly | 2.4.4 |
| ssh-import-id | 5.10 | statsmodeller | 0.12.2 | sekmeli | 0.8.9 |
| unicode'da karışık | 0.1.0 | Azim | 8.0.1 | tensorboard | 2.9.1 |
| tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 |
| tensorflow-cpu | 2.9.1 | tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.27.0 |
| termcolor | 2.0.1 | terminado | 0.9.4 | test yolu | 0.5.0 |
| thinc | 8,1,2 | threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 |
| belirteç oluşturucular | 0.12.1 | tomli | 2.0.1 | Meşale | 1.12.1+cpu |
| torchvision | 0.13.1+cpu | Kasırga | 6.1 | tqdm | 4.62.3 |
| traitlets | 5.1.0 | Transformers | 4.21.2 | Typer | 0.4.2 |
| yazma uzantıları | 3.10.0.2 | ujson | 4.0.2 | katılımsız yükseltmeler | 0,1 |
| urllib3 | 1.26.7 | virtualenv | 20.8.0 | Vizyon | 0.7.4 |
| Wasabi | 0.10.1 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
| websocket-client | 1.3.1 | Werkzeug | 2.0.2 | Tekerlek | 0.37.0 |
| widgetsnbextension | 3.6.0 | kaydırma | 1.12.1 | xgboost | 1.6.2 |
| zipp | 3.6.0 |
GPU kümelerinde Python kitaplıkları
| Kitaplık | Sürüm | Kitaplık | Sürüm | Kitaplık | Sürüm |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 20.1.0 | Astor | 0.8.1 |
| astunparse | 1.6.3 | async-generator | 1.10 | attrs | 21.2.0 |
| azure-core | 1.22.1 | azure-cosmos | 4.2.0 | geri arama | 0.2.0 |
| backports.entry-points-selectable | 1.1.1 | bcrypt | 4.0.0 | Siyah | 22.3.0 |
| Çamaşır suyu | 4.0.0 | Blıs | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | önbellek araçları | 5.2.0 | Katalog | 2.0.8 |
| sertifikalı | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | tıklama | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | Konfeksiyon | 0.0.1 | yapılandırmaparser | 5.2.0 |
| dönüştürme tarihi | 2.4.0 | Şifreleme | 3.4.8 | Cycler | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.11 |
| databricks-cli | 0.17.3 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| hata ayıklama | 1.4.1 | Dekoratör | 5.1.0 | defusedxml | 0.7.1 |
| Dereotu | 0.3.4 | diskcache | 5.4.0 | daistlib | 0.3.6 |
| Entrypoints | 0.3 | ephem | 4.1.3 | modellere genel bakış | 1.0.0 |
| fasttext | 0.9.2 | dosya kilidi | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | Gelecek | 0.18.2 |
| Gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | Tatil | 0,15 |
| horovod | 0.25.0 | htmlmin | 0.1.12 | huggingface-hub | 0.9.1 |
| ıdna | 3.2 | ImageHash | 4.3.0 | dengesiz-öğrenme | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | izodat | 0.6.1 |
| itsdangerous | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab pencere öğeleri | 1.0.0 | keras | 2.9.0 |
| Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 | korece-ay takvimi | 0.3.1 |
| langcodes | 3.3.0 | libclang | 14.0.6 | lightgbm | 3.3.2 |
| llvmlite | 0.37.0 | LunarCalendar | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.6 | İşaretlemeyi Kasa | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | yanlış | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 1.29.0 | multimethod | 1.9 |
| murmurhash | 1.0.8 | mypy uzantıları | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| networkx | 2.6.3 | nltk | 3.6.5 | not defteri | 6.4.5 |
| numba | 0.54.1 | numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | Ambalaj | 21.0 | pandas | 1.3.4 |
| pandas profili oluşturma | 3.1.0 | pandocfilters | 1.4.3 | paramiko | 2.9.2 |
| parso | 0.8.2 | pathspec | 0.9.0 | pathy | 0.6.2 |
| Patsy | 0.5.2 | petastorm | 0.11.4 | pexpect | 4.8.0 |
| phik | 0.12.2 | pickleshare | 0.7.5 | Yastık | 8.4.0 |
| Pip | 21.2.4 | platformdirs | 2.5.2 | çizim | 5.9.0 |
| pmdarima | 1.8.5 | önceden gösterilmiş | 3.0.7 | prompt-toolkit | 3.0.20 |
| Peygamber | 1.0.1 | protobuf | 3.19.4 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | serçe | 7.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.10.0 |
| pycparser | 2.20 | pydantic | 1.9.2 | Pygments | 2.10.0 |
| PyGObject | 3.36.0 | PyJWT | 2.5.0 | PyMeeus | 0.5.11 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.31 | pyparsing | 3.0.4 |
| pirsistent | 0.18.0 | pystan | 2.19.1.1 | python-dateutil | 2.8.2 |
| python düzenleyicisi | 1.0.4 | pytz | 2021.3 | PyWavelets | 1.1.1 |
| PyYAML | 6,0 | pyzmq | 22.2.1 | Regex | 2021.8.3 |
| istekler | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
| rsa | 4,9 | s3transfer | 0.5.2 | scikit-learn | 0.24.2 |
| scipy | 1.7.1 | Sinan | 0.11.3 | Send2Trash | 1.8.0 |
| kurulum araçları | 58.0.4 | setuptools-git | 1.2 | Shap | 0.41.0 |
| simplejson | 3.17.6 | Altı | 1.16.0 | Dilimleyici | 0.0.7 |
| akıllı açma | 5.2.1 | smmap | 5.0.0 | spacy | 3.4.1 |
| spacy-legacy | 3.0.10 | spacy-loggers | 1.0.3 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | srsly | 2.4.4 | ssh-import-id | 5.10 |
| statsmodeller | 0.12.2 | sekmeli | 0.8.9 | unicode'da karışık | 0.1.0 |
| Azim | 8.0.1 | tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.9.1 |
| tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.27.0 | termcolor | 2.0.1 |
| terminado | 0.9.4 | test yolu | 0.5.0 | thinc | 8,1,2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | belirteç oluşturucular | 0.12.1 |
| tomli | 2.0.1 | Meşale | 1.12.1+cu113 | torchvision | 0.13.1+cu113 |
| Kasırga | 6.1 | tqdm | 4.62.3 | traitlets | 5.1.0 |
| Transformers | 4.21.2 | Typer | 0.4.2 | yazma uzantıları | 3.10.0.2 |
| ujson | 4.0.2 | katılımsız yükseltmeler | 0,1 | urllib3 | 1.26.7 |
| virtualenv | 20.8.0 | Vizyon | 0.7.4 | Wasabi | 0.10.1 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 1.3.1 |
| Werkzeug | 2.0.2 | Tekerlek | 0.37.0 | widgetsnbextension | 3.6.0 |
| kaydırma | 1.12.1 | xgboost | 1.6.2 | zipp | 3.6.0 |
R kitaplıkları
R kitaplıkları Databricks Runtime 11.3 LTS'deki R Kitaplıklarıyla aynıdır.
Java ve Scala kitaplıkları (Scala 2.12 kümesi)
Databricks Runtime 11.3 LTS'deki Java ve Scala kitaplıklarına ek olarak, Databricks Runtime 11.3 LTS ML aşağıdaki JAR'leri içerir:
CPU kümeleri
| Grup Kimliği | Yapıt Kimliği | Sürüm |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.29.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU kümeleri
| Grup Kimliği | Yapıt Kimliği | Sürüm |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.29.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |