Instalowanie biblioteki TensorFlow

Databricks Runtime for Machine Learning obejmuje tensorFlow. Aby uzyskać informacje o wersji programu TensorFlow zainstalowanej w Databricks Runtime ML, zobacz informacje o wersji.

Jeśli chcesz użyć przepływu TensorFlow, zaleca się użycie tej Databricks Runtime doMachine Learning . Jeśli jednak musisz użyć tej Databricks Runtime, możesz ręcznie zainstalować tensorFlow. Ta sekcja zawiera instrukcje dotyczące instalowania programu TensorFlow na platformie Databricks Runtime, a także do instalowania na platformie Databricks Runtimewersji Machine Learning . Ze względu na zależności pakietów mogą wystąpić problemy ze zgodnością z innymi wstępnie zainstalowanymi pakietami. Po zakończeniu instalacji możesz sprawdzić zainstalowaną wersję, uruchamiając następujące polecenie w notesie języka Python:

import tensorflow as tf
print([tf.__version__, tf.test.is_gpu_available()])

Zainstaluj program TensorFlow 2.4 na Databricks Runtime 7.6

Azure Databricks zaleca się użycie poleceń magic %pip w celu zainstalowania programu TensorFlow.

Oficjalna wersja tensorFlow 2.4 jest zgodna z technologią CUDA 11.0, która nie jest zgodna z technologią CUDA 10.1 zainstalowaną w programie Databricks Runtime 7.0 ML i jego wersjach.

Azure Databricks udostępnia niestandardową kompilację rozwiązania TensorFlow 2.4.0, która jest zgodna z technologią CUDA 10.1. Użyj następującego polecenia procesora GPU, aby go zainstalować.

Procesora

%pip install tensorflow-cpu==2.4.*

Gpu

%pip install "https://databricks-prod-cloudfront.cloud.databricks.com/artifacts/tensorflow/runtime-7.x/tensorflow-2.4.0-cp37-cp37m-linux_x86_64.whl"

Zainstaluj program TensorFlow 2.3 w Databricks Runtime 7.2

Azure Databricks zaleca się użycie poleceń magic %pip w celu zainstalowania programu TensorFlow.

W notesie uruchom:

%pip install tensorflow-cpu==2.3.*

Zainstaluj program TensorFlow 1.15 w Databricks Runtime 7.2

W notesie uruchom:

%pip install tensorflow-cpu==1.15.*

Zainstaluj program TensorFlow 2.3 na Databricks Runtime 7.2 ML

W notesie uruchom:

Procesora

%pip install tensorflow-cpu==2.3.*

Gpu

%pip install tensorflow-gpu==2.3.*

Zainstaluj program TensorFlow 1.15 na Databricks Runtime 7.2 ML

W notesie uruchom:

Procesora

%pip install tensorflow-cpu==1.15.*

Gpu

Oficjalna wersja tensorFlow 1.15 jest zgodna z technologią CUDA 10.0, która nie jest zgodna z technologią CUDA 10.1 zainstalowaną w programie Databricks Runtime 7.0 ML i jego wersjach.

Azure Databricks udostępnia niestandardową kompilację rozwiązania TensorFlow 1.15.3, która jest compatbile z platformą CUDA 10.1. Użyj następującego polecenia, aby go zainstalować.

%pip install https://databricks-prod-cloudfront.cloud.databricks.com/artifacts/tensorflow/runtime-7.x/tensorflow-1.15.3-cp37-cp37m-linux_x86_64.whl

Zainstaluj platformę TensorFlow 2.3 na platformie Databricks Runtime 5.5 LTS dla Machine Learning

Skrypt init dla klastrów w:

Procesora

#!/bin/bash

set -e

/databricks/python/bin/python -V
. /databricks/conda/etc/profile.d/conda.sh
conda activate /databricks/python

pip install --upgrade pip
pip install tensorflow-cpu==2.3.* setuptools==41.* grpcio==1.24.*

Gpu

#!/bin/bash

set -e

apt-get remove -y --auto-remove cuda-toolkit-10-0
apt-get update
apt-get install -y --no-install-recommends --allow-downgrades \
  libnccl2=2.4.8-1+cuda10.1 \
  libnccl-dev=2.4.8-1+cuda10.1 \
  cuda-libraries-10-1 \
  libcudnn7=7.6.4.38-1+cuda10.1 \
  libcudnn7-dev=7.6.4.38-1+cuda10.1 \
  libcublas10=10.2.1.243-1 \
  libcublas-dev=10.2.1.243-1 \
  cuda-libraries-dev-10-1 \
  cuda-compiler-10-1
ln -sfn cuda-10.1 /usr/local/cuda

/databricks/python/bin/python -V
. /databricks/conda/etc/profile.d/conda.sh
conda activate /databricks/python

pip install --upgrade pip
pip install tensorflow==2.3.* setuptools==41.* grpcio==1.24.*

Instalowanie programu TensorFlow 2.3 na Databricks Runtime 5.5 LTS

Skrypt init dla klastrów w:

Procesora

#!/bin/bash

set -e

/databricks/python/bin/python -V
/databricks/python/bin/pip install tensorflow-cpu==2.3.* setuptools==41.* pyasn1==0.4.6
/databricks/python/bin/pip uninstall -y numpy
rm -rf /databricks/python/lib/python3.5/site-packages/numpy
/databricks/python/bin/pip install numpy==1.18.4

Gpu

#!/bin/bash

set -e

apt-get update
apt-get install -y gnupg-curl

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_10.1.243-1_amd64.deb
dpkg -i cuda-repo-ubuntu1604_10.1.243-1_amd64.deb
apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub

wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
dpkg -i nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb

apt-get update
apt-get install -y --no-install-recommends --allow-downgrades \
  libnccl2=2.4.8-1+cuda10.1 \
  libnccl-dev=2.4.8-1+cuda10.1 \
  cuda-libraries-10-1 \
  libcudnn7=7.6.4.38-1+cuda10.1 \
  libcudnn7-dev=7.6.4.38-1+cuda10.1 \
  libcublas10=10.2.1.243-1 \
  libcublas-dev=10.2.1.243-1 \
  cuda-libraries-dev-10-1 \
  cuda-compiler-10-1
ln -sfn cuda-10.1 /usr/local/cuda

/databricks/python/bin/python -V
/databricks/python/bin/pip install tensorflow==2.3.* setuptools==41.*
/databricks/python/bin/pip uninstall -y numpy
rm -rf /databricks/python/lib/python3.5/site-packages/numpy
/databricks/python/bin/pip install numpy==1.18.4

Znane problemy z przepływem TensorFlow 2

TensorFlow 2 ma znaną niezgodność z picklingiem języka Python. Możesz go napotkać, jeśli używasz PySpark, HorovodRunner,Hyperoptlub innych pakietów, które zależą od wyboru. Obejście to jawne zaimportowanie modułów TensorFlow wewnątrz funkcji. Oto przykład:

import tensorflow as tf

def bad_func(_):
  tf.keras.Sequential()

# You might see an error.
sc.parallelize(range(0)).foreach(bad_func)

def good_func(_):
  import tensorflow as tf
  tf.keras.some_func

# No error.
sc.parallelize(range(0)).foreach(good_func)

Zainstaluj platformę TensorFlow 1.15 na platformie Databricks Runtime 5.5 LTS dla Machine Learning

Azure Databricks zaleca się użycie skryptu init do zainstalowania programu TensorFlow 1.15 na platformie Databricks Runtime 5.5 LTS dla Machine Learning.

Skrypt init dla klastrów w:

Procesora

#!/bin/bash

set -e

/databricks/python/bin/python -V
. /databricks/conda/etc/profile.d/conda.sh
conda install -y conda=4.6
conda activate /databricks/python

conda install -y tensorflow-mkl=1.15 setuptools=41

Gpu

#!/bin/bash

set -e

/databricks/python/bin/python -V
. /databricks/conda/etc/profile.d/conda.sh
conda install -y conda=4.6
conda activate /databricks/python

conda install -y tensorflow-gpu=1.15 setuptools=41

Zainstaluj program TensorFlow 1.15 na Databricks Runtime 5.5 LTS

Azure Databricks zaleca się użycie skryptu init do zainstalowania programu TensorFlow 1.15 na Databricks Runtime 5.5 LTS.

Skrypt init dla klastrów w:

Procesora

#!/bin/bash

set -e

/databricks/python/bin/python -V
/databricks/python/bin/pip install tensorflow-cpu==1.15.* setuptools==41.*

Gpu

#!/bin/bash

set -e

apt-get update
apt-get install -y gnupg-curl

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_10.0.130-1_amd64.deb
dpkg -i cuda-repo-ubuntu1604_10.0.130-1_amd64.deb
apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub

wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
dpkg -i nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb

apt-get update
apt-get install -y --no-install-recommends cuda-libraries-10-0 libcudnn7=7.4.2.24-1+cuda10.0

/databricks/python/bin/python -V
/databricks/python/bin/pip install tensorflow-gpu==1.15.* setuptools==41.*