Instalar o TensorFlow 2.1 em clusters de GPU do Databricks Runtime 6.5 ML

Databricks Runtime ML inclui versões do TensorFlow para que possa usá-lo sem instalar quaisquer pacotes.

Versão ML de runtime de databricks Versão TensorFlow
7.0 2.2.0
6.3 - 6.6 1.15.0

Pode instalar outras versões do TensorFlow utilizando um script init com âmbito de cluster.

Neste artigo, aprende-se a instalar o TensorFlow 2.1 em clusters GPU de Databricks Runtime 6.5 ML.

Importante

Remover bibliotecas predefinidas e instalar novas versões pode causar instabilidade ou quebrar completamente o seu cluster Azure Databricks. Deve testar cuidadosamente qualquer nova versão da biblioteca no seu ambiente antes de executar trabalhos de produção.

Instale o script init

  1. Instale o seguinte script init com âmbito de cluster no seu cluster de Série de Dados Runtime 6.5 ML cluster.

    #!/bin/bash
    set -e
    
    apt-get update
    apt-get install -y --no-install-recommends --allow-downgrades \
      libnccl2=2.4.8-1+cuda10.1 \
      libnccl-dev=2.4.8-1+cuda10.1 \
      cuda-libraries-10-1 \
      libcudnn7=7.6.4.38-1+cuda10.1 \
      libcudnn7-dev=7.6.4.38-1+cuda10.1 \
      libnvinfer6=6.0.1-1+cuda10.1 \
      libnvinfer-dev=6.0.1-1+cuda10.1 \
      libnvinfer-plugin6=6.0.1-1+cuda10.1
    apt-get clean
    ln -sfn cuda-10.1 /usr/local/cuda
    
    pip install tensorflow==2.1.* setuptools==41.* grpcio==1.24.*
    
    # This `conda list` is necessary to recognize the pip-installed packages.
    conda list
    conda install cudatoolkit=10.1
    
  2. Reinicie o aglomerado.