Apprentissage approfondi

Cet article présente brièvement l’utilisation de PyTorch, Tensorflow et une formation distribuée pour le développement et l’optimisation des modèles d’apprentissage profond sur Azure Databricks. Il inclut également des liens vers des pages avec des exemples de notebooks illustrant comment utiliser ces outils.

• Pour obtenir des instructions générales sur l’optimisation des flux de travail d’apprentissage profond sur Azure Databricks, consultez Meilleures pratiques pour l’apprentissage profond sur Azure Databricks.
• Pour plus d’informations sur l’utilisation de modèles de langage volumineux et l’IA générative sur Azure Databricks, consultez :
  • Grand modèles de langage (LLM) sur Databricks.
  • IA générative et grands modèles de langage (LLM) sur Azure Databricks.

PyTorch

PyTorch est inclus dans Databricks Runtime ML et fournit un calcul de tenseur accéléré par GPU et des fonctionnalités de haut niveau pour la création de Deep Learning. Vous pouvez effectuer un entraînement à nœud unique ou un entraînement distribué avec PyTorch sur Databricks. Consultez PyTorch.

TensorFlow

Databricks Runtime ML inclut TensorFlow et TensorBoard. Vous pouvez donc utiliser ces bibliothèques sans installer de packages. TensorFlow prend en charge le Deep Learning et les calculs numériques généraux sur les processeurs, les GPU et les clusters de GPU. TensorBoard fournit des outils de visualisation pour vous aider à déboguer et optimiser les workflows de Machine Learning et de Deep Learning. Consultez TensorFlow pour obtenir des exemples d’entraînement à nœud unique et distribué.

Entraînement distribué

Les modèles Deep Learning étant gourmands en données et en calcul, l’entraînement distribué peut être important. Pour obtenir des exemples de Deep Learning distribué utilisant des intégrations avec Horovod, spark-tensorflow-distributor, TorchDistributor et DeepSpeed, consultez Entraînement distribué.

Suivre le développement de modèles Deep Learning

Le suivi reste une pierre angulaire de l’écosystème MLflow et est particulièrement essentiel pour la nature itérative du Deep Learning. Databricks utilise MLflow pour suivre les exécutions d’apprentissage profond et le développement de modèles. Voir Suivre le développement de modèles à l’aide de MLflow.