TensorFlow と TensorRT を使用したモデル推論
この記事のノートブックの例では、TensorFlow と TensorFlowRT を使用した、Azure Databricks 推奨のディープ ラーニング推論ワークフローを示します。 この例では、モデル推論のために TensorRT を使用してトレーニング済みの ResNet-50 モデルを最適化する方法を示します。
NVIDIA TensorRT は、ディープ ラーニング推論アプリケーションの低待機時間と高スループットを実現する、高パフォーマンスの推論オプティマイザーおよびランタイムです。 TensorRT は、GPU 対応バージョンの Databricks Runtime for Machine Learning にインストールされています。