Spark DataFrames データセットを TFRecord ファイルに保存するSave Spark DataFrames and Datasets to TFRecord Files

Spark-の並べ替えを使用して、Apache Spark Dataframes tfrecord ファイルに保存できます。You can use spark-tensorflow-connector to save Apache Spark DataFrames to TFRecord files. 詳細については、「Spark のデータ変換」を参照してください。See Spark-TensorFlow data conversion for details.

次の notebook の例では、MNIST のデータイメージを Spark DataFrames 読み込んで、spark での TFRecords に保存する方法を示します。The example notebook below demonstrates how to load MNIST data images to Spark DataFrames and save to TFRecords with spark-tensorflow-connector.

分散型 DL notebook 用の MNIST データを準備していますPreparing MNIST data for distributed DL notebook

ノートブックを取得するGet notebook