すべてのデータを TFRecord ファイルに保存するSave Data to TFRecord Files with TensorFlow

データを読み込んで、このデータを TFRecord ファイルに保存することができます。You can load data and use TensorFlow to save the data to TFRecord files. 詳細については、「azure のフローファイルの形式」を参照してください。See TensorFlow File Formats for details.

注意

このガイドは、「包括的なガイド」ではありません。This guide is not a comprehensive guide on TensorFlow. 「Azure azure API ガイド」を参照してください。See the TensorFlow API Guide.

データを TFRecord ファイルに保存する場合、ワークフローは次のようになります。To save your data to TFRecord files, the workflow is as follows:

手順 1: 独自のプログラムを使用してデータを読み込みます。Step 1: Load the data with your own program.

手順 2: python_io を使用して TFRecord ファイルを開きます。TFRecordWriterStep 2: Open a TFRecord file with tf.python_io.TFRecordWriter.

手順 3: データを解析し、TFRecord ファイルに保存します。Step 3: Parse and save the data to TFRecord files. 次の手順に従ってください。Follow these steps:

  1. Tf. BytesListFloatList、またはtf. Int64Listを使用して、データを tf に変換ます。Convert your data into tf.train.Feature using tf.train.BytesList, tf.train.FloatList, or tf.train.Int64List.
  2. 変換されたデータを使用して、 tfを作成します。Create a tf.train.Features with the converted data.
  3. 例として、サンプルのプロトコルバッファーを作成します。Create an Example protocol buffer with tf.train.Example.
  4. @No__t_0 を使用して、この例を文字列にシリアル化します。Serialize the Example to string using tf.train.Example.SerializeToString().
  5. 作成した TFRecordWriter を使用して、シリアル化された例を TFRecord に書き込みます。Write the serialized example to TFRecord with the created TFRecordWriter.

次の notebook の例では、MNIST データを TFRecord 形式に変換する方法を示しています。The example notebook below demonstrates how to convert MNIST data to TFRecord format.

分散型 DL notebook 用に MNIST データを準備するPrepare MNIST data for distributed DL notebook

ノートブックを取得するGet notebook