演習 - Computer Vision ソリューションを設計する
このモジュールでは、音声によってコミュニケーションできる IoT Edge デバイスを使用する画像認識ソリューションを構築します。 このソリューションでは、3 つの Azure サービスを使用します。それぞれに Free レベルのサービスがあります。
Linux コンピューター用の IoT Edge ランタイムを IoT Edge デバイスとして機能するように構成します。 Visual Studio Code を使用して、ソリューションをエッジにデプロイします。
ソリューションのコンポーネント
ソリューションは Azure IoT Edge で実行され、一体となって機能する複数のサービスで構成されます。
- カメラ キャプチャ モジュールによって、カメラを使用して商品がスキャンされます。
- 画像分類モジュールによって、商品が識別されます。 画像分類モジュールは、スキャンされた商品を分類する果物の画像を使用してトレーニングされている機械学習モデルで構成されています。
- テキスト読み上げモジュールによって、商品ラベルが音声に変換されます。 その後、スキャンされた商品の名前がスピーカーから再生されます。 テキスト読み上げモジュールにより、スキャンされた商品の名前が Azure Speech Services を使用して音声に変換されます。
- USB カメラによって、購入される商品の画像がキャプチャされます。
- スピーカーを使用して、テキストから認識された商品 (の名前) が再生されます。
- Azure IoT Hub (Free レベル) によって、ソリューションを実装するために使用される Azure IoT Edge デバイスが管理されます。
- Azure Speech Services (Free レベル) によって、スキャンされた商品について買い物客に通知する自然な音声が生成されます。
- Azure Custom Vision Service を使用して、画像分類に使用される果物モデルが構築されます。
- Visual Studio Code はソース コード エディターです。 IoT デバイスの開発ツールとして Visual Studio Code を使用します。
実行する手順
モジュール全体の手順は次のとおりです。
IoT Edge デバイスを構成する
a. IoT Hub の作成
b. ハブにエッジ デバイスを作成する
c. Linux に IoT Edge ランタイムをインストールする
d. Azure IoT Edge への接続文字列を設定する
リポジトリの複製
Azure 音声サービスを作成する
ソリューションのビルドおよび配置
ソリューションを監視する
モジュールを完成させると、Linux コンピューターは IoT Edge デバイスとして機能し、それが IoT Hub に対して構成されます。 モジュールはエッジ デバイス上にデプロイします。 結果として得られるソリューションでは、セルフレジ シナリオに対して Azure AI サービスを使用する画像分類が実行されます。