エンドポイント発話のレビューによるアクティブ ラーニング実現の概念

アクティブ ラーニングは、3 つの予測精度の改善戦略の 1 つで、最も簡単に実装できます。 アクティブ ラーニングによって、エンドポイント発話の意図とエンティティが正しいことをレビューします。 LUIS が確証を持てないエンドポイント発話が LUIS によって選択されます。

アクティブ ラーニングとは

アクティブ ラーニングは 2 段階のプロセスです。 まず、LUIS がアプリのエンドポイントで受信した発話が、LUIS によって選択されます。 次のステップで、アプリの所有者またはコラボレーターが、選択された発話を、正しい意図とその意図内の任意のエンティティを含め、レビューのために検証します。 発話をレビューしたら、アプリをもう一度トレーニングして公開します。

どの発話がレビュー リストに追加されるか

最上位にある実行中の意図のスコアが低いとき、または上位 2 つの意図のスコアが非常に近いときに、その発話は LUIS によってレビュー リストに追加されます。

アプリごとの発話のための 1 つのプール

[エンドポイントの発話の確認] 一覧は、バージョンによって変化しません。 どのバージョンの発話をアクティブに編集しているか、またはどのバージョンのアプリがエンドポイントで発行されたかには関係なく、確認すべき発話のプールが 1 つあります。

REST API ではバージョン名が必要で、アプリケーション内になくてはなりませんが、その検証以外に使われることはありません。 レビュー発話はアプリケーション全体に適用されます。 1 つの バージョン から発話を削除すると、すべてのバージョンが影響を受けます。

発話の取得元

エンドポイント発話は、アプリケーションの HTTP エンドポイントのエンド ユーザーのクエリから取得されます。 お使いのアプリが公開されていない場合や、まだヒットがない場合、レビュー対象の発話はありません。 特定の意図またはエンティティについて、エンドポイントでヒットがない場合は、それを含む、レビュー対象の発話がありません。

レビューを定期的にスケジュール設定

提案された発話は必ずしも毎日レビューする必要はありませんが、LUIS の定期的なメンテナンスに組み込むことをお勧めします。

プログラムによるレビュー項目の削除

ラベルなしの発話の削除 API を使用します。 ログ ファイルをエクスポートする ことで、削除前にこれらの発話をバックアップします。

アクティブ ラーニングを有効にする

アクティブ ラーニングを有効にするには、ユーザー クエリをログに記録する必要があります。 そのためには、log=true という querystring パラメーターと値を指定し、エンドポイント クエリを呼び出します。

次のステップ

  • エンドポイント発話をレビューする方法を確認します