チュートリアル:AI Builder を使用してフォーム処理アプリを作成するTutorial: Create a form-processing app with AI Builder

AI Builder は Power Platform の機能であり、プロセスを自動化し、結果を予測して、ビジネスのパフォーマンスを向上させることができます。AI Builder is a Power Platform capability that allows you to automate processes and predict outcomes to improve business performance. AI Builder のフォーム処理を使用すると、フォーム ドキュメントからキーと値のペアおよびテーブル データを識別して抽出する AI モデルを作成できます。You can use AI Builder form processing to create AI models that identify and extract key-value pairs and table data from form documents.

注意

このプロジェクトは、Microsoft Learn モジュールとしても利用できます。This project is also available as a Microsoft Learn module.

このチュートリアルでは、以下の内容を学習します。In this tutorial, you learn how to:

  • フォーム処理 AI モデルを作成するCreate a form processing AI model
  • モデルをトレーニングするTrain your model
  • モデルを発行して Azure Power Apps または Power Automate で使用するPublish your model to use in Azure Power Apps or Power Automate

前提条件Prerequisites

フォーム処理プロジェクトを作成するCreate a form processing project

  1. Power Apps または Power Automate に移動し、組織のアカウントでサインインします。Go to Power Apps or Power Automate, and sign in with your organization account.
  2. 左側のウィンドウで、 [AI Builder] > [ビルド] を選択します。In the left pane, select AI Builder > Build.
  3. [フォーム処理] カードを選択します。Select the Form Processing card.
  4. モデルの名前を入力します。Type a name for your model.
  5. [作成] を選択しますSelect Create.

ドキュメントをアップロードして分析するUpload and analyze documents

[ドキュメントの追加] ページでは、情報を抽出するフォームの種類のモデルをトレーニングするためのサンプル ドキュメントを提供する必要があります。On the Add documents page, you need to provide sample documents to train your model for the type of form you want to extract information from. ドキュメントをアップロードすると、AI Builder によりそれらが分析されて、モデルをトレーニングするのに十分であることが確認されます。After you upload your documents, AI Builder analyzes them to check that they're sufficient to train a model.

注意

現在、AI Builder では、次の種類のフォーム処理入力データはサポートされていません。AI Builder does not currently support the following types of form processing input data:

  • 複雑なテーブル (入れ子になったテーブル、マージされたヘッダーまたはセルなど)Complex tables (nested tables, merged headers or cells, and so on)
  • チェック ボックスまたはラジオ ボタンCheck boxes or radio buttons
  • 50 ページを超える PDF ドキュメントPDF documents longer than 50 pages
  • 入力可能な PDFFillable PDFs

入力ドキュメントの要件の詳細については、「入力の要件」を参照してください。For more information about requirements for input documents, see input requirements.

ドキュメントをアップロードするUpload your documents

  1. [ドキュメントの追加] を選択し、最低 5 つのドキュメントを選択して、 [アップロード] を選択します。Select Add documents, select a minimum of five documents, and then select Upload.
  2. アップロードが完了したら、 [閉じる] を選択します。After the upload is completed, select Close.
  3. 次に、 [分析] を選択します。Then select Analyze.

注意

これらのドキュメントをアップロードした後でも、ドキュメントの一部を削除したり、他のドキュメントをアップロードしたりすることができます。After you upload these documents, you can still remove some of the documents or upload additional ones.

[ドキュメントの追加] ボタンが強調表示されているスクリーンショット。Screenshot that highlights the Add documents button.

ドキュメントを分析するAnalyze your documents

分析ステップでは、アップロードしたドキュメントが AI Builder によって調べられ、フィールドとテーブルが検出されます。During the analysis step, AI Builder examines the documents that you uploaded and detects the fields and tables. この操作の完了に要する時間は、提供したドキュメントの数によって異なりますが、ほとんどの場合は数分で完了します。The time it takes to complete this operation depends on the number of documents provided, but in most cases it should only take a few minutes.

分析が完了したら、サムネイルを選択してフィールド選択エクスペリエンスを開きます。When the analysis has finished, select the thumbnail to open the field selection experience.

重要

分析が失敗した場合は、AI Builder でドキュメント内の構造化テキストを検出できなかった可能性があります。If the analysis failed, it's likely because AI Builder couldn't detect structured text in your documents. 更新したドキュメントが入力要件に従っていることを確認します。Verify that the documents you updated follow the input requirements.

フォームのフィールドを選択するSelect your form fields

フィールド選択ページでは、重要な意味を持つフィールドを選択します。On the field selection page, you choose the fields that matter to you:

  1. フィールドを選択するには、ドキュメントで検出されたフィールドを示す四角形をクリックするか、クリックしてドラッグすることにより複数のフィールドを選択します。To select a field, click on a rectangle that indicates a detected field in the document, or select multiple fields by clicking and dragging. 右側のペインからフィールドを選択することもできます。You can also select fields from the right-side pane.

  2. ニーズに合わせて名前を変更する場合や、抽出されたラベルを正規化する場合は、選択したフィールドの名前をクリックします。Click the name of the selected field if you want to rename it to align with your needs or normalize the extracted labels.

    検出されたフィールドをクリックすると、次の情報が表示されます。When you click on a detected field, the following information appears:

    • フィールド名: 検出されたフィールドのラベルの名前。Field name: The name of the label for the detected field.
    • フィールド値: 検出されたフィールドの値。Field value: The value for the detected field.

タグ付けのページtagging page

検出されないフィールドにラベルを付けるLabel undetected fields

ラベルを付けたいフィールドがモデルによって自動的に検出されなかった場合は、その値を囲むように四角形を描画し、表示されるダイアログにラベル名を入力できます。If the field you want to label wasn't detected automatically by the model, you can draw a rectangle around its value and type a label name in the dialog that appears.

モデルをトレーニングするTrain your model

  1. [次へ] を選択して、選択されたフォームのフィールドを確認します。Select Next to check your selected form fields. すべて問題がなければ、 [トレーニング] を選択してモデルをトレーニングします。If everything looks good, select Train to train your model.

    トレーニングのページtraining page

  2. トレーニングが完了したら、 [トレーニングが完了しました] 画面で [詳細ページに移動する] を選択します。When training completes, select Go to Details page in the Training complete screen.

モデルのクイック テストを行うQuick-test your model

[詳細] ページでは、モデルを発行または使用する前にテストすることができます。The Details page allows you to test your model before you publish or use it:

  1. [詳細] ページで、 [クイック テスト] を選択します。On the Details page, select Quick test.
  2. ドキュメントをドラッグ アンド ドロップするか、 [デバイスからアップロード] を選択して、テスト ファイルをアップロードすることができます。You can either drag and drop a document or select Upload from my device to upload your test file. クイック テストでは、結果が表示されるまでに数秒しかかかりません。The quick-test should only take a few seconds before displaying the results.
  3. [やり直す] を選択して別のテストを実行することができ、終了した場合は [閉じる] を選択します。You can select Start over to run another test or Close if you're finished.

トラブルシューティングのヒントTroubleshooting tips

特定のフィールドの結果が悪かったり、信頼度が低い場合は、次のヒントを試してください。If you're getting bad results or low confidence scores for certain fields, try the following tips:

  • 各フィールドに異なる値が含まれたフォームを使用して再トレーニングします。Retrain using forms with different values in each field.
  • より大きなトレーニング ドキュメントを使用して再トレーニングします。Retrain using a larger set of training documents. タグ付けするドキュメントが多いほど、AI Builder によるフィールドの認識方法の学習が向上します。The more documents you tag, the more AI Builder will learn how to better recognize the fields.
  • 特定のページだけを選択してトレーニングすることで、PDF ファイルを最適化することができます。You can optimize PDF files by selecting only certain pages to train with. ドキュメント内の特定のページを選択するには、 [印刷] ** > [Print to PDF](PDF に印刷)** オプションを使用します。Use the Print > Print to PDF option to select certain pages within your document.

モデルを発行するPublish your model

モデルに問題がなければ、 [発行] を選択して発行します。If you're happy with your model, select Publish to publish it. 発行が完了すると、モデルは [Published](発行済み) として昇格され、使用できるようになります。When publishing completes, your model is promoted as Published and is ready to be used.

発行モデルのページpublish model page

フォーム処理モデルを発行した後は、Power Apps キャンバス アプリまたは Power Automate でそれを使用できます。After you've published your form processing model, you can use it in a Power Apps canvas app or in Power Automate.

次のステップNext steps

フォーム処理モデルを使用する方法については、AI Builder のドキュメントを参照してください。Follow the AI Builder documentation for using a form-processing model.