テキスト分析の使用を開始する
Azure AI Language は、非構造化テキストに対して高度な自然言語処理を実行できる Azure AI サービス内容の一部です。 Azure AI Language のテキスト分析機能には、次のものが含まれています。
- 名前付きエンティティ認識では、人、場所、イベントなどを識別します。 この機能は、カスタム カテゴリを抽出するようにカスタマイズすることもできます。
- エンティティ リンクでは、既知のエンティティを識別し、Wikipedia へのリンクを示します。
- 個人を特定できる情報 (PII) の検出では、個人の健康情報 (PHI) などの個人の機密情報を識別します。
- 言語検出では、テキストの言語を識別し、英語を表す "en" などの言語コードを返します。
- 感情分析とオピニオン マイニングでは、テキストが肯定的か否定的かを識別します。
- 要約では、最も重要な情報を識別してテキストを要約します。
- キー フレーズ抽出では、非構造化テキストから主要な概念を一覧表示します。
エンティティ認識とエンティティ リンク
Azure AI Language に非構造化テキストを提供すると、テキスト内で認識される "エンティティ" の一覧が返されます。 エンティティは、特定の種類またはカテゴリ (場合によっては、次の表に示すようなサブタイプ) の項目です。
| Type | サブタイプ | 例 |
|---|---|---|
| 人物 | "Bill Gates"、"John" | |
| 場所 | "パリ"、"ニューヨーク" | |
| 組織 | "Microsoft" | |
| Quantity | Number | "6"、"六" |
| Quantity | パーセント | "25%"、"50 パーセント" |
| Quantity | Ordinal | "第 1"、"最初" |
| Quantity | Age | "生まれて 90 日"、"30 歳" |
| Quantity | Currency | "10.99" |
| Quantity | Dimension | "10 マイル"、"40 cm" |
| Quantity | 気温 | "45 度" |
| DateTime | "2012 年 2 月 4 日午後 6 時 30 分" | |
| DateTime | Date | "2017 年 5 月 2 日"、"05/02/2017" |
| DateTime | Time | "午前 8 時"、"8:00" |
| DateTime | DateRange | "5 月 2 日から 5 月 5 日" |
| DateTime | TimeRange | "午後 6 時から午後 7 時" |
| DateTime | Duration | "1 分 45 秒" |
| DateTime | オン | "毎週火曜日" |
| URL | "https://www.bing.com" |
|
| 電子メール | "support@microsoft.com" |
|
| 米国ベースの電話番号 | "(312) 555-0176" | |
| IP アドレス | "10.0.1.125" |
Azure AI Language では、"エンティティのリンク" もサポートしており、特定の参照にリンクすることでエンティティのあいまいさを解消するのに役立ちます。 認識されたエンティティについて、サービスでは、関連する "ウィキペディア" の記事の URL を返します。
たとえば、Azure AI Language を使用して、次のレストラン レビューの抽出物のエンティティを検出するとします。
"I 先週シアトルにあるレストランで食事をしました。"
| エンティティ | 種類 | サブタイプ | ウィキペディアの URL |
|---|---|---|---|
| シアトル | 場所 | https://en.wikipedia.org/wiki/Seattle | |
| 先週 | DateTime | DateRange |
言語検出
Azure AI Language の言語検出機能を使用して、テキストが記述されている言語を識別できます。 分析のために、複数のドキュメントを一度に送信できます。 このサービスでは、送信されたドキュメントごとに、次のものを検出します。
- 言語名 (例: "英語")。
- ISO 639-1 言語コード (例: "en")。
- 言語検出の信頼度を示すスコア。
たとえば、レストランを所有し、経営しているシナリオについて考えてみましょう。顧客は、レストランの調査を行って、料理、サービス、スタッフなどについてフィードバックを提供できます。 顧客から次のレビューを受け取ったとしましょう。
レビュー 1: "A fantastic place for lunch. The soup was delicious."
レビュー 2: "Comida maravillosa y gran servicio."
レビュー 3: "The croque monsieur avec frites was terrific. Bon appetit!"
Azure AI Language のテキスト分析機能を使用して、これらの各レビューの言語を検出できます。この場合は、次の結果が返される可能性があります。
| ドキュメント | 言語名 | ISO 6391 コード | スコア |
|---|---|---|---|
| レビュー 1 | 英語 | en | 1.0 |
| レビュー 2 | スペイン語 | es | 1.0 |
| レビュー 3 | 英語 | en | 0.9 |
英語とフランス語が混在するテキストにもかかわらず、レビュー 3 で検出された言語が英語であることにご注意ください。 言語検出サービスでは、テキスト内の "主要な" 言語に焦点を当てます。 このサービスでは、アルゴリズムを使用して、主要な言語を決定します。たとえば、その言語のフレーズの長さやテキストの合計量などがテキスト内の他の言語と比較されます。 主要な言語は、言語コードと共に返される値です。 テキストの言語が混在している場合、結果として、信頼度スコアが 1 未満になる場合があります。
テキストは、本質的にあいまいな場合や、言語が混在した内容が含まれる場合があります。 このような状況では、課題が発生する可能性があります。 あいまいなコンテンツの例としては、ドキュメントに含まれるテキストが限られている場合や、句読点のみが含まれている場合などがあります。 たとえば、Azure AI Language を使用してテキスト ":-)" を分析すると、言語名と言語識別子の値が不明になり、スコアは NaN ("数値ではない" ことを示すために使用されます) になります。
感情分析とオピニオン マイニング
Azure AI Language のテキスト分析機能では、テキストを評価し、各文のセンチメント スコアとラベルを返すことができます。 この機能は、ソーシャル メディア、カスタマー レビュー、ディスカッション フォーラムなどで肯定的な感情と否定的な感情を検出するのに役立ちます。
Azure AI Language では、事前構築済みの機械学習分類モデルを使用してテキストを評価します。 このサービスでは、センチメント スコアを肯定、中立、否定の 3 つのカテゴリで返します。 各カテゴリでは、0 から 1 までのスコアが提供されます。 スコアは、指定されたテキストが特定のセンチメントである可能性を示します。 1 つのドキュメント センチメントも提供されます。
たとえば、次の 2 つのレストラン レビューの感情分析を行うことができます。
レビュー 1: "昨夜、このレストランで食事をしましたが、最初に気づいたのはスタッフの礼儀正しさでした。私たちは親しみを込めた出迎えを受け、すぐに席に案内されました。テーブルはきれいで、椅子は快適でした。料理もとてもおいしかったです。"
and
レビュー 2: "このレストランでの食事は、私が今まで経験した中で最悪なものの 1 つでした。サービスは遅く、料理はひどいものでした。こんな店では二度と食事しません。"
最初のレビューのセンチメント スコアは、ドキュメント センチメント: 肯定的 肯定スコア: .90 中立スコア: .10 否定スコア: .00 となります。
2 番目のレビューでは、応答として、ドキュメント センチメント: 否定的 肯定スコア: .00 中立スコア: .00 否定スコア: .99 が返されます。
キー フレーズ抽出
キー フレーズ抽出は、テキストから主要ポイントを特定します。 前に説明したレストランのシナリオについて考えてみましょう。 アンケートの数が多い場合は、レビューに目を通すのに長時間かかる可能性があります。 代わりに、言語サービスのキー フレーズ抽出機能を使用すると、要点をまとめることができます。
次のようなレビューを受け取ったとしましょう。
"誕生日のお祝いに、ここで夕食をいただきましたが、すばらしい経験でした。私たちは親切な接客係の女性に出迎えられ、予約した席にすぐに案内されました。くつろげる雰囲気で、料理も非常においしく、サービスは最高でした。すばらしい料理と気配りの行き届いたサービスが好きなら、ぜひこの場所を訪ねるべきです。"
キー フレーズ抽出では、次のフレーズを抽出することによって、このレビューにコンテキストを与えることができます。
- 誕生日のお祝い
- すばらしい経験
- 親切な接客係の女性
- すばらしい料理
- 気配りの行き届いたサービス
- 夕食
- table
- 雰囲気
- 場所
感情分析を使用して、それが肯定的なレビューであると判断できるだけでなく、キー フレーズ サービスを使用して、レビューの重要な要素を特定することもできます。
Azure AI Language 用のリソースを作成する
アプリケーションで Azure AI Language を使用するには、Azure サブスクリプションで適切なリソースをプロビジョニングする必要があります。 次のいずれかの種類のリソースを選択できます。
- 言語リソース - Azure AI Language サービスのみの使用を予定している場合、またはリソースのアクセスと課金を他のサービスとは別に管理する場合は、このリソースの種類を選択します。
- Azure AI サービス リソース - Azure AI Language を他の Azure AI サービスと組み合わせて使用する予定で、これらのサービスのアクセスと課金を一緒に管理する場合は、このリソースの種類を選択します。