Web Language Model API とはWhat is the Web Language Model API? (プレビュー)(Preview)


Web Language Model プレビューは、2018 年 8 月 9 日に使用停止になりました。The Web Language Model preview was decommissioned on August 9, 2018. テキスト処理と分析には、Azure Machine Learning テキスト解析モジュールの使用をお勧めします。We recommend using Azure Machine Learning text analytics modules for text processing and analysis.

Microsoft Web Language Model API は、自然言語処理のための最新ツールを提供する REST ベースのクラウド サービスです。The Microsoft Web Language Model API is a REST-based cloud service providing state-of-the-art tools for natural language processing. アプリケーションでこの API を使用すると、Bing が en-US マーケットで収集した Web 規模のコーパスでトレーニングした言語モデルを通じて、ビッグ データの力を活用できます。Using this API, your application can leverage the power of big data through language models trained on web-scale corpora collected by Bing in the en-US market.

このように平滑化された N-gram のバックオフ言語モデルは、5 段階までのマルコフ連鎖をサポートし、次のコーパスでトレーニングされます。These smoothed backoff N-gram language models, supporting up to fifth-order Markov chains, are trained on the following corpora:

  • Web ページの本文テキストWeb page body text
  • Web ページのタイトル テキストWeb page title text
  • Web ページのアンカー テキストWeb page anchor text
  • Web 検索クエリ テキストWeb search query text

Web Language Model API では、次の 4 つの検索操作がサポートされています。The Web Language Model API supports four lookup operations:

  1. 一連の単語の結合 (log10) 確率。Joint (log10) probability of a sequence of words.
  2. 与えられた一連の単語の前に 1 つの単語が登場する条件付き (log10) 確率。Conditional (log10) probability of one word given a sequence of preceding words.
  3. 与えられた一連の単語に続く可能性が最も高い単語 (補完) の一覧。List of words (completions) most likely to follow a given sequence of words.
  4. スペースを含まない文字列の単語分割。Word breaking of strings that contain no spaces.

Getting Started (概要)Getting Started

  1. サービスをサブスクライブします。Subscribe to the service.
  2. SDK をダウンロードします。Download the SDK.
  3. SDK のサンプル コードを実行します。Run the SDK sample code.
  4. エンドポイントの完全な説明は、API リファレンスを参照してください。さまざまな言語のコード スニペットも含まれています。Refer to the API Reference for full details of the endpoints, including code snippets in a variety of languages.

基礎となるテクノロジUnderlying Technology

次の論文で、これらの言語モデルの開発について詳細に説明しています。このサービスを使用する研究発表では、この論文を引用する必要があります。The following paper provides details on the development of these language models, and should be cited in research publications that use this service:

ここをクリックすると、現在これを引用している論文の一覧を確認できます。Click here for a current list of papers citing this work.