ai_similarity 関数

適用対象: Databricks SQL

重要

この機能はパブリック プレビュー段階にあります。

プレビューでは、

• 基になる言語モデルでは複数の言語を処理できますが、これらの関数は英語用にチューニングされています。
• 基になる Foundation Model API にレート制限があります。これらの制限を更新する方法については、「Foundation Model API の制限」を参照してください。

ai_similarity() 関数は、Databricks Foundation Model API から最先端の生成 AI モデルを呼び出して、2 つの文字列を比較し、SQL を使用してセマンティック類似性スコアを計算します。

要件

重要

現時点で使用される可能性のある基になるモデルは、MIT ライセンスまたは Llama 2 コミュニティ ライセンスに基づいてライセンスされます。 Databricks は、該当する使用条件に準拠するために、これらのライセンスを確認することをお勧めしています。 将来、Databricks の内部ベンチマークに従ってパフォーマンスが向上するモデルが開発された場合、Databricks はモデル (およびこのページで提供されている該当するライセンスのリスト) を変更する可能性があります。

現在、bge-large-en-v1.5 が、この AI 関数を実行する基になるモデルです。

• この関数は、Foundation Model API のトークンごとの支払いがサポートされているリージョンのワークスペースでのみ使用できます。
• この関数は、Azure Databricks SQL クラシックでは使用できません。
• Databricks SQL の価格ページを確認してください。

構文

ai_similarity(expr1, expr2)

引数

• expr1: STRING 式。
• expr2: STRING 式。

返品

2 つの入力文字列間のセマンティック類似性を表す FLOAT 値。 出力スコアは相対的なものであり、ランク付けにのみに使用してください。 スコア 1 は、2 つのテキストが等しいことを意味します。

例

> SELECT ai_similarity('Apache Spark', 'Apache Spark');
  1.0

> SELECT
   company_name
  FROM
   customers
  ORDER BY ai_similarity(company_name, 'Databricks') DESC
  LIMIT 1

  Databricks Inc.