Поделиться через

MicrosoftLanguageTokenizer interface

  • Ссылка
Пакет:
@azure/search-documents

Разбивает текст на основе правил определенного языка.

Extends
BaseLexicalTokenizer

Свойства

isSearchTokenizer

Значение , указывающее, как используется создатель маркеров. Задайте значение true, если используется в качестве создателя маркеров поиска, если используется в качестве маркеризатора индексирования. Значение по умолчанию — false.
language

Используемый язык. Значение по умолчанию — английский.
maxTokenLength

Максимальная длина маркера. Маркеры, размер которых превышает максимальную длину, разделяются. Максимальная допустимая длина маркера — 300 знаков. Маркеры длиной более 300 символов сначала разбиваются на маркеры длиной 300, а затем каждый из них разбивается на основе набора максимальной длины маркеров. Значение по умолчанию — 255.
odatatype

Полиморфный дискриминатор, который указывает различные типы, которые этот объект может быть

Унаследованные свойства

name

Имя создателя маркеров. Название должно содержать только буквы, цифры, тире или знаки подчеркивания. Оно может начинаться и заканчиваться только буквенно-цифровыми знаками, и его длина не должна превышать 128 знаков.

Сведения о свойстве

isSearchTokenizer

Значение , указывающее, как используется создатель маркеров. Задайте значение true, если используется в качестве создателя маркеров поиска, если используется в качестве маркеризатора индексирования. Значение по умолчанию — false.

isSearchTokenizer?: boolean

Значение свойства

boolean

language

Используемый язык. Значение по умолчанию — английский.

language?: MicrosoftTokenizerLanguage

Значение свойства

MicrosoftTokenizerLanguage

maxTokenLength

Максимальная длина маркера. Маркеры, размер которых превышает максимальную длину, разделяются. Максимальная допустимая длина маркера — 300 знаков. Маркеры длиной более 300 символов сначала разбиваются на маркеры длиной 300, а затем каждый из них разбивается на основе набора максимальной длины маркеров. Значение по умолчанию — 255.

maxTokenLength?: number

Значение свойства

number

odatatype

Полиморфный дискриминатор, который указывает различные типы, которые этот объект может быть

odatatype: "#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

Значение свойства

"#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

Сведения об унаследованном свойстве

name

Имя создателя маркеров. Название должно содержать только буквы, цифры, тире или знаки подчеркивания. Оно может начинаться и заканчиваться только буквенно-цифровыми знаками, и его длина не должна превышать 128 знаков.

name: string

Значение свойства

string

Наследуетсяот BaseLexicalTokenizer.name