Partager via


LuceneStandardTokenizer Classe

Définition

Décompose le texte en suivant les règles de segmentation du texte Unicode. Ce générateur de jetons est implémenté à l’aide d’Apache Lucene.

public class LuceneStandardTokenizer : Azure.Search.Documents.Indexes.Models.LexicalTokenizer
type LuceneStandardTokenizer = class
    inherit LexicalTokenizer
Public Class LuceneStandardTokenizer
Inherits LexicalTokenizer
Héritage
LuceneStandardTokenizer

Constructeurs

LuceneStandardTokenizer(String)

Initialise une nouvelle instance de LuceneStandardTokenizer.

Propriétés

MaxTokenLength

Longueur maximale du jeton. La valeur par défaut est 255. Les jetons dépassant la longueur maximale sont fractionnés. La longueur maximale du jeton pouvant être utilisée est de 300 caractères.

Name

Nom du générateur de jetons. Il doit contenir uniquement des lettres, des chiffres, des espaces, des tirets ou des traits de soulignement. Il doit commencer et se terminer uniquement par des caractères alphanumériques, et ne doit pas dépasser 128 caractères.

(Hérité de LexicalTokenizer)

S’applique à