Share via


ClassicTokenizer interface

Grammatikbasiertes Tokenizer, das sich für die Verarbeitung der meisten dokumente in europäischer Sprache eignet. Dieser Tokenizer wird mithilfe von Apache Lucene implementiert.

Extends

Eigenschaften

maxTokenLength

Die maximale Tokenlänge. Der Standardwert ist 255. Token, die die maximale Länge überschreiten, werden geteilt. Die maximale Tokenlänge, die verwendet werden kann, beträgt 300 Zeichen.

odatatype

Polymorpher Diskriminator, der die verschiedenen Typen angibt, die dieses Objekt sein kann

Geerbte Eigenschaften

name

Der Name des Tokenizers. Er darf nur Buchstaben, Ziffern, Leerzeichen, Bindestriche und Unterstriche enthalten. Er muss mit alphanumerischen Zeichen beginnen und enden und darf maximal 128 Zeichen lang sein.

Details zur Eigenschaft

maxTokenLength

Die maximale Tokenlänge. Der Standardwert ist 255. Token, die die maximale Länge überschreiten, werden geteilt. Die maximale Tokenlänge, die verwendet werden kann, beträgt 300 Zeichen.

maxTokenLength?: number

Eigenschaftswert

number

odatatype

Polymorpher Diskriminator, der die verschiedenen Typen angibt, die dieses Objekt sein kann

odatatype: "#Microsoft.Azure.Search.ClassicTokenizer"

Eigenschaftswert

"#Microsoft.Azure.Search.ClassicTokenizer"

Geerbte Eigenschaftsdetails

name

Der Name des Tokenizers. Er darf nur Buchstaben, Ziffern, Leerzeichen, Bindestriche und Unterstriche enthalten. Er muss mit alphanumerischen Zeichen beginnen und enden und darf maximal 128 Zeichen lang sein.

name: string

Eigenschaftswert

string

Geerbt vonBaseLexicalTokenizer.name