Tokenizer Klasse
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Stellt eine Standardmäßige Tokenizerimplementierung bereit.
public class Tokenizertype Tokenizer = classPublic Class Tokenizer- Vererbung
-
Tokenizer
Konstruktoren
| Tokenizer() |
Stellt eine Standardmäßige Tokenizerimplementierung bereit. |
Eigenschaften
| DefaultTokenizer |
Ruft die Standardimplementierung TokenizerFunction ab. |
Methoden
| DefaultTokenizerImpl(String, String) |
Einfacher Tokenizer, der Leerzeichen und Interpunktion unterbricht. Die einzige Normalisierung erfolgt in Kleinbuchstaben. |