C++ トークン
トークンはコンパイラにとっては C.C++ プログラムの最小の要素です。C++ パーサーはこれらの種類のトークンを認識します : 識別子キーワードリテラル演算子区切り記号などの区切り記号。これらのトークン ストリームは翻訳単位を構成します。
トークンは「」で空白で区切ります。空白を一つ以上です :
null
水平または垂直のタブ
改行
フォーム フィード文字
コメント
次のトークンと見なされます :
keywordidentifierconstantoperatorpunctuator
次のトークンをプリプロセスすると見なされます :
ヘッダー nameidentifierpp numbercharacter constantstring literaloperatorpunctuator 上に行を 1 行には各空白以外の文字
パーサーは入力ストリームから左から右へのスキャンの文字を入力して使用できる最大長のトークンを作成してトークンを区切ります。このコードがあるとします。:
a = i+++j;
このコードを記述したプログラマはこの二つのステートメントのいずれかを使用する可能性があります :
a = i + (++j)
a = (i++) + j
パーサーが入力ストリームから最大長のトークン可能なを作成するためトークン i+++ と j を行う 2 番目の解釈を選択します。