Token (lexikal analys)

Token ( engelsk  token ) är ett objekt skapat från ett lexem i processen för lexikal analys ("tokenization", från engelska  tokenizing ).

I applikationsprogrammering kanske konceptet för en token och dess token inte skiljer sig åt.

En tokenmall är en formell beskrivning av klassen av tokens som kan skapa en given typ av token.

Exempel
token typ exempel på tokens beskrivning
num 257 siffra
id Ident951 identifierare
relop <= relationsoperation
sträng "Symbol" gemener konstant