Token ( engelsk token ) är ett objekt skapat från ett lexem i processen för lexikal analys ("tokenization", från engelska tokenizing ).
I applikationsprogrammering kanske konceptet för en token och dess token inte skiljer sig åt.
En tokenmall är en formell beskrivning av klassen av tokens som kan skapa en given typ av token.
token typ | exempel på tokens | beskrivning |
---|---|---|
num | 257 | siffra |
id | Ident951 | identifierare |
relop | <= | relationsoperation |
sträng | "Symbol" | gemener konstant |