Een token is een klein stukje tekst. AI leest geen hele woorden, ze knipt tekst in tokens, elk zo'n vier tekens of driekwart van een woord. Een lang woord valt soms in meerdere tokens uiteen, en een pagina telt er ongeveer 500.
Tokens zijn de eenheid achter de schermen: het context window, de snelheid en de kosten worden er allemaal in gemeten. Je telt zelf zelden tokens, maar weten dat ze bestaan verklaart waarom heel lange chats en dikke bestanden op een bepaald moment gaan knellen.