Training is hoe een model leert. Het leest bergen tekst en stelt zichzelf telkens bij, tot het goed wordt in voorspellen wat er volgt. Daar komt zijn "kennis" vandaan, niet uit een database die het even opzoekt.
Daar volgen twee dingen uit. Training stopt op een datum, dus het model heeft een kennisafsluitdatum en kent nieuwere gebeurtenissen niet, tenzij je ze zelf meegeeft. En wat het leerde, is een afspiegeling van zijn trainingsdata, scheve patronen inbegrepen. Net daarom blijft de bron die je erin stopt tellen.