Vad är en token? – Honungen får en form

I två säsonger har Sigge och Musse betalat för tokens i honung. Nu tittar Musse på en för första gången. Han skriver kontextkommandot i Claude Code och ser färgade rutor och tal. Talen säger hur många, aldrig vilka.

Ruta två på whiteboarden är tokenisering. Innan nätverket ser något hackas texten i bitar, och varje bit får ett nummer ur en lista som gjordes innan träningen. Varför bitar och inte hela ord eller enskilda bokstäver? Och hur väljs bitarna? Med ett komprimeringsknep från 1994, där man slår ihop det par som oftast står bredvid varandra. Sigge har redan ett eget ord för det: blåbanan. Bitarna följer inte vad orden betyder, bara vad som är vanligt. Ungefär som en lax hos fiskhandlaren.

Sedan Björnen i koden: tokenjakten. Musse låter Claude Code fråga Claude om ett ord i taget och läser vad varje ord kostar. Sigge har gissat i förväg. Är "björn" dyrare än "bear"? Kostar svenska mer? Och vad kostar ett ord som inte finns? Dessutom: varför samma text blev ungefär trettio procent fler tokens när Claude bytte tokeniserare, varför björnen aldrig har sett en bokstav, och om man borde skriva sin regelfil på engelska.

Honungsboken får sitt första ord på sidan "tokens". Det är inget tal.

I avsnittet: vad en tokeniserare gör. Varför bitar och inte ord. Byte pair encoding på björnsvenska. Varför tokens är dolda. Tumreglerna 3,5 och 4 tecken. Claudes nya tokeniserare. Kontextkommandot i Claude Code. Vad som faktiskt kostar i ett långt samtal. Tokenjakten, att köra själv.

Björnen i koden: ett litet skript som mäter vad ett ord kostar i tokens, med din vanliga Claude Code-inloggning och utan API-nyckel. Finns i klartext på hooklinecoder.se.

Hosted on Acast. See acast.com/privacy for more information.