Miért kerülnek az LLM API kimeneti tokenek 4-8-szor többe, mint a bemeneti tokenek

Nézd meg bármelyik nagyobb LLM API árlistáját — legyen az OpenAI, Anthropic, Google, mindegy —, és minden esetben ugyanazt a mintát fogod látni: a kimeneti tokenek jóval többe kerülnek, mint a bemenetiek. És nem is egy kis felárról van szó. A jelenlegi modelleknél az arány következetesen 4x és 8x között mozog. Ez nem valamelyik gyártóra jellemző árazási furcsaság — közvetlen következménye annak, ahogyan ezek a modellek ténylegesen futnak.

A valódi ok: a bemenet párhuzamos, a kimenet szekvenciális

A bemeneti tokenek feldolgozása — a promptod, a rendszerüzenet, a beszélgetési előzmény — egyetlen előre irányuló lépésben történik. A modell egyszerre olvassa be a teljes bemenetet, és párhuzamosan számítja ki rá az attention-t. A modern GPU-k rendkívül jók az ilyen kötegelt, párhuzamos számításban, így egy 3000 tokenes és egy 300 tokenes prompt nem arányosan annyival kerül több számítási időbe, amennyit a tokenszám sugallna — a modell egyszeri lefuttatásának többletköltsége a domináns tényező, nem az, hogy mennyi hosszú, amit olvas.

A kimeneti tokenek generálása alapvetően más. Minden új token az összes előtte állótól függ, beleértve azokat is, amiket a modell éppen most generált — így a válasz 500. tokenét nem lehet kiszámítani, amíg a 499. nem létezik. Ez egy szekvenciális hurkot kényszerít ki: egy előre irányuló lépés minden egyes kimeneti tokenre, egymás után lefuttatva, párhuzamosítási lehetőség nélkül. 500 kimeneti token előállítása azt jelenti, hogy a modellt 500-szor futtatjuk le egymás után, nem egyszer.

Ez a számítási aszimmetria — egy párhuzamos lépés a bemenetre, N szekvenciális lépés N kimeneti tokenre — az oka annak, hogy minden nagyobb szolgáltató árazása ugyanúgy néz ki, függetlenül a cégtől, a modellarchitektúrától vagy a régiótól. Ez nem annyira üzleti döntés, mint inkább a mögöttes számítási költség közvetlen áthárítása.

Mit jelent ez a promptjaid szempontjából

A gyakorlati tanulság egyértelmű: egy bőbeszédű modellválasz aránytalanul többe kerül, mint egy hosszú prompt rövid válasszal, még akkor is, ha a teljes tokenszám hasonlónak tűnik. Ha csökkenteni akarod az API-költségeidet, a kimenet rövidítése tokenenként általában többet spórol, mint a bemenet rövidítése.

Néhány konkrét fogás:

• Korlátozd kifejezetten a válasz hosszát. Egy olyan rendszerprompt-utasítás, mint “válaszolj egy bekezdésben”, vagy egy max_tokens limit többet tesz a költségekért, mint a saját prompted rövidítése.
• Kérj strukturált kimenetet, ne prózát. Egy három mezős JSON objektum gyakran sokkal rövidebb, mint ugyanaz mondatokban kifejtve, és a további feldolgozásban is ugyanolyan hasznos.
• Ne magyarázd túl a rendszerpromptot, hogy spórolj a kimeneten. Egy hosszabb, precízebb rendszerprompt (bemenet, olcsó), ami megbízhatóan rövid, helyes választ ad (kimenet, drága), általában jobb csere, mint egy rövid, homályos prompt, ami arra készteti a modellt, hogy hosszú válasszal biztosítsa be magát.
• Használj olcsóbb modellt a nagy volumenű, alacsony komplexitású kimenethez. Ha egy feladathoz nincs szükség csúcsmodell-szintű érvelésre — osztályozás, kinyerés, rövid válaszok —, egy alacsonyabb kategóriájú modell kimeneti ára gyakran nagyságrendekkel alacsonyabb.

A tényleges dollárösszeg kiszámítása

Az arány megmagyarázza, miért kerül többe a kimenet, de a pontos összeg attól függ, melyik modellt használod, és egy kérés két oldala mennyi tokent fogyaszt ténylegesen. Mivel a bemenet/kimenet arány — és a köztük lévő szorzó — modellenként ténylegesen eltér (egy alacsonyabb kategóriájú és egy csúcsmodell nem ugyanazt az arányt alkalmazza), a valós költséged megismerésének egyetlen megbízható módja, ha a saját számaidat modellenként beírod.

A CodeKitHub LLM API árkalkulátora pontosan ezt csinálja: válaszd ki a modelledet, add meg a bemeneti és kimeneti tokenszámot, és megmutatja a bemeneti költséget, a kimeneti költséget és az összeget — plusz egy havi becslést, ha nagyjából tudod, hány kérést fogsz indítani. Ha nem vagy biztos benne, hogy a tényleges prompted hány tokent használ, a Token Counter eszköz a valódi tokenizálóval adja meg a pontos számot, nem egy hozzávetőleges, karakterszám alapú becsléssel.

Mindkettő teljes egészében a böngésződben fut — nincs API-kulcs, nincs fiók, semmi nem kerül elküldésre sehova.