Zakaj izhodni žetoni pri API-jih LLM stanejo 4-8x več kot vhodni

Poglej stran s cenami katerega koli večjega API-ja LLM — OpenAI, Anthropic, Google, ni pomembno — in vsakič boš opazil enako obliko: izhodni žetoni stanejo večkrat več kot vhodni. In ne za majhno premijo. Pri trenutnih modelih se razmerje dosledno giblje med 4x in 8x. To ni posebnost cenovne politike enega ponudnika; je neposredna posledica tega, kako ti modeli dejansko delujejo.

Pravi razlog: vhod je vzporeden, izhod je zaporeden

Obdelava vhodnih žetonov — tvojega poziva, sistemskega sporočila, zgodovine pogovora — poteka v enem samem prehodu naprej. Model prebere celoten vhod naenkrat in izračuna pozornost čez vse skupaj vzporedno. Sodobne grafične kartice so izjemno dobre pri tovrstnem paketnem, vzporednem računanju, zato poziv s 3.000 žetoni in poziv s 300 žetoni ne stanejo sorazmerno toliko računskega časa, kot bi njuno število žetonov nakazovalo — dominanten strošek je režija enega zagona modela, ne dolžina tega, kar bere.

Ustvarjanje izhodnih žetonov je temeljno drugačno. Vsak nov žeton je odvisen od vsakega prejšnjega žetona, vključno s tistimi, ki jih je model pravkar ustvaril — zato žetona 500 v odgovoru ni mogoče izračunati, dokler ne obstaja žeton 499. To prisili zaporedno zanko: en prehod naprej na izhodni žeton, zagnan eden za drugim, brez možnosti vzporejenja čez zaporedje. Ustvarjanje 500 izhodnih žetonov pomeni zagon modela 500-krat zapored, ne enkrat.

Ta asimetrija v računanju — en vzporeden prehod za vhod, N zaporednih prehodov za N izhodnih žetonov — je razlog, zakaj so cene vsakega večjega ponudnika videti enake, ne glede na podjetje, arhitekturo modela ali regijo. Ni toliko poslovna odločitev, kolikor neposreden prenos osnovnega računskega stroška.

Kaj to pomeni za tvoje pozive

Praktičen zaključek je neposreden: zgovoren odgovor modela stane nesorazmerno več kot dolg poziv s kratkim odgovorom, tudi ko je skupno število žetonov videti podobno. Če poskušaš zmanjšati porabo API-ja, skrajšanje dolžine izhoda običajno prihrani več na žeton kot skrajšanje dolžine vhoda.

Nekaj konkretnih vzvodov:

• Izrecno omeji dolžino odgovora. Navodilo v sistemskem pozivu, kot je “odgovori v enem odstavku”, ali meja max_tokens naredi za stroške več kot skrajšanje lastnega poziva.
• Prosi za strukturiran izhod namesto proze. Objekt JSON s tremi polji je pogosto veliko krajši kot enakovredna razlaga v stavkih in enako uporaben naprej v procesu.
• Ne razlagaj preveč v sistemskem pozivu, da bi varčeval pri izhodu. Daljši, natančnejši sistemski poziv (vhod, poceni), ki zanesljivo da kratek pravilen odgovor (izhod, drag), je običajno boljša menjava kot kratek nejasen poziv, zaradi katerega model varuje z dolgim odgovorom.
• Uporabi cenejši model za velik obseg, manj zahtevnega izhoda. Če naloga ne potrebuje sklepanja vodilnega modela — razvrščanje, izluščevanje, kratki odgovori — je cenovna politika izhoda proračunskega modela pogosto za velikostni razred nižja.

Izračun dejanskega denarnega zneska

Razmerje pojasni, zakaj izhod stane več, a natančen denarni znesek je odvisen od tega, kateri model uporabljaš in koliko žetonov dejansko porabi vsaka stran zahteve. Ker se razmerje vhod/izhod — in množitelj med njima — dejansko razlikuje po modelu (proračunski model in vodilni model ne uporabljata enakega razmerja), je edini zanesljiv način za poznavanje tvojega resničnega stroška, da vneseš svoje dejanske številke po modelu.

CodeKitHubov kalkulator cen API-ja LLM naredi natanko to: izberi svoj model, vnesi število vhodnih in izhodnih žetonov, in prikaže strošek vhoda, strošek izhoda ter skupaj — plus mesečno oceno, če približno veš, koliko zahtev boš naredil. Če nisi prepričan, koliko žetonov porabi tvoj dejanski poziv, orodje Token Counter da natančno število z uporabo resničnega tokenizatorja, namesto grobega ugibanja na podlagi znakov.

Oba tečeta v celoti v tvojem brskalniku — brez API ključa, brez računa, nič se nikamor ne pošlje.