Miks LLM API väljundtokenid maksavad 4-8x rohkem kui sisendtokenid

Vaata mistahes suurema LLM API hinnalehte — OpenAI, Anthropic, Google, pole vahet — ja märkad iga kord sama mustrit: väljundtokenid maksavad mitu korda rohkem kui sisendtokenid. Ega mitte väikest preemiat. Praeguste mudelite lõikes püsib suhe järjekindlalt 4x ja 8x vahel. See pole ühele tootjale omane hinnastuse veidrus; see on otsene tagajärg sellest, kuidas need mudelid tegelikult töötavad.

Tegelik põhjus: sisend on paralleelne, väljund on järjestikune

Sisendtokenite töötlemine — sinu prompt, süsteemisõnum, vestlusajalugu — toimub ühe edasisuunalise läbimisega. Mudel loeb kogu sisendi korraga ja arvutab tähelepanu kogu selle ulatuses paralleelselt. Tänapäevased GPU-d on selles tüüpi rühmitatud, paralleelses arvutuses äärmiselt head, nii et 3000-tokenilise prompti ja 300-tokenilise prompti arvutuskulu ei ole proportsionaalselt nii suur, kui tokenite arv võiks viidata — mudeli ühe korra käivitamise üldkulu on domineeriv kulu, mitte selle loetava sisu pikkus.

Väljundtokenite genereerimine on fundamentaalselt erinev. Iga uus token sõltub kõigist eelnevatest tokenitest, kaasa arvatud need, mille mudel just genereeris — nii et vastuse 500. tokenit ei saa arvutada enne, kui 499. token eksisteerib. See sunnib peale järjestikuse tsükli: üks edasisuunaline läbimine iga väljundtokeni kohta, käivitatuna üksteise järel, ilma võimaluseta jada ulatuses paralleeliseerida. 500 väljundtokeni tootmine tähendab mudeli 500-kordset käivitamist järjest, mitte üks kord.

See arvutuse asümmeetria — üks paralleelne läbimine sisendi jaoks, N järjestikust läbimist N väljundtokeni jaoks — on põhjus, miks iga suurema teenusepakkuja hinnastus näeb ühesugune välja, olenemata ettevõttest, mudeli arhitektuurist või piirkonnast. See pole niivõrd äriotsus, kuivõrd aluseks oleva arvutuskulu otsene edasikandmine.

Mida see tähendab sinu prompt’ide jaoks

Praktiline õppetund on otsekohene: jutukas mudelivastus maksab ebaproportsionaalselt rohkem kui pikk prompt lühikese vastusega, isegi kui tokenite kogusumma näib sarnane. Kui üritad API kulusid vähendada, säästab väljundi pikkuse kärpimine tavaliselt rohkem tokeni kohta kui sisendi pikkuse kärpimine.

Mõned konkreetsed hoovad:

• Piira vastuse pikkust selgesõnaliselt. Süsteemipromptijuhis nagu “vasta ühe lõiguga” või max_tokens piirang teeb kulude jaoks rohkem kui sinu enda prompti lühendamine.
• Küsi struktureeritud väljundit proosa asemel. JSON-objekt kolme väljaga on sageli palju lühem kui samaväärne lausetes selgitatud versioon, ja sama kasulik edasises töötluses.
• Ära liigselt seleta süsteemipromptis väljundi kokkuhoiu nimel. Pikem, täpsem süsteemiprompt (sisend, odav), mis usaldusväärselt toodab lühikese õige vastuse (väljund, kallis), on tavaliselt parem kaubandus kui lühike ähmane prompt, mis paneb mudeli pika vastusega kaitsepositsiooni võtma.
• Kasuta odavamat mudelit suure mahu, madala keerukusega väljundi jaoks. Kui ülesanne ei vaja tipptasemel mudeli arutlusvõimet — klassifitseerimine, ekstraheerimine, lühikesed vastused —, on eelarvekategooria mudeli väljundi hinnastus sageli suurusjärgu võrra madalam.

Tegeliku dollarisumma väljaarvutamine

Suhe selgitab, miks väljund rohkem maksab, aga täpne dollarisumma sõltub sellest, millist mudelit kasutad ja kui palju tokeneid päringu kumbki pool tegelikult tarbib. Kuna sisendi/väljundi jaotus — ja neid ühendav kordaja — varieerub mudeliti tõeliselt (eelarvemudel ja lipulaevamudel ei rakenda sama suhet), on ainus usaldusväärne viis oma tegelikku kulu teada saada sisestada oma tegelikud numbrid mudeli kaupa.

CodeKitHubi LLM API hinnakalkulaator teeb täpselt seda: vali oma mudel, sisesta oma sisendi ja väljundi tokenite arv, ning see näitab sisendi kulu, väljundi kulu ja kogusumma — pluss kuine hinnang, kui tead umbkaudu, kui palju päringuid teed. Kui pole kindel, kui palju tokeneid sinu tegelik prompt kasutab, annab Token Counter tööriist täpse arvu, kasutades päris tokeniserijat, mitte umbkaudset märgipõhist oletust.

Mõlemad töötavad täielikult sinu brauseris — API võtit pole vaja, kontot pole vaja, midagi kuhugi ei saadeta.