Kāpēc LLM API izvades marķieri (tokeni) maksā 4-8 reizes vairāk nekā ievades marķieri

Paskatieties uz jebkura lielākā LLM API cenu lapu — OpenAI, Anthropic, Google, nav svarīgi — un pamanīsiet vienu un to pašu formu katru reizi: izvades marķieri maksā vairākas reizes vairāk nekā ievades marķieri. Un ne mazu piemaksu. Pašreizējos modeļos attiecība konsekventi svārstās starp 4x un 8x. Tā nav kāda viena piegādātāja cenu īpatnība; tas ir tiešas sekas tam, kā šie modeļi faktiski darbojas.

Īstais iemesls: ievade ir paralēla, izvade ir secīga

Ievades marķieru apstrāde — jūsu uzvedne, sistēmas ziņojums, sarunas vēsture — notiek vienā tiešās virziena caurlaidē. Modelis nolasa visu ievadi vienlaikus un aprēķina uzmanību pāri visai tai paralēli. Mūsdienu GPU ir ārkārtīgi labi šāda veida paketveida, paralēlā aprēķinā, tāpēc 3000 marķieru uzvedne un 300 marķieru uzvedne nemaksā proporcionāli tik daudz aprēķinu laika, cik varētu likties pēc to marķieru skaita — modeļa vienreizējas palaišanas papildizmaksas ir dominējošā izmaksa, nevis lasāmā satura garums.

Izvades marķieru ģenerēšana ir principiāli atšķirīga. Katrs jaunais marķieris ir atkarīgs no visiem iepriekšējiem marķieriem, ieskaitot tos, ko modelis tikko izveidojis — tātad atbildes 500. marķieri nevar aprēķināt, kamēr neeksistē 499. Tas piespiež secīgu ciklu: viena tiešās virziena caurlaide katram izvades marķierim, palaista viena pēc otras, bez iespējas paralelizēt secību. 500 izvades marķieru radīšana nozīmē modeļa palaišanu 500 reizes pēc kārtas, nevis vienreiz.

Šī aprēķinu asimetrija — viena paralēla caurlaide ievadei, N secīgas caurlaides N izvades marķieriem — ir iemesls, kāpēc katra lielākā piegādātāja cenu noteikšana izskatās vienādi neatkarīgi no uzņēmuma, modeļa arhitektūras vai reģiona. Tas nav tik daudz biznesa lēmums, cik tiešs pamatā esošo aprēķinu izmaksu caurlaidums.

Ko tas nozīmē jūsu uzvednēm

Praktiskais secinājums ir tiešs: pļāpīga modeļa atbilde maksā nesamērīgi vairāk nekā gara uzvedne ar īsu atbildi, pat ja kopējais marķieru skaits izskatās līdzīgs. Ja mēģināt samazināt API tēriņus, izvades garuma saīsināšana parasti ietaupa vairāk uz marķieri nekā ievades saīsināšana.

Daži konkrēti sviras punkti:

• Skaidri ierobežojiet atbildes garumu. Sistēmas uzvednes instrukcija, piemēram, “atbildiet vienā rindkopā”, vai max_tokens limits dara vairāk izmaksu ziņā nekā jūsu pašu uzvednes saīsināšana.
• Prasiet strukturētu izvadi, nevis prozu. JSON objekts ar trim laukiem bieži ir daudz īsāks nekā tas pats izskaidrots teikumos, un tikpat noderīgs turpmākajai apstrādei.
• Nepārskaidrojiet sistēmas uzvednē, lai ietaupītu uz izvades. Garāka, precīzāka sistēmas uzvedne (ievade, lēta), kas uzticami rada īsu pareizu atbildi (izvade, dārga), parasti ir labāka apmaiņa nekā īsa, neskaidra uzvedne, kas liek modelim izvairīgi atbildēt ar garu atbildi.
• Izmantojiet lētāku modeli lielapjoma, zemas sarežģītības izvadei. Ja uzdevumam nav vajadzīga augstākā līmeņa modeļa spriešana — klasifikācija, izgūšana, īsas atbildes —, budžeta līmeņa modeļa izvades cena bieži vien ir par kārtu zemāka.

Faktiskās dolāru summas aprēķināšana

Attiecība izskaidro, kāpēc izvade maksā vairāk, bet precīzais dolāru skaitlis ir atkarīgs no tā, kuru modeli izmantojat un cik marķieru katra pieprasījuma puse faktiski patērē. Tā kā ievades/izvades sadalījums — un attiecība starp tiem — patiešām atšķiras pa modeļiem (budžeta modelis un flagmaņa modelis nepiemēro to pašu attiecību), vienīgais uzticamais veids, kā uzzināt savas reālās izmaksas, ir ievietot savus faktiskos skaitļus katram modelim atsevišķi.

CodeKitHub LLM API cenu kalkulators dara tieši to: izvēlieties savu modeli, ievadiet savus ievades un izvades marķieru skaitus, un tas parāda ievades izmaksas, izvades izmaksas un kopsummu — kā arī mēneša tāmi, ja aptuveni zināt, cik pieprasījumu veiksiet. Ja neesat pārliecināts, cik marķieru izmanto jūsu faktiskā uzvedne, marķieru skaitītāja rīks sniedz precīzu skaitu, izmantojot reālu tokenizatoru, nevis rupju, uz rakstzīmju skaitu balstītu minējumu.

Abi darbojas pilnībā jūsu pārlūkā — bez API atslēgas, bez konta, nekas nekur netiek sūtīts.