De ce token-urile de output la API-urile LLM costă de 4-8 ori mai mult decât cele de input

Uită-te la pagina de prețuri a oricărui API LLM major — OpenAI, Anthropic, Google, nu contează — și vei observa același tipar de fiecare dată: token-urile de output costă de câteva ori mai mult decât cele de input. Și nu e o primă mică, nici pe departe. La modelele actuale, raportul se situează constant între 4x și 8x. Nu este o ciudățenie de preț specifică unui singur furnizor; este o consecință directă a modului în care aceste modele funcționează de fapt.

Motivul real: input-ul este paralel, output-ul este secvențial

Procesarea token-urilor de input — promptul tău, mesajul de sistem, istoricul conversației — are loc într-o singură trecere înainte (forward pass). Modelul citește întregul input dintr-o dată și calculează atenția pe tot conținutul în paralel. GPU-urile moderne sunt extrem de bune la acest tip de calcul paralel, în loturi (batched), astfel încât un prompt de 3.000 de token-uri și unul de 300 de token-uri nu costă proporțional atât de mult timp de calcul cât ar sugera numărul de token-uri — costul dominant este overhead-ul rulării modelului o singură dată, nu lungimea a ceea ce citește.

Generarea token-urilor de output este fundamental diferită. Fiecare token nou depinde de toate token-urile care l-au precedat, inclusiv de cele pe care modelul tocmai le-a generat — astfel încât token-ul 500 al unui răspuns nu poate fi calculat până nu există token-ul 499. Asta forțează o buclă secvențială: o trecere înainte pentru fiecare token de output, rulate una după alta, fără nicio modalitate de a paraleliza de-a lungul secvenței. A produce 500 de token-uri de output înseamnă a rula modelul de 500 de ori la rând, nu o singură dată.

Această asimetrie de calcul — o singură trecere paralelă pentru input, N treceri secvențiale pentru N token-uri de output — este motivul pentru care prețurile fiecărui furnizor major arată la fel, indiferent de companie, arhitectură de model sau regiune. Nu este atât o decizie de business, cât o transmitere directă a costului de calcul de bază.

Ce înseamnă asta pentru prompturile tale

Concluzia practică e directă: un răspuns verbos al modelului costă disproporționat mai mult decât un prompt lung cu un răspuns scurt, chiar și atunci când numărul total de token-uri pare similar. Dacă încerci să reduci cheltuielile pe API, scurtarea lungimii output-ului economisește de obicei mai mult per token decât scurtarea input-ului.

Câteva pârghii concrete:

• Limitează explicit lungimea răspunsului. O instrucțiune în promptul de sistem de genul “răspunde într-un singur paragraf” sau o limită max_tokens face mai mult pentru cost decât scurtarea propriului tău prompt.
• Cere output structurat în loc de proză. Un obiect JSON cu trei câmpuri este adesea mult mai scurt decât echivalentul explicat în propoziții și la fel de util în etapele următoare.
• Nu supra-explica în promptul de sistem ca să economisești la output. Un prompt de sistem mai lung și mai precis (input, ieftin) care produce constant un răspuns scurt și corect (output, scump) este de obicei un schimb mai bun decât un prompt scurt și vag care face modelul să ezite cu un răspuns lung.
• Folosește un model mai ieftin pentru output cu volum mare și complexitate mică. Dacă o sarcină nu are nevoie de raționamentul unui model de vârf — clasificare, extragere, răspunsuri scurte — prețul de output al unui model din segmentul economic este adesea cu un ordin de mărime mai mic.

Calcularea sumei exacte în bani

Raportul explică de ce output-ul costă mai mult, dar suma exactă în bani depinde de modelul folosit și de câte token-uri consumă efectiv fiecare parte a unei cereri. Deoarece împărțirea input/output — și multiplicatorul dintre ele — variază cu adevărat de la un model la altul (un model economic și unul de vârf nu aplică același raport), singura modalitate fiabilă de a-ți cunoaște costul real este să introduci cifrele tale efective pentru fiecare model.

Calculatorul de prețuri API LLM al CodeKitHub face exact asta: alegi modelul, introduci numărul de token-uri de input și de output, iar el îți arată costul de input, costul de output și totalul — plus o estimare lunară dacă știi aproximativ câte cereri vei face. Dacă nu ești sigur câte token-uri folosește promptul tău real, instrumentul Token Counter îți oferă numărul exact folosind tokenizer-ul real, nu o estimare aproximativă bazată pe numărul de caractere.

Ambele rulează în întregime în browserul tău — fără cheie API, fără cont, nimic trimis nicăieri.