Γιατί τα output tokens στα LLM API κοστίζουν 4-8 φορές περισσότερο από τα input tokens

Κοίταξε τη σελίδα τιμολόγησης οποιουδήποτε μεγάλου LLM API — OpenAI, Anthropic, Google, δεν έχει σημασία — και θα προσέξεις το ίδιο σχήμα κάθε φορά: τα output tokens κοστίζουν αρκετές φορές περισσότερο από τα input tokens. Και όχι μικρή διαφορά. Στα τρέχοντα μοντέλα, η αναλογία κυμαίνεται σταθερά ανάμεσα στο 4x και το 8x. Αυτό δεν είναι ιδιοτροπία τιμολόγησης συγκεκριμένου προμηθευτή· είναι άμεση συνέπεια του πώς πραγματικά λειτουργούν αυτά τα μοντέλα.

Ο πραγματικός λόγος: το input είναι παράλληλο, το output είναι διαδοχικό

Η επεξεργασία των tokens εισόδου — το prompt σου, το system message, το ιστορικό συνομιλίας — γίνεται σε ένα ενιαίο forward pass. Το μοντέλο διαβάζει ολόκληρη την είσοδο ταυτόχρονα και υπολογίζει attention σε όλη την είσοδο παράλληλα. Οι σύγχρονες GPU είναι εξαιρετικά καλές σε αυτό το είδος ομαδικού, παράλληλου υπολογισμού, οπότε ένα prompt 3.000 tokens και ένα prompt 300 tokens δεν κοστίζουν χρόνο υπολογισμού ανάλογα με το πλήθος των tokens τους — το κόστος γενικών εξόδων για το να τρέξει το μοντέλο μία φορά είναι το κυρίαρχο κόστος, όχι το μήκος του τι διαβάζει.

Η παραγωγή tokens εξόδου είναι θεμελιωδώς διαφορετική. Κάθε νέο token εξαρτάται από κάθε token που προηγήθηκε, συμπεριλαμβανομένων εκείνων που μόλις παρήγαγε το μοντέλο — οπότε το token 500 μιας απάντησης δεν μπορεί να υπολογιστεί μέχρι να υπάρξει το token 499. Αυτό επιβάλλει έναν διαδοχικό βρόχο: ένα forward pass ανά token εξόδου, το ένα μετά το άλλο, χωρίς κανέναν τρόπο να παραλληλοποιηθούν στην ακολουθία. Η παραγωγή 500 tokens εξόδου σημαίνει να τρέξεις το μοντέλο 500 φορές στη σειρά, όχι μία.

Αυτή η ασυμμετρία στον υπολογισμό — ένα παράλληλο πέρασμα για το input, N διαδοχικά περάσματα για N tokens εξόδου — είναι ο λόγος που η τιμολόγηση κάθε μεγάλου προμηθευτή μοιάζει ίδια ανεξάρτητα από εταιρεία, αρχιτεκτονική μοντέλου ή περιοχή. Δεν είναι τόσο επιχειρηματική απόφαση όσο άμεση μεταφορά του υποκείμενου κόστους υπολογισμού.

Τι σημαίνει αυτό για τα prompts σου

Το πρακτικό συμπέρασμα είναι απλό: μια εκτενής απάντηση μοντέλου κοστίζει δυσανάλογα περισσότερο από ένα μακρύ prompt με σύντομη απάντηση, ακόμα κι όταν το συνολικό πλήθος tokens φαίνεται παρόμοιο. Αν προσπαθείς να μειώσεις τα έξοδα API, το κόψιμο του μήκους εξόδου συνήθως εξοικονομεί περισσότερα ανά token από το κόψιμο του μήκους εισόδου.

Μερικοί συγκεκριμένοι μοχλοί:

• Περιόρισε ρητά το μήκος απάντησης. Μια οδηγία system prompt όπως “απάντησε σε μία παράγραφο” ή ένα όριο max_tokens κάνει περισσότερα για το κόστος από το να κοντύνεις το ίδιο σου το prompt.
• Ζήτησε δομημένη έξοδο αντί για πεζό λόγο. Ένα αντικείμενο JSON με τρία πεδία είναι συχνά πολύ πιο σύντομο από το ισοδύναμο σε προτάσεις, και εξίσου χρήσιμο παρακάτω στη ροή.
• Μην υπερεξηγείς στο system prompt για να εξοικονομήσεις στο output. Ένα μεγαλύτερο, πιο ακριβές system prompt (input, φθηνό) που παράγει αξιόπιστα μια σύντομη σωστή απάντηση (output, ακριβό) είναι συνήθως καλύτερη συναλλαγή από ένα σύντομο ασαφές prompt που κάνει το μοντέλο να “κρύβεται” με μια μακριά απάντηση.
• Χρησιμοποίησε φθηνότερο μοντέλο για υψηλό όγκο, χαμηλής πολυπλοκότητας έξοδο. Αν μια εργασία δεν χρειάζεται συλλογισμό αιχμής — ταξινόμηση, εξαγωγή, σύντομες απαντήσεις — η τιμολόγηση εξόδου ενός μοντέλου οικονομικής κατηγορίας είναι συχνά μια τάξη μεγέθους χαμηλότερη.

Υπολογίζοντας το πραγματικό ποσό σε δολάρια

Η αναλογία εξηγεί γιατί το output κοστίζει περισσότερο, αλλά το ακριβές ποσό εξαρτάται από ποιο μοντέλο χρησιμοποιείς και πόσα tokens καταναλώνει πράγματι κάθε πλευρά ενός αιτήματος. Καθώς η κατανομή input/output — και ο πολλαπλασιαστής ανάμεσά τους — ποικίλλει πραγματικά ανά μοντέλο (ένα οικονομικό μοντέλο και ένα κορυφαίο μοντέλο δεν εφαρμόζουν την ίδια αναλογία), ο μόνος αξιόπιστος τρόπος να ξέρεις το πραγματικό σου κόστος είναι να βάλεις τους πραγματικούς σου αριθμούς ανά μοντέλο.

Ο Υπολογιστής Τιμολόγησης LLM API του CodeKitHub κάνει ακριβώς αυτό: επίλεξε το μοντέλο σου, εισήγαγε το πλήθος των tokens εισόδου και εξόδου σου, και σου δείχνει το κόστος εισόδου, το κόστος εξόδου, και το σύνολο — συν μια μηνιαία εκτίμηση αν ξέρεις χοντρικά πόσα αιτήματα θα κάνεις. Αν δεν είσαι σίγουρος πόσα tokens χρησιμοποιεί το πραγματικό σου prompt, το εργαλείο Token Counter σου δίνει την ακριβή μέτρηση χρησιμοποιώντας τον πραγματικό tokenizer, αντί για μια χοντρική εκτίμηση βασισμένη σε χαρακτήρες.

Και τα δύο τρέχουν εξ ολοκλήρου στον browser σου — χωρίς API key, χωρίς λογαριασμό, τίποτα δεν στέλνεται πουθενά.