Kenapa output token API LLM harganya 4-8x lebih mahal dari input token

Lihat halaman harga API LLM mana pun — OpenAI, Anthropic, Google, tidak masalah yang mana — dan Anda akan melihat pola yang sama setiap kali: output token harganya beberapa kali lebih mahal dari input token. Bukan premi kecil pula. Di berbagai model saat ini, rasionya konsisten berada di antara 4x sampai 8x. Itu bukan keanehan harga khas satu vendor tertentu; itu konsekuensi langsung dari cara model-model ini sebenarnya berjalan.

Alasan sebenarnya: input diproses paralel, output diproses berurutan

Memproses input token — prompt Anda, pesan sistem, riwayat percakapan — terjadi dalam satu forward pass. Model membaca seluruh input sekaligus dan menghitung attention di seluruh bagiannya secara paralel. GPU modern sangat andal untuk jenis komputasi paralel dan berkelompok seperti ini, sehingga prompt 3.000 token dan prompt 300 token tidak memakan waktu komputasi yang proporsional dengan jumlah tokennya — overhead menjalankan model sekali adalah biaya yang dominan, bukan panjang apa yang dibacanya.

Menghasilkan output token benar-benar berbeda. Setiap token baru bergantung pada semua token sebelumnya, termasuk token yang baru saja dihasilkan model — sehingga token ke-500 dari sebuah respons tidak bisa dihitung sampai token ke-499 sudah ada. Ini memaksa terjadinya loop berurutan: satu forward pass per output token, dijalankan satu demi satu, tanpa cara untuk memparalelkan lintas urutan. Menghasilkan 500 output token berarti menjalankan model 500 kali berturut-turut, bukan sekali.

Asimetri komputasi itu — satu pass paralel untuk input, N pass berurutan untuk N output token — adalah alasan kenapa harga di setiap provider besar terlihat sama, terlepas dari perusahaan, arsitektur model, atau wilayahnya. Ini bukan keputusan bisnis, melainkan lebih ke penerusan langsung dari biaya komputasi yang mendasarinya.

Apa artinya ini untuk prompt Anda

Kesimpulan praktisnya cukup blak-blakan: respons model yang bertele-tele memakan biaya jauh lebih besar dibanding prompt panjang dengan jawaban singkat, bahkan ketika total jumlah token terlihat mirip. Kalau Anda mencoba mengurangi pengeluaran API, memangkas panjang output biasanya menghemat lebih banyak per token dibanding memangkas panjang input.

Beberapa langkah konkret:

• Batasi panjang respons secara eksplisit. Instruksi di system prompt seperti “jawab dalam satu paragraf” atau batas max_tokens jauh lebih efektif untuk biaya dibanding memperpendek prompt Anda sendiri.
• Minta output terstruktur, bukan prosa. Objek JSON dengan tiga field seringkali jauh lebih pendek dibanding penjelasan yang setara dalam bentuk kalimat, dan sama bergunanya untuk pemrosesan berikutnya.
• Jangan terlalu banyak menjelaskan di system prompt demi menghemat output. System prompt yang lebih panjang dan presisi (input, murah) yang secara andal menghasilkan jawaban singkat dan benar (output, mahal) biasanya lebih menguntungkan dibanding prompt singkat yang samar yang membuat model ragu-ragu dengan respons panjang.
• Gunakan model yang lebih murah untuk output bervolume tinggi dan kompleksitas rendah. Kalau sebuah tugas tidak membutuhkan penalaran model kelas atas — klasifikasi, ekstraksi, balasan singkat — harga output model kelas ekonomi seringkali bisa lebih murah hingga satu tingkat besaran.

Menghitung nominal dolar sebenarnya

Rasio ini menjelaskan kenapa output lebih mahal, tapi angka dolar yang pasti bergantung pada model mana yang Anda pakai dan berapa banyak token yang sebenarnya dikonsumsi tiap sisi permintaan. Karena pembagian input/output — dan pengali di antara keduanya — memang bervariasi per model (model kelas ekonomi dan model andalan tidak menerapkan rasio yang sama), satu-satunya cara yang andal untuk mengetahui biaya nyata Anda adalah memasukkan angka aktual Anda per model.

LLM API Pricing Calculator dari CodeKitHub melakukan persis itu: pilih model Anda, masukkan jumlah input dan output token Anda, dan alat ini menampilkan biaya input, biaya output, dan total — plus estimasi bulanan jika Anda tahu kira-kira berapa banyak permintaan yang akan Anda buat. Kalau Anda tidak yakin berapa token yang dipakai prompt Anda yang sebenarnya, alat Token Counter memberikan jumlah pasti menggunakan tokenizer asli, bukan tebakan kasar berbasis jumlah karakter.

Keduanya berjalan sepenuhnya di browser Anda — tanpa API key, tanpa akun, tidak ada yang dikirim ke mana pun.