LLM API’sinde çıktı tokenlarının neden girdi tokenlarından 4-8 kat daha pahalı olduğu

OpenAI, Anthropic, Google gibi herhangi bir büyük LLM API’sinin fiyatlandırma sayfasına bakın — hangisi olduğu önemli değil — her seferinde aynı yapıyı göreceksiniz: Çıktı tokenlarının maliyeti, girdi tokenlarının maliyetinden birkaç kat daha fazla. Üstelik bu, hiç de azımsanmayacak bir fark. Mevcut modellerde bu oran tutarlı bir şekilde 4 ile 8 kat arasında seyrediyor. Bu, tek bir satıcıya özgü bir fiyatlandırma tuhaflığı değil; bu modellerin gerçekte nasıl çalıştığının doğrudan bir sonucudur.

Asıl neden: girdi paralel, çıktı sıralıdır

Girdi tokenlarının — komut satırınız, sistem mesajı, konuşma geçmişi — işlenmesi tek bir ileri geçişte gerçekleşir. Model, girdinin tamamını tek seferde okur ve tümü üzerinde dikkat hesaplamasını paralel olarak yapar. Modern GPU’lar bu tür toplu, paralel hesaplamalarda son derece başarılıdır; bu nedenle 3.000 tokenlik bir komut satırı ile 300 tokenlik bir komut satırı, token sayılarının düşündürdüğü kadar orantılı bir hesaplama süresi gerektirmez — modeli bir kez çalıştırmanın getirdiği ek yük, okuduğu metnin uzunluğu değil, baskın maliyettir.

Çıktı tokenlarını üretmek ise temelde farklıdır. Her yeni token, modelin az önce ürettiği tokenlar da dahil olmak üzere, kendinden önceki her tokena bağlıdır — bu nedenle, yanıtın 500. tokeni, 499. token mevcut olana kadar hesaplanamaz. Bu durum sıralı bir döngü gerektirir: her çıktı tokeni için bir ileri geçiş, arka arkaya çalıştırılır ve dizide paralelleştirme imkanı yoktur. 500 çıktı belirteci üretmek, modeli bir kez değil, arka arkaya 500 kez çalıştırmak anlamına gelir.

Hesaplamadaki bu asimetri — girdi için bir paralel geçiş, N çıktı belirteci için N sıralı geçiş — şirket, model mimarisi veya bölgeden bağımsız olarak tüm büyük sağlayıcıların fiyatlandırmasının aynı görünmesinin nedenidir. Bu, bir iş kararı olmaktan çok, altta yatan hesaplama maliyetinin doğrudan yansıtılmasıdır.

Bunun komutlarınız için anlamı

Pratikte çıkarılacak sonuç açıktır: Ayrıntılı bir model yanıtı, toplam token sayısı benzer görünse bile, kısa yanıt içeren uzun bir komuttan orantısız bir şekilde daha pahalıdır. API harcamalarınızı azaltmaya çalışıyorsanız, çıktı uzunluğunu kısaltmak genellikle girdi uzunluğunu kısaltmaktan token başına daha fazla tasarruf sağlar.

Birkaç somut önlem:

Yanıt uzunluğunu açıkça sınırlayın. “Tek paragrafta cevap ver” gibi bir sistem komutu veya bir max_tokens sınırı, kendi komut satırınızı kısaltmaktan daha fazla maliyet tasarrufu sağlar.
Düz metin yerine yapılandırılmış çıktı isteyin. Üç alana sahip bir JSON nesnesi, genellikle cümlelerle açıklanan eşdeğerinden çok daha kısadır ve sonraki aşamalarda da aynı derecede kullanışlıdır.
Çıktı maliyetinden tasarruf etmek için sistem isteminde fazla açıklama yapmayın. Kısa ve doğru bir yanıtı (çıktı, pahalı) güvenilir bir şekilde üreten daha uzun ve daha kesin bir sistem istemi (girdi, ucuz), modelin uzun bir yanıtla kaçamak cevaplar vermesine neden olan kısa ve belirsiz bir istemden genellikle daha iyi bir seçimdir.
Yüksek hacimli, düşük karmaşıklıklı çıktılar için daha ucuz bir model kullanın. Bir görev, en gelişmiş modellerin kullandığı türden akıl yürütme gerektirmiyorsa — sınıflandırma, veri çıkarma, kısa yanıtlar — bütçe seviyesindeki bir modelin çıktı fiyatı genellikle bir mertebe daha düşüktür.

Gerçek dolar tutarını hesaplama

Bu oran, çıktının neden daha pahalı olduğunu açıklar; ancak kesin dolar rakamı, hangi modeli kullandığınıza ve bir isteğin her iki tarafının gerçekte kaç token tükettiğine bağlıdır. Giriş/çıkış dağılımı — ve aralarındaki çarpan — modele göre gerçekten farklılık gösterdiğinden (bütçe modeli ile amiral gemisi modeli aynı oranı uygulamaz), gerçek maliyetinizi öğrenmenin tek güvenilir yolu, her model için gerçek rakamlarınızı girmektir.

CodeKitHub’un LLM API Fiyatlandırma Hesaplayıcısı tam da bunu yapar: modelinizi seçin, giriş ve çıkış token sayılarını girin; hesaplayıcı size giriş maliyeti, çıkış maliyeti ve toplam tutarı gösterir — ayrıca, yaklaşık olarak kaç istek yapacağınızı biliyorsanız aylık bir tahmin de sunar. Gerçek komut satırınızın kaç token kullandığından emin değilseniz, Token Sayacı aracı, karakter sayısına dayalı kabaca bir tahmin yerine, gerçek tokenleştiriciyi kullanarak size kesin sayıyı verir.

Her ikisi de tamamen tarayıcınızda çalışır — API anahtarı yok, hesap yok, hiçbir yere veri gönderilmez.