Vì sao token đầu ra của API LLM đắt hơn 4-8 lần so với token đầu vào

Nhìn vào trang giá của bất kỳ API LLM lớn nào — OpenAI, Anthropic, Google, không quan trọng là hãng nào — bạn sẽ nhận thấy cùng một khuôn mẫu mỗi lần: token đầu ra tốn gấp nhiều lần token đầu vào. Và không phải là chênh lệch nhỏ. Trên các mô hình hiện tại, tỷ lệ này liên tục nằm trong khoảng từ 4 đến 8 lần. Đây không phải là một đặc điểm định giá riêng của một hãng nào; đó là hệ quả trực tiếp từ cách các mô hình này thực sự vận hành.

Lý do thực sự: đầu vào xử lý song song, đầu ra xử lý tuần tự

Xử lý token đầu vào — prompt của bạn, tin nhắn hệ thống, lịch sử hội thoại — diễn ra trong một lượt truyền tới (forward pass) duy nhất. Mô hình đọc toàn bộ đầu vào cùng một lúc và tính toán attention trên toàn bộ đó song song. Các GPU hiện đại cực kỳ giỏi loại tính toán theo lô, song song này, nên một prompt 3.000 token và một prompt 300 token không tốn thời gian tính toán tỷ lệ thuận với số token như con số có thể gợi ý — chi phí chiếm ưu thế là việc chạy mô hình một lần, chứ không phải độ dài của thứ nó đang đọc.

Tạo ra token đầu ra thì hoàn toàn khác về bản chất. Mỗi token mới phụ thuộc vào mọi token đã có trước đó, bao gồm cả những token mà mô hình vừa tạo ra — nên token thứ 500 của một câu trả lời không thể tính được cho đến khi token thứ 499 tồn tại. Điều này buộc phải có một vòng lặp tuần tự: một lượt truyền tới cho mỗi token đầu ra, chạy lần lượt cái này sau cái kia, không có cách nào song song hóa xuyên suốt chuỗi. Tạo ra 500 token đầu ra nghĩa là chạy mô hình 500 lần liên tiếp, chứ không phải một lần.

Sự bất đối xứng về mặt tính toán đó — một lượt song song cho đầu vào, N lượt tuần tự cho N token đầu ra — chính là lý do vì sao cách định giá của mọi nhà cung cấp lớn đều giống nhau bất kể công ty, kiến trúc mô hình, hay khu vực. Đây không hẳn là một quyết định kinh doanh mà là sự chuyển tiếp trực tiếp của chi phí tính toán nền tảng.

Điều này có ý nghĩa gì cho prompt của bạn

Bài học thực tế khá thẳng thắn: một câu trả lời dài dòng từ mô hình tốn kém không tương xứng hơn nhiều so với một prompt dài nhưng câu trả lời ngắn, ngay cả khi tổng số token trông tương tự nhau. Nếu bạn đang cố giảm chi phí API, cắt bớt độ dài đầu ra thường tiết kiệm được nhiều hơn trên mỗi token so với cắt bớt độ dài đầu vào.

Một vài đòn bẩy cụ thể:

• Giới hạn độ dài câu trả lời một cách rõ ràng. Một chỉ dẫn trong system prompt như “trả lời trong một đoạn văn” hoặc một giới hạn max_tokens giúp giảm chi phí nhiều hơn so với việc rút gọn prompt của chính bạn.
• Yêu cầu đầu ra có cấu trúc thay vì văn xuôi. Một object JSON với ba trường thường ngắn hơn nhiều so với cách giải thích tương đương bằng câu văn, và cũng hữu ích không kém ở bước xử lý tiếp theo.
• Đừng giải thích quá mức trong system prompt để tiết kiệm đầu ra. Một system prompt dài hơn, chính xác hơn (đầu vào, rẻ) mà tạo ra đáng tin cậy một câu trả lời ngắn gọn chính xác (đầu ra, đắt) thường là một sự đánh đổi tốt hơn so với một prompt ngắn mơ hồ khiến mô hình phải rào trước đón sau bằng một câu trả lời dài.
• Dùng một mô hình rẻ hơn cho đầu ra khối lượng lớn, độ phức tạp thấp. Nếu một tác vụ không cần khả năng suy luận của mô hình hàng đầu — phân loại, trích xuất, trả lời ngắn — thì giá đầu ra của một mô hình tầm trung/giá rẻ thường thấp hơn cả một bậc độ lớn.

Tính ra con số cụ thể bằng tiền

Tỷ lệ này giải thích vì sao đầu ra đắt hơn, nhưng con số cụ thể bằng tiền phụ thuộc vào mô hình bạn đang dùng và số token thực tế mỗi bên của một yêu cầu tiêu tốn. Vì tỷ lệ đầu vào/đầu ra — và hệ số nhân giữa chúng — thực sự khác nhau theo từng mô hình (một mô hình giá rẻ và một mô hình hàng đầu không áp dụng cùng một tỷ lệ), cách duy nhất đáng tin cậy để biết chi phí thực tế của bạn là nhập số liệu thực tế theo từng mô hình.

Công cụ tính giá API LLM của CodeKitHub làm chính xác điều đó: chọn mô hình của bạn, nhập số token đầu vào và đầu ra, và nó hiển thị chi phí đầu vào, chi phí đầu ra, và tổng cộng — cùng với ước tính hàng tháng nếu bạn biết sơ bộ số lượng yêu cầu sẽ thực hiện. Nếu bạn không chắc prompt thực tế của mình dùng bao nhiêu token, công cụ Token Counter cho bạn con số chính xác bằng bộ tokenizer thực, thay vì chỉ là ước lượng thô dựa trên số ký tự.

Cả hai công cụ đều chạy hoàn toàn trong trình duyệt của bạn — không cần API key, không cần tài khoản, không có gì được gửi đi bất cứ đâu.