Trang chủHướng dẫn
Cập nhật
Cửa sổ ngữ cảnh AI Agent: Cách dùng 100k token
Cửa sổ ngữ cảnh AI Agent là không gian token chung cho prompt, kết quả công cụ và câu trả lời của mô hình. Trên API này, không gian là 100.000 token, và các agent chạy dài thường lấp đầy nó nhanh hơn dự kiến.

Điểm chính
- Cửa sổ 100.000 token bao gồm prompt và kết quả, vì vậy mỗi kết quả công cụ bạn giữ lại sẽ giảm không gian cho câu trả lời tiếp theo.
- Trong vòng lặp agent, toàn bộ lịch sử được gửi lại ở mỗi bước, vì vậy tổng đầu vào tăng theo bậc hai của số bước, không phải tuyến tính.
- Hãy cắt bớt kết quả công cụ cũ trước, giữ lại prompt hệ thống và các lượt hội thoại gần nhất, và đo lường bằng trường usage.
- Một vòng lặp 20 bước với 1.500 token mới mỗi bước tốn khoảng $0,055 tổng cộng.
Không cần thẻ. Sau khi đăng ký, nhận $0,50 tín dụng dùng thử miễn phí bằng một cú nhấp chuột (một lần mỗi người).
Lấy khóa APICâu trả lời ngắn gọn: một ngân sách chung 100.000 token
Khi mọi người tìm kiếm cửa sổ ngữ cảnh ai agent, họ thường muốn biết một agent có thể nhớ được bao nhiêu trước khi bị lỗi. Ở đây con số là 100.000 token, và nó tính mọi thứ: prompt hệ thống, các định nghĩa công cụ, mọi tin nhắn trước đó, mọi kết quả công cụ và phần kết quả mà mô hình sắp viết. Phần kết quả có thể sử dụng những gì còn lại, và max_tokens là tùy chọn.
Điều này biến cửa sổ thành ngân sách, không phải không gian lưu trữ. Chatbot hiếm khi chạm giới hạn. Agent gọi công cụ trong vòng lặp có thể đạt giới hạn trong một buổi chiều, vì mỗi bước thêm tin nhắn mô hình và kết quả công cụ vào lịch sử, và toàn bộ lịch sử được gửi lại ở cuộc gọi tiếp theo. Mô hình không có bộ nhớ giữa các yêu cầu. Những gì trông giống bộ nhớ là bạn gửi lại bản ghi.
Những gì thực sự lấp đầy cửa sổ trong agent
Hầu hết không gian không phải văn bản người dùng. Theo dõi năm nguồn này và bạn có thể dự đoán nơi chạy sẽ hết.
- Prompt hệ thống. Quy tắc, nhân vật và định dạng đầu ra. Thường chiếm 500 đến 2.000 token và được gửi trong mọi lần gọi.
- Định nghĩa công cụ. Mỗi tên hàm, mô tả và lược đồ JSON đều tính. Mười công cụ với mô tả dài có thể tốn hàng nghìn token trước tin nhắn người dùng đầu tiên.
- Kết quả công cụ. Nguyên nhân thường gặp. Một kết quả tìm kiếm, một bản dump file hoặc một tập hàng cơ sở dữ liệu có thể chiếm hàng nghìn token, và nó vẫn nằm trong lịch sử trừ khi bạn xóa nó.
- Tin nhắn trợ lý. Lý luận được viết bằng văn bản và các đối số
tool_callsmà mô hình tạo ra. - Câu trả lời đang được tạo. Nó cũng cần không gian. Nếu prompt là 99.000 token, câu trả lời còn khoảng 1.000 token.
API báo cáo số chính xác trong khối usage của mỗi phản hồi, nên bạn không phải đoán. Ghi lại prompt_tokens sau mỗi bước và bạn sẽ thấy đường cong.
Ví dụ chi tiết: 20 bước vòng lặp công cụ
Hãy lấy một agent với điểm bắt đầu 3.000 token (prompt hệ thống cộng với các định nghĩa công cụ). Mỗi bước thêm khoảng 1.500 token vào lịch sử: lệnh gọi công cụ của mô hình và kết quả của công cụ. Nó cũng viết khoảng 300 token đầu ra mỗi bước. Agent chạy 20 bước.
Đầu vào tại bước k là 3.000 + 1.500 × (k − 1). Tổng cộng qua 20 bước:
- 3.000 × 20 = 60.000 token cho phần bắt đầu cố định, được gửi lại mỗi lần.
- 1.500 × (0 + 1 + ... + 19) = 1.500 × 190 = 285.000 token lịch sử tích lũy.
- Tổng đầu vào: 345.000 token. Tổng đầu ra: 20 × 300 = 6.000 token.
| Mục | Token | Giá trên 1 triệu | Chi phí |
|---|---|---|---|
| Đầu vào | 345,000 | $0.15 | $0.05175 |
| Đầu ra | 6,000 | $0.50 | $0.003 |
| Tổng cộng | khoảng $0,055 |
Có hai điểm nổi bật. Thứ nhất, ngữ cảnh ở bước 20 là 3.000 + 1.500 × 19 = 31.500 token, nằm trong cửa sổ, nhưng bạn đã trả tiền cho 345.000 token đầu vào, vì lịch sử được gửi lại mỗi lần. Thứ hai, một lệnh gọi với một cửa sổ hoàn toàn đầy (100.000 token đầu vào) tốn 100.000 × $0,15 / 1M = $0,015 cho phía đầu vào. Ngữ cảnh dài khá rẻ trên mỗi lệnh gọi; chi phí phát sinh từ việc lặp lại chúng qua nhiều bước. Xem trang giá cả để biết các mức giá và ưu đãi nạp tiền.
Có bao nhiêu bước vừa trước khi cửa sổ đầy
Bạn có thể ước tính điều này trước khi viết mã. Giữ dự phòng cho câu trả lời, ví dụ 20.000 token, để lại ngân sách 80.000 token cho prompt. Với điểm bắt đầu 3.000 token và 1.500 token thêm mỗi bước, lịch sử đạt ngân sách sau (80.000 − 3.000) / 1.500, hoặc khoảng 51 bước.
Bây giờ hãy định giá một lần chạy có độ dài đó. Qua 51 bước, đầu vào là 3.000 × 51 + 1.500 × (0 + 1 + ... + 50) = 153.000 + 1.500 × 1.275 = 153.000 + 1.912.500 = 2.065.500 token. Đầu ra ở mức 300 token mỗi bước là 15.300 token. Chi phí: 2.065.500 × $0,15 / 1M = $0,30983, cộng 15.300 × $0,50 / 1M = $0,00765, vậy khoảng $0,32.
Hãy so sánh điều đó với lần chạy 20 bước tốn khoảng $0,055. Lần chạy này dài hơn 2,55 lần nhưng tốn nhiều hơn khoảng 5,8 lần, vì mỗi bước mang theo lịch sử dài hơn. Đây là lý do thực tế để cắt bớt: nó giới hạn chi phí mỗi bước cũng như bảo vệ cửa sổ.
Giữ agent trong cửa sổ
Loại bỏ kết quả công cụ cũ trước
Kết quả công cụ thô là phần lớn nhất và ít hữu ích nhất của một lịch sử cũ. Một khi mô hình đã hành động dựa trên danh sách tệp, nó hiếm khi cần danh sách đó nữa. Hãy thay thế các kết quả cũ bằng một đoạn mã thay thế một dòng như "kết quả đã xóa, 4.200 token", hoặc xóa hoàn toàn cặp đó.
Tóm tắt phần giữa, giữ cả hai đầu
Giữ nguyên prompt hệ thống và vài lượt cuối. Đối với mọi thứ ở giữa, yêu cầu mô hình tóm tắt ngắn gọn các quyết định đã đưa ra và sự kiện đã tìm thấy, sau đó lưu tóm tắt đó dưới dạng một tin nhắn. Chạy lệnh tóm tắt trước khi chạm giới hạn, không phải sau.
Di chuyển sự kiện ra khỏi bản ghi
Nếu agent học được điều gì đó mà bạn phải giữ trong nhiều giờ, hãy ghi nó vào một file hoặc cơ sở dữ liệu nhỏ thông qua một công cụ, và đọc lại khi cần. Điều này rẻ hơn là mang nó trong mọi yêu cầu và giữ nguyên sau khi khởi động lại.
Giữ lược đồ công cụ ngắn
Cắt giảm mô tả chỉ những gì mô hình cần để chọn công cụ. Chỉ chuyển các công cụ liên quan đến giai đoạn hiện tại của nhiệm vụ.
Mã: vòng lặp công cụ với ngân sách token
Vòng lặp này cắt các tin nhắn cũ nhất khi kích thước thô vượt quá ngân sách 80.000 token, để lại không gian cho câu trả lời. Ước tính chia ký tự cho bốn, một xấp xỉ phổ biến cho văn bản tiếng Anh; số đếm thực tế trả về trong usage. Cắt bỏ các tin nhắn tool cô lập để kết quả không bao giờ xuất hiện mà không có lệnh gọi.
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://api.aivideogenapi.com/v1", api_key=os.environ["API_KEY"])
BUDGET = 80_000
tools = [{"type": "function", "function": {
"name": "get_scene_length",
"description": "Return the length of a scene in seconds",
"parameters": {"type": "object",
"properties": {"scene": {"type": "integer"}},
"required": ["scene"]}}}]
def rough_tokens(messages):
return sum(len(json.dumps(m)) for m in messages) // 4
def trim(messages):
system, rest = messages[0], messages[1:]
while rough_tokens([system] + rest) > BUDGET and len(rest) > 4:
rest.pop(0)
while rest and rest[0]["role"] == "tool":
rest.pop(0)
return [system] + rest
def run_tool(name, args):
return json.dumps({"seconds": 4 * args["scene"]}) # stub
messages = [
{"role": "system", "content": "You plan video scenes. Use tools for lengths."},
{"role": "user", "content": "Total the length of scenes 1 to 5."},
]
for step in range(20):
resp = client.chat.completions.create(
model="uncensored", messages=trim(messages), tools=tools)
msg = resp.choices[0].message
messages.append(msg.model_dump(exclude_none=True))
print(step, resp.usage.prompt_tokens)
if not msg.tool_calls:
print(msg.content)
break
for call in msg.tool_calls:
result = run_tool(call.function.name, json.loads(call.function.arguments))
messages.append({"role": "tool", "tool_call_id": call.id, "content": result})
Gọi hàm tuân theo định dạng OpenAI: tools, tool_choice và kết quả trả về với role: "tool". Tài liệu docs liệt kê các tham số được truyền qua.
Giới hạn quan trọng ngoài cửa sổ
Cửa sổ ngữ cảnh là một ràng buộc. Agent cũng có thể vượt quá giới hạn yêu cầu. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút; khóa dùng thử cho phép 2 và 60. Một vòng lặp chặt chẽ với các agent con đồng thời có thể vượt quá giới hạn đồng thời nhanh chóng. API trả về HTTP 429 và mã lỗi concurrency hoặc rate_limited, cùng với tiêu đề Retry-After: 5 khi quá tải tạm thời. Bạn hãy đợi khoảng thời gian đó rồi thử lại.
Nếu bạn dùng streaming, hãy nhớ rằng một yêu cầu streaming giữ slot đồng thời của nó cho đến khi stream kết thúc. Một client bị treo không bao giờ đóng stream sẽ giữ một slot bận.
Phần thân tối đa là 8 MB, lớn hơn nhiều so với 100.000 token văn bản, vì vậy cửa sổ là giới hạn bạn sẽ chạm phải trước tiên. Để xem ví dụ về một quy trình xử lý chỉ văn bản được xây dựng trên API này, hãy xem hướng dẫn kịch bản video. Khi bạn sẵn sàng chạy nó, tạo một khóa API; người dùng mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột, có hiệu lực trong 7 ngày và không cần thanh toán.
Hướng dẫn khác
Hỏi đáp
Cửa sổ ngữ cảnh lớn đến mức nào?
100.000 token, tính cả prompt và completion. Completion có thể sử dụng phần còn lại của cửa sổ ngữ cảnh mà prompt để lại.
Mô hình có nhớ các yêu cầu trước đó không?
Không. Mỗi yêu cầu là độc lập, vì vậy mã của bạn phải gửi lại các tin nhắn mà bạn muốn mô hình nhận.
Điều gì xảy ra khi tôi vượt quá giới hạn?
Yêu cầu không thể khớp, vì vậy hãy cắt ngắn hoặc tóm tắt lịch sử trước khi gửi. Các yêu cầu thất bại không bị tính phí.
Tôi đếm token như thế nào?
Đọc prompt_tokens và completion_tokens từ khối usage của mỗi phản hồi, hoặc sử dụng ước tính thô bốn ký tự cho mỗi token cho tiếng Anh trước khi gửi.
Khóa của bạn chỉ cách một biểu mẫu
Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.