中文 ▾
获取 API 密钥

首页指南

更新于

AI 代理上下文窗口:100k token 的使用方式

AI Agent 上下文窗口是提示词、工具结果和模型回答共享的总 token 空间。在此 API 上,该空间为 100,000 个 token,长期运行的 Agent 往往比预期更快地填满它。

玻璃容器填充发光方块,箭头循环环绕,描绘 Agent 的上下文窗口

要点

  1. 100,000 token 的窗口覆盖提示词加补全,因此你保留的每个工具结果都会减少下一个回答的空间。
  2. 在 Agent 循环中,每一步都会重新发送整个历史记录,因此总输入随步骤数的平方增长,而非线性增长。
  3. 首先修剪旧的工具输出,保留系统提示词和最新的对话轮次,并使用 usage 字段进行测量。
  4. 一个 20 步的循环,每步新增 1,500 个 token,总成本约为 $0.055。

无需信用卡。注册后,一键领取 $0.50 免费试用额度(每人限领一次)。

获取 API 密钥

简短回答:100,000 个 token 的共享预算

当人们搜索ai agent context window时,他们通常想知道 Agent 在崩溃前能记住多少内容。这里的数字是 100,000 个 token,它计算所有内容:系统提示词、工具定义、每条之前的消息、每个工具结果以及模型即将生成的补全。补全可以使用剩余的空间,max_tokens 是可选的。

这使得窗口成为一个预算,而不是存储空间。聊天机器人很少接近限制。在循环中调用工具的 Agent 可能在半天内就达到限制,因为每一步都会向历史记录添加一条模型消息和一条工具结果,并且整个历史记录会在下一次调用时重新发送。模型在请求之间没有记忆。看起来像记忆的东西是你重新发送的对话记录。

实际上是什么填满了 Agent 的窗口

大部分空间不是用户的文本。跟踪这五个来源,你就可以预测运行会在哪里耗尽。

  • 系统提示词。 规则、人设和输出格式。通常占用 500 到 2,000 个 token,并在每次调用时发送。
  • 工具定义。 每个函数名称、描述和 JSON 模式都计算在内。十个带有长描述的工具有可能在第一条用户消息之前消耗数千个 token。
  • 工具结果。 最常见的罪魁祸首。搜索结果、文件转储或数据库行集可能包含数千个 token,除非你将其移除,否则它会保留在历史记录中。
  • 助手消息。 以文本形式写出的推理过程以及模型生成的 tool_calls 参数。
  • 正在生成的回复。 它也需要空间。如果提示词是 99,000 个 token,答案只剩下大约 1,000 个空间。

API 会在每个响应的 usage 块中报告确切数字,因此你不需要猜测。在每个步骤后记录 prompt_tokens,你就会看到增长曲线。

工作示例:工具循环的 20 个步骤

假设一个 Agent 的初始大小为 3,000 个 token(系统提示词加工具定义)。每一步向历史记录增加约 1,500 个 token:模型的 tool call 和工具的结果。它每步还输出约 300 个 token。Agent 运行 20 步。

第 k 步的输入为 3,000 + 1,500 × (k − 1)。20 步的总和为:

  • 3,000 × 20 = 60,000 个 token 用于固定起始部分,每次重新发送。
  • 1,500 × (0 + 1 + ... + 19) = 1,500 × 190 = 285,000 个 token 的累积历史记录。
  • 总输入:345,000 个 token。总输出:20 × 300 = 6,000 个 token。
项目Token每 1M 价格成本
输入345,000$0.15$0.05175
输出6,000$0.50$0.003
总计约 $0.055

有两点值得注意。首先,第 20 步的上下文是 3,000 + 1,500 × 19 = 31,500 个 token,完全在窗口范围内,但你支付了 345,000 个输入 token 的费用,因为历史记录被重新发送了。其次,一次完全填满窗口(100,000 个输入 token)的调用,输入侧成本为 100,000 × $0.15 / 1M = $0.015。长上下文每次调用的成本是负担得起的;成本来自于在许多步骤中重复它们。请参阅定价页面获取费率和充值奖励。

在窗口填满之前能容纳多少步骤

你可以在编写任何代码之前估算这一点。为答案保留一个预留空间,例如 20,000 个 token,这为提示词留下了 80,000 个 token 的预算。以 3,000 个 token 的起始和每步增加 1,500 个 token 计算,历史记录在 (80,000 − 3,000) / 1,500,即约 51 步后达到该预算。

现在计算该长度运行的价格。在 51 步中,输入为 3,000 × 51 + 1,500 × (0 + 1 + ... + 50) = 153,000 + 1,500 × 1,275 = 153,000 + 1,912,500 = 2,065,500 个 token。每步 300 个 token 的输出为 15,300 个 token。成本:2,065,500 × $0.15 / 1M = $0.30983,加上 15,300 × $0.50 / 1M = $0.00765,即约 $0.32。

与约 $0.055 的 20 步运行相比。运行时间长 2.55 倍,但成本约高 5.8 倍,因为每一步都携带更长的历史记录。这是精简的实际原因:它限制了每步的成本,并保护了窗口。

让 Agent 保持在窗口内

首先丢弃旧的工具输出

原始工具结果是旧历史记录中最大且最无用的部分。一旦模型对文件列表采取了操作,通常就不再需要该列表。将旧结果替换为一行存根,例如“结果已移除,4,200 token”,或直接删除该条目。

总结中间部分,保留两端

保留系统提示词和最后几条对话轮次。对于中间的所有内容,要求模型对已做出的决策和发现的事实进行简短总结,然后将该总结存储为一条消息。在达到限制之前运行总结调用,而不是之后。

将事实移出对话记录

如果 Agent 学到了必须在数小时内保留的内容,通过工具将其写入文件或小型数据库,并在需要时读取它。这比在每个请求中携带它更便宜,并且可以在重启后继续保留。

保持工具模式简短

修剪描述,只保留模型选择工具所需的内容。仅传递与任务当前阶段相关的工具。

代码:带有 token 预算的工具循环

当粗略大小超过 80,000 个 token 的预算时,此循环会修剪最旧的消息,为答案留出空间。该估算将字符数除以四,这是英文文本的常见近似值;实际计数将在 usage 中返回。修剪会丢弃孤立的 tool 消息,以确保结果不会在没有其调用的情况下出现。

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://api.aivideogenapi.com/v1", api_key=os.environ["API_KEY"])
BUDGET = 80_000

tools = [{"type": "function", "function": {
    "name": "get_scene_length",
    "description": "Return the length of a scene in seconds",
    "parameters": {"type": "object",
                   "properties": {"scene": {"type": "integer"}},
                   "required": ["scene"]}}}]

def rough_tokens(messages):
    return sum(len(json.dumps(m)) for m in messages) // 4

def trim(messages):
    system, rest = messages[0], messages[1:]
    while rough_tokens([system] + rest) > BUDGET and len(rest) > 4:
        rest.pop(0)
        while rest and rest[0]["role"] == "tool":
            rest.pop(0)
    return [system] + rest

def run_tool(name, args):
    return json.dumps({"seconds": 4 * args["scene"]})  # stub

messages = [
    {"role": "system", "content": "You plan video scenes. Use tools for lengths."},
    {"role": "user", "content": "Total the length of scenes 1 to 5."},
]

for step in range(20):
    resp = client.chat.completions.create(
        model="uncensored", messages=trim(messages), tools=tools)
    msg = resp.choices[0].message
    messages.append(msg.model_dump(exclude_none=True))
    print(step, resp.usage.prompt_tokens)
    if not msg.tool_calls:
        print(msg.content)
        break
    for call in msg.tool_calls:
        result = run_tool(call.function.name, json.loads(call.function.arguments))
        messages.append({"role": "tool", "tool_call_id": call.id, "content": result})

工具调用遵循 OpenAI 格式:tools、tool_choice,以及作为 role: "tool" 返回的结果。文档 列出了可透传的参数。

除了窗口之外需要注意的限制

上下文窗口只是其中一个限制。智能体还会触及请求限制。完整密钥允许 8 个并发请求和每分钟 300 个请求;试用密钥允许 2 个并发请求和每分钟 60 个请求。带有并行子智能体的紧密循环会迅速超过并发上限。API 会返回 HTTP 429 状态码以及错误代码 concurrency 或 rate_limited,并在临时过载时返回 Retry-After: 5 头信息。等待该时长后重试。

如果你使用流式输出,请记住流式请求会占用其并发槽位,直到流结束。停滞的客户端如果从不关闭流,会保持一个槽位繁忙。

最大请求体为 8 MB,远超 100,000 个 token 的文本量,因此你将首先触及上下文窗口的限制。有关基于此 API 构建的纯文本流水线示例,请参阅 视频脚本指南。准备运行它时,创建 API 密钥;新用户可一键领取 $0.50 试用额度,有效期 7 天,无需信用卡。

问答

上下文窗口有多大?

100,000 个 token,包含提示词和补全的 token 总数。补全部分可以使用提示词剩余的空间。

模型会记住之前的请求吗?

不会。每个请求都是独立的,因此你的代码必须重新发送希望模型看到的消息。

超出限制时会发生什么?

请求无法容纳,请在发送前精简或总结历史记录。失败的请求不会收费。

如何计算 token?

读取每个响应 usage 块中的 prompt_tokens 和 completion_tokens,或在发送前按每个英文字符约 0.25 个 token 进行粗略估算。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥