ГлавнаяГайд
Обновлено
Контекстное окно AI-агента: как используются 100k токенов
Контекстное окно AI-агента — это общее пространство токенов для промпта, результатов инструментов и ответа модели. На этом API это пространство составляет 100 000 токенов, и долгоживущие агенты часто заполняют его быстрее, чем ожидается.

Ключевые моменты
- Окно на 100 000 токенов охватывает промпт и ответ, поэтому каждый сохраняемый результат инструмента уменьшает место для следующего ответа.
- В цикле агента вся история отправляется на каждом шаге, поэтому общий объем ввода растет пропорционально квадрату количества шагов, а не линейно.
- Сначала удалите старые результаты инструментов, сохраните системный промпт и последние ходы, и измеряйте с помощью поля usage.
- Цикл из 20 шагов с 1 500 новыми токенами на шаге стоит около $0,055 в общей сложности.
Карта не нужна. После регистрации одним кликом получите $0,50 бесплатного тестового баланса (один раз на человека).
Получить API-ключКороткий ответ: один общий бюджет на 100 000 токенов
Когда люди ищут контекстное окно AI-агента, они обычно хотят знать, сколько может запомнить агент до сбоя. Здесь это число — 100 000 токенов, и оно учитывает всё: системный промпт, определения инструментов, каждое предыдущее сообщение, каждый результат инструмента и ответ, который модель собирается написать. Ответ может использовать всё, что осталось, и max_tokens является необязательным.
Это превращает окно в бюджет, а не в хранилище. Чат-бот редко приближается к лимиту. Агент, вызывающий инструменты в цикле, может достичь его за один день, потому что каждый шаг добавляет сообщение модели и результат инструмента в историю, и вся история отправляется снова при следующем вызове. Модель не имеет памяти между запросами. То, что выглядит как память, — это вы повторно отправляете транскрипт.
Что на самом деле заполняет окно в агенте
Большая часть пространства — это не текст пользователя. Отслеживайте эти пять источников, и вы сможете предсказать, где у запуска закончится место.
- Системный промпт. Правила, персонаж и формат вывода. Часто занимает от 500 до 2 000 токенов и отправляется при каждом вызове.
- Определения инструментов. Каждое имя функции, описание и JSON-схема учитываются. Десять инструментов с длинными описаниями могут стоить несколько тысяч токенов до первого сообщения пользователя.
- Результаты инструментов. Главный виновник. Результат поиска, дамп файла или набор строк базы данных могут быть тысячами токенов, и они остаются в истории, если вы их не удалите.
- Сообщения ассистента. Рассуждения, записанные текстом, и аргументы
tool_calls, сгенерированные моделью. - Генерируемый ответ. Ему тоже нужно место. Если промпт занимает 99 000 токенов, на ответ остается около 1 000.
API сообщает точные числа в блоке usage каждого ответа, поэтому вам не нужно гадать. Логируйте prompt_tokens после каждого шага, и вы увидите кривую.
Разбор примера: 20 шагов цикла с инструментами
Возьмите агента с начальным контекстом в 3 000 токенов (системный промпт плюс определения инструментов). Каждый шаг добавляет около 1 500 токенов в историю: вызов инструмента моделью и результат инструмента. Он также генерирует около 300 токенов вывода на шаг. Агент выполняет 20 шагов.
Ввод на шаге k равен 3 000 + 1 500 × (k − 1). В сумме за 20 шагов:
- 3 000 × 20 = 60 000 токенов для начального блока, отправляемого каждый раз.
- 1 500 × (0 + 1 + ... + 19) = 1 500 × 190 = 285 000 токенов накопленной истории.
- Всего ввода: 345 000 токенов. Всего вывода: 20 × 300 = 6 000 токенов.
| Пункт | Токены | Цена за 1M | Стоимость |
|---|---|---|---|
| Входные | 345 000 | $0,15 | $0,05175 |
| Выходные | 6 000 | $0,50 | $0,003 |
| Итого | около $0,055 |
Обратите внимание на два момента. Во-первых, контекст на шаге 20 составляет 3 000 + 1 500 × 19 = 31 500 токенов, что значительно меньше ёмкости окна, однако вы оплатили 345 000 входных токенов, потому что историю отправляли снова каждый раз. Во-вторых, один вызов с полностью заполненным окном (100 000 входных токенов) стоит 100 000 × $0,15 / 1 млн = $0,015 за входную часть. Длинные контексты доступны по цене за вызов; расходы возникают из-за их повторения на многих шагах. См. страницу с ценами для тарифов и бонусов за пополнение.
Сколько шагов поместится до заполнения окна
Вы можете оценить это до написания кода. Оставьте резерв для ответа, скажем, 20 000 токенов, что оставляет бюджет в 80 000 токенов для промпта. При старте в 3 000 токенов и добавлении 1 500 токенов на шаг история достигнет этого бюджета после (80 000 − 3 000) / 1 500, или около 51 шага.
Теперь оцените запуск такой длины. За 51 шаг ввод составляет 3,000 × 51 + 1,500 × (0 + 1 + ... + 50) = 153,000 + 1,500 × 1,275 = 153,000 + 1,912,500 = 2,065,500 токенов. Вывод при 300 токенов на шаг составляет 15,300 токенов. Стоимость: 2,065,500 × $0,15 / 1M = $0.30983, плюс 15,300 × $0,50 / 1M = $0.00765, то есть около $0.32.
Сравните это с запуском на 20 шагов за около $0,055. Запуск в 2.55 раза длиннее, но стоит примерно в 5.8 раза больше, потому что каждый шаг несет более длинную историю. Это практическая причина для сокращения: это ограничивает стоимость за шаг, а также защищает окно.
Удержание агента в пределах окна
Сначала удалите старые результаты инструментов
Сырые результаты инструментов — самая большая и наименее полезная часть старой истории. Как только модель выполнила действие со списком файлов, ей редко нужен этот список снова. Замените старые результаты однострочной заглушкой, например, "результат удален, 4 200 токенов", или удалите пару полностью.
Обобщите середину, сохраните оба конца
Сохраняйте системный промпт и последние несколько ходов дословно. Для всего остального попросите модель сделать краткое резюме принятых решений и найденных фактов, затем сохраните это резюме как одно сообщение. Выполняйте вызов суммирования до достижения лимита, а не после.
Вынесите факты из транскрипта
Если агент должен запомнить что-то на несколько часов, запишите это в файл или небольшую базу данных через инструмент и прочитайте обратно при необходимости. Это дешевле, чем хранить это в каждом запросе, и данные сохраняются после перезапусков.
Делайте схемы инструментов короткими
Сократите описания до того, что нужно модели для выбора инструмента. Передавайте только инструменты, релевантные текущей фазе задачи.
Код: цикл инструментов с бюджетом токенов
Этот цикл удаляет самые старые сообщения, когда примерный размер превышает лимит в 80 000 токенов, оставляя место для ответа. Оценка делит количество символов на четыре — это распространенное приближение для английского текста; точный подсчет возвращается в usage. Удаление убирает висячие сообщения tool, чтобы результат никогда не появлялся без своего вызова.
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://api.aivideogenapi.com/v1", api_key=os.environ["API_KEY"])
BUDGET = 80_000
tools = [{"type": "function", "function": {
"name": "get_scene_length",
"description": "Return the length of a scene in seconds",
"parameters": {"type": "object",
"properties": {"scene": {"type": "integer"}},
"required": ["scene"]}}}]
def rough_tokens(messages):
return sum(len(json.dumps(m)) for m in messages) // 4
def trim(messages):
system, rest = messages[0], messages[1:]
while rough_tokens([system] + rest) > BUDGET and len(rest) > 4:
rest.pop(0)
while rest and rest[0]["role"] == "tool":
rest.pop(0)
return [system] + rest
def run_tool(name, args):
return json.dumps({"seconds": 4 * args["scene"]}) # stub
messages = [
{"role": "system", "content": "You plan video scenes. Use tools for lengths."},
{"role": "user", "content": "Total the length of scenes 1 to 5."},
]
for step in range(20):
resp = client.chat.completions.create(
model="uncensored", messages=trim(messages), tools=tools)
msg = resp.choices[0].message
messages.append(msg.model_dump(exclude_none=True))
print(step, resp.usage.prompt_tokens)
if not msg.tool_calls:
print(msg.content)
break
for call in msg.tool_calls:
result = run_tool(call.function.name, json.loads(call.function.arguments))
messages.append({"role": "tool", "tool_call_id": call.id, "content": result})
Вызов инструментов следует формату OpenAI: tools, tool_choice, и результаты возвращаются как role: "tool". В документации перечислены параметры, которые передаются без изменений.
Лимиты, имеющие значение помимо окна
Окно — одно из ограничений. Агенты также упираются в лимиты запросов. Полный ключ позволяет 8 параллельных запросов и 300 запросов в минуту; пробный ключ позволяет 2 и 60. Быстрый цикл с параллельными под-агентами может быстро превысить лимит параллельности. API отвечает HTTP 429 и кодом ошибки concurrency или rate_limited, а при временной перегрузке — заголовком Retry-After: 5. Подождите это время и повторите попытку.
Если вы используете потоковую передачу, помните, что потоковый запрос удерживает свой слот параллельности до конца потока. Заблокированный клиент, который никогда не закрывает поток, держит слот занятым.
Максимальный размер тела запроса — 8 МБ, что гораздо больше 100 000 токенов текста, поэтому лимитом, который вы достигнете первым, является окно. Пример текстового конвейера, построенного на этом API, см. в гайде по видео-сценариям. Когда будете готовы запустить его, создайте API-ключ; новые пользователи могут одним кликом получить $0,50 пробного баланса, действительного в течение 7 дней, без необходимости привязки карты.
Дополнительные руководства
Вопросы и ответы
Какой размер контекстного окна?
100 000 токенов, считая промпт и ответ вместе. Ответ может использовать всё, что осталось свободным в промпте.
Запоминает ли модель предыдущие запросы?
Нет. Каждый запрос независим, поэтому ваш код должен повторно отправлять сообщения, которые модель должна увидеть.
Что произойдёт, если превысить лимит?
Запрос не помещается, поэтому сократите или обобщите историю перед отправкой. Неудачные запросы не оплачиваются.
Как подсчитать токены?
Прочтите значения prompt_tokens и completion_tokens из блока usage каждого ответа или используйте приблизительную оценку: четыре символа на токен для английского языка перед отправкой.
Ваш ключ — на расстоянии одной формы
Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.