InicioGuía
Actualizado
Ventana de contexto de agente IA: uso de 100k tokens
La ventana de contexto de un agente IA es el espacio total de tokens compartido por el prompt, los resultados de las herramientas y la respuesta del modelo. En esta API ese espacio es de 100.000 tokens, y los agentes de larga duración tienden a llenarlo más rápido de lo esperado.

Puntos clave
- La ventana de 100.000 tokens cubre prompt más completion, así que cada resultado de herramienta que conservas reduce espacio para la siguiente respuesta.
- En un bucle de agente se reenvía todo el historial en cada paso, así que la entrada total crece con el cuadrado del número de pasos, no linealmente.
- Recorta primero la salida antigua de las herramientas, conserva el system prompt y los turnos más recientes, y mide con el campo usage.
- Un bucle de 20 pasos con 1.500 tokens nuevos por paso cuesta unos $0,055 en total.
Sin tarjeta. Tras registrarte, reclama $0,50 de crédito de prueba gratis con un clic (una vez por persona).
Obtener clave de APILa respuesta corta: un presupuesto compartido de 100.000 tokens
Cuando la gente busca la ventana de contexto del agente de IA, normalmente quiere saber cuánto puede recordar un agente antes de que falle. Aquí el número es 100.000 tokens, y cuenta todo: el prompt del sistema, las definiciones de herramientas, cada mensaje anterior, cada resultado de herramienta y la respuesta que el modelo está a punto de escribir. La respuesta puede usar lo que quede, y max_tokens es opcional.
Esto convierte la ventana en un presupuesto, no en un espacio de almacenamiento. Un chatbot rara vez se acerca al límite. Un agente que llama a herramientas en bucle puede alcanzarlo en una tarde, porque cada paso añade un mensaje del modelo y un resultado de herramienta al historial, y todo el historial se reenvía en la siguiente llamada. El modelo no tiene memoria entre peticiones. Lo que parece memoria es que tú reenvías el transcript.
Qué llena realmente la ventana en un agente
La mayor parte del espacio no es texto del usuario. Rastrea estas cinco fuentes y podrás predecir dónde se quedará corto una ejecución.
- System prompt. Reglas, personalidad y formato de salida. Suele ser de 500 a 2.000 tokens y se envía en cada llamada.
- Definiciones de herramientas. Cada nombre de función, descripción y esquema JSON cuenta. Diez herramientas con descripciones largas pueden costar varios miles de tokens antes del primer mensaje del usuario.
- Resultados de herramientas. El culpable habitual. Un resultado de búsqueda, un volcado de archivo o un conjunto de filas de base de datos pueden ser miles de tokens, y permanece en el historial a menos que lo elimines.
- Mensajes del asistente. Razonamiento escrito en texto y los argumentos de
tool_callsque produjo el modelo. - La respuesta que se está generando. También necesita espacio. Si el prompt tiene 99.000 tokens, la respuesta tiene unos 1.000 restantes.
La API reporta números exactos en el bloque usage de cada respuesta, así que no tienes que adivinar. Registra prompt_tokens después de cada paso y verás la curva.
Ejemplo resuelto: 20 pasos de un bucle de herramientas
Toma un agente con un inicio de 3.000 tokens (system prompt más definiciones de herramientas). Cada paso añade unos 1.500 tokens al historial: la llamada a herramienta del modelo y el resultado de la herramienta. También escribe unos 300 tokens de salida por paso. El agente ejecuta 20 pasos.
La entrada en el paso k es 3.000 + 1.500 × (k − 1). Sumado en 20 pasos:
- 3.000 × 20 = 60.000 tokens para el inicio fijo, reenviado cada vez.
- 1.500 × (0 + 1 + ... + 19) = 1.500 × 190 = 285.000 tokens de historial acumulado.
- Entrada total: 345.000 tokens. Salida total: 20 × 300 = 6.000 tokens.
| Ítem | Tokens | Precio por 1M | Costo |
|---|---|---|---|
| Entrada | 345,000 | $0.15 | $0.05175 |
| Salida | 6,000 | $0.50 | $0.003 |
| Total | unos $0.055 |
Destacan dos cosas. Primero, el contexto en el paso 20 es 3.000 + 1.500 × 19 = 31.500 tokens, muy dentro de la ventana, pero pagaste por 345.000 tokens de entrada, porque se reenvió el historial cada vez. Segundo, una sola llamada con una ventana completamente llena (100.000 tokens de entrada) cuesta 100.000 × $0,15 / 1M = $0,015 para el lado de entrada. Los contextos largos son asequibles por llamada; el costo proviene de repetirlos en muchos pasos. Consulta la página de precios para las tarifas y los bonos de recarga.
Cuántos pasos caben antes de que la ventana se llene
Puedes estimarlo antes de escribir código. Mantén una reserva para la respuesta, digamos 20.000 tokens, lo que deja un presupuesto de 80.000 tokens para el prompt. Con un inicio de 3.000 tokens y 1.500 tokens añadidos por paso, el historial alcanza ese presupuesto tras (80.000 − 3.000) / 1.500, o unos 51 pasos.
Ahora calcula el precio de una ejecución de esa longitud. En 51 pasos, la entrada es 3.000 × 51 + 1.500 × (0 + 1 + ... + 50) = 153.000 + 1.500 × 1.275 = 153.000 + 1.912.500 = 2.065.500 tokens. La salida a 300 tokens por paso son 15.300 tokens. Coste: 2.065.500 × $0,15 / 1M = $0,30983, más 15.300 × $0,50 / 1M = $0,00765, por lo que unos $0,32.
Compara eso con la ejecución de 20 pasos a unos $0,055. La ejecución es 2,55 veces más larga pero cuesta unas 5,8 veces más, porque cada paso lleva un historial más largo. Esta es la razón práctica para recortar: limita el coste por paso y protege la ventana.
Mantener un agente dentro de la ventana
Elimina primero la salida antigua de las herramientas
Los resultados de las herramientas son la parte más grande y menos útil de un historial antiguo. Una vez que el modelo ha actuado sobre un listado de archivos, rara vez necesita el listado nuevamente. Reemplaza los resultados antiguos con un marcador de una línea como "resultado eliminado, 4.200 tokens", o elimina el par por completo.
Resume el medio, conserva ambos extremos
Conserva el system prompt y los últimos turnos textualmente. Para todo lo demás, pide al modelo un resumen corto de las decisiones tomadas y los hechos encontrados, luego almacena ese resumen como un solo mensaje. Ejecuta la llamada de resumen antes de alcanzar el límite, no después.
Mueve los hechos fuera de la transcripción
Si el agente aprende algo que debe conservar durante horas, escríbelo en un archivo o una pequeña base de datos a través de una herramienta, y léelo de nuevo cuando sea necesario. Esto es más barato que llevarlo en cada petición y sobrevive a los reinicios.
Mantén los esquemas de herramientas cortos
Recorta las descripciones a lo que el modelo necesita para elegir la herramienta. Pasa solo las herramientas relevantes para la fase actual de la tarea.
Código: un bucle de herramientas con un presupuesto de tokens
Este bucle recorta los mensajes más antiguos cuando el tamaño aproximado supera un presupuesto de 80.000 tokens, dejando espacio para la respuesta. La estimación divide los caracteres por cuatro, una aproximación común para el texto en inglés; el recuento real vuelve en usage. El recorte elimina los mensajes de tool huérfanos para que un resultado nunca aparezca sin su llamada.
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://api.aivideogenapi.com/v1", api_key=os.environ["API_KEY"])
BUDGET = 80_000
tools = [{"type": "function", "function": {
"name": "get_scene_length",
"description": "Return the length of a scene in seconds",
"parameters": {"type": "object",
"properties": {"scene": {"type": "integer"}},
"required": ["scene"]}}}]
def rough_tokens(messages):
return sum(len(json.dumps(m)) for m in messages) // 4
def trim(messages):
system, rest = messages[0], messages[1:]
while rough_tokens([system] + rest) > BUDGET and len(rest) > 4:
rest.pop(0)
while rest and rest[0]["role"] == "tool":
rest.pop(0)
return [system] + rest
def run_tool(name, args):
return json.dumps({"seconds": 4 * args["scene"]}) # stub
messages = [
{"role": "system", "content": "You plan video scenes. Use tools for lengths."},
{"role": "user", "content": "Total the length of scenes 1 to 5."},
]
for step in range(20):
resp = client.chat.completions.create(
model="uncensored", messages=trim(messages), tools=tools)
msg = resp.choices[0].message
messages.append(msg.model_dump(exclude_none=True))
print(step, resp.usage.prompt_tokens)
if not msg.tool_calls:
print(msg.content)
break
for call in msg.tool_calls:
result = run_tool(call.function.name, json.loads(call.function.arguments))
messages.append({"role": "tool", "tool_call_id": call.id, "content": result})
Las llamadas a herramientas siguen el formato de OpenAI: tools, tool_choice, y los resultados devueltos como role: "tool". La documentación lista los parámetros que se transmiten.
Límites importantes además de la ventana
La ventana es una restricción. Los agentes también alcanzan límites de peticiones. Una clave completa permite 8 peticiones concurrentes y 300 peticiones por minuto; una clave de prueba permite 2 y 60. Un bucle ajustado con sub-agentes en paralelo puede exceder el límite de concurrencia rápidamente. La API responde con HTTP 429 y el código de error concurrency o rate_limited, y en sobrecarga temporal con un encabezado Retry-After: 5. Espera ese tiempo y reintenta.
Si haces streaming, recuerda que una petición en streaming mantiene su slot de concurrencia hasta que termina el stream. Un cliente bloqueado que nunca cierra el stream mantiene un slot ocupado.
El cuerpo máximo es 8 MB, que es mucho más que 100.000 tokens de texto, así que la ventana es el límite que alcanzarás primero. Para un ejemplo de un pipeline solo de texto construido en esta API, consulta la guía de guiones de video. Cuando estés listo para ejecutarlo, crea una clave de API; los nuevos usuarios pueden reclamar $0,50 de crédito de prueba con un clic, válido por 7 días y sin necesidad de pago.
Más guías
Preguntas y respuestas
¿Qué tamaño tiene la ventana de contexto?
100.000 tokens, contando el prompt y la respuesta juntos. La respuesta puede usar todo lo que el prompt deje libre.
¿El modelo recuerda las peticiones anteriores?
No. Cada petición es independiente, por lo que tu código debe reenviar los mensajes que quiere que el modelo vea.
¿Qué pasa si supero el límite?
La petición no cabe, así que reduce o resume el historial antes de enviarla. Las peticiones fallidas no se cobran.
¿Cómo cuento los tokens?
Lee prompt_tokens y completion_tokens del bloque de uso de cada respuesta, o usa una estimación aproximada de cuatro caracteres por token para inglés antes de enviar.
Tu clave está a un formulario de distancia
Crea una cuenta, copia la clave, cambia la URL base. Esa es toda la configuración.