Strona głównaPrzewodnik
Zaktualizowano
Okno kontekstu agenta AI: Jak zużywane są 100k tokenów
Okno kontekstu agenta AI to całkowita przestrzeń tokenów dzielona przez prompt, wyniki narzędzi i odpowiedź modelu. W tym API przestrzeń ta wynosi 100 000 tokenów, a długo działający agenci zwykle wypełniają ją szybciej, niż się spodziewasz.

Kluczowe punkty
- Okno 100 000 tokenów obejmuje prompt plus uzupełnienie, więc każde wyniki narzędzi, które zachowasz, zmniejszają miejsce na kolejną odpowiedź.
- W pętli agenta cała historia jest ponownie wysyłana na każdym kroku, więc całkowity wzrost wejścia jest kwadratowy w stosunku do liczby kroków, a nie liniowy.
- Najpierw usuń stare wyniki narzędzi, zachowaj prompt systemowy i najnowsze zwroty oraz mierz używając pola usage.
- Pętla 20 kroków z 1 500 nowymi tokenami na krok kosztuje około $0,055 łącznie.
Nie potrzeba karty. Po rejestracji zdobądź $0,50 darmowego kredytu próbnego jednym kliknięciem (raz na osobę).
Pobierz klucz APIKrótka odpowiedź: jeden wspólny budżet 100 000 tokenów
Gdy ludzie szukają okna kontekstu agenta AI, zwykle chcą wiedzieć, ile agent może zapamiętać, zanim się zawali. Tutaj liczba to 100 000 tokenów i liczy się wszystko: prompt systemowy, definicje narzędzi, każdą wcześniejszą wiadomość, każdy wynik narzędzia i uzupełnienie, które model ma napisać. Uzupełnienie może wykorzystać wszystko, co zostało, a max_tokens jest opcjonalne.
To sprawia, że okno jest budżetem, a nie przestrzenią do przechowywania. Czatbot rzadko zbliża się do limitu. Agent, który wywołuje narzędzia w pętli, może go osiągnąć po południu, ponieważ każdy krok dodaje wiadomość modelu i wynik narzędzia do historii, a cała historia jest ponownie wysyłana przy kolejnym wywołaniu. Model nie ma pamięci między zapytaniami. To, co wygląda na pamięć, to Ty ponownie wysyłasz transkrypcję.
Co faktycznie wypełnia okno w agencie
Większość miejsca to nie tekst użytkownika. Śledź te pięć źródeł, a będziesz mógł przewidzieć, gdzie uruchomienie się skończy.
- Prompt systemowy. Reguły, persona i format wyjścia. Często 500 do 2 000 tokenów i wysyłany przy każdym wywołaniu.
- Definicje narzędzi. Każda nazwa funkcji, opis i schemat JSON liczą się. Dziesięć narzędzi z długimi opisami może kosztować kilka tysięcy tokenów przed pierwszą wiadomością użytkownika.
- Wyniki narzędzi. Najczęstszy winowajca. Wynik wyszukiwania, zrzut pliku lub zestaw wierszy bazy danych może mieć tysiące tokenów i pozostaje w historii, chyba że go usuniesz.
- Wiadomości asystenta. Rozumowanie zapisane tekstem i argumenty
tool_callswygenerowane przez model. - Generowana odpowiedź. Też potrzebuje miejsca. Jeśli prompt ma 99 000 tokenów, na odpowiedź zostaje około 1 000.
API zwraca dokładne liczby w bloku usage każdej odpowiedzi, więc nie musisz zgadywać. Loguj prompt_tokens po każdym kroku i zobaczysz krzywą.
Przykład: 20 kroków pętli narzędzi
Weź agenta z początkowym promptem systemowym i definicjami narzędzi o łącznej długości 3 000 tokenów. Każdy krok dodaje do historii około 1 500 tokenów: wywołanie narzędzia przez model i wynik narzędzia. Agent generuje też około 300 tokenów odpowiedzi na krok. Agent wykonuje 20 kroków.
Wejście na kroku k to 3 000 + 1 500 × (k − 1). Suma dla 20 kroków:
- 3 000 × 20 = 60 000 tokenów dla stałego początku, ponownie wysyłanego za każdym razem.
- 1 500 × (0 + 1 + ... + 19) = 1 500 × 190 = 285 000 tokenów nagromadzonej historii.
- Całkowite wejście: 345 000 tokenów. Całkowite wyjście: 20 × 300 = 6 000 tokenów.
| Pozycja | Tokeny | Cena za 1M | Koszt |
|---|---|---|---|
| Wejście | 345,000 | $0.15 | $0.05175 |
| Wyjście | 6,000 | $0.50 | $0.003 |
| Razem | około $0,055 |
Widoczne są dwa fakty. Po pierwsze, kontekst na kroku 20 to 3 000 + 1 500 × 19 = 31 500 tokenów, co mieści się w oknie, jednak zapłaciłeś za 345 000 tokenów wejściowych, ponieważ historia była wysyłana ponownie za każdym razem. Po drugie, pojedyncze zapytanie z całkowicie pełnym oknem (100 000 tokenów wejściowych) kosztuje 100 000 × $0,15 / 1 mln = $0,015 po stronie wejścia. Długie konteksty są tanie w przeliczeniu na zapytanie; koszt wynika z powtarzania ich przez wiele kroków. Zobacz stronę z cenami, aby poznać stawki i bonusy za doładowanie.
Ile kroków zmieści się, zanim okno się zapełni
Możesz to oszacować przed napisaniem jakiegokolwiek kodu. Zostaw rezerwę na odpowiedź, powiedzmy 20 000 tokenów, co daje budżet 80 000 tokenów dla promptu. Przy starcie 3 000 tokenów i 1 500 tokenów dodawanych na krok, historia osiągnie ten budżet po (80 000 − 3 000) / 1 500, czyli około 51 krokach.
Teraz wycenij uruchomienie o tej długości. Przez 51 kroków wejście to 3 000 × 51 + 1 500 × (0 + 1 + ... + 50) = 153 000 + 1 500 × 1 275 = 153 000 + 1 912 500 = 2 065 500 tokenów. Wyjście przy 300 tokenach na krok to 15 300 tokenów. Koszt: 2 065 500 × $0,15 / 1M = $0,30983, plus 15 300 × $0,50 / 1M = $0,00765, więc około $0,32.
Porównaj to z uruchomieniem 20 kroków za około $0,055. Uruchomienie jest 2,55 razy dłuższe, ale kosztuje około 5,8 razy więcej, ponieważ każdy krok niesie dłuższą historię. To praktyczny powód do przycinania: ogranicza koszt na krok oraz chroni okno.
Utrzymanie agenta w oknie
Najpierw usuń stare wyniki narzędzi
Surowe wyniki narzędzi to największa i najmniej przydatna część starej historii. Gdy model wykona akcję na liście plików, rzadko potrzebuje jej ponownie. Zastąp stare wyniki jednoliniowym stubem typu „wynik usunięty, 4 200 tokenów” lub usuń parę całkowicie.
Podsumuj środek, zachowaj oba końce
Zachowaj prompt systemowy i ostatnie kilka tur dosłownie. W przypadku wszystkiego między nimi poproś model o krótkie podsumowanie podjętych decyzji i znalezionych faktów, a następnie zapisz to podsumowanie jako jedną wiadomość. Wyślij zapytanie o podsumowanie przed osiągnięciem limitu, a nie po.
Przenieś fakty poza transkrypcję
Jeśli agent czegoś się nauczy i musi to przechowywać przez godziny, zapisz to do pliku lub małej bazy danych przez narzędzie i odczytaj z powrotem, gdy będzie to potrzebne. Jest to tańsze niż noszenie tego w każdym zapytaniu i przetrwa restarty.
Utrzymuj schematy narzędzi krótkie
Skróć opisy do tego, czego model potrzebuje do wyboru narzędzia. Przekazuj tylko narzędzia istotne dla bieżącej fazy zadania.
Kod: pętla narzędzi z budżetem tokenów
Ta pętla przycina najstarsze wiadomości, gdy przybliżony rozmiar przekracza budżet 80 000 tokenów, zostawiając miejsce na odpowiedź. Szacunek dzieli znaki przez cztery, powszechne przybliżenie dla tekstu angielskiego; rzeczywista liczba wraca w usage. Przycinanie usuwa osierocone komunikaty tool, więc wynik nigdy nie pojawia się bez swojego wywołania.
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://api.aivideogenapi.com/v1", api_key=os.environ["API_KEY"])
BUDGET = 80_000
tools = [{"type": "function", "function": {
"name": "get_scene_length",
"description": "Return the length of a scene in seconds",
"parameters": {"type": "object",
"properties": {"scene": {"type": "integer"}},
"required": ["scene"]}}}]
def rough_tokens(messages):
return sum(len(json.dumps(m)) for m in messages) // 4
def trim(messages):
system, rest = messages[0], messages[1:]
while rough_tokens([system] + rest) > BUDGET and len(rest) > 4:
rest.pop(0)
while rest and rest[0]["role"] == "tool":
rest.pop(0)
return [system] + rest
def run_tool(name, args):
return json.dumps({"seconds": 4 * args["scene"]}) # stub
messages = [
{"role": "system", "content": "You plan video scenes. Use tools for lengths."},
{"role": "user", "content": "Total the length of scenes 1 to 5."},
]
for step in range(20):
resp = client.chat.completions.create(
model="uncensored", messages=trim(messages), tools=tools)
msg = resp.choices[0].message
messages.append(msg.model_dump(exclude_none=True))
print(step, resp.usage.prompt_tokens)
if not msg.tool_calls:
print(msg.content)
break
for call in msg.tool_calls:
result = run_tool(call.function.name, json.loads(call.function.arguments))
messages.append({"role": "tool", "tool_call_id": call.id, "content": result})
Wywoływanie funkcji jest zgodne z formatem OpenAI: tools, tool_choice oraz wyniki zwracane jako role: "tool". Dokumentacja wymienia parametry, które są przekazywane dalej.
Limity ważne poza oknem
Okno to jedno z ograniczeń. Agenci również natrafiają na limity zapytań. Pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę; klucz próbny pozwala na 2 i 60. Ścisła pętla z równoległymi pod-agentami może szybko przekroczyć limit współbieżności. API odpowiada kodem HTTP 429 i kodem błędu concurrency lub rate_limited, a w przypadku tymczasowego przeciążenia nagłówkiem Retry-After: 5. Poczekaj i spróbuj ponownie.
Jeśli strumieniujesz, pamiętaj, że strumieniowane zapytanie zajmuje slot współbieżności do końca strumienia. Zablokowany klient, który nigdy nie zamyka strumienia, trzyma slot zajęty.
Maksymalny rozmiar treści żądania to 8 MB, co jest znacznie więcej niż 100 000 tokenów tekstu, więc to okno kontekstu jest limitem, który trafisz jako pierwszy. Przykład potoku przetwarzającego tylko tekst zbudowanego na tym API znajdziesz w przewodniku po skryptach wideo. Kiedy będziesz gotowy, utwórz klucz API; nowi użytkownicy mogą odebrać $0,50 kredytu próbnego jednym kliknięciem, ważnego przez 7 dni bez konieczności podawania danych płatniczych.
Więcej przewodników
Pytania i odpowiedzi
Jak duże jest okno kontekstu?
100 000 tokenów, licząc razem prompt i uzupełnienie. Uzupełnienie może wykorzystać wszystko, co pozostawił prompt.
Czy model zapamiętuje wcześniejsze zapytania?
Nie. Każde zapytanie jest niezależne, więc twój kod musi ponownie wysyłać wiadomości, które ma zobaczyć model.
Co się stanie, gdy przekroczę limit?
Zapytanie nie zmieści się, więc skróć lub podsumuj historię przed wysłaniem. Nieudane zapytania nie są rozliczane.
Jak liczyć tokeny?
Przeczytaj pola prompt_tokens i completion_tokens z bloku usage w każdej odpowiedzi lub użyj przybliżonego szacunku czterech znaków na token dla języka angielskiego przed wysłaniem.
Twój klucz jest o jeden formularz stąd
Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.