ホームガイド
更新日:
AIエージェントのコンテキストウィンドウ:100kトークンの使い方
AIエージェントのコンテキストウィンドウとは、プロンプト、ツール結果、モデルの回答が共有するトークン領域の合計です。このAPIではその領域は100,000トークンであり、長時間実行されるエージェントは予想よりも早くこれを埋め尽くす傾向があります。

主要ポイント
- 100,000トークンのウィンドウはプロンプトと補完を合わせたものであり、保持するツール結果の分だけ、次の応答の余地が減ります。
- エージェントループでは、各ステップで履歴全体が再送信されるため、合計入力量はステップ数の2乗に比例して増大し、線形にはなりません。
- まず古いツール出力を削除し、システムプロンプトと最新のやり取りを保持し、usageフィールドで測定します。
- 1ステップあたり1,500トークンの20ステップループは、合計で約$0.055かかります。
カード不要。サインアップ後、ワンクリックで$0.50の無料テストクレジットを請求できます(1人1回限り)。
API キーを取得短い答え:100,000トークンの共有予算
人々がAIエージェントのコンテキストウィンドウを検索する際、エージェントが破綻する前にどの程度まで記憶できるかを知りたいのが一般的です。ここではその数が100,000トークンであり、そこにはシステムプロンプト、ツール定義、過去のすべてのメッセージ、すべてのツール結果、そしてモデルが次に書き込もうとする補完が含まれます。補完では残った領域を自由に使用でき、max_tokensはオプションです。
これがウィンドウをストレージスペースではなく予算にします。チャットボットは制限にほとんど到達しません。ツールをループで呼び出すエージェントは、1ステップごとにモデルメッセージとツール結果が履歴に追加され、履歴全体が次の呼び出しで再送信されるため、午後には到達する可能性があります。モデルにはリクエスト間の記憶がありません。記憶のように見えるものは、あなたがトランスクリプトを再送信していることです。
エージェントで実際にウィンドウを埋めるもの
スペースの大部分はユーザーのテキストではありません。これら5つのソースを追跡すれば、実行がどこで尽きるかを予測できます。
- システムプロンプト。 ルール、ペルソナ、出力形式。通常500〜2,000トークンで、すべての呼び出しで送信されます。
- ツール定義。 各関数名、説明、JSONスキーマがカウントされます。長い説明を持つ10個のツールは、最初のユーザーメッセージの前に数千トークンのコストがかかる可能性があります。
- ツール結果。 よくある原因。検索結果、ファイルダンプ、またはデータベースの行セットは数千トークンになる可能性があり、削除しない限り履歴に残ります。
- アシスタントメッセージ。 テキストで書かれた推論と、モデルが生成した
tool_calls引数。 - 生成されている返信。 これにもスペースが必要です。プロンプトが99,000トークンの場合、回答には約1,000が残ります。
APIは各レスポンスのusage ブロックで正確な数字を報告するため、推測する必要はありません。各ステップ後にprompt_tokens をログに記録すると、曲線が見えるようになります。
計算例:ツールループの20ステップ
3,000トークンのスタート(システムプロンプトとツール定義)を持つエージェントを考えます。各ステップは履歴に約1,500トークンを追加します:モデルのツール呼び出しとツールの結果。また、ステップごとに約300トークンの出力も書き込みます。エージェントは20ステップ実行します。
ステップk での入力は 3,000 + 1,500 × (k − 1) です。20ステップで合計:
- 3,000 × 20 = 60,000トークン(固定された開始部分、毎回再送信)
- 1,500 × (0 + 1 + ... + 19) = 1,500 × 190 = 285,000トークン(蓄積された履歴)
- 合計入力:345,000トークン。合計出力:20 × 300 = 6,000トークン。
| 項目 | トークン | 1Mあたりの価格 | コスト |
|---|---|---|---|
| 入力 | 345,000 | $0.15 | $0.05175 |
| 出力 | 6,000 | $0.50 | $0.003 |
| 合計 | 約$0.055 |
2つのことが際立ちます。第一に、ステップ20でのコンテキストは 3,000 + 1,500 × 19 = 31,500トークンで、ウィンドウ内に完全に収まりますが、履歴が毎回再送信されたため、345,000の入力トークンの費用を支払いました。第二に、完全に埋まったウィンドウ(100,000入力トークン)を持つ単一の呼び出しは、入力側で 100,000 × $0.15 / 1M = $0.015 の費用がかかります。長いコンテキストは1呼び出しあたりのコストが手頃ですが、コストは多くのステップにわたってそれらを繰り返すことから生じます。料率とチャージボーナスについては料金ページをご覧ください。
ウィンドウが一杯になる前にどのくらいのステップが収まるか
コードを書く前にこれを推定できます。回答用の予備を確保し、例えば20,000トークンとすると、プロンプトのための80,000トークンの予算が残ります。3,000トークンのスタートとステップあたり1,500トークンの追加の場合、履歴は (80,000 − 3,000) / 1,500、つまり約51ステップ後にその予算に達します。
次に、その長さの実行の価格を計算します。51ステップにわたる入力は 3,000 × 51 + 1,500 × (0 + 1 + ... + 50) = 153,000 + 1,500 × 1,275 = 153,000 + 1,912,500 = 2,065,500トークンです。ステップあたり300トークンの出力は15,300トークンです。費用:2,065,500 × $0.15 / 1M = $0.30983、プラス 15,300 × $0.50 / 1M = $0.00765、つまり約$0.32。
これを約$0.055の20ステップ実行と比較してください。実行は2.55倍長いですが、各ステップがより長い履歴を運ぶため、費用は約5.8倍かかります。これが切り捨てる実用的な理由です:ステップあたりのコストを制限し、ウィンドウも保護します。
エージェントをウィンドウ内に維持する
古いツール出力を最初に切り捨てる
生のツール結果は、古い履歴の中で最も大きく、最も有用でない部分です。モデルがファイルリストに対してアクションを実行した後、そのリストを再度必要とすることはめったにありません。古い結果を「結果を削除、4,200トークン」などの1行のスタブに置き換えるか、ペア全体を削除します。
中間を要約し、両端を保持する
システムプロンプトと最後の数回の会話をそのまま保持します。その間のすべてについて、モデルに決定された事項と見つかった事実の短い要約を依頼し、その要約を単一のメッセージとして保存します。制限に達した後にではなく、前に要約呼び出しを実行します。
事実をトランスクリプトから移動する
エージェントが数時間維持する必要がある何かを学んだ場合、ツールを通じてファイルまたは小さなデータベースに書き込み、必要に応じてそれを読み戻します。これはすべてのリクエストでそれを持ち運ぶよりも安価で、再起動後も存続します。
ツールスキーマを短く保つ
モデルがツールを選択するために必要な説明に切り捨てます。タスクの現在のフェーズに関連するツールのみを渡します。
コード:トークン予算を持つツールループ
このループは、おおよそのサイズが80,000トークンの予算を超えたときに最も古いメッセージを切り捨て、回答の余地を残します。この見積もりは文字数を4で割る一般的な英語テキストの近似値であり、実際のトークン数はusageで返されます。切り捨てにより、呼び出しなしに結果だけが表示されないように、孤立したtoolメッセージが削除されます。
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://api.aivideogenapi.com/v1", api_key=os.environ["API_KEY"])
BUDGET = 80_000
tools = [{"type": "function", "function": {
"name": "get_scene_length",
"description": "Return the length of a scene in seconds",
"parameters": {"type": "object",
"properties": {"scene": {"type": "integer"}},
"required": ["scene"]}}}]
def rough_tokens(messages):
return sum(len(json.dumps(m)) for m in messages) // 4
def trim(messages):
system, rest = messages[0], messages[1:]
while rough_tokens([system] + rest) > BUDGET and len(rest) > 4:
rest.pop(0)
while rest and rest[0]["role"] == "tool":
rest.pop(0)
return [system] + rest
def run_tool(name, args):
return json.dumps({"seconds": 4 * args["scene"]}) # stub
messages = [
{"role": "system", "content": "You plan video scenes. Use tools for lengths."},
{"role": "user", "content": "Total the length of scenes 1 to 5."},
]
for step in range(20):
resp = client.chat.completions.create(
model="uncensored", messages=trim(messages), tools=tools)
msg = resp.choices[0].message
messages.append(msg.model_dump(exclude_none=True))
print(step, resp.usage.prompt_tokens)
if not msg.tool_calls:
print(msg.content)
break
for call in msg.tool_calls:
result = run_tool(call.function.name, json.loads(call.function.arguments))
messages.append({"role": "tool", "tool_call_id": call.id, "content": result})
ツール呼び出しはOpenAI形式に従います:tools、tool_choice、そしてrole: "tool" として返される結果。ドキュメント には、そのまま渡されるパラメータが記載されています。
ウィンドウ以外で重要な制限
ウィンドウは一つの制約です。エージェントはリクエスト制限にも達します。フルキーでは同時8リクエスト、1分あたり300リクエストが可能です。試用キーでは同時2リクエスト、1分あたり60リクエストです。並列サブエージェントによるループでは、同時実行数の上限にすぐに達する可能性があります。APIはHTTP 429とエラーコードconcurrencyまたはrate_limitedを返し、一時的な過負荷時にはRetry-After: 5ヘッダーを返します。その時間待ってから再試行してください。
ストリーミングする場合、ストリーミングされたリクエストはストリームが終了するまで並行スロットを保持することに注意してください。ストリームを閉じないストールしたクライアントはスロットを占有したままにします。
リクエストボディの上限は8 MBで、これは100,000トークンのテキストよりもはるかに大きいため、ウィンドウが最初に達する制限です。このAPIを基盤としたテキストのみパイプラインの例については、ビデオスクリプトガイドをご覧ください。それを実行する準備ができたら、APIキーを作成してください。新規ユーザーはワンクリックで7日間有効、支払い不要の$0.50の試用クレジットを請求できます。
その他のガイド
質問と回答
コンテキストウィンドウのサイズは?
プロンプトと補完を合わせて 100,000 トークン。補完はプロンプトが空けた領域を自由に使用できます。
モデルは以前のリクエストを記憶しますか?
いいえ。各リクエストは独立しているため、コードでモデルに表示したいメッセージを再送信する必要があります。
制限を超えた場合どうなりますか?
リクエストが収まらないため、送信する前に履歴を切り捨てまたは要約してください。失敗したリクエストは課金されません。
トークンはどのように数えますか?
各レスポンスの使用状況ブロックから prompt_tokens と completion_tokens を読み取るか、送信前に英語の場合トークンあたり約 4 文字で概算してください。
キーはフォーム 1 つで手に入ります
アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。