BerandaPanduan
Diperbarui
Jendela konteks agen AI: Penggunaan 100k token
Jendela konteks agen AI adalah ruang token total yang dibagi oleh prompt, hasil alat, dan jawaban model. Pada API ini, ruang tersebut adalah 100.000 token, dan agen jangka panjang cenderung mengisinya lebih cepat dari yang diharapkan.

Poin utama
- Jendela 100.000 token mencakup prompt dan completion, sehingga setiap hasil alat yang Anda simpan mengurangi ruang untuk jawaban berikutnya.
- Dalam loop agen, seluruh riwayat dikirim ulang setiap langkah, sehingga input total tumbuh dengan kuadrat jumlah langkah, bukan secara linear.
- Potong output alat lama terlebih dahulu, simpan prompt sistem dan giliran terbaru, dan ukur dengan bidang usage.
- Loop 20 langkah dengan 1.500 token baru per langkah memakan biaya sekitar $0,055 secara total.
Tidak perlu kartu. Setelah mendaftar, klaim $0,50 kredit uji coba gratis dengan satu klik (sekali per orang).
Dapatkan kunci APIJawaban singkatnya: satu anggaran bersama 100.000 token
Ketika orang mencari jendela konteks agen ai, mereka biasanya ingin mengetahui berapa banyak yang dapat diingat agen sebelum gagal. Di sini angkanya adalah 100.000 token, dan itu menghitung semuanya: prompt sistem, definisi alat, setiap pesan sebelumnya, setiap hasil alat, dan completion yang akan ditulis model. Completion dapat menggunakan apa pun yang tersisa, dan max_tokens bersifat opsional.
Hal ini membuat jendela menjadi anggaran, bukan ruang penyimpanan. Chatbot jarang mendekati batas. Agen yang memanggil alat dalam loop dapat mencapainya dalam satu sore, karena setiap langkah menambahkan pesan model dan hasil alat ke riwayat, dan seluruh riwayat dikirim lagi pada panggilan berikutnya. Model tidak memiliki memori antar permintaan. Apa yang terlihat seperti memori adalah Anda mengirim ulang transkrip.
Apa yang sebenarnya mengisi jendela dalam agen
Sebagian besar ruang bukan teks pengguna. Lacak lima sumber ini dan Anda dapat memprediksi di mana proses akan kehabisan.
- Prompt sistem. Aturan, persona, dan format output. Seringkali 500 hingga 2.000 token dan dikirim setiap kali.
- Definisi alat. Setiap nama fungsi, deskripsi, dan skema JSON dihitung. Sepuluh alat dengan deskripsi panjang dapat memakan biaya beberapa ribu token sebelum pesan pengguna pertama.
- Hasil alat. Penyebab umum. Hasil pencarian, dump file, atau set baris basis data dapat berupa ribuan token, dan tetap ada dalam riwayat kecuali Anda menghapusnya.
- Pesan asisten. Penalaran yang ditulis dalam teks dan argumen
tool_callsyang dihasilkan model. - Balasan yang sedang dihasilkan. Itu juga membutuhkan ruang. Jika prompt adalah 99.000 token, jawabannya memiliki sekitar 1.000 sisa.
API melaporkan angka tepat dalam blok usage setiap respons, sehingga Anda tidak perlu menebak. Log prompt_tokens setelah setiap langkah dan Anda akan melihat kurva.
Contoh perhitungan: 20 langkah loop alat
Ambil agen dengan awal 3.000 token (prompt sistem plus definisi alat). Setiap langkah menambahkan sekitar 1.500 token ke riwayat: panggilan alat model dan hasil alat. Itu juga menulis sekitar 300 token output per langkah. Agen berjalan 20 langkah.
Input pada langkah k adalah 3.000 + 1.500 × (k − 1). Dijumlahkan selama 20 langkah:
- 3.000 × 20 = 60.000 token untuk awal tetap, dikirim ulang setiap kali.
- 1.500 × (0 + 1 + ... + 19) = 1.500 × 190 = 285.000 token riwayat terakumulasi.
- Total input: 345.000 token. Total output: 20 × 300 = 6.000 token.
| Item | Token | Harga per 1M | Biaya |
|---|---|---|---|
| Input | 345,000 | $0.15 | $0.05175 |
| Output | 6,000 | $0.50 | $0.003 |
| Total | sekitar $0,055 |
Dua hal menonjol. Pertama, konteks pada langkah 20 adalah 3.000 + 1.500 × 19 = 31.500 token, jauh di dalam jendela, namun Anda membayar untuk 345.000 token input, karena riwayat dikirim ulang setiap kali. Kedua, panggilan tunggal dengan jendela sepenuhnya penuh (100.000 token input) biaya 100.000 × $0,15 / 1M = $0,015 untuk sisi input. Konteks panjang terjangkau per panggilan; biaya berasal dari mengulanginya selama banyak langkah. Lihat halaman harga untuk tarif dan bonus isi ulang.
Berapa banyak langkah yang muat sebelum jendela penuh
Anda dapat memperkirakan ini sebelum menulis kode apa pun. Simpan cadangan untuk jawaban, katakan 20.000 token, yang menyisakan anggaran 80.000 token untuk prompt. Dengan awal 3.000 token dan 1.500 token ditambahkan per langkah, riwayat mencapai anggaran itu setelah (80.000 − 3.000) / 1.500, atau sekitar 51 langkah.
Sekarang hargai run sepanjang itu. Selama 51 langkah input adalah 3.000 × 51 + 1.500 × (0 + 1 + ... + 50) = 153.000 + 1.500 × 1.275 = 153.000 + 1.912.500 = 2.065.500 token. Output pada 300 token per langkah adalah 15.300 token. Biaya: 2.065.500 × $0,15 / 1M = $0,30983, plus 15.300 × $0,50 / 1M = $0,00765, jadi sekitar $0,32.
Bandingkan itu dengan run 20 langkah sekitar $0,055. Run itu 2,55 kali lebih lama tetapi biaya sekitar 5,8 kali lebih banyak, karena setiap langkah membawa riwayat yang lebih panjang. Inilah alasan praktis untuk memangkas: itu membatasi biaya per langkah serta melindungi jendela.
Menjaga agen di dalam jendela
Buang output alat lama terlebih dahulu
Hasil alat mentah adalah bagian terbesar dan paling tidak berguna dari riwayat lama. Setelah model bertindak berdasarkan daftar file, ia jarang membutuhkan daftar itu lagi. Gantilah hasil lama dengan stub satu baris seperti "hasil dihapus, 4.200 token", atau hapus pasangan tersebut sepenuhnya.
Ringkas bagian tengah, simpan kedua ujung
Simpan prompt sistem dan beberapa giliran terakhir secara harfiah. Untuk semuanya di antaranya, minta model untuk ringkasan singkat keputusan yang dibuat dan fakta yang ditemukan, lalu simpan ringkasan itu sebagai pesan tunggal. Jalankan panggilan ringkasan sebelum Anda mencapai batas, bukan setelahnya.
Pindahkan fakta keluar dari transkrip
Jika agen mempelajari sesuatu yang harus disimpannya selama berjam-jam, tulis ke file atau basis data kecil melalui alat, dan baca kembali saat diperlukan. Ini lebih murah daripada membawanya dalam setiap permintaan dan bertahan dari restart.
Pertahankan skema alat tetap pendek
Potong deskripsi sesuai kebutuhan model untuk memilih alat. Sertakan hanya alat yang relevan dengan fase tugas saat ini.
Kode: loop alat dengan anggaran token
Loop ini memangkas pesan tertua ketika ukuran kasar melewati anggaran 80.000 token, meninggalkan ruang untuk jawaban. Perkiraan membagi karakter dengan empat, perkiraan umum untuk teks bahasa Inggris; hitungan sebenarnya kembali di usage. Pemangkasan membuang pesan tool yang terisolasi sehingga hasil tidak pernah muncul tanpa panggilannya.
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://api.aivideogenapi.com/v1", api_key=os.environ["API_KEY"])
BUDGET = 80_000
tools = [{"type": "function", "function": {
"name": "get_scene_length",
"description": "Return the length of a scene in seconds",
"parameters": {"type": "object",
"properties": {"scene": {"type": "integer"}},
"required": ["scene"]}}}]
def rough_tokens(messages):
return sum(len(json.dumps(m)) for m in messages) // 4
def trim(messages):
system, rest = messages[0], messages[1:]
while rough_tokens([system] + rest) > BUDGET and len(rest) > 4:
rest.pop(0)
while rest and rest[0]["role"] == "tool":
rest.pop(0)
return [system] + rest
def run_tool(name, args):
return json.dumps({"seconds": 4 * args["scene"]}) # stub
messages = [
{"role": "system", "content": "You plan video scenes. Use tools for lengths."},
{"role": "user", "content": "Total the length of scenes 1 to 5."},
]
for step in range(20):
resp = client.chat.completions.create(
model="uncensored", messages=trim(messages), tools=tools)
msg = resp.choices[0].message
messages.append(msg.model_dump(exclude_none=True))
print(step, resp.usage.prompt_tokens)
if not msg.tool_calls:
print(msg.content)
break
for call in msg.tool_calls:
result = run_tool(call.function.name, json.loads(call.function.arguments))
messages.append({"role": "tool", "tool_call_id": call.id, "content": result})
Pemanggilan alat mengikuti format OpenAI: tools, tool_choice, dan hasil dikembalikan sebagai role: "tool". dok mencantumkan parameter yang dilewatkan.
Batas yang penting selain jendela
Jendela adalah satu kendala. Agen juga membatasi permintaan. Kunci penuh memungkinkan 8 permintaan konkuren dan 300 permintaan per menit; kunci uji coba memungkinkan 2 dan 60. Loop ketat dengan sub-agen paralel dapat melebihi batas konkurensi dengan cepat. API menjawab dengan HTTP 429 dan kode kesalahan concurrency atau rate_limited, dan saat kelebihan beban sementara dengan header Retry-After: 5. Tunggu selama itu dan coba lagi.
Jika Anda streaming, ingat bahwa permintaan streaming memegang slot konkurensinya hingga stream berakhir. Klien yang macet yang tidak pernah menutup stream menjaga slot tetap sibuk.
Body maksimum adalah 8 MB, yang jauh lebih besar dari 100.000 token teks, sehingga jendela adalah batas yang akan Anda capai terlebih dahulu. Untuk contoh pipeline hanya teks yang dibangun di atas API ini, lihat panduan skrip video. Ketika Anda siap untuk menjalankannya, buat kunci API; pengguna baru dapat mengklaim $0,50 kredit uji coba dengan satu klik, valid selama 7 hari dan tanpa pembayaran yang diperlukan.
Panduan lainnya
Tanya jawab
Seberapa besar jendela konteksnya?
100.000 token, menghitung prompt dan completion secara bersamaan. Completion dapat menggunakan sisa ruang yang ditinggalkan oleh prompt.
Apakah model mengingat permintaan sebelumnya?
Tidak. Setiap permintaan bersifat independen, sehingga kode Anda harus mengirim ulang pesan yang ingin dilihat oleh model.
Apa yang terjadi jika melebihi batas?
Permintaan tidak dapat diproses, jadi perkecil atau ringkas riwayat sebelum mengirim. Permintaan yang gagal tidak dikenakan biaya.
Bagaimana cara menghitung token?
Baca prompt_tokens dan completion_tokens dari blok penggunaan pada setiap respons, atau gunakan perkiraan kasar empat karakter per token untuk bahasa Inggris sebelum mengirim.
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.