Ana SayfaKılavuz
güncellendi
AI Aracı Bağlam Penceresi: 100k Token Nasıl Kullanılır
Bir AI aracı bağlam penceresi, istem, araç sonuçları ve model yanıtı tarafından paylaşılan toplam token alanıdır. Bu API'de bu alan 100.000 token'dır ve uzun süre çalışan ajanlar beklenenden daha hızlı bu alanı doldurur.

Temel noktalar
- 100.000 tokenlik pencere, istem ve tamamlamayı kapsar; bu nedenle sakladığınız her araç sonucu, bir sonraki yanıt için alanı azaltır.
- Bir ajan döngüsünde tüm geçmiş her adımda yeniden gönderilir; bu nedenle toplam girdi, doğrusal değil, adım sayısının karesiyle büyür.
- Önce eski araç çıktılarını kısaltın, sistem istemini ve en son dönüşleri koruyun ve usage alanıyla ölçüm yapın.
- Adım başına 1.500 yeni token ile 20 adımlık bir döngü, toplamda yaklaşık $0,055 tutarındadır.
Ödeme gerekmez. Kayıt olduktan sonra, tek tıkla kişi başı bir kez olmak üzere $0,50 ücretsiz deneme kredisi talep edin.
API anahtarı alKısa cevap: 100.000 token'lık tek bir ortak bütçe
Kullanıcılar ai ajan bağlam penceresi aradığında, genellikle bir ajanın kırılmadan önce ne kadar hatırlayabileceğini bilmek isterler. Burada sayı 100.000 token'dır ve her şeyi sayar: sistem istemi, araç tanımları, her önceki mesaj, her araç sonucu ve modelin yazmaya hazırlandığı tamamlama. Tamamlama, kalan her şeyi kullanabilir ve max_tokens isteğe bağlıdır.
Bu, pencereyi bir depolama alanı değil bir bütçe yapar. Bir sohbet botu sınıra çok yaklaşmaz. Araçları döngüde çağıran bir ajan, her adım bir model mesajı ve bir araç sonucu eklediği ve tüm geçmişin bir sonraki çağrıda tekrar gönderildiği için bir öğleden sonra bile bu sınıra ulaşabilir. Model istekler arasında hafızaya sahip değildir. Hafıza gibi görünen şey, transkripti yeniden göndermenizdir.
Bir aracı penceresini gerçekten ne doldurur
Alanın çoğu kullanıcının metni değildir. Bu beş kaynağı takip ederseniz, bir çalışmanın nerede tükeneceğini tahmin edebilirsiniz.
- Sistem istemi. Kurallar, kişilik ve çıktı formatı. Sıklıkla 500 ile 2.000 token arasındadır ve her istekte gönderilir.
- Araç tanımları. Her fonksiyon adı, açıklaması ve JSON şeması sayılır. Uzun açıklamalara sahip on araç, ilk kullanıcı mesajından önce birkaç bin token maliyet oluşturabilir.
- Araç sonuçları. Yaygın neden. Bir arama sonucu, bir dosya dökümü veya bir veritabanı satırı kümesi binlerce token tutabilir ve kaldırmadıkça geçmişte kalır.
- Asistan mesajları. Metin olarak yazılan akıl yürütme ve modelin ürettiği
tool_callsargümanları. - Üretilen yanıt. Onun da yere ihtiyacı var. İstem 99.000 token ise, yanıt için yaklaşık 1.000 token kalır.
API, her yanıtın usage bloğunda kesin sayıları bildirir, bu yüzden tahmin etmenize gerek yoktur. Her adımın ardından prompt_tokens değerini günlüğe kaydedin ve eğriyi göreceksiniz.
Bir örnek: 20 adımlı bir araç döngüsü
3.000 token'lık bir başlangıç (sistem istemi ve araç tanımları) olan bir aracı ele alın. Her adım geçmişe yaklaşık 1.500 token ekler: modelin araç çağrısı ve aracın sonucu. Her adımda yaklaşık 300 token çıktı da yazar. Aracı 20 adım çalıştırır.
k adımındaki girdi 3.000 + 1.500 × (k − 1) şeklindedir. 20 adım için toplam:
- 3.000 × 20 = Sabit başlangıç için 60.000 token, her seferinde yeniden gönderilir.
- 1.500 × (0 + 1 + ... + 19) = 1.500 × 190 = 1.500 × 190 = 285.000 token birikmiş geçmiş.
- Toplam girdi: 345.000 token. Toplam çıktı: 20 × 300 = 6.000 token.
| Öğe | Tokenlar | 1M başına fiyat | Maliyet |
|---|---|---|---|
| Girdi | 345,000 | $0.15 | $0.05175 |
| Çıktı | 6,000 | $0.50 | $0.003 |
| Toplam | yaklaşık 0,055 $ |
İki şey dikkat çekiyor. Birincisi, 20. adımdaki bağlam 3.000 + 1.500 × 19 = 31.500 token'dır; pencerenin oldukça içindedir, ancak geçmiş her seferinde yeniden gönderildiği için 345.000 girdi tokenı için ödeme yaptınız. İkincisi, tamamen dolu bir pencereyle (100.000 girdi tokenı) tek bir istek, girdi tarafı için 100.000 × $0,15 / 1M = $0,015 tutarındadır. Uzun bağlamlar istek başına uygun maliyetlidir; maliyet, bunları birçok adım boyunca tekrarlamaktan kaynaklanır. Oranlar ve bakiye yükleme bonusları için fiyatlandırma sayfasına bakın.
Pencere dolmadan önce kaç adım sığar
Herhangi bir kod yazmadan önce bunu tahmin edebilirsiniz. Yanıt için bir rezerv tutun, örneğin 20.000 token, bu da istem için 80.000 token'lık bir bütçe bırakır. 3.000 token'lık bir başlangıç ve adım başına 1.500 token eklendiğinde, geçmiş (80.000 − 3.000) / 1.500, yani yaklaşık 51 adım sonra bu bütçeye ulaşır.
Şimdi bu uzunluktaki bir çalışmanın fiyatını belirleyin. 51 adım boyunca girdi 3.000 × 51 + 1.500 × (0 + 1 + ... + 50) = 153.000 + 1.500 × 1.275 = 153.000 + 1.912.500 = 2.065.500 token'dır. Adım başına 300 token çıktı 15.300 token'dır. Maliyet: 2.065.500 × 0,15 $ / 1M = 0,30983 $, artı 15.300 × 0,50 $ / 1M = 0,00765 $, yani yaklaşık 0,32 $.
Bunu yaklaşık 0,055 $ olan 20 adımlı çalışmayla karşılaştırın. Çalışma 2,55 kat daha uzun olsa da, her adım daha uzun bir geçmiş taşıdığı için maliyet yaklaşık 5,8 kat daha fazladır. Bu, kısaltmanın pratik nedenidir: hem adım başı maliyeti sınırlar hem de pencereyi korur.
Bir aracı pencere içinde tutmak
Eski araç çıktısını önce düşürün
Ham araç sonuçları, eski bir geçmişin en büyük ve en az kullanışlı kısmıdır. Model bir dosya listesine işlem yaptıktan sonra, bu listeye nadiren tekrar ihtiyaç duyar. Eski sonuçları "sonuç kaldırıldı, 4.200 token" gibi tek satırlık bir stub ile değiştirin veya çifti tamamen silin.
Ortayı özetleyin, her iki ucu da koruyun
Sistem istemini ve son birkaç dönüşü olduğu gibi koruyun. Aradaki her şey için modelden yapılan kararların ve bulunan gerçeklerin kısa bir özetini isteyin, ardından bu özeti tek bir mesaj olarak kaydedin. Özeti limite vurmadan önce çalıştırın, sonra değil.
Gerçekleri transkriptten çıkarın
Aracı saatlerce saklaması gereken bir şey öğrenirse, bir araç aracılığıyla bir dosyaya veya küçük bir veritabanına yazın ve gerektiğinde tekrar okuyun. Bu, her istekte taşımdan daha ucuzdur ve yeniden başlatmalardan sonra hayatta kalır.
Araç şemalarını kısa tutun
Açıklamaları modelin aracı seçmesi için gerekenlerle sınırlandırın. Görevin geçerli aşamasıyla ilgili araçları yalnızca iletin.
Kod: token bütçeli bir araç döngüsü
Bu döngü, kabaca boyut 80.000 token'lık bir bütçeyi geçtiğinde en eski mesajları kısaltır ve yanıt için yer bırakır. Tahmin, karakterleri dörde böler, İngilizce metin için yaygın bir yaklaşım; gerçek sayı usage içinde geri döner. Kısaltma, çağrısı olmadan bir sonucun görünmemesi için yetim tool mesajlarını düşürür.
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://api.aivideogenapi.com/v1", api_key=os.environ["API_KEY"])
BUDGET = 80_000
tools = [{"type": "function", "function": {
"name": "get_scene_length",
"description": "Return the length of a scene in seconds",
"parameters": {"type": "object",
"properties": {"scene": {"type": "integer"}},
"required": ["scene"]}}}]
def rough_tokens(messages):
return sum(len(json.dumps(m)) for m in messages) // 4
def trim(messages):
system, rest = messages[0], messages[1:]
while rough_tokens([system] + rest) > BUDGET and len(rest) > 4:
rest.pop(0)
while rest and rest[0]["role"] == "tool":
rest.pop(0)
return [system] + rest
def run_tool(name, args):
return json.dumps({"seconds": 4 * args["scene"]}) # stub
messages = [
{"role": "system", "content": "You plan video scenes. Use tools for lengths."},
{"role": "user", "content": "Total the length of scenes 1 to 5."},
]
for step in range(20):
resp = client.chat.completions.create(
model="uncensored", messages=trim(messages), tools=tools)
msg = resp.choices[0].message
messages.append(msg.model_dump(exclude_none=True))
print(step, resp.usage.prompt_tokens)
if not msg.tool_calls:
print(msg.content)
break
for call in msg.tool_calls:
result = run_tool(call.function.name, json.loads(call.function.arguments))
messages.append({"role": "tool", "tool_call_id": call.id, "content": result})
Araç çağırma, OpenAI formatını izler: tools, tool_choice ve sonuçlar role: "tool" olarak döndürülür. dokümantasyon, aktarılan parametreleri listeler.
Pencere dışında dikkat edilmesi gereken limitler
Pencere bir kısıtlamadır. Ajanlar ayrıca istek limitlerine takılır. Tam bir anahtar 8 eşzamanlı istek ve dakika başına 300 istek izni verir; bir deneme anahtarı ise 2 ve 60 izni verir. Paralel alt ajanlarla sıkı bir döngü, eşzamanlılık sınırını hızla aşabilir. API, HTTP 429 yanıtı ve concurrency veya rate_limited hata kodu ile yanıt verir ve geçici aşırı yüklenme durumunda Retry-After: 5 üst bilgisini gönderir. Bu süreyi bekleyin ve yeniden deneyin.
Akış kullanıyorsanız, akışlı bir istek, akış sona erene kadar eşzamanlılık slotunu tutar. Akışı asla kapatmayan takılmış bir istemci, bir slotu meşgul tutar.
Maksimum gövde 8 MB'tır; bu, 100.000 token metinden çok daha fazladır, bu nedenle ilk ulaşacağınız sınır penceredir. Bu API üzerine kurulu metin odaklı bir iş akışı örneği için video senaryo kılavuzuna bakın. Çalıştırmaya hazır olduğunuzda, bir API anahtarı oluşturun; yeni kullanıcılar 7 gün geçerli ve ödeme gerekmeden tek tıkla $0,50 deneme kredisi talep edebilir.
Daha fazla kılavuz
Sorular ve cevaplar
Bağlam penceresi ne kadar büyük?
100.000 token, hem istem hem de tamamlama birlikte sayılır. Tamamlama, istemin boş bıraktığı kısmı kullanabilir.
Model önceki istekleri hatırlıyor mu?
Hayır. Her istek bağımsızdır, bu nedenle kodunuzun modelin görmesini istediği mesajları yeniden göndermesi gerekir.
Limitin üzerine çıkarsam ne olur?
İstek sığmaz, bu nedenle göndermeden önce geçmişi kısaltın veya özetleyin. Başarısız istekler için ücret alınmaz.
Tokenları nasıl sayarım?
Her yanıtın kullanım bölümünden prompt_tokens ve completion_tokens değerlerini okuyun veya göndermeden önce İngilizce için token başına yaklaşık dört karakter gibi kabaca bir tahmin kullanın.
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.