Token Nedir? Bağlam Penceresi (Context Window) Rehberi

Yapay zekâ araçlarıyla çalışırken iki kelimeyle sürekli karşılaşırsınız: token ve bağlam penceresi. İkisi de faturanızı ve alacağınız sonucun kalitesini doğrudan etkiler.

Token nedir?

Token, modelin metni işlerken kullandığı en küçük birimdir. Kelime değildir; kelimeden küçük parçalardır. İngilizcede kabaca 4 karakter veya 0,75 kelime bir token'a denk gelir.

Türkçede durum farklıdır. Eklemeli bir dil olduğumuz için "evlerinizden" gibi bir kelime birkaç token'a bölünür. Pratik sonuç: aynı anlamı taşıyan Türkçe metin, İngilizcesine göre genelde %30-50 daha fazla token harcar. Aynı işi Türkçe yapmak, aynı modelde daha pahalıya gelir.

Bağlam penceresi ne demek?

Bağlam penceresi, modelin aynı anda "görebildiği" toplam token miktarıdır. Buna hem sizin gönderdiğiniz metin (prompt, dosyalar, sohbet geçmişi) hem de modelin ürettiği cevap dahildir.

En iyi benzetme çalışma masasıdır: masa ne kadar büyükse aynı anda o kadar çok belge açabilirsiniz. Masa dolduğunda yeni belge koymak için eskilerini kaldırmak zorundasınız. Uzun sohbetlerde modelin başta konuştuklarınızı "unutması" tam olarak budur; pencere dolmuş, baştaki kısım dışarı taşmıştır.

Neden önemli?

Maliyet: Ücretlendirme token üzerinden yapılır ve genelde girdi ile çıktı ayrı fiyatlanır. Uzun sohbet geçmişini her seferinde göndermek, farkında olmadan maliyeti katlar.

Kalite: Pencere büyük diye doldurmak iyi fikir değildir. Modeller uzun bağlamda ortadaki bilgiyi gözden kaçırmaya eğilimlidir. İlgisiz belge eklemek isabeti artırmaz, azaltır.

Mimari: Tüm veriyi pencereye sığdırmaya çalışmak yerine, soruyla ilgili parçayı bulup göndermek daha ucuz ve daha isabetlidir. Bunun standart yöntemi RAG mimarisidir.

Token maliyeti nasıl düşürülür?

• Sohbet geçmişinin tamamını değil, özetini gönderin.
• Sistem talimatını kısaltın; her istekte tekrar gönderilir.
• Basit işleri küçük ve ucuz modele yaptırın.
• Tekrar eden büyük bağlamlar için önbellekleme desteğini kullanın.
• Çıktı uzunluğunu sınırlayın; "en fazla 200 kelime" hem kaliteyi hem faturayı iyileştirir.

Prompt tarafındaki verimlilik için prompt engineering teknikleri yazısına bakabilirsiniz. Token maliyetinin ürün genelindeki büyük resmi için AI maliyeti nasıl hesaplanır yazısına bakın.

Sıkça sorulan sorular

1 milyon token'lık pencere ne kadar metin?

Kabaca birkaç bin sayfa. Ama bu kapasiteyi doldurmak, iyi sonuç almanın garantisi değildir; ilgili bilgiyi vermek her zaman çok bilgi vermekten üstündür.

Token sayısını önceden bilebilir miyim?

Evet, sağlayıcıların token sayma araçları vardır. Kaba tahmin için Türkçe metinde kelime sayısını 2 ile çarpmak makul bir başlangıçtır.

Görsel ve ses de token harcar mı?

Harcar. Görseller çözünürlüğe göre belirli sayıda token'a çevrilir; bu yüzden yüksek çözünürlüklü görsel göndermek düşündüğünüzden pahalı olabilir.

Bağlam penceresi büyükse RAG'e gerek kalmaz mı?

Kalmaz sanılır ama kalır. Büyük pencere daha fazla veri sığdırmaya izin verir, ama her istekte o veriyi yeniden göndermek pahalıdır ve ortadaki bilginin gözden kaçma riski büyük pencerede de sürer. RAG, pencereyi büyütmek yerine sadece ilgili parçayı seçtiği için genelde daha ucuz ve daha isabetli kalır.