Yapay Zekâ Maliyeti Nasıl Hesaplanır ve Düşürülür?

AI ürünlerinin klasik yazılımdan en önemli farkı, her kullanımın bir birim maliyeti olmasıdır. Klasik yazılımda bir kullanıcı daha eklemek neredeyse bedavadır; AI ürününde her istek para harcar. Bu farkı fiyatlandırmaya yansıtmayan ürünler, büyüdükçe zarar eden makinelere dönüşür. Konunun ürün tarafını sınırsız vaadinin matematiği yazısında anlatmıştım; bu yazı hesap tarafı.

Maliyet nasıl oluşur?

Fatura token üzerinden hesaplanır ve girdi ile çıktı ayrı fiyatlanır; çıktı genelde birkaç kat pahalıdır. Token nedir yazısında ayrıntısı var.

Tek bir isteğin maliyeti şudur:

(girdi token × girdi fiyatı) + (çıktı token × çıktı fiyatı)

Girdiye yalnızca kullanıcının yazdığı değil, sistem talimatı, sohbet geçmişi ve eklenen belgeler de dahildir. Uzun sistem talimatı her istekte tekrar tekrar ödenir; kimsenin fark etmediği en büyük sızıntılardan biridir.

Kullanıcı başına maliyet

Asıl bilmeniz gereken sayı budur:

Aylık AI maliyeti ÷ aktif kullanıcı sayısı

Bu rakamı abonelik fiyatınızla yan yana koyun. Aylık 100 TL alıyorsanız ve ağır kullanıcınız 180 TL maliyet çıkarıyorsa, o kullanıcı büyüdükçe zarar büyür. Ortalamaya bakmayın: kullanım dağılımı neredeyse her zaman çarpıktır, kullanıcıların küçük bir kısmı maliyetin büyük kısmını üretir. Karar, ortalamaya değil o uca göre verilir.

Maliyet düşürmenin yolları

1. Model kademelendirin. Her işe en güçlü modeli koşmayın. Sınıflandırma, etiketleme ve kısa özet gibi işler küçük modellerde çok daha ucuza ve yeterli kalitede çalışır.
2. Önbelleğe alın. Aynı soru tekrar geliyorsa cevabı saklayın. Destek ve SSS senaryolarında tekrar oranı şaşırtıcı derecede yüksektir.
3. Bağlamı budayın. Tüm sohbet geçmişi yerine özet gönderin; ilgisiz belgeyi bağlama koymayın.
4. Çıktıyı sınırlayın. Uzunluk sınırı hem maliyeti hem okunabilirliği iyileştirir.
5. Toplu işleyin. Gerçek zamanlı olması gerekmeyen işler için toplu (batch) fiyatlandırma ciddi indirim sağlar.
6. Ön filtre koyun. Modele gitmeden önce basit kurallarla çözülebilecek istekleri ayıklayın.
7. Kullanım sınırı tanımlayın. Adil kullanım politikası, ürünü kötüye kullanımdan da korur.

Fiyatlandırmaya yansıtmak

Maliyeti kredi sistemine bağlamak, AI ürünlerinde en yaygın çözümdür: kullanıcı ne kadar kullanırsa o kadar öder. Alternatifi katmanlı sınırlardır. Hangisi olursa olsun, sınırsız vaadi vermeden önce en ağır kullanıcınızın maliyetini hesaplayın. Fiyat modeli seçenekleri için SaaS fiyatlandırma yazısına bakın.

Maliyeti en hızlı büyüten iki alan görsel ve video üretimidir; AI video üretimi yazısında bu tarafın gerçekçi sınırlarını ele aldım. Şirket verisiyle çalışan kurulumların maliyet dengesi içinse kendi verinizle çalışan yapay zekâ yazısına bakın.

Sıkça sorulan sorular

Kendi modelimi çalıştırmak ucuz mu?

Yüksek ve sürekli hacimde olabilir. Düşük hacimde GPU kiralamak, API'den çok daha pahalıya gelir. Ayrıca bakım, güncelleme ve ölçekleme iş yükünü de maliyete eklemek gerekir.

Fiyatlar düşüyor, beklemeli miyim?

Token fiyatları yıllardır düşüyor ama ürün kararını buna bağlamayın. Bugünün fiyatıyla sürdürülebilir olmayan bir model, yarının fiyatıyla belki kurtulur; bu bir strateji değil, temennidir.

Maliyeti nasıl izlerim?

İstek başına token sayısını ve model adını kendi tarafınızda kaydedin. Sağlayıcı panosu toplamı gösterir; hangi özelliğin ne kadar harcadığını yalnızca kendi kaydınız söyler.

RAG mi fine-tuning mi, hangisi maliyeti daha düşürür?

Genelde RAG daha ucuzdur: kurulum ve depolama maliyeti var ama tekrarlanan eğitim maliyeti yok. Fine-tuning ise dar ve çok tekrar eden bir görevi küçük bir modele öğretip her istekte uzun talimat göndermekten kurtarabildiğinde, uzun vadede maliyeti düşürebilir.