Birim fiyat yanılgısı
Model sağlayıcıları çoğunlukla girdi ve çıktı miktarına göre fiyat verir. Bu rakam faydalıdır; fakat tek bir başarılı işlem için kaç çağrı yapıldığı, bağlamın ne kadar büyüdüğü ve başarısız denemelerin ne kadar tekrarlandığı bilinmeden toplam maliyet hesaplanamaz.
Ayrıca OCR, arama, veri tabanı, sunucu, gözlemleme, yedekleme, güvenlik araçları ve üçüncü taraf lisansları ayrı kalemlerdir. Model fiyatı değiştiğinde sistem davranışının yeniden test edilmesi de işçilik yaratır.
İşlem başına tam maliyet
Doğru payda token değil, kabul kriterini geçen tamamlanmış iştir. Bir belgeyi işlemek için üç deneme yapılıyor ve her on işlemden biri insan müdahalesi gerektiriyorsa bunların tamamı işlem maliyetine yazılır.
- Model ve araç çağrıları
- Belge okuma, depolama ve veri trafiği
- Başarısız deneme ve yeniden işleme
- İnsan incelemesi ve destek süresi
- İzleme, güvenlik, bakım ve tedarikçi değişikliği payı
Maliyet kontrol tasarımı
Basit işler daha küçük modele yönlendirilir, uzun bağlam temizlenir, sonuçlar tekrar kullanılabiliyorsa önbelleğe alınır ve sonsuz döngüyü engelleyen adım sınırı konur. Bütçe eşiği aşıldığında sistem sessizce harcamaya devam etmez; uyarır veya durur.
Fiyat karşılaştırması teklif anında güncellenmelidir. Sağlayıcı sayfasındaki bugünkü oran, uzun vadeli sabit maliyet garantisi değildir.