AI harness nedir yazısında harvisi “modelin etrafındaki sistem” diye özetlemiştik: prompt şablonları, tool tanımları, hata yakalama, log, rate limit, insan onayı. Bu yazı harness'in en çok bozulan parçasına odaklanıyor: tool calling.
Tool calling, modele dışarıdaki bir işi belli bir imza ile çağırma yetkisi vermektir. Veritabanı sorgusu, rezervasyon oluşturma, fiyat çekme, doküman arama… Demo'da muhteşem görünür. Üretimde tool listesini şişirmek ise ilk büyük hatadır.
Neden “ne kadar çok tool o kadar iyi” yanılgısı?
On iki tool gösteren agent slaytta etkileyici durur. Gerçek kullanıcıda üç şey olur:
- Model yanlış tool seçer veya iki tool'u yanlış sırayla çağırır.
- Açıklamalar çakışır; benzer isimli tool'lar birbirinin yerine geçer.
- Her tool tanımı token yer — bağlam şişer, maliyet ve gecikme artar.
Bizim pratik eşik: çoğu ürün yüzeyi için 3–5 net tool. On beş tool'u “ileride lazım olur” diye açmayın. Lazım olunca, ölçülü şekilde ekleyin. “Tool kataloğu = özellik listesi” düşüncesi ürünü değil, prompt'u yönetir hale getirir.
İyi tool tarifi nasıl yazılır?
Tool adı kısa ve eylem odaklı olsun: search_lessons, create_booking, get_order_status. Belirsiz isimler (helper, utils, do_thing) modeli şaşırtır.
Açıklama kısmında üç şey net olsun:
- Ne zaman kullanılacağı
- Ne zaman kullanılmayacağı
- Parametrelerin anlamı ve kısıtları (zorunlu alan, tarih formatı, ID tipi)
Birkaç örnek (few-shot) tool tanımına veya sistem prompt'una eklemek, uzun genel konuşmadan daha işe yarar. Ama örnekleri gerçek domain dilinizle yazın; İngilizce–Türkçe karışık param isimleri sessiz bug üretir.
JSON şemasını da sıkı tutun: serbest string yerine enum, serbest tarih yerine ISO format, “istersen doldur” yerine required alanlar. Gevşek şema = gevşek davranış.
Derslik'ten alınan ders
Derslik'te öğrenciye soru soran asistan kurarken en çok vakit model seçimine değil, ne zaman durup insan öğretmene yönlendireceğimize gitti. Tool seti bilinçli dar tutuldu: müfredat ve soru havuzu ile ilgili sınırlı aksiyonlar. Doğrudan “not yaz / sistem ayarını değiştir” gibi tehlikeli yüzeyler agent'a verilmedi.
Öğrenci cevabı belirsizse veya tool sonucu boşsa harness'in işi uydurmak değil; güvenli fallback: netleştirici soru sor veya öğretmene escalate et. Bu, tool calling ile güvenilir yapay zeka yazısındaki temel ilkeyle aynı: güvenilirlik = doğru cevap + bilmiyorum diyebilmek.
Kaç tool “fazla” olur? Pratik kurallar
- Aynı işi iki tool yapıyorsa birleştirin veya birini silin.
- Admin-only işlemleri kullanıcıya açık agent'a vermeyin; ayrı, yetkili akış olsun.
- Yan etkili tool'lar (silme, ödeme, yayınlama) için onay adımı veya dry-run zorunlu olsun.
- Okuma tool'ları ile yazma tool'larını net ayırın; model önce okusun, yazmayı ikinci adımda yapsın.
- Nadir kullanılan tool sürekli bağlamda durmasın; iş akışına göre dinamik tool seti düşünün.
Tool sayısı özellik checklist'i değil, ürün yüzeyi tasarımıdır. Her tool yeni bir UX ve güvenlik yüzeyi demektir.
Hata, retry ve log
Tool fail olunca model çoğu zaman bir daha denemek ister. Harness'te retry politikası olmalı: kaç kez, hangi hatalarda, kullanıcıya ne gösterilir. Sonsuz retry hem fatura hem rate limit demektir.
Log'layın: hangi tool, hangi argümanlar (PII maskeli), latency, başarı/fail, tool seçim dağılımı. Production'da “model bozdu” demek yetmez; hangi tool'un ne sıklıkla yanlış seçildiğine bakmadan düzeltme körlemedir.
Kullanıcıya gösterilen hata mesajı da ürün kararıdır. Ham stack trace değil; “şu an kayıt oluşmadı, tekrar dener misiniz / destek” gibi net bir durum.
Değerlendirme: “çalışıyor” yetmez
Tool calling'i yayına almadan önce küçük bir değerlendirme seti kurun: 20–50 gerçek kullanıcı cümlesi, beklenen tool ve beklenen argüman. Regresyon olmadan prompt veya tool eklemeyin. Harness'in bir parçası da bu test disiplinidir.
Ne zaman tool calling şart değil?
Basit sınıflandırma, özet, form metni üretme gibi işlerde tool'suz tek shot veya structured output yetebilir. Her özelliğe agent çerçevesi kurmak overengineering'dir. Harness bazen tool'suz ama log'lu ve şablonlu bir pipeline'dır — ve bu da tamamdır.
Özet
Tool calling'i üretimde tutmanın yolu tool'u çoğaltmak değil; az, net, iyi tarif edilmiş tool + hata politikası + gerektiğinde insan. AI ürün / asistan işleriniz için web uygulamaları hizmetimize veya doğrudan proje görüşmesine bakın. Harness'in temeline dönmek için AI harness nedir yazısı hâlâ iyi bir giriş.