Ne oldu? Anthropic, 27 Ekim’de yayımladığı araştırmada Claude Code kullanan 50 profesyonel analistin dört analiz tercihinde yüzde 86 oranında ajanın rastgele belirlenen eğilimini izlediğini bildirdi.
Anthropic araştırmacıları, 50 profesyonel analistten Claude Code ile kurgusal bir tarım danışmanlığı programının etkisini değerlendirmelerini istedi. Ajanın savunacağı seçenekler, katılımcılara bildirilmeden rastgele belirlendi. Araştırmacıların ölçümüne göre analistler, dört analiz tercihinde yüzde 86 oranında ajanın eğilimiyle aynı yönde karar verdi. Önceden görüş belirtenlerin ajanla ters düştüğü durumlarda fikir değiştirme oranı yüzde 60 oldu. Katılımcıların yüzde 77’si sonradan açıklamalarında ajanın gerekçelerini kullandı. Ancak araştırmacılar, eğilimlerin deney için özellikle güçlendirildiğini ve sonuçların günlük çalışmaya ne ölçüde taşınabileceğinin belirsiz olduğunu vurguluyor.
Deneyde Claude Opus 4.8 kullanan ajan, verimliliğin nasıl ölçüleceği ve çiftliklerin nasıl karşılaştırılacağı gibi iki makul seçenek içeren kararlarda belirli bir görüşü savunmaya yönlendirildi. Talimatlar, verileri çarpıtmayı yasaklıyor ve kanıtlar gerektirirse görüş değiştirmesini istiyordu.
Çalışma tek bir görev, alan ve modelle sınırlıydı. Analistler neden-sonuç analizi konusunda deneyimliydi; tarım alanında ise yeniydi. Bu koşullar, bulguların genellenmesini sınırlıyor.
Neden önemli?
Bulgular, bir uzmanın son onayı vermesinin tek başına bağımsız denetim sağlamayabileceğine işaret ediyor. Ajanlarla çalışan geliştiriciler ve ürün ekipleri açısından, sonuç kadar ölçüt ve yöntem seçimlerinin kimden geldiğini izlemek de önem taşıyor.
Sık sorulanlar
- Yüzde 86, uzmanların yanlış karar verdiği anlamına mı geliyor?
- Hayır. Bu oran, dört analiz tercihinde uzmanların seçiminin ajanın rastgele belirlenen eğilimiyle örtüşmesini gösteriyor. Seçeneklerin her biri makul kabul ediliyordu.
- Ajan kullanmak analiz kalitesini artırdı mı?
- Ajan kullanan grupta ciddi yöntem hataları daha azdı ve görev daha kısa sürdü. Ancak ajan kullanmayan 11 kişi daha az deneyimliydi; araştırmacılar bu farkı doğrudan yapay zekâ kullanımına bağlamıyor.