Ne oldu? Ai2, 27 Ekim’de araştırma fikirlerinin yeniliğini değerlendiren dil modellerini inceleyen çalışmasını yayımladı. Çalışmayla birlikte değerlendirme verileri, kod ve yeni sınama kümeleri oluşturma araçları paylaşıldı.
Ai2 araştırmacıları, altı dil modelinin bilimsel araştırma fikirlerinin yeniliğini ne kadar güvenilir değerlendirdiğini sınadı. Araştırmacıların ölçümüne göre GPT-5.4, aynı fikir çiftlerinde komut değiştirildiğinde yüzde 93,5 doğruluktan yüzde 40,9’a geriledi. Çalışmada insan tarafından yazılan fikirler ile yapay zekâ tarafından üretilen fikirler ayrı düzeneklerde değerlendirildi. Daha fazla kaynak taraması ve akıl yürütme, sonuçları tutarlı biçimde iyileştirmedi. Araştırmacılar, değerlendirme verilerini, kodu ve yeni sınama kümeleri hazırlamak için geliştirdikleri otomatik süreci de yayımladı.
Değerlendirme verileri, ICLR 2026 hakem yorumlarından çıkarıldı. İnsanların yazdığı fikirler arasında, yeniliği desteklenen 154 fikir ve özgünlüğü sorgulanan 145 fikir seçildi.
İkinci düzenekte, yeniliği desteklenen 154 insan fikri, üretilen 154 fikirle eşleştirildi. Üretilen fikirlerin daha az yeni olduğu varsayımı her örnek için doğrulanmış değildi. Ayrı uzman kontrolünde incelenen 30 çiftin tamamında insan fikri tercih edildi; bu kontrol özellikle güçlü değerlendiricinin hata yaptığı örneklere ağırlık verdi.
Neden önemli?
Araştırma fikri üretmek için yapay zekâ kullanan ekipler, aynı fikrin değerlendirme komutuna göre farklı sonuçlar alabileceğini hesaba katmalı. Çalışma, yenilik değerlendirmelerini kullanılacak fikir türleri üzerinde sınamanın ve komut değişikliklerine duyarlılığı ölçmenin önemini gösteriyor.
Sık sorulanlar
- Daha fazla kaynak taraması yenilik değerlendirmesini iyileştiriyor mu?
- Araştırmacıların deneylerinde kaynak taraması ve ek akıl yürütme, doğruluğu tutarlı biçimde artırmadı. Araştırmaya özel geliştirilmiş iki değerlendirme sistemi de basit bir Claude Opus 4.6 düzeninin gerisinde kaldı.