Ne oldu? Google Research, 27 Ekim’de dil modellerinin yeni bilgileri öğrenirken önceki bilgilerini korumasını amaçlayan uyku yaklaşımını tanıttı.
Google Research, dil modellerinin etkin kullanım dönemleri ile bilgiyi kalıcılaştırmaya ayrılan uyku dönemleri arasında geçiş yaptığı bir öğrenme yaklaşımı geliştirdi. Araştırmacıların açıklamasına göre yöntem, geçici bilgileri modelin sayısal ağırlıklarına aktarırken daha önce öğrenilenlerin kaybını azaltıyor. Ekip, BABILong değerlendirmesinde 10 milyon metin işleme birimine kadar neredeyse kusursuz ölçeklenme bildirdi. Ardışık çeviri deneylerinde ise performans kaybının sıfıra yakın kaldığını belirtti. Model ayrıca kendi ürettiği ve seçtiği eğitim örnekleriyle matematiksel akıl yürütmesini geliştiriyor. Çalışma, sabit mimari ve insanların belirlediği eğitim kuralları içinde yürütülüyor.
Uyku döneminde model yeni girdileri işlemeye ara veriyor. Önceden ayrılmış bellek bileşenleri etkinleştiriliyor ve kısa süreli bilgiler kalıcı model ağırlıklarına aktarılıyor. Ardından geçici bellek boşaltılarak sonraki kullanım dönemine yer açılıyor.
Araştırmacılara göre kendi ürettiği örneklerle çalışma aşaması, yararlı eğitim verilerini seçerek akıl yürütmeyi güçlendiriyor. Matematik değerlendirmelerinde doğruluk AIME 24’te yüzde 79,2, AIME 25’te yüzde 69 ve HMMT 25’te yüzde 46,1 olarak bildirildi. Bunlar ekibin deney sonuçları; metin kullanıma hazır bir ürün duyurusu içermiyor.
Neden önemli?
Yeni verilerle güncellenen modellerin eski becerilerini kaybetmesi, sürekli öğrenmenin temel sorunlarından biri. Bu araştırma, geliştiriciler ve ürün ekipleri için bilgiyi oturumlar arasında koruyan sistemlere yönelik bir yöntem sunuyor; günlük kullanımda sağlayacağı kazanımlar henüz metindeki deneylerle sınırlı.
Sık sorulanlar
- Modelin uyuması ne anlama geliyor?
- Model yeni girdileri işlemeye ara verip geçici bilgileri kalıcı ağırlıklarına aktarıyor ve seçilmiş yapay eğitim örnekleriyle çalışıyor. Bu süreç sabit bir mimari ve insanların belirlediği eğitim kuralları içinde gerçekleşiyor.
- 10 milyon birimlik sonuç neyi gösteriyor?
- Araştırmacılar, BABILong değerlendirmesinde 10 milyon metin işleme birimine kadar neredeyse kusursuz ölçeklenme bildirdi. Yöntem, uzun metinlerdeki bilgiyi modelin kalıcı ağırlıklarına sıkıştırarak saklıyor.