Ne oldu? NVIDIA, 40 dilde transkripsiyon yapan, konuşmacıları ayıran, çeviri ve sesli soru-yanıt sunan açık ağırlıklı Nemotron 3.5 Transcribe modelini Hugging Face ve ModelScope'ta yayımladı. Model, Granary v2 veri hattıyla birlikte duyuruldu.
NVIDIA'nın açıklamasına göre Nemotron 3.5 Transcribe, tek kontrol noktasında transkripsiyon, konuşmacı ayrımı, çeviri ve sesli soru-yanıt işlerini birleştiriyor. Model 40 dili yazıya döküyor, 31 dilde İngilizceye ya da İngilizceden çeviri yapıyor, 13 dilde konuşmacıları ayırıyor; bir saate kadar süren kayıtları ve en çok sekiz konuşmacıyı işleyebiliyor. Şirket, modelin Hugging Face Open ASR sıralamasında açık ağırlıklı modeller arasında İngilizce kategorisinde yüzde 5,33 ortalama kelime hata oranıyla ilk sırada olduğunu bildiriyor. Model tek bir NVIDIA ekran kartında çalışıyor ve canlı yayın için değil, kayıtlı ses için tasarlandı.
- Model, doğal dille verilen talimata göre aynı kaydı farklı çıktılara çeviriyor; örneğin konuşmacı etiketli döküm ya da toplantı kararlarının özeti.
- Granary v2 bildirimine göre 48 dilde 463.062 saatlik, 16 kaynak derlemden oluşan açık bir manifest ve yeniden kullanılabilir veri hazırlama hattı sunuyor.
- Tıbbi bir vaka çalışmasında ince ayar, bekletilen konuşmacılarda kelime hata oranını en iyi istemin sonucuna göre yüzde 45,8 oranında düşürdü.
- Model vLLM ile sunulabiliyor ya da NeMo-Speech.cpp ile yerelde çalıştırılabiliyor.
Neden önemli?
Konuşma kayıtlarını yazıya döken ürünler için açık ağırlıklı, istemle yönlendirilebilen ve alan sözcüklerine uyarlanabilen bir seçenek ortaya çıktı. Türkçe desteği kaynak metinde ayrıca belirtilmiyor; Türkiye'deki ekiplerin model kartındaki dil-görev matrisini kontrol etmesi gerekir.
Sık sorulanlar
- Nemotron 3.5 Transcribe canlı yayındaki konuşmaları yazıya dökebilir mi?
- Hayır. NVIDIA'nın açıklamasına göre model kayıtlı ses için geliştirildi, canlı akış için tasarlanmadı.
- Model hangi donanımda çalışıyor?
- Şirket, modelin Jetson AGX Thor ve DGX Spark'tan Blackwell veri merkezi ekran kartlarına kadar tek bir NVIDIA ekran kartında çalıştığını belirtiyor.