NVIDIA, Nemotron açık model ailesini üç yeni seçenekle genişletti. 15 Ekim’de duyurulan modeller arasında kurumsal kullanıma yönelik Nemotron 3.5 Super VL ile bilgisayarda yerel çalıştırma için tasarlanan iki Bolt modeli bulunuyor. Super VL ve Bolt 74B-A9B 24GB bugün kullanıma sunulurken, Bolt E4B 4GB’nin 23 Ekim’de erişime açılması planlanıyor.
Super VL, metin ve görselleri birlikte işliyor
Nemotron 3.5 Super VL, metinlerin yanı sıra görüntü ve belgeleri de anlayabilen 120 milyar parametreli bir model. NVIDIA, modeli kesintisiz çalışabilen kurumsal yapay zekâ ajanları için konumlandırıyor. Şirketler, kendi verileri ve iş kurallarıyla ek eğitim yaparak modeli kendi altyapılarında kullanabiliyor.
Model; veri merkezlerinde, bulut ortamlarında ve uygun yerel sistemlerde çalışacak şekilde tasarlandı. NVIDIA, Super VL’nin bir belgedeki tablo, grafik ve metinleri aynı anda değerlendirebildiğini belirtiyor. Örneğin sayfadaki bir grafiği, belgenin başka bir bölümündeki tabloyla ilişkilendirebiliyor. Bu yaklaşım, bu tür görevlerde ayrı metin ve görüntü modelleri arasında bağlam aktarma ihtiyacını azaltmayı amaçlıyor.
Geliştirici belgesinde Super VL’nin uzmanlar karışımı yaklaşımı kullandığı aktarılıyor: 120 milyar toplam parametrenin yaklaşık 12 milyarı her belirteçte etkinleşiyor. Eğitim kapsamına çok sayfalı dokümanlar, optik karakter tanıma ve video da giriyor. Geliştiriciler NeMo araçlarıyla kendi alanlarına ait verileri ve şirket politikalarını ek eğitime dahil edebiliyor.
Bolt modelleri yerel kullanıma odaklanıyor
Bolt 74B-A9B, gündelik yapay zekâ ajanı görevlerini bilgisayarda yürütmeye yönelik. Daha küçük Bolt E4B ise hızlı sesli asistanlar, etkileşimli karakterler ve gömülü arayüzler için daha düşük bellek hedefiyle geliştirildi.
Bolt’un 74B-A9B adlandırması yaklaşık 74 milyar toplam parametreye ve her işlem adımında etkin olan 9 milyar parametreye işaret ediyor. NVIDIA, modeli daha büyük Super VL’den sıkıştırma ve ek eğitim adımlarıyla türetiyor.
Modelin ağırlıklarının büyük bölümünde yaklaşık 2 bitlik nicemleme kullanılıyor. NVIDIA, bu yöntemle Bolt’un diğer uygulamalarla birlikte çalışırken 24 GB bellek hedefini karşılamasını amaçlıyor. Ancak bu değer, bilgisayarın tüm iş yükleri için gereken toplam belleği belirtmiyor ve her koşulda aynı çalışma hızını garanti etmiyor.
Ölçümlerde hız, bellek ve doğruluk dengesi
Araştırmacılar hız testlerini 128 GB belleğe sahip Surface Laptop Ultra üzerinde llama.cpp kullanarak gerçekleştirdi. Bolt, AIPerf SPEED-Bench-Coding testinde saniyede yaklaşık 84 belirteç üretti. Aynı tabloda Qwen ve Gemma karşılaştırmaları daha yüksek belirteç hızlarına ulaştı. NVIDIA, Bolt’u tüm ölçütlerde en hızlı model olarak değil, bellek, doğruluk ve hız arasındaki dengeyle tanımlıyor.
Teknik belgede Ramp’in fiş görsellerini satıcı, tarih ve ödeme bilgilerini içeren düzenli verilere dönüştürme çalışması da örnek veriliyor. Ramp, bu kullanımda daha yüksek işlem hacmi ve düşük gecikme bekliyor. Bu beklenti, modeli indiren herkesin aynı sonuçları elde edeceği anlamına gelmiyor.
Bolt’un nicemlenmiş ağırlıkları ve hızlandırıcı taslak modeli bugün indirilebilir durumda. NVIDIA, modelin farklı yerel çalıştırma araçlarıyla kullanılmasına yönelik destek de sunuyor.
