Recursive, internet bağlantısı veya uzak sunucu gerektirmeden yazılım geliştirme görevleri için kullanılabilen Flint modelini yayımladı. Şirketin kısa bağlamlı testinde, M4 Pro işlemcili MacBook Pro’da saniyede 125’in üzerinde token üretildiği bildiriliyor.
Modelin boyutu ve etkin parametreleri farklı anlam taşıyor
Flint yaklaşık 40 milyar parametreye sahip. Uzmanlar karışımı mimarisi sayesinde her token oluşturulurken bunların yaklaşık 2,5 milyarı etkinleştiriliyor. Daha az etkin parametre, hesaplama yükünü azaltmayı amaçlıyor; ancak bu değer tek başına model dosyalarının boyutunu ya da ihtiyaç duyulan belleği göstermiyor.
Yerel kullanım sürüme ve donanıma bağlı
Hugging Face’te yer alan BF16 sürümünün indirme boyutu yaklaşık 80 GB. Model kartındaki kurulum örneği B300 veya H200 ekran kartlarına yönelik. Apple Silicon ve Nvidia sistemler için daha düşük hassasiyetli sürümler ayrıca hazırlanıyor. Dolayısıyla modelin dizüstü bilgisayarda çalışabilmesi, ana depodaki her dosyanın tüm dizüstü bilgisayarlara uygun olduğu anlamına gelmiyor.
Flint; metin girişi ve çıktısının yanı sıra akıl yürütme ile birden fazla turda araç kullanmayı destekliyor. Kod tabanını inceleme, hata düzeltme, özellik ekleme ve test hazırlama, modelin hedeflendiği işler arasında. Model ağırlıkları Apache 2.0 lisansıyla sunuluyor. Ağırlıkların lisansı, varsa barındırılan API hizmetlerinin veri ve kullanım koşullarından ayrı değerlendiriliyor.
Hız sonuçları kullanım koşullarına göre değişebilir
Geliştirici, sonuçların çalıştırma ortamına ve kullanılan sayısal hassasiyete bağlı olarak farklılaşabileceğini belirtiyor. Yayımlanan karşılaştırmalar arasında Recursive’in kendi değerlendirmeleri de bulunuyor. Kısa bağlamda ölçülen hız, uzun bir kod deposunda aynı performansın sürdürüleceğini tek başına kanıtlamıyor. Model kartında üretilen kodun hatalı olabileceği ve kullanılmadan önce test edilmesi gerektiği de belirtiliyor.
Şirketin açıklamasına göre Flint, insanlardan ve yapay zekâ ajanlarından oluşan küçük bir ekip tarafından dört aydan kısa sürede geliştirildi. Eureka Machine adlı araştırma sistemi; veri ve eğitim yöntemlerinin belirlenmesinden çıkarım motorunun iyileştirilmesine kadar farklı aşamalarda kullanıldı. Recursive, karmaşık görevleri daha küçük parçalara ayırıp açık yönergeler verilmesini öneriyor.
Flint’i yerel çalıştırmanın belirtilen avantajları, kodun uzak sunucuya gönderilmeden işlenebilmesi ve kullanılan görevler için API ücreti gerekmemesi.
