Kunlun Tech’in açık kaynaklı Matrix-Game 4.0 modeli, oyun motorunun yönettiği bir dünyayı yapay zekâ ile ayrıntılandırarak kullanıcıların gerçek zamanlı etkileşim kurmasına imkân veriyor. Şirketin verilerine göre sistem, tek bir Nvidia RTX 5090 ile 480p çözünürlükte 60 FPS çalışabiliyor.
Oyun motoru ve yapay zekâ birlikte çalışıyor
Çin merkezli Kunlun Tech tarafından geliştirilen Matrix-Game 4.0, oyun motorunun anlık olarak oluşturduğu görüntüleri yapay zekâ destekli video üretimiyle birleştiriyor. Oyun motoru fizik kurallarını, nesnelerin konumlarını ve oyuncu etkileşimlerini takip ediyor; yapay zekâ ise basit grafiklerle oluşturulan kareleri daha ayrıntılı görüntülere dönüştürüyor.
Dünyanın durumunu oyun motorunda tutmak, tamamen yapay zekânın ürettiği modellerde zamanla görülebilen tutarsızlıkları azaltmayı hedefliyor. Bu yaklaşımda kadraj dışına çıkan nesnelerin durumu ve diğer nesnelerle ilişkileri korunurken, model her karede oyun kurallarını yeniden çıkarmak zorunda kalmıyor.
Sistem ayrıca oyuncunun doğal dille verdiği talimatları oyun mekaniğine dönüştüren bir kodlama ajanından yararlanıyor. Ajan, komutları önce yapay zekâ modeline iletilecek istemlere, ardından yeni oyun kurallarına çeviriyor. Böylece kullanıcılar yalnızca dünyayla etkileşim kurmakla kalmıyor, oyun ortamında gerçek zamanlı değişiklikler de yapabiliyor.
RTX 5090 ile 480p çözünürlükte 60 FPS
Kunlun Tech’in paylaştığı bilgilere göre Matrix-Game 4.0, tek bir Nvidia RTX 5090 ekran kartıyla 480p çözünürlükte saniyede 60 kare hızına ulaşıyor. Kullanıcı komutuyla ekranda karşılık gelen sonucun belirmesi arasındaki gecikme 112 milisaniyeye kadar düşüyor. Şirket, uygun koşullarda video üretim hızının saniyede 83,4 kareye çıkabildiğini belirtiyor.
Model her kareyi baştan üretmek yerine önceki karelerden yararlanan nedensel bir video üretim yöntemi kullanıyor. Matrix-Game 4.0’da, Diffusion Transformer (DiT) mimarisinin damıtılmış bir sürümü bulunuyor. Bu yapı, geleneksel video üretim modellerine kıyasla yeni karelerin daha az işlem gücüyle oluşturulmasını sağlıyor.
Farklı oyun türlerinde test edildi
Kunlun Tech, modeli üçüncü şahıs nişancı oyunları, yarış oyunları ve hava muharebesi senaryolarında denedi. Yeni türler oluşturmak için video modelini yeniden eğitmek yerine oyun motorunun kuralları ve kodu değiştirilebiliyor.
Projenin kodları, model ağırlıkları, çıkarım kodu ve oyun varlıklarının yanı sıra tarayıcıda çalışan demosu da açık kaynak olarak paylaşıldı. Geliştiriciler bu içerikleri inceleyip kendi projelerine uyarlayabiliyor.
Matrix-Game 4.0’ın mevcut sınırlamalarından biri 480p çözünürlükte çalışması. Modelin odağı, günümüzün yüksek grafik kalitesine sahip oyunlarıyla yarışmaktan ziyade yapay zekâ ile etkileşimli ve tutarlı oyun dünyalarının oluşturulabileceğini göstermek.
