Jack Dorsey’nin şirketi Block, metin verisi ya da önceden eğitilmiş bir model kullanmadan geliştirildiğini belirttiği sesli yapay zekâ modeli Dessa’yı tanıttı. Model, konuşmayı doğrudan ses olarak işleyip yine sesle yanıt verecek şekilde tasarlandı.
Metni aradan çıkaran ses mimarisi
Pek çok sesli yapay zekâ sistemi, önce konuşmayı yazıya çeviriyor; metni işleyip yanıt oluşturduktan sonra bunu yeniden sese dönüştürüyor. Bu aşamalar, konuşmadaki ton, duygu ve doğal ritim gibi özelliklerin kaybolmasına yol açabiliyor.
Block’un geliştirdiği Dessa ise ses girdisini doğrudan alıyor ve ses çıktısı üretiyor. Şirket, modelin eğitiminde metin verisi veya başka bir önceden eğitilmiş modelden yararlanılmadığını söylüyor. Bu yaklaşım, dili yalnızca dinleyerek öğrenme biçimine benzetiliyor.
Konuşma sürerken dinleyip yanıt verebiliyor
Dessa’nın öne çıkan özelliklerinden biri, “full-duplex” çalışma biçimi. Model, kullanıcının sözünü tamamlamasını beklemeden onu dinleyip aynı anda konuşabiliyor. Söz kesildiğinde karşılık vermesi, diyalog sırasında kısa geri bildirimler sunması ve konuşmanın akışına ayak uydurması amaçlanıyor.
Block’un paylaştığı demolar arasında sesli tahmin oyunları, filmler üzerine sohbetler ve OpenAI’ın GPT-Live-1 ses modeliyle yapılan bir konuşma yer alıyor. Örneklerin bir kısmı doğal bir etkileşim izlenimi verse de Dessa zaman zaman karşısındaki kişiyi yanlış tanıyor ya da konuşmanın konusundan uzaklaşıyor. Demolar, modelin henüz her durumda sorunsuz çalışmadığını da gösteriyor.
MacBook Pro’da yerel çalışabiliyor
Block’un verdiği bilgiye göre Dessa, M4 Max işlemcili MacBook Pro’da ve daha güçlü donanımlarda yerel olarak çalışabiliyor. Şirket, modelin çıkarım işlemlerini gerçek zamandan daha hızlı gerçekleştirebildiğini belirtiyor. Ancak modelin boyutu, bağımsız performans testleri ve farklı donanımlardaki gecikme değerleri paylaşılmış değil.
Dessa şu anda araştırma ön izlemesi aşamasında. Block, erişimi ilk olarak küçük bir yapay zekâ güvenliği araştırmacıları grubuyla sınırlamayı planlıyor.
