Qualcomm CEO’su Cristiano Amon’a göre yapay zekâ şirketleri, 2028’de telefonlarda en az 100 milyar parametreli modeller çalıştırmayı hedefliyor. Amon, bu talebin sürekli çalışan yapay zekâ beklentisiyle bağlantılı olduğunu belirtti. Bu açıklama, bugün piyasadaki telefonların söz konusu büyüklükte modelleri çalıştırabildiği anlamına gelmiyor; yöneticinin aktardığı, şirketlerin gelecekteki cihazlardan beklentisi.
Hawaii’deki Snapdragon Summit sırasında kaydedilen söyleşide telefonların yapay zekâ dönemindeki yeri de ele alındı. Amon, uygulamaları kullanabilen ve kişisel bağlamı anlayan ajanların yeni bir cihaz yenileme döngüsünü başlatabileceğini düşünüyor. Ona göre ajanlar, üçüncü taraf uygulamaların telefon deneyimini değiştirmesine benzer bir dönüşüm yaratabilir. Bu değerlendirme gerçekleşmiş bir satış sonucu değil, yöneticinin beklentisi.
Amon, bellek fiyatlarının yükselmesi nedeniyle telefonunu yenilemeyi erteleyen kullanıcıların da yeni özelliklerden etkilenebileceğini söyledi. Yapay zekâ şirketlerinin kulaklık, kolye ve rozet gibi farklı cihaz biçimlerini denediğini aktaran yönetici, giyilebilir ürünler arasında akıllı gözlükleri en güçlü aday olarak görüyor. Bu ürünlerin başarılı olabilmesi için kullanıcıların onlara güvenmesi, yararlı bulması ve kolay kullanabilmesi gerektiğini belirtiyor.
100 milyar parametre, her görevde tüm modelin çalışacağı anlamına gelmiyor
Amon’un sözünü ettiği model büyüklüğü, telefonun bütün görevleri tek ve büyük bir modeli aynı şekilde çalıştırarak yerine getireceğini göstermiyor. Qualcomm’un Hexagon NPU mimarisine ilişkin açıklamasında, görevlerin uzmanlaşmış modellere yönlendirildiği bir yaklaşım öne çıkıyor. Bu tasarımda toplam parametre sayısı ile her işlem sırasında etkin biçimde kullanılan hesaplama miktarı birbirinden ayrılıyor.
Qualcomm bellek ve uzman modellerle işlem yükünü azaltmayı hedefliyor
Qualcomm, 10 Eylül tarihli teknik paylaşımında 30 milyar parametreli bir uzman karışımı modelini örnek gösterdi. Model, her yeni belirteci üretirken yaklaşık 3 milyar yönlendirilmiş parametreyi etkinleştirebiliyor. Buna göre toplam parametre sayısı, her adımda tüm parametrelerin hesaplamaya katıldığı anlamına gelmiyor. Şirket, uzman seçiminin ve önbelleklemenin işlem yükünü azaltabildiğini belirtiyor.
Yeni Hexagon tasarımında dönüştürücü modeller için Element Accelerator birimi ve yüzde 50 artırılan paylaşımlı bellek kullanılıyor. Qualcomm’a göre bellekte daha fazla ara veri tutmak, haricî belleğe erişim ihtiyacını azaltmayı amaçlıyor. Şirket ayrıca INT2 ile FP16 arasında çeşitli hassasiyet seçenekleri sunuyor. Böylece geliştiriciler bellek kullanımı, model kalitesi ve enerji tüketimi arasında farklı tercihler yapabiliyor.
Qualcomm, INT4 modellerde ilk bağlam işleme performansının yüzde 50’ye kadar artırılabildiğini bildiriyor. Bu oran, tüm telefonlarda ve bütün yapay zekâ görevlerinde aynı hız kazanımının sağlanacağı anlamına gelmiyor. Amon’un 2028 için aktardığı şirket beklentileri ile Qualcomm’un teknik örnekleri ayrı değerlendirilmeli. Bugün telefon seçerken cihazda çalışan işlevler, desteklenen uygulamalar ve üreticinin sunduğu özellikler önemini koruyor.
