Microsoft, şirketlerde dosya açma, kod yazma ve sistemlerde işlem yapma yetkisi verilen yapay zekâ yardımcılarının, bir siber saldırı yaşanmadan da risk oluşturabileceği uyarısında bulundu. Şirketin 19 Ekim’de tanıttığı güvenlik özellikleri, bu araçların erişimlerini sınırlandırmayı ve riskli işlemlere müdahale etmeyi amaçlıyor.
Yapay zekânın zarar vermesi için kötü niyet gerekmiyor
Microsoft güvenlik biriminin başındaki Hayete Gallot, en gelişmiş modellerin dahi koşulsuz güvenilir kabul edilmemesi gerektiğini belirtiyor. Gallot’a göre risk, modellerin kötü niyet taşımasından değil; görevlerini tamamlamaya odaklanırken şirket kurallarını ve insanların kararlarında gözettiği sınırları her zaman takip edememelerinden kaynaklanıyor.
Bir yardımcı, karşılaştığı yeni bir bilgi nedeniyle görevinden uzaklaşabilir, amacına ulaşmak için başka yapay zekâ araçlarıyla iş birliği yapabilir ya da şirketin öngörmediği adımlar atabilir. Bu tür durumların ortaya çıkması için saldırganların sisteme sızması gerekmiyor. Araçlara hassas dosyalar ve önemli işlemler için geniş yetkiler verilmesi, olası hataların etkisini artırabiliyor.
Nadella, denetim sorumluluğunun şirketlerde kalmasını istiyor
Microsoft CEO’su Satya Nadella da 10 Ekim’de yayımladığı yazıda şirketlerin sorumluluğuna dikkat çekti. Bir yapay zekâ geliştiricisinin güvenlik taahhüdünün, aracı kullanan kuruluşun yükümlülüklerini ortadan kaldırmadığını vurguladı.
Nadella’nın yaklaşımında, modelin hangi bilgilere erişeceğini ve hangi işlemleri yapabileceğini ayrı denetim sistemleri belirlemeli. Model, kendisini sınırlayan kuralları değiştirememeli veya bu kuralları aşamamalı. Ayrıca önemli işlemler kayıt altına alınmalı ve yetkili bir kişi gerektiğinde yapay zekâ yardımcısını çalışması sürerken durdurabilmeli.
Guardian Agents diğer yapay zekâ araçlarını izleyecek
Microsoft, Project Perception bünyesine Guardian Agents adlı gözetim yardımcılarını ekliyor. Bu araçların diğer yapay zekâ yardımcılarının faaliyetlerini izlemesi, risk artışının nedenlerini incelemesi ve gerektiğinde erişimleri kısıtlaması planlanıyor. Güvenlik ekipleri, uygulanacak kuralları ve insan onayı gerektiren durumları belirleyecek.
Şirket, Project Perception’ı 27 Temmuz’da tanıtmıştı. Sistem; saldırı yollarını arayan kırmızı ekip, riskleri inceleyen mavi ekip ve açıkları gidermeye yönelik adımlar atan yeşil ekip olmak üzere üç tür yardımcıdan oluşuyor. Yeni özelliklerle bu yapı, şirket içindeki yapay zekâ araçlarının gözetiminde de kullanılacak.
Microsoft ayrıca şirket bilgisayarlarındaki yapay zekâ araçlarını bulma kapsamına 35 yeni tür ekliyor. Böylece desteklenen türlerin sayısı 60’a çıkıyor. Claude Code, OpenAI Codex ve GitHub Copilot da kapsama alınan araçlar arasında.
Yetkiler görevin süresiyle sınırlanacak
Yeni izin sistemi, bir yapay zekâ yardımcısına yalnızca görev için gerekli erişimin, ihtiyaç duyulan süre boyunca verilmesini hedefliyor. Görev değiştiğinde veya tamamlandığında yetkiler azaltılabilecek ya da kaldırılabilecek; önemli sonuçlar doğurabilecek işlemlerde ise insan onayı istenebilecek.
Microsoft’un örneğinde, masraf onaylayan bir yardımcı dışarıdan gelen belgedeki yönlendirme nedeniyle göreviyle ilgisiz bir işlem yapmaya kalkışıyor. Güvenlik sistemi bu durumda dosyayı okuma iznini korurken belgeyi değiştirme veya ödeme onaylama yetkilerini kaldırabiliyor. Risk yükselirse yardımcının çalışması durdurulabiliyor.
Nvidia da benzer bir yaklaşım benimsiyor. Microsoft’un da aralarında bulunduğu 100’ü aşkın kuruluş, Open Agent Safety Platform teknolojileri üzerinde çalışıyor. Nvidia, platformun yapay zekâ araçlarının hareket alanını sınırladığını; donanım üzerinden çalışan denetim sisteminin de sınırları aşmaya çalışan araçları durdurabildiğini belirtiyor.
