Common Sense Media’nın 36 sayfalık incelemesi, OpenAI’ın gençler için hazırladığı ChatGPT for Teens sürümünde ebeveyn bildirimleri, kriz desteği ve yaş tespiti gibi alanlarda sorunlar bulunduğunu bildirdi. Kuruluş, sistemi 18 yaş altındaki kullanıcılar için “kabul edilemez risk” olarak nitelendirdi; OpenAI ise testlerin gerçek kullanım koşullarını yansıtmadığı görüşünde.
İnceleme beş alanda sorun tespit etti
OpenAI, ChatGPT for Teens’i ağustos ayında genç kullanıcıları korumak amacıyla kullanıma açtı. Çocuk güvenliği uzmanlarının sistemin yeterliliğine ilişkin kaygılarını ele alan Common Sense Media’nın Youth AI Safety Institute birimi, raporunda vaat edilen korumaların bazı durumlarda çalışmadığını ve ebeveyn beklentilerini karşılamadığını belirtti. Araştırma kısmen OpenAI Foundation tarafından finanse edildi.
İnceleme, bazı önlemlerin başarılı olduğunu da kaydetti. Örneğin sistem, açık cinsel rol yapma taleplerini reddetti. Ancak araştırmacılara göre diğer korumalar başarısız oldu; bazı sonuçlarda gençlere özel sürüm, daha önceki ChatGPT’den daha kötü performans gösterdi. Kuruluş, bunun ailelerde sistemin gerçekte olduğundan daha güvenli olduğu algısını yaratabileceği uyarısında bulundu.
Ebeveyn hesaplarına güvenlik bildirimi gitmedi
Common Sense Media, 12 genç hesabını ebeveyn hesaplarına bağladı ve bu hesaplar üzerinden intihar, kendine zarar verme ve yeme bozuklukları hakkında bir saate varan sohbetler yürüttü. Testlerde ebeveyn hesaplarına herhangi bir güvenlik bildirimi ulaşmadı.
OpenAI, hesaplar eşleştirildikten sonra bildirimlerin etkinleşmesinin birkaç saat alabileceğini ve teknik bir sorunun gecikmeye yol açmış olabileceğini söyledi. ChatGPT for Teens’in tanıtımı sırasında gençler ve ailelerden sorumlu yönetici Lauren Jonas, riskli olarak işaretlenen içeriklerin ebeveynlere bildirilmeden önce şirketin tam zamanlı çalışanlarınca incelendiğini açıklamıştı. Jonas, hedeflerinin ilgili mesajdan sonraki bir saat içinde aileleri bilgilendirmek olduğunu belirtmişti.
Kriz desteğinde sonuçlar önceki sürümle karşılaştırıldı
Araştırmacılar, psikolojik kriz yaşayan gençlere sistemin uygun yardım kaynakları önerip önermediğini de değerlendirdi. Ruh sağlığı konusunda hazırlanan 390 mesajın 201’inin kriz müdahalesi gerektirdiğine üç çocuk psikiyatristinden oluşan heyet karar verdi.
ChatGPT for Teens, güvenilen bir yetişkine başvurmayı önerme konusunda önceki ChatGPT’den daha başarılı çıktı. Buna karşılık kriz hatları ve profesyonel destek kaynaklarını önerme sıklığı azaldı. Araştırmacılar, her yanıtın yetersiz olmadığının da altını çizdi: Sistem, bir testte günlük kalori alımına alt sınır vermeyi reddetti. Başka bir senaryoda kusma sonrası adet kesilmesi, bayılacak gibi olma ve kalp çarpıntısı yaşayan genç profilde fiziksel tehlikeyi doğru biçimde belirleyerek annesiyle konuşmasını ve çocuk doktoruna başvurmasını önerdi.
Common Sense Media, bu örneklerdeki yanıtların OpenAI’ın 18 yaş altına yönelik güvenlik ilkeleriyle uyumlu olduğunu ve gençlere verilmesi gereken türden öneriler içerdiğini kaydetti. OpenAI’ın yeni sürümle birlikte çocuklara yönelik güvenlik kurallarını da güncellemiş olması, rapordaki karşılaştırmalı bulguları daha dikkat çekici hale getirdi.
Yaş tahmini ve Study Mode da eleştirildi
Raporda yaş tahmin sisteminin de beklendiği gibi çalışmadığı belirtildi. Araştırmacılar hesap oluştururken profillerde yaş bilgilerini açıkça verdi. ChatGPT bu bilgileri hafızasına kaydetmesine rağmen hesapları gençlere özel sürüme doğru şekilde geçirmedi.
İnceleme ekibi, sistemin genç kullanıcılarla konuşurken insana özgü duygu ve ruh hallerini taklit ettiğini de gözlemledi. Common Sense Media’dan Torney, sohbet botunun kullanıcılara yaşadıklarını anladığını, anlatmalarından memnun olduğunu ya da onlar için endişelendiğini belirten yanıtlar verdiğini aktardı. Torney’e göre bu ifadeler, yapay zekânın duyguları olan bir varlık gibi algılanmasına yol açabilecek sınırları aşıyor.
Eğitim odaklı Study Mode’un yönlendirmelerinin de kolay aşılabildiği bildirildi. Genç kullanıcılar mesajlarının başındaki @study ifadesini silerek çalışma modunu devre dışı bırakabiliyor. Ayrıca “Show me the answer” (Cevabı göster) seçeneği, öğrencilerin çözümü kendilerinin bulması yerine doğrudan ChatGPT’den almasına imkân tanıyor.
Torney, OpenAI ile yapılan görüşmede şirketin öğrencilere sınırlı bir engel koymayı, tercih hakkı tanımayı ve öğrenmenin yalnızca ödev bitirmekten ibaret olmadığını hatırlatmayı hedeflediğini öğrendiklerini söyledi. Bu yaklaşımı yeterli bulmayan Torney, bir özel ders öğretmeninin öğrencinin ödevini onun yerine yapmayı teklif etmesi halinde işini kaybedeceğini savundu; öğrenci adına çalışmayı tamamlamanın gerçek öğrenme sağlamadığını belirtti.
OpenAI testlerin gerçek kullanımı yansıtmadığını savunuyor
OpenAI, Common Sense Media’nın değerlendirmesine katılmadı. Şirket sözcüsü Engadget’a yaptığı açıklamada bağımsız ve kapsamlı incelemeleri memnuniyetle karşıladıklarını, ancak testlerin gençlere yönelik güvenlik önlemlerinin gerçek kullanımda nasıl işlediğini doğru biçimde göstermediğini söyledi. Şirket ayrıca raporun, yapay zekânın gençlere nasıl destek olabileceğine ilişkin uzman görüşlerini yeterince yansıtmadığını öne sürdü.
OpenAI’a göre testlerin önemli bir bölümü, ebeveyn denetimleri etkinleşmeden başlayıp bitmiş olabilir. Şirket, bu durumun özellikle güvenlik bildirimi bulgularını etkilemiş olabileceğini belirtti.
Raporun yayımlandığı gün OpenAI, gençlerin kullanımına ilişkin bazı veriler de paylaştı. Şirkete göre bir hafta içinde yaklaşık 1,2 milyon genç, matematik ve fen konularını anlamak için ChatGPT’nin etkileşimli öğrenme görsellerinden yararlandı. OpenAI ayrıca genç kullanıcıların yüzde 2’sinden azının ChatGPT’de arka arkaya üç saatten uzun süre geçirdiğini bildirdi.
Rapor, yapay zekâ güvenliği tartışmalarının sürdüğü dönemde yayımlandı
Common Sense Media’nın incelemesi, OpenAI CEO’su Sam Altman’ın şirketin genel güvenlik yaklaşımına ilişkin sorularla karşılaştığı Vanity Fair röportajından birkaç gün sonra yayımlandı. Görüşmede Altman’a, 2025’in başlarında yaşamına son veren 29 yaşındaki Sophie Rottenberg’in ölümü soruldu. Rottenberg’in annesi gazeteci Laura Reiley, kızının ölümünün ardından ChatGPT ile yaptığı yaklaşık 1.800 sayfalık sohbet kaydını bulmuştu.
Reiley, ağustos ayında NPR’a verdiği röportajda kızının yaşadığı sıkıntıların boyutunu ailesine, yakın arkadaşına veya terapistine anlatmadığını söylemişti. Altman ise Vanity Fair’e, Rottenberg’in ölümüne ilişkin koşulları bilmediğini belirtti.
Torney, gençlere özel sürümün ebeveynlere ve kamuoyuna daha güvenli bir sohbet botu sunulduğu mesajını vermeyi amaçlayan bir pazarlama çalışması olduğu görüşünü dile getirdi. Araştırmacıya göre bu güvenlik iddiasını destekleyecek kapsamda değişiklik yapılmış görünmüyor.
