OpenAI’ın COBOL programlarını farklı yazılım dillerine aktarma değerlendirmesinde GPT-6.1 Sol, yüksek akıl yürütme ayarında yüzde 97,9 doğruluk elde etti. Ancak uzmanlar, sınırlı bir kod taşıma testinin bankalar veya kamu kurumları gibi kuruluşların canlı sistemlerinin güvenle dönüştürüldüğünü kanıtlamadığını belirtiyor.
Test, programların mevcut davranışını korumayı ölçüyor
OpenAI’ın 19 Ekim’de duyurduğu değerlendirme, COBOL programlarının C++, Java, Kotlin, Python veya Rust’a aktarılmasını ve eski programın davranışının korunmasını hedefliyor. Gizli testlerde gözlemlenebilir çıktıların bayt düzeyinde aynı olması bekleniyor. Bir programın geçişi ancak bütün testleri tamamladığında başarılı sayılıyor; yalnızca derlenmesi ya da çalışmaya başlaması yeterli değil.
Düşük akıl yürütme ayarında GPT-6.1 Sol yüzde 86,6 doğruluğa ulaşırken, karşılaştırılan GPT-5.6 Sol yüzde 5,4’te kaldı. OpenAI, bu ayarda yeni modelin API maliyetinin önceki modelin yüzde 61’i olduğunu bildiriyor. Yüksek akıl yürütme ayarındaki yüzde 97,9 sonucu ise farklı bir çalışma koşuluna ait; doğruluk ve maliyet rakamlarını karşılaştırırken bu ayrımın gözetilmesi gerekiyor.
COBOL sistemlerinde iş kurallarını korumak, yalnızca kodun sözdizimini değiştirmekten daha fazlasını gerektiriyor. OpenAI’ın verdiği örnekte sabit noktalı aritmetikte fazla ondalık basamaklar atılıyor. Yeni program bu basamakları atmak yerine yuvarlarsa, kod çalışsa bile finansal sonuç değişebilir. Bu nedenle temel ölçüt, kodun görünümünden çok önceki davranışın sürdürülmesi.
Uzmanlar kurum sistemlerinin daha geniş bir yapıya sahip olduğuna dikkat çekiyor
The Verge’ün 26 Ekim tarihli haberinde Twente Üniversitesinden Vadim Zaytsev, eski sistemlerin yalnızca koddan ibaret olmadığını vurguluyor. Verilerin farklı biçimlerde tutulması, diğer sistemlerle bağlantılar, kurumun çalışma süreçleri ve kullanıcıların beklentileri de geçişin parçası. Bu nedenle tek bir programın test edilmesi, sistemin tüm ilişkilerini kapsamayabiliyor.
Delft Teknik Üniversitesinden Arie van Deursen, bakım çalışmalarıyla modernleştirme sürecinin birbirinden ayrılması gerektiğini belirtiyor. Karmaşık bir sistemi daha küçük parçalara bölüp tek tek değiştirmek başlı başına güçlük taşıyor. Tanımlı test görevleri, yıllar içinde genişlemiş bir kurum yazılımındaki tüm ayrıntıları yansıtmayabilir; dolayısıyla yüksek başarı oranının kapsamı bu sınır dikkate alınarak değerlendirilmeli.
Imperial College London’dan Alastair Donaldson’a göre, eski sistemin gerçekte nasıl çalıştığını anlamak da önemli bir engel. Eksik belgeler ve sistemi bilen çalışanların kurumdan ayrılması, bu işi zorlaştırabiliyor. Uzmanların sözünü ettiği denetim yöntemlerinden biri, aynı iş akışını eski ve yeni sistemde çalıştırıp sonuçları karşılaştırmak. Kod dönüşüm sürecinin belgelenmesi de incelemeyi kolaylaştırabiliyor.
OpenAI’ın teknik açıklaması, kurumun ihtiyaçlarına göre test yapılmasını ve uzman incelemesini gerekli görüyor; iş kuralları ve bağımlılıkların ayrıca kontrol edilmesi gerektiğini belirtiyor. Güney Danimarka Üniversitesinden Jacopo Mauro, matematiksel doğrulamanın olası bir yöntem olduğunu, ancak bunu eski sistemlere uygulamanın ciddi emek gerektirdiğini ifade ediyor. Modelin kod üretmesi, canlı ortamda güvenilecek sonuçların doğrulanması ihtiyacını ortadan kaldırmıyor.
COBOL değerlendirmesi MultiLangBench ile aynı beceriyi ölçmüyor
COBOL taşıma testi ile MultiLangBench farklı amaçlara sahip. COBOL değerlendirmesi mevcut bir programın davranışını korumaya odaklanırken MultiLangBench, 20 dilde sıfırdan SQLite uyumlu bir veritabanı motoru geliştirilmesini istiyor. OpenAI, MultiLangBench’in kurulumunu ve testlerini GitHub’da yayımlıyor. İki deneyin sonuçlarını tek bir genel kodlama başarı oranı gibi değerlendirmek, ölçtükleri beceriler arasındaki farkı gözden kaçırabilir.
