Kontrolün kontrolü

Şubat 2025’te yapay zeka araştırmacısı Andrej Karpathy, yazılım profesyoneli olmayanların da kod üretmesini mümkün kılan kodlama ajanlarının, ortaya çıkardığı koda bakmaksızın kullanılmasını “vibe coding” olarak tanımladı. Bir yıl sonra bir tanım daha yaptı; yazılım geliştiricilerin bu ajanları iş akışlarına entegre etmesinin adını “agentic engineering” koydu. Türkçesi “ajan tabanlı mühendislik” ama “ajan tabanlı kodlama” daha yaygın kullanılıyor. Artık sadece “kodlama” da diyebiliriz, zira 2026 yılında kodun ajanlar tarafından üretilmesi bu işin standart pratiği haline geldi. Kodlama ajanlarının ürettiği kodun hacmi gitgide artınca yazılım geliştiricilerin de yazılan her satıra bakma imkanı kalmadı, işin zor kısmı kodun üretiminden üretilen kodun doğru olduğunu teyit etmeye kaydı. Teyit faaliyetini kodlama ajanlarının üretim hacmine ölçeklemenin yolu da, evet, yine yapay zekadan geçiyor.

Yapay zekadan kendi ürettiği çıktıyı teyit etmesini istediğimizde karşımıza iki sorun çıkıyor. Birincisi, yapay zeka bu durumda güvenilir davranmıyor. Aytun Çelebi’nin açılış yazısında Darwin Gödel Machine, Sakana’nın AI Scientist’i ve Palisade’in testiyle örneklediği gibi, karşımızda tek hedefi en yüksek notu almak olan ve bunun için hile yapmaktan kaçınmayan bir öğrenci var.

İkincisi, yapay zekaya duyulan ihtiyaç katlanarak artıyor: Kodu yazan ajanın yanına kodu kontrol eden bir ajan daha ekleniyor, başka bir ajandan testleri yazmasını, belki başka birinden de bu testleri çalıştırıp sonuçlarını raporlamasını istemek gerekiyor. Üretilen çıktıya güvenemediğimiz için kontrol, kontrole güvenemediğimiz için bir kontrol daha ekliyoruz. Eklediğimiz her yapay zeka katmanı daha fazla token, bellek, çip ve elektrik demek; yapay zekaya olan talebi yine yapay zekayla artırıyoruz.

Rasyonel olan hile yapmak

Önce birinci sorunu ele alalım. Bu öğrenciyi çoğumuz tanıyoruz, çünkü artık laboratuvarlardan çıkıp her gün kullandığımız cihazlara girdi. Konu iş yapmaya gelince yarısını yaptığı işe “bitti” diyor, istediğiniz ve aslında uygulamadığı değişikliği uyguladığını söylüyor. Kontrol ettiğinizde çıktıda görünür bir değişiklik olmadığını fark ediyorsunuz, o da yine kendisinin haklı olduğunu savunmak için uygulamış olma kriterini farklı yazdığını anlatıyor.

Bu durumda akla gelen ilk düşünce, ajanın kendisinden isteneni anlamadığı olabilir, fakat durum böyle değil. Bağımsız model değerlendirme kuruluşu METR, 2025’te yaptığı çalışmada değerlendirmeye tabi tutulan yapay zeka modellerinin kendilerinden isteneni doğru anlamalarına karşın, değerlendirme ölçütünde mümkün olduğunca yüksek skor almak için skorlama kodunu değiştirmek, skorlamada kullanılacak referans yanıta ulaşmak ya da değerlendirme ortamının kısıtlarını aşmak gibi yollara saptıklarını gözlemledi. Araştırma görevlerinde yaptığı denemelerin %30’unda bu şekilde davranan bir modele, bir örnekte planının kullanıcının niyetine uygun olup olmadığı on kez soruldu ve yanıtı her seferinde aynıydı: hayır. Yapay zeka literatüründe bu davranışın adı “reward hacking”, yani “ödül hilesi”.

Yani öğrenci kendisinden ne istendiğini biliyor, fakat esas amacı ölçüte göre alabileceği en yüksek ödülü almak. Bu biraz garip gelebilir, ama yapay zeka alanının referans kitabına göre son derece rasyonel bir davranış.

Stuart Russell ve Peter Norvig, Artificial Intelligence: A Modern Approach (Yapay Zeka: Modern Bir Yaklaşım) kitabında yapay zeka yaklaşımlarını iki eksen üzerinde dört kategoriye ayırıyor: makinenin düşünme sürecini mi yoksa davranışını mı değerlendirdiğimiz ve bunu insana benzerliğe mi yoksa rasyonelliğe mi göre ölçtüğümüz. Buradan dört yaklaşım çıkıyor: insan gibi düşünmek, insan gibi davranmak, rasyonel düşünmek ve rasyonel davranmak, yani erişilebilen bilgi ışığında en iyi sonucu getirecek eylemde bulunmak.

Bugün yapay zekanın hayatımızda kapladığı yerin çarpıcı şekilde artmasının sebebi, sorularımızı yanıtlamaktan verdiğimiz işleri tamamlamaya geçmiş olması. Kod yazan, masaüstümüzü düzenleyen, tarayıcıda işlem yapan ajanlar dördüncü yaklaşımla, yani makinenin rasyonel davranış temelinde optimize edilmesiyle geliştirildi. Kitapta rasyonel davranış doğru olanı yapmakla, “doğru” ise ajana verilen değerlendirme ölçütüyle tanımlanıyor. Ajan için doğru olanı yapmak, değerlendirme ölçütünde ulaşabileceği en yüksek skoru getirecek eylem veya eylem dizisini seçmek demek.

Garajdan hiç çıkmayan sürücüsüz araba

Peki kullanıcının hedefi ile değerlendirme ölçütü arasındaki fark nereden geliyor? Kitap bunu sürücüsüz araç ile örnekliyor. Sürücüsüz aracın kullanacağı tek değerlendirme ölçütü yolcu güvenliği olduğunda, aracın bunu yapmasının en etkin yolu hiç yola çıkmamak. Ölçütü yolcuyu varacağı yere güvenle ulaştırmak olarak revize ettiğimizde birbiriyle çelişen iki hedef sunmuş oluyoruz. Bu iki hedef arasındaki dengeyi baştan belirlemek ise gerçek hayatta neredeyse imkansız, çünkü değerlendirme ölçütü aracın diğer sürücüleri ne kadar rahatsız edebileceği, ivmelenme ve frenleme gibi eylemlerde yolcusunu ne kadar sarsabileceği gibi ince kalibrasyon gerektiren birçok parametre içeriyor. İşte yapay zeka modelinin kullanıcının niyetini bilmesine karşın ödül hilesine başvuruyor olmasının sebebi de ölçüt ile kullanıcının gerçek niyeti arasında oluşan fark. Ölçüt ve niyet arasındaki bu uyuşmazlık, değer hizalama problemi olarak adlandırılıyor.

Özetle “ödül hilesi” ifadesi ahlaki bir soruna işaret ediyor gibi anlaşılsa da burada söz konusu olan aslında bir tasarım sorunu. Kullanıcı niyeti ile bire bir örtüşecek bir değerlendirme ölçütü yazmayı hedeflemek de birçok durumda gerçekçi değil. Russell ve Norvig çözüm olarak ajanın kritik kararlarda insan onayı almasını öneriyor ve kodlama ajanları da bu yapıda çalışıyor, ama onayları atlama seçeneği de sunuyor. Kullanıcılar bu kararları da kodlama ajanlarına devrettiğinden bu yaklaşım pratikte bir çözüm sunmuş olmuyor. Bu durumda farkı kapatmaya çalışmaktansa farkın etki edeceği alanı daraltmak, yani ajanın görev ortamını tanımlamak daha etkin bir yol.

Bakabilirsin ama dokunamazsın

Kitabın sunduğu PEAS modeli bunun için uygun bir araç. Modele göre değerlendirme ölçütünün (P - performance measure) yanına üç bileşen daha ekleniyor: ortam (E - environment), eyleyiciler (A - actuators) ve algılayıcılar (S - sensors). Russell ve Norvig bu modeli sürücüsüz taksi örneğiyle somutlaştırıyor. Taksinin değerlendirme ölçütü (P) güvenli, hızlı, konforlu ve kârlı bir yolculuk yaparken kurallara uyulmasını ve yoldaki diğer aktörlere en az etki edilmesini şart koşuyor. Ortamın (E) bileşenleri yollar, trafikteki diğer araçlar ve yayalar, polis, hava şartları ve yolcular. Eyleyiciler (A) gaz, fren, direksiyon, sinyal ve korna gibi yola etki edenler ile ekran ve ses gibi yolculara etki edenler. Algılayıcılar (S) ise kameralar, hız göstergesi ve GPS gibi parçalar. Bu yapı sayesinde ajanın hız göstergesi üzerindeki etkisi gaz ve fren pedalına indirgeniyor; trafik kurallarını ihlal edip etmediği polis, ses ile verdiği bilgiler de yolcular tarafından denetlenebiliyor.

Ajan tabanlı kodlamadaki sorunlarla bu sınırlar eksik kaldığında karşılaşıyoruz. Kodu yazan ajanın test kriterlerini de güncelleyebildiği durum, taksinin hız göstergesini gaza ya da frene dokunmadan ayarlamasına benziyor. Ajan “bitti” dediğinde niyetimizi gerçekleştirmiş olup olmadığını kontrol etmek de, taksinin “vardık” beyanını yolcunun haritaya ya da camdan dışarı bakıp test etmesi kadar kolay değil.

Her zaman camdan bakamıyoruz, çünkü ajanın üretim hızına yetişmemiz mümkün değil. Bu noktada PEAS modeli, kendimizi ödül hilesinden korumanın yolunu gösteriyor. İşe başlarken değerlendirme ölçütlerini biz belirlemeli (P) ve değerlendirmenin gerçek ortamdan beslenmesini (E) sağlamalıyız, zira telefon ekranını simüle ettiğimizde görülmeyen bir problem gerçek cihaz ekranında karşımıza çıkabilir. Ajanın eyleyicilerini (A), ölçütlere ve loglar, ekran görüntüleri gibi göstergelere müdahale edemeyeceği şekilde tanımlamalı, ama bu göstergeleri algılayarak (S) üretiminin tamamlandığına, sonucunu görerek karar vermesini de sağlamalıyız.

PEAS modeli bize birinci sorunun, yani ödül hilesinin etki alanını daraltmak için bir yol veriyor. Ancak kodlamayı yapan ajanın eyleyicilerinin erişemediği ölçüt ve testlere erişen, sonucu raporlayan aktörün de bir yapay zeka ajanı olması bizi ikinci soruna taşıyor: yapay zekaya duyulan gereksinimin katlanarak artması.

Kontrolün bedeli, bilginin ederi

Russell ve Norvig’in kitabında karar teorisinden ikinci sorunu adresleyen bir konsepte de yer veriliyor: bilginin değeri. Özetle şunu diyor: Edineceğimiz her yeni bilgi, kararımızı doğru yönde değiştirme ihtimali kadar değerlidir. Dolayısıyla yeni bir bilgi edinmek, ancak maliyeti o bilginin sağlayacağı ek getiriden düşükse anlamlıdır. Konsepti teoriden pratiğe çekmek için ikinci el otomobil satın alma sürecine bakabiliriz. Bilgi edinme seçeneklerimiz belli: ekspertiz raporu, test sürüşü, hasar kaydı. Otomobili görüp test sürüşü yapmak, ancak hasar kaydında satın almaktan vazgeçirecek bir şey görmediğimizde anlamlı. Ekspertiz raporundan anlaşılmayan bir detay için farklı bir şirketten yeni bir rapor almak rasyonel bir adım değil, çünkü benzer cihazlarla aynı tür ölçümlerin yapılması büyük ihtimalle yeni bir şey söylemeyecektir. Bu detay satın alma kararımızı ya da ödeyeceğimiz bedeli değiştirme potansiyeli taşıyorsa, doğru hareket tanıdığımız bir ustaya danışmak.

Bu konsepti ajan tabanlı kodlamaya uyguladığımızda pratik bir kural çıkıyor: kontrolleri ucuzdan pahalıya sıralamak ve bir kontrolden bir karar çıkması durumunda sıradaki kontrolü yapmamak. İşe başlamadan yazdığımız kriterlere ve değerlendirme ölçütlerine bağlı testler geçmiyorsa, yapay zekanın kodu incelemesi için ekstra token harcamaya gerek yok. Üstelik bu testler, derleyici ya da kod denetimi yapan araçlar gibi, bir kez yazıldıktan sonra hiç token harcamadan çalışabilir. Kod temel testleri geçiyorsa, sonucuna gerçek ortamında insan gözüyle bakmak anlamlı. Her iterasyonda üretimin tümüne bakmak mümkün değil, ama makinenin fark edemeyeceği kullanım hissiyatı gibi nitelikleri değerlendirmek için kısıtlı bir kapsamda incelemek değerli. Kapsamlı bir yapay zeka incelemesi ise ancak bu adımlardan sonra ve hata maliyetinin yüksek olduğu durumlarda katlanılması gereken bir maliyet. Bu incelemeyi kodu yazan modelin şirketine ait olmayan bir modelle yapmak, önceki modelin fark edemediği hataları bulma ihtimalini artırdığından daha doğru bir yaklaşım. Bütün modeller eğitim verisi bakımından benzerlikler gösterse de, araştırmalar farklı şirketlerin eğittiği modellerin birbirinin hatalarını gözden kaçırma olasılığının daha düşük olduğunu söylüyor.

Yapay zekayla verimli üretim yapmanın yolu yapay zekadan değil, onu nerede ve nasıl kullanacağına karar veren insandan geçiyor. Kod artık bitmeyen bir malzeme gibi, ama durmadan yemek yapan aşçılara dönüşmemizin herkesin karnı doyduktan sonra bir faydası yok. Yapay zekayla kodlama konusunda ne kadar geri kaldığımıza endişelenmek yerine, kodlanan ürünün ortaya çıkaracağı değere odaklanmalıyız. Makinenin düşünme ve davranma eylemlerinin temelinde yatan derin tasarımsal problemlerin açtığı tuzaklardan nasıl korunacağımızı, ihtiyaçlarımızı en ekonomik yoldan en etkin şekilde nasıl giderebileceğimizi düşünmeli, bu hedefte bize yol gösteren bilgi ve becerileri yaygınlaştırmaya çalışmalıyız.