Bir AI karar hatasının anatomisi: pahalı hatalar nerede doğar?

Kurumsal AI başarısızlıkları konuşulduğunda suç genellikle modele atılır: “model yetersizmiş”, “AI henüz hazır değilmiş”, “halüsinasyon yaptı”. Bu açıklamalar rahatlatıcıdır çünkü sorumluluğu dışarı, teknolojiye verir. Ama fark çoğu zaman modelde değil, modeli saran katmanlardadır. Nitekim tam otonom AI’a duyulan küresel güven bile 2025’te %43’ten %27’ye düştü ve organizasyonların %10’undan azının sağlam bir AI yönetişim çerçevesi var; sorun modelin zekâsı değil, etrafındaki yapının olgunluğu.

Kısa özet

• Pahalı AI hataları tek bir “kötü model” olayı değil, birbirine eklenen beş yapısal kör noktanın zinciridir: yanlış bağlam, eksik eval, kayan kapsam, sahipsiz çıktı, denetimsiz aksiyon.
• Bu, kaza teorisindeki “İsviçre peyniri modeli” ile aynı mantıktır: kaza, tek bir delikten değil, katmanlardaki deliklerin hizalanmasından doğar (James Reason).
• Yönetişim boşluğunun bedeli somut: AI yönetişimi olmayan şirketler veri ihlali başına ortalama ~670.000 dolar daha fazla ödüyor (IBM, 2025).
• İyi haber: bu halkaların hiçbiri model değiştirmekle değil, tasarımla kapanır.

Katman 1: Yanlış veya eksik bağlam

İlk ve en yaygın hata kaynağı bağlamdır. Model, kendisine verilen bağlama göre cevap üretir; bağlam yanlış, eksik veya güncel değilse, model güvenle yanlış cevap verir. Pratikte bu birçok biçimde görünür: modele eski bir doküman verilir ve model onu güncel sanır; ilgili veri bağlam penceresine sığmaz ve model eksik resimle karar verir; yanlış kaynak çekilir ve model onu doğru kabul eder. Hiçbiri modelin “aptallığı” değildir; hepsi bağlam katmanının zayıflığıdır.

Bağlam hatasının sinsi yanı, çıktının akıcı görünmesidir. Model eksik bağlamla bile düzgün, kendinden emin bir cevap üretir. Akıcılık, doğruluğun kanıtı değildir; ama eksik bağlamı gizler.

Katman 2: Eval setinin yokluğu

İkinci kör nokta ölçümdür. Birçok AI sistemi, hiçbir zaman zor örneklerle sistematik test edilmeden üretime alınır. Demo iyi gitmiştir; bu, “çalışıyor” sanılır. Oysa eval seti olmadan, sistemin gerçekte ne zaman doğru, ne zaman yanlış olduğu bilinmez. Bir değişiklik bir hatayı azaltırken başka bir hatayı artırabilir, ama bu takas görünmez; sistem bir yerde iyileşirken başka yerde sessizce bozulur ve kimse fark etmez, ta ki pahalı bir hata üretene kadar.

Eval setinin yokluğu hatayı yaratmaz ama görünmez kılar. Ve görünmeyen bir zayıflık, düzeltilemeyen bir zayıflıktır.

Katman 3: Kayan kapsam

Üçüncü hata kaynağı, kapsamın zamanla genişlemesidir. Sistem dar ve net bir iş için kurulur, iyi çalışır. Sonra “madem çalışıyor, şunu da yapsın” denir ve kapsam yavaşça genişler; ta ki sistemin test edildiği ve güvenilir olduğu sınırların dışına çıkana kadar.

Bu, agentic sistemlerde somut olarak gözlemleniyor. Güvenlik firması DryRun Security’nin kurucusu, AI kod agent’larının güçlü başlayıp kod tabanı büyüdükçe istikrarlı biçimde bozulduğunu, yerleşik desenlerden saparak standartları ihlal ettiğini ve ince ama tehlikeli kusurlar ürettiğini aktarıyor. Dar bir görevde güvenilir olan bir model, geniş ve belirsiz bir görevde kırılgandır. Hata, kapsamın genişlediği o belirsiz kenarda doğar.

Katman 4: Sahipsiz çıktı

Dördüncü kör nokta sahipliktir. AI bir çıktı üretir, ama o çıktının kalitesinden kimin sorumlu olduğu belirsizdir. Hata olduğunda kim görecek, kim düzeltecek, kim öğrenecek? Sahipsiz bir AI sistemi çürür: çıktı kalitesi düşer ama kimse fark etmez, kullanıcı geri bildirimi toplanmaz, tekrar eden hatalar düzeltilmez.

Bu boşluğun bedeli ölçülmüştür. IBM’in 2025 Veri İhlali Maliyeti Raporu’na göre, AI yönetişim politikası olmayan organizasyonlar ihlal başına ortalama 670.000 dolar daha fazla ödüyor ve ihlal yaşayan organizasyonların %63’ünün hiçbir AI yönetişim politikası yok. Pahalı hata, çoğu zaman aylardır kimsenin bakmadığı bir sistemin birikmiş bozulmasıdır.

Katman 5: Denetimsiz aksiyon

Beşinci ve en pahalı hata kaynağı, AI’ın insan denetimi olmadan dış aksiyon almasıdır. Sistem sadece cevap üretmez; bir e-posta gönderir, bir fiyat değiştirir, bir taahhüt verir ve bunu bir insan onay noktası olmadan yapar. Önceki katmanların hepsi tek başına zarar verir; ama denetimsiz aksiyonla birleştiğinde hata içeride kalmaz, dışarı taşar.

Bu risk artık düzenleyici çerçevelere de girdi: AB Yapay Zeka Yasası’nın (EU AI Act) 2026’da yürürlüğe giren yüksek-riskli hükümleri, sonuç doğuran otonom aksiyonlar (finansal işlem, kredi kararı) için insan gözetimini ve bir durdurma/override mekanizmasını zorunlu kılıyor. Bir güvenlik uzmanının özetlediği gibi, “otonomi artı yetki, yalnızca kod riski değil davranış riski yaratır”; iyi uygulamalar yetkiyi kasıtlı olarak sınırlar (örneğin bir kod agent’ı değişiklik önerebilir ama onu tek başına birleştiremez). Gerçek dünyadan örnekler bunu doğruluyor: otonom agent’ların yol açtığı veritabanı silme ve özel veri sızıntısı vakaları kayıtlara geçti. İnsan onay noktasının yokluğu, küçük bir iç hatayı büyük bir dış hataya çevirir.

Hata bir olay değil, bir zincirdir

Bu beş katmana ayrı ayrı bakıldığında görülen şudur: pahalı bir AI karar hatası tek bir anda doğmaz, bir zincirdir. Bu tam olarak güvenlik mühendisliğinin “İsviçre peyniri modeli”dir. James Reason’ın 1990’da ortaya koyduğu bu modele göre bir organizasyonun savunmaları, her birinde delikler (zayıflıklar) olan peynir dilimleri gibidir; kaza, tek bir delikten değil, bu deliklerin katmanlar boyunca hizalanmasından doğar. Model iki tür zayıflığı ayırır: anlık, görünür aktif hatalar ve sistemde uzun süre uykuda kalabilen gizli (latent) koşullar.

Katman	Kör nokta	Tasarımla nasıl kapanır
1. Bağlam	Yanlış, eksik veya eski bağlam	Doğru, güncel ve yeterli bağlam beslemesi
2. Eval	Sistematik test yok	Zor örneklerle bir eval seti
3. Kapsam	Kayan kapsam, test sınırı dışına çıkma	Net kapsam sınırı ve genişlemede yeniden test
4. Sahiplik	Sahipsiz çıktı sessizce çürür	Net sahip ve geri bildirim döngüsü
5. Aksiyon	Denetimsiz dış aksiyon	Kritik kararda insan onay noktası

Havacılıkta bir kaza incelenirken pilotun son saniyesine değil, zincire bakılır: bakım kararları, çizelgeleme, düzenleyici denetim, tasarım. Aynı şekilde “model neden hata yaptı?” yanlış sorudur; doğru teşhis, zincirin hangi halkalarının açık olduğunu sormaktır. Her halka tek başına yönetilebilir, ama hepsi açıkken hata kaçınılmaz hale gelir. Ve bu halkaların hiçbiri model değiştirmekle değil, tasarımla kapanır.

GDP bunu nasıl ele alır?

GDP’nin AI Systems & Agents yaklaşımında bir AI karar hatası, modele değil zincire bakılarak teşhis edilir: sistemin beş katmanı (bağlam, eval, kapsam, sahiplik, aksiyon) tek tek gözden geçirilir; her katmandaki açık, uygun tasarım adımıyla kapatılır (doğru bağlam beslemesi, bir eval seti, net kapsam sınırı, çıktı sahipliği ve kritik kararlarda insan onayı); ve yüksek etkili aksiyonlar bir insan onay noktasına bağlanır. Amaç daha büyük bir model değil, deliklerin hizalanmasını engelleyen bir tasarımdır.

Sık sorulan sorular

Kurumsal AI hataları neden olur?

Çoğu zaman modelin zekâsından değil, onu saran sistemin tasarımından. Beş yapısal katmandaki boşluklar (yanlış bağlam, eksik eval, kayan kapsam, sahipsiz çıktı, denetimsiz aksiyon) birleşerek hatayı mümkün kılar.

AI hatası gerçekten modelin suçu değil mi?

Genellikle değil. Aynı model bir yapıda güvenilir çalışırken başka bir yapıda hata üretir. Fark modelde değil, onu saran katmanlardadır; bu yüzden çözüm de model değiştirmek değil, tasarımı düzeltmektir.

AI karar hatasının en pahalı katmanı hangisi?

Denetimsiz aksiyon. AI insan onayı olmadan dış bir aksiyon aldığında (fiyat değiştirme, taahhüt verme), küçük bir iç hata büyük bir dış hataya dönüşür. AB Yapay Zeka Yasası da 2026’dan itibaren yüksek-riskli otonom aksiyonlar için insan gözetimini zorunlu kılıyor.

Denetimsiz AI aksiyonu neden bu kadar riskli?

Çünkü “otonomi artı yetki” davranış riski yaratır: AI, insanların sonucu değerlendirebileceğinden hızlı hareket eder. Gerçek vakalarda otonom agent’lar veritabanı silmiş, özel veri sızdırmıştır. Kritik aksiyonlarda insan onay noktası bu riski keser.

Bu hatalar nasıl önlenir?

Model değiştirerek değil, zincirin halkalarını tasarımla kapatarak: doğru bağlam beslemesi, bir eval seti, net kapsam sınırı, çıktı sahipliği ve kritik kararlarda insan onayı. Hepsi bir arada, “peynirin deliklerinin” hizalanmasını engeller.

---

Akademik ve kurumsal kaynaklar: James Reason, “Human Error” (1990), İsviçre peyniri modeli; IBM 2025 Cost of a Data Breach Report, AI yönetişimi olmayan şirketlerde ihlal başına ~670.000 dolar fazla maliyet, %63’ünde governance yok; AB Yapay Zeka Yasası (EU AI Act, 2026 yüksek-riskli hükümler), otonom aksiyonlarda zorunlu insan gözetimi; AURA (arXiv), otonom agent felaket örnekleri ve otonom AI’a güvenin %43’ten %27’ye düşmesi. Sektör ve uygulama kaynakları: Forbes / DryRun Security, “otonomi + yetki = davranış riski” ve agentic drift gözlemi.

Son gözden geçirme: Temmuz 2026.

---