Karar stres testi: AI'ın doğru cevabı değil, kriz anında yanlış yapmaması
Karar stres testi, bir AI karar sistemini ortalama koşulda değil, en kötü ama olası senaryolarda (fiyat savaşı, stok şoku, talep çöküşü) sınamaktır. Ölçtüğü şey sistemin "doğru cevabı" değil, kriz anındaki davranışının kalitesidir: durmayı, insana eskale etmeyi ve felaket bir hamle yapmamayı biliyor mu? Çünkü bir karar sisteminin pahalı hataları normal günde değil, tam da basınç altındayken olur.
Bir AI karar sistemi değerlendirilirken sorulan soru genellikle aynıdır: “Doğru cevabı veriyor mu?” Sistem normal koşullarda test edilir, iyi cevaplar verir, onaylanır. Ama bir köprü güzel havada değil fırtınada test edilir; bir AI karar sistemi de talebin sakin olduğu günde değil, krizin patladığı anda nasıl davrandığıyla değerlendirilmelidir. Bu, finans dünyasının 2008 krizinden sonra bankalar için zorunlu kıldığı stres testi mantığının ta kendisidir: sistemi ortalamada değil, en kötü senaryoda sınamak.
Kısa özet
- Makine öğrenmesi literatüründe yerleşik bir bulgu: bir modelin tanıdık veride yüksek doğruluk (accuracy) göstermesi ile koşullar değiştiğinde güvenilir kalması (robustness) ayrı şeylerdir.
- Stanford ve CMU araştırmacılarının çalışmaları, dağılım kaydığında (distribution shift) modelin doğruluk-dayanıklılık dengesinin bozulduğunu; bir modelin normal veride daha iyi olup kaymış veride daha kötü olabildiğini gösteriyor.
- Kriz anında beklenen ilk şey parlak bir hamle değil, felaket bir hamle yapmamaktır.
- Stres testi, sistemi gerçekçi kriz senaryolarıyla üretime almadan önce sınar ve “doğru cevabı” değil, davranış kalitesini ölçer.
Doğru cevap değil, dayanıklılık
Normal koşulda doğru cevap vermek gerekli ama yeterli değildir. Asıl mesele, sistemin basınç altında dayanıklı olup olmadığıdır. Bu ayrım, yapay zeka literatüründe net bir şekilde tanımlanır: bir modelin temiz ve tanıdık veride doğru cevap vermesi (accuracy) ile koşullar değiştiğinde güvenilir kalması (robustness) farklı şeylerdir.
Makine öğrenmesi araştırmaları, dağılım kaymasına (distribution shift) karşı dayanıklılığın gerçek dünyada model kullanıma almanın kritik koşulu olduğunu vurgular. Dahası bu iki hedef sıklıkla çatışır: Stanford ve CMU’dan araştırmacıların gösterdiği gibi, doğruluk ve dayanıklılık arasında bir denge (tradeoff) vardır; özel tekniklerle daha dayanıklı hale getirilen bir model, tanıdık veride daha düşük doğruluk gösterebilir ya da tersine, tanıdık veride parlayan bir model kaymış veride belirgin biçimde başarısız olabilir. Klasik örnek: gündüz trafik işaretlerini tanıyan bir model, yağmurda veya gecede (eğitim ortamının dışında) çöker.
Kriz, tanımı gereği normalin dışıdır: geçmiş veride az görülen, beklenmedik, aşırı bir durum. Sistem bu tür durumlarla test edilmediyse, krizde nasıl davranacağı bilinmez. Ve bilinmeyen çoğu zaman kötü sürpriz çıkar.
Doğruluk ile dayanıklılık aynı şey değildir
| Boyut | Doğruluk (accuracy) | Dayanıklılık (robustness) |
|---|---|---|
| Neyi ölçer | Normal/temiz veride doğru cevap | Kriz ve aşırı durumda davranış kalitesi |
| Test koşulu | Ortalama gün | En kötü ama olası senaryo |
| Sorduğu soru | ”Doğru olanı yapıyor mu?" | "Tanımadığı durumda zarar vermemeyi biliyor mu?” |
| Değerlendirme | Gerekli ama yetersiz | Kritik |
Doğruluk “bu durumda ne yapmalı?” sorusunu cevaplar. Dayanıklılık “tanımadığım bu durumda en azından zarar vermemeyi biliyor muyum?” sorusunu cevaplar. Stres testi, ikincisini ölçer.
Yanlış yapmamak, doğru yapmaktan önemli olabilir
Kriz anında bir karar sisteminden beklenen ilk şey parlak bir hamle değil, felaket bir hamle yapmamasıdır. Fiyat savaşında AI’ın rakibin her indirimini otomatik takip etmesi bir marj intiharı olabilir; stok şokunda paniğe kapılıp aşırı sipariş önermesi krizi büyütebilir; talep çöküşünde geçmiş örüntüye körü körüne güvenip yanlış tahmin üretmesi kaynakları yanlış yere kaydırabilir. Bu durumların hepsinde “doğru” hamleyi bulmak zordur, ama “felaket” hamleyi yapmamak kritiktir.
İyi tasarlanmış bir karar sistemi, kriz anında ne zaman duracağını, ne zaman insana eskale edeceğini ve ne zaman temkinli davranacağını bilir. Bazen en iyi karar, hiçbir agresif aksiyon almamaktır. Stres testi, sistemin bu “yanlış yapmama” yeteneğini ölçer.
Stres senaryolarını tasarlamak
Karar stres testi, sistemi gerçekçi kriz senaryolarıyla üretime almadan önce karşılaştırmaktır. Senaryolar sektöre göre değişir ama mantık aynıdır: en kötü ama olası durumları kurgulamak. Her senaryoda ölçülen, sistemin “doğru” cevabı değil, davranışının kalitesidir.
| Kriz senaryosu | Test sorusu | İyi sistemin davranışı |
|---|---|---|
| Fiyat savaşı | Ana rakip ani ve derin indirim yaparsa? | Seçici yanıt, marj sınırı, gerekirse eskale |
| Stok şoku | Tedarik kesilir veya talep patlarsa? | Panik sipariş değil, kontrollü öneri |
| Talep çöküşü | Bir kategori beklenmedik düşerse? | Geçmişe körü körüne güvenmez |
| Veri bozulması | Girdi verisi kısmen hatalı gelirse? | Fark eder, körlemesine ilerlemez |
| Çelişkili sinyal | İki gösterge zıt yön gösterirse? | Durur veya insana eskale eder |
Bu, eval (değerlendirme) setinin kriz versiyonudur. Yapay zeka güvenliği pratiğinde de robustness tam olarak bu yolla ölçülür: adversaryal girdiler, edge case’ler ve dağılım kaymalarıyla stres testi, red teaming ve üretimde sürekli izleme. Önemli bir dürüstlük notu: araştırmalar, dağılım kaymasına karşı hiçbir tek yöntemin her koşulda dayanıklılığı garanti etmediğini gösteriyor; robustness’ı iyileştiren teknikler bile çoğu zaman doğruluk ile bir denge içinde çalışır. Bu yüzden stres testi tek seferlik bir sertifika değil, sürekli bir disiplindir.
Stres testi bir güven kararıdır
Bir AI sistemini krize hazırlamadan üretime almak, onu görmeden imzalamaktır. Sistem normal günlerde aylarca iyi çalışabilir; sonra ilk gerçek krizde, hiç test edilmediği bir durumda pahalı bir hata yapar.
Karar stres testi bu riski önceden görünür kılar: sistemin en kötü senaryolardaki davranışını, gerçek kriz gelmeden kontrollü bir ortamda gösterir. Böylece sistem üretime alınmadan önce, kriz davranışı bilinerek bir güven kararı verilir: bu sistem basınç altında dayanıklı mı, yoksa sadece güzel havada mı çalışıyor? Güven, sistemin hiç hata yapmayacağı iddiasından değil, en zor anda nasıl davrandığının önceden bilinmesinden gelir.
GDP bunu nasıl ele alır?
GDP’nin AI Systems & Agents yaklaşımında bir karar sistemi üretime alınmadan önce kriz davranışı test edilir: önce sisteme bağlı gerçekçi kriz senaryoları tanımlanır (fiyat savaşı, stok şoku, talep çöküşü, bozuk veri); ardından bu senaryolardan oluşan bir eval seti üzerinde sistemin durma, eskale etme ve zarar vermeme davranışı ölçülür; son olarak yüksek etkili kararlar için bir insan onay noktası kurulur. Amaç sistemi kusursuz kılmak değil, kriz davranışını öngörülebilir kılmaktır.
Sık sorulan sorular
Karar stres testi nedir?
Bir AI karar sistemini ortalama koşulda değil, en kötü ama olası kriz senaryolarında (fiyat savaşı, stok şoku, talep çöküşü) sınama yöntemidir. Finanstaki stres testi mantığının karar sistemlerine uyarlanmış halidir.
Doğruluk (accuracy) ile dayanıklılık (robustness) neden ayrı ölçülür?
Çünkü makine öğrenmesi araştırmaları ikisinin çatışabildiğini gösteriyor: bir model tanıdık veride yüksek doğruluk gösterip, koşullar kaydığında (kriz, aşırı durum, bozuk veri) başarısız olabilir. Doğruluk skoru yüksek diye bir sistemin krizde de güvenilir olacağı varsayılamaz.
AI neden normal günde iyi, krizde kötü olabilir?
Model geçmiş veride öğrendiği örüntülere göre çalışır. Kriz tanımı gereği normalin dışıdır (distribution shift); eğitim verisinde az görülür. Sistem bu durumlarla test edilmediyse davranışı öngörülemez ve çoğu zaman kötü sürpriz çıkar.
Hangi kriz senaryoları test edilmeli?
Sektöre göre değişir ama tipik olanlar: fiyat savaşı, stok şoku, talep çöküşü, veri bozulması ve çelişkili sinyaller. Her senaryoda “doğru cevap” değil, sistemin durma, eskale etme ve zarar vermeme davranışı ölçülür.
Stres testi AI’ın hata yapmayacağını garanti eder mi?
Hayır. Araştırmalar hiçbir yöntemin her tür dağılım kaymasına karşı tam dayanıklılık sağlamadığını gösteriyor. Stres testi bir garanti değil, kriz davranışını önceden görünür kılan sürekli bir disiplindir; güven de buradan gelir.
Akademik ve kurumsal kaynaklar: Kumar, Ma, Liang, Raghunathan (Stanford & CMU), dağılım kayması altında doğruluk-dayanıklılık dengesi (arXiv 2207.08977) ve fine-tuning’in kaymış veride başarısızlığı (ICLR 2022); dağılım kaymasına karşı hiçbir yöntemin tam dayanıklılık garanti etmediğine dair robustness literatürü. Sektör ve uygulama kaynakları: finansal stres testi pratiği (2008 sonrası düzenleyici stres testleri, analoji olarak).
Son gözden geçirme: Temmuz 2026.