2026-10-12
Rastgele çapraz doğrulama sahtekârlık performansını neden olduğundan yüksek gösterdi?
Bölme yöntemi, yanıtlanacak sorunun parçasıdır
Sahtekârlık modeli yalnızca satırlar üzerinde eğitilmiş bir sınıflandırıcı değildir. Eğitimden sonra gelen işlemler üzerinde değerlendirilmesi gereken bir karar sistemidir. Eğitim ve doğrulama aynı zamana bağlı kimlik örüntülerini paylaşıyorsa, rastgele ayırma gerçek inceleme ekibinin karşılaşacağından daha kolay bir soruyu yanıtlayabilir.
Bağlantısı verilen IEEE-CIS not defterinde rastgele beş katlı doğrulama ROC-AUC 0.971; kronolojik karşılaştırma ise 0.921 üretti. Vaka çalışması, bu farkın yaklaşık yarısını eğitim sırasında daha önce görülmüş müşterilerle ilişkilendiriyor. Bu oran evrensel bir veri sızıntısı yüzdesi değil, ilgili veri ve karşılaştırmaya özgü bir bulgudur.
Üretimdeki değerlendirmeyi ayrı tutun
Portföyde yayımlanan sahtekârlık hattının kendine ait zaman bazlı holdout kümesi 118.108 işlemden oluşur. Ölçülen sıralama sonuçları ROC-AUC 0.9134 ve ortalama kesinlik 0.5354'tür. Bu değerler söz konusu holdout hattına aittir; önceki bölme karşılaştırmasının puanlarıyla karıştırılmamalıdır.
Model işlemleri otomatik reddetmek için değil, insan incelemesine öncelik vermek için kullanılır. Belgelenen holdout'ta en yüksek puanlı işlemlerin %5'ini incelemek, sahtekârlık etiketlerinin %58.32'sini %40.13 kesinlikle yakalar. Operasyonel soru, iş yükü ve kesinliğin kabul edilebilir olup olmadığıdır; tek başına etkileyici bir skor değildir.
İyi sıralama mutlaka doğru olasılık değildir
Ağırlıklı eğitim, sınıflandırıcı çıktısının ölçeğini değiştirir. Belgelenen holdout'ta ortalama skor %17.96, gözlenen sahtekârlık yaygınlığı ise %3.44'tür. Brier skoru 0.0636 olup sabit taban oranı tahmini için bildirilen 0.0332'den kötüdür. Dolayısıyla ham skorları olasılık olarak yorumlamak yanıltıcıdır; yine de inceleme önceliği sıralamasında yararlı olabilirler.
Bir diğer uyarı risk dilimlerinden gelir: Yüksek risk diliminde sahtekârlık oranı modelin uyarlandığı bölümde %44.59, holdout'ta %30.34'tür. Yalnızca ilk değeri göstermek, sahadaki beklenen performansı abartır.
İnceleme için uygulanacak ilke
Önce tahminlerin ne zaman yapılacağını yansıtan doğrulama bölmeleri seçer, sonra hem sıralamayı hem de insan incelemesi kapasitesini ölçerim. Risk dilimi oranlarını yalnızca görülmemiş zaman aralıklarında raporlar, risk sıralaması ile olasılık kalibrasyonunu ayırır ve maliyet-fayda benzetimlerindeki varsayımları açık yazarım.
Bu bulgular belirli bir inceleme eşiğinin bankaya kesin bir tutar kazandıracağını kanıtlamaz. Yalnızca açık varsayımlarla eşiklerin şeffaf biçimde karşılaştırılmasını destekler. Bağlantılı not defteri, proje deposu ve operasyon belgeleri yeniden üretilebilir ölçümleri ve sınırlamalarını içerir.