2026-10-12
Şanslı bir holdout model doğrulaması hakkında bana ne öğretti?
Temiz bir holdout bile iyimser olabilir
MSCapital tahmin projesinde 804,5 milyon ham piyasa satırını örnek başına 292 mühendislikle oluşturulmuş özelliğe dönüştürdüm. Değerlendirmede embargo içeren genişleyen walk-forward eğitim kullanıldı. Beş kat boyunca topluluk modeli ortalama +0.14088 kosinüs benzerliği ve katlar arasında 0.0041 standart sapma verdi.
Ardından dokunulmamış altı ayda +0.15171 kosinüs değeri ölçüldü. Sonuç bir kez ölçülmüş olsa da tek bir ayrılmış dönem, piyasa koşullarının olağanüstü elverişli bir örneği olabilir. Eğitime bağımsız kalması, sonraki dönemi temsil ettiğini garanti etmez.
Sonucu görmeden önce tahmini kaydedin
Proje, puanlanan gönderim öncesinde yaklaşık 0.143'lük bir öngörü kaydetti; tek LightGBM gönderimi 0.128 aldı. Dört ek ayla eğitilen sonraki topluluk modeli 0.129 üretti. İkisi de iyimser holdout değerinin altındaydı ve yayımlanan topluluk modeli genel sıralama medyanının altında kaldı.
Holdout sonucu öngörü gücüne sahipmiş gibi anlatıyı değiştirmek yerine farkı görünür tuttum ve bunu sonraki araştırma sorusu olarak değerlendirdim.
Hikâye seçmek yerine açıklamaları sınayın
Fark için altı hipotez araştırıldı. Doğrulanan bulgulardan biri dönem zorluğuydu: holdout, dönem zorluğunun 83. yüzdelik dilimindeydi; bu etkiyle düzeltme yapıldığında +0.14084 elde edildi. Değer, bağımsız hesaplanan walk-forward ortalamasına yakındır. Spread rejimi farkının da katkısı vardı, ancak beklenenden küçüktü. Bu iki etkinin fark içindeki tahmini payları örtüştüğü için bağımsız nedenlermiş gibi toplanamaz.
Önerilen diğer dört açıklama, gerçekten test edilen aralıklarda yanlışlandı. Sonraki sürümde öğrenilen bir dizi modeli, rejim özellikleri, ek topluluk üyeleri ve özellik budama da incelendi. Bunların hiçbiri yayımlanan tablo temelli topluluğun üzerinde güvenilir bir iyileşme göstermedi. Tek başına pozitif nokta tahmini, eşleştirilmiş belirsizlik analizini geçersiz kılmadı.
ML uygulama ekibi için pratik dersler
Dış değerlendirme açıklanmadan önce beklenen performansı yazılı kaydedin. Tek elverişli dönem yerine tekrarlanan zamansal karşılaştırmaları tercih edin, temel model gürültüsünü inceleyin ve aday değişiklikleri mevcut modele karşı eşleştirilmiş farklarla ölçün. Sıfır ya da olumsuz sonuçları da başarılı deneyler kadar özenle raporlayın.
Bu bir yarışma araştırmasıdır; yatırım stratejisi veya işlem kârlılığı kanıtı değildir. Yeniden üretilebilir not defterleri, kaynak deposu ve model kartı; başlangıç hipotezlerini desteklemeyen testler dahil eğitim, değerlendirme ve sınırlamaları gösterir.