Kredi Derecelendirme

Notlama Sistemlerinin Validasyonu

Notlama Sistemlerinin Validasyonu

Bir kredi notlama sistemi geliştirilmiş olması, tek başına o sistemin güvenilir olduğu anlamına gelmez. Modelin gerçekten işe yarayıp yaramadığını, temerrüt riskini ayırt edip edemediğini, verdiği sonuçların gerçek hayattaki gerçekleşmelerle uyumlu olup olmadığını ayrıca test etmek gerekir. İşte bu test süreci validasyon olarak adlandırılır.

Validasyon, modelin yalnızca teorik olarak kurulmuş olmasını değil, fiilen öngörü gücüne sahip olup olmadığını sınar. Bu nedenle kredi notlama sistemlerinde model kurmak kadar, kurulan modeli doğrulamak ve düzenli olarak izlemek de kritik öneme sahiptir.

1) Validasyonun Tanımı ve Temel Amacı

Validasyon, geliştirilen kredi notlama modelinin gerçekten beklenen işi yapıp yapmadığını test etme sürecidir. Bu sürecin temel amacı, modelin riskli ve risksiz müşterileri ne ölçüde doğru ayırt ettiğini, tahmin ettiği risk düzeylerinin gerçekleşen sonuçlarla ne kadar uyumlu olduğunu ve modelin uygulamada güvenilir sonuç üretip üretmediğini ortaya koymaktır.

Başka bir ifadeyle validasyon, modelin yalnızca teknik olarak çalışmasını değil, işlevsel olarak doğru çalışmasını sorgular. Model ürettiği skorlarla temerrüt davranışını açıklayamıyorsa, kağıt üzerinde doğru görünse bile pratikte yetersiz sayılır.

2) Neden Validasyon Yapılır?

Kredi notlama sistemi; kredi tahsisi, fiyatlama, limit belirleme, portföy izleme ve sermaye planlaması gibi çok önemli karar alanlarında kullanılır. Eğer model hatalıysa, sadece teknik bir sorun ortaya çıkmaz; doğrudan yanlış kredi kararları alınabilir.

Bu nedenle validasyonun amacı, modelin yanlış sınıflandırma üretmesini önlemek, zayıf modellerin kullanımını engellemek, model performansındaki bozulmayı erken fark etmek ve karar mekanizmasının güvenilir kalmasını sağlamaktır.

Validasyon yapılmayan bir model, zamanla değişen müşteri davranışlarını veya ekonomik koşulları yakalayamayabilir. Böyle bir durumda model eskir ve risk tahmin gücünü kaybedebilir.

3) Validasyon Süreci

Validasyon süreci tek aşamalı bir işlem değildir. Önce modelin nasıl kurulduğu, hangi veri setine dayandığı, hangi varsayımlarla geliştirildiği ve hangi hedef değişkeni tahmin etmeye çalıştığı anlaşılır. Daha sonra model çıktıları, gerçekleşen performans verileriyle karşılaştırılır.

Bu çerçevede validasyon sürecinde genel olarak şu sorular sorulur: Model gerçekten temerrüt riskini ayırt ediyor mu? Üretilen skorlar veya risk sınıfları gerçekleşen temerrüt oranlarıyla uyumlu mu? Model zaman içinde performans kaybına uğruyor mu? Kullanılan veri seti ile modelin uygulandığı portföy arasında anlamlı bir fark var mı?

Bu nedenle validasyon, hem model kurulum mantığını hem de sonradan oluşan sonuçları birlikte inceleyen kapsamlı bir süreçtir.

4) Ayrıştırma Gücü (Discriminatory Power)

Bir notlama sisteminin en temel başarısı, iyi müşteriler ile kötü müşterileri ayırt edebilmesidir. Buna modelin ayrıştırma gücü denir. Eğer model temerrüde düşecek müşteriler ile düşmeyecek müşterileri benzer skorlarla değerlendiriyorsa, modelin öngörü gücü zayıf demektir.

Ayrıştırma gücü yüksek bir modelde, düşük riskli müşteriler daha iyi skorlar alırken, yüksek riskli müşteriler daha düşük skorlar alır. Böylece model kredi kararlarında anlamlı bir sıralama üretir.

Validasyonun ilk önemli testi bu noktadadır: model riskli olan ile risksiz olanı gerçekten ayırabiliyor mu?

5) Kalibrasyon Nedir?

Validasyonda yalnızca sıralama gücü yetmez. Modelin tahmin ettiği risk düzeyi ile gerçekleşen risk düzeyi arasında uyum bulunması gerekir. İşte bu uyum kalibrasyon ile ilgilidir.

Örneğin model belirli bir müşteri grubunun temerrüt olasılığını yüzde 2 olarak tahmin ediyorsa, uzun dönem gerçekleşmelerin de buna makul ölçüde yakın olması beklenir. Eğer model sistematik biçimde çok düşük ya da çok yüksek tahmin yapıyorsa, ayrıştırma gücü belli ölçüde iyi olsa bile kalibrasyon sorunu vardır.

Bu nedenle kalibrasyon, modelin nicel tahminlerinin gerçekle ne kadar örtüştüğünü test eder.

6) Performans Kontrolü ve Zaman İçinde İzleme

Bir model ilk geliştirildiği tarihte başarılı olabilir; ancak ekonomik koşullar, müşteri davranışları, ürün yapısı veya veri kalitesi zamanla değişebilir. Bu nedenle validasyon yalnızca modelin ilk kurulumu sırasında değil, modelin kullanım süresi boyunca da yapılmalıdır.

Performans kontrolü, modelin zaman içindeki tahmin başarısını izlemeyi, performans düşüşü olup olmadığını anlamayı ve gerekiyorsa modelin revize edilmesini sağlamayı amaçlar. Böylece modelin eskimesi, yani artık mevcut portföyü açıklayamaması durumu erken fark edilebilir.

7) Geliştirme Verisi ile Uygulama Verisinin Uyumunun Kontrolü

Model hangi veri seti üzerinde geliştirildiyse, uygulandığı portföyün de o veri yapısına makul ölçüde benzemesi gerekir. Eğer modelin kurulduğu veri ile fiilen uygulandığı müşteri kitlesi arasında büyük fark varsa, model performansı bozulabilir.

Bu nedenle validasyon sürecinde, model geliştirme örneklemi ile güncel portföy özellikleri karşılaştırılır. Böylece modelin uygulama alanının değişip değişmediği, veri sapması olup olmadığı ve skorların yeni müşteri kitlesinde aynı anlamı taşıyıp taşımadığı değerlendirilir.

8) Validasyon Yöntemleri

Validasyon yöntemleri genel olarak iki ana eksende düşünülebilir: modelin ayrıştırma gücünü ölçen testler ve modelin kalibrasyonunu ölçen testler. Ayrıştırma gücü bakımından, iyi ve kötü müşterilerin model tarafından ne ölçüde farklı sınıflandırıldığı incelenir. Kalibrasyon bakımından ise tahmin edilen risk düzeyleri ile gerçekleşen temerrüt oranları karşılaştırılır.

Bunun yanında performansın zaman içindeki istikrarı, modelin farklı alt portföylerde benzer başarı gösterip göstermediği ve skor dağılımlarındaki değişim de validasyonun parçasıdır. Böylece yalnızca tek bir testle değil, birbirini tamamlayan birkaç kontrolle model güvenilirliği değerlendirilir.

9) Backtesting Mantığı

Validasyonun önemli uygulamalarından biri backtesting yaklaşımıdır. Burada modelin geçmişte verdiği tahminler ile sonradan gerçekleşen sonuçlar karşılaştırılır. Amaç, modelin geçmiş performansını geriye dönük olarak ölçmek ve tahminlerin ne kadar isabetli olduğunu görmektir.

Eğer model geçmiş veriler üzerinde güçlü görünen ama gerçek uygulamada zayıf sonuç veriyorsa, modelin yeniden ele alınması gerekir. Bu nedenle backtesting, teorik model başarısı ile pratik performans arasındaki farkı görmede yararlıdır.

10) Validasyon Sonuçlarının Kullanımı

Validasyon yalnızca raporlama amacıyla yapılmaz. Elde edilen sonuçlar, modelin kullanılmaya devam edilip edilmeyeceği, yeniden kalibre edilip edilmeyeceği, yeniden kurulup kurulmayacağı veya belirli müşteri segmentlerinde modelin sınırlandırılıp sınırlandırılmayacağı konusunda karar vermek için kullanılır.

Bu nedenle validasyon, model risk yönetiminin merkezindedir. İyi sonuç veren model korunur, zayıflayan model düzeltilir, artık güvenilir olmayan model ise devreden çıkarılabilir.

Final Özet

• Validasyon, modelin gerçekten öngörü gücü taşıyıp taşımadığını test eder.
• Model kurmak yetmez; modelin doğrulanması gerekir.
• Ayrıştırma gücü, iyi ve kötü müşterilerin ayırt edilmesini ifade eder.
• Kalibrasyon, tahmin edilen risk düzeyi ile gerçekleşen risk düzeyinin uyumudur.
• Performans kontrolü ve zaman içinde izleme validasyonun parçasıdır.
• Modelin geliştirildiği veri ile uygulandığı portföy arasındaki uyum kontrol edilmelidir.
• Backtesting, model tahminleri ile gerçekleşen sonuçların karşılaştırılmasıdır.
• Validasyon sonuçları modelin sürdürülmesi, düzeltilmesi veya değiştirilmesi kararlarında kullanılır.