A study on comparison of convex and non-convex penalized regression methods

Abstract

Doğrusal regresyonda cezalı regresyon yöntemleri veri kümesinin yapısına bağlı olarak ön tahminde daha doğru sonuçlar elde edilmesi için kullanılır. Ayrıca cezalı regresyon yöntemleri kullanılarak yanıt değişken ile ilişkili olan açıklayıcı değişkenlerin tespiti mümkündür. Bu çalışmada ridge, LASSO, elastik net, uyarlamalı LASSO konveks cezalı regresyon yöntemleri ile SCAD ve MCP konveks olmayan cezalı regresyon yöntemlerinin gerçek katsayı vektörünün özelliklerine bağlı olarak performansları simülasyon çalışmaları ile karşılaştırılmıştır. Yöntemlere dayalı olarak oluşturulan modellerin ön tahmin performansının karşılaştırılması için test kümesi hata kareler ortalaması kullanılırken yöntemlerin değişken seçimindeki performanslarının karşılaştırılması için yanlış sınıflama oranı, yanlış pozitif oranı ve aktif küme büyüklükleri elde edilmiştir. Simülasyon çalışmalarına göre gerçek katsayı vektörünün yapısının konveks ve konveks olmayan cezalı regresyon yöntemleri ile oluşturulan modellerin performansı üzerinde kayda değer bir etkisinin olduğu görülmüştür.