Xception Derin Öğrenme Modeli ve Gabor Filtreleri ile ÇDÖÖE-DVM Algoritması Kullanılarak Mikro İfadelerin Tanınması

Abstract

Mikro ifade (Mİ), insanların riskli bir ortamda bir olaya karşı istemsiz ve kontrolsüz duygusal tepkilerini gizlemeye çalıştıklarında ortaya çıkan sızıntıdır. Duyguyu yaşayan kişi risk altında bunu bastırmaya çalıştığı için yüze yansıması düşük yoğunlukta, belirli bir bölgede ve çok kısa sürede gerçekleşir. İfade istemsizce ortaya çıktığı için sahte değil tamamen doğal olmaktadır. Bu doğal ifadelerin doğru tespiti sayesinde adli, klinik, eğitim gibi birçok alanda etkili bir şekilde kullanılması sağlanabilir. Bu çalışmada Mİ tanıma hedefi için oluşturulan model yapısında sırasıyla önişleme, öznitelik çıkarma, öznitelik seçme ve sınıflandırma görevleri kullanılmıştır. Önerilen model yapısında literatürde en çok kullanılan, kamuya açık Mİ veri setlerinden CASME-II kullanılmıştır. Ön işleme aşamasında Optik Akış algoritmalarında kullanılmak üzere her bir video klipin görüntü dizisinden başlangıç (onset) ve tepe (apex) kareleri seçilir. Bu iki kare kullanılarak Farneback, TV-L1 Dual ve TV-L1 e ait yatay ve dikey optik akış görüntüleri elde edilmiş, ardından bu optik akış görüntüleri evrişimsel sinir ağı (ESA) modeli olan Xception ve geleneksel model olan Gabor modelleri kullanılarak görüntülere ait öznitelikler elde edilmiştir. Elde edilen bu özniteliklere ait ayırt edici olanları filtrelemek için çapraz doğrulama ile özyinelemeli özellik eleme (ÇDÖÖE) öznitelik seçim algoritması kullanılmıştır. Son olarak doğrusal destek vektör sınıflandırıcısı (DVS), filtrelenmiş Mİ özniteliklerini pozitif, negatif ve sürpriz olmak üzere üç sınıfa ayırmıştır. Önerilen Mİ model yapısından elde edilen sonuçlar 0.9248 doğruluk oranı başarısı göstermiştir.