Fake Face Detection System Using MobileNets Architecture

Sistem pengenalan wajah merupakan salah satu metode dalam teknik biometric yang menggunakan wajah untuk proses identifikasi atau verifikasi seseorang. Teknologi ini tidak memerlukan kontak fisik seperti verifikasi sidik jari dan diklaim lebih aman karena wajah setiap orang memiliki karakter yang berbeda-beda. Terdapat dua fase utama dalam sistem biometrik wajah, yaitu deteksi wajah palsu Presentation Attack (PA) detektor dan pengenalan wajah (face recognition). Penelitian ini melakukan eksperimen dengan tujuan membangun sebuah model pembelajaran mesin (machine learning) berbasis mobile untuk melakukan deteksi wajah palsu ataupun memverifikasi keaslian wajah dengan menggunakan arsitektur Mobilenets. Verifikasi keaslian wajah diperlukan untuk meningkatkan sistem pengenalan wajah sehingga bisa membedakan wajah palsu dengan asli. Wajah palsu bisa dihadirkan dengan menunjukkan rekaman video atau gambar wajah seseorang sehingga bisa memanipulasi sistem. Dengan adanya metode verifikasi wajah asli, maka keamanan sistem bisa ditingkatkan dan meminimalisir penyalahgunaan. Kami menggunakan tiga jenis dataset publik, yaitu Replay-Mobile, Record-MPAD, dan LLC-FSAD untuk bahan training terhadap model anti-spoof yang dibangun. Model anti-spoof wajah dibangun dengan menggunakan arsitektur MobilenetV2 dengan menambahkan 3 layer neural network yang digunakan sebagai layer klasifikasi. Kemudian pengujian secara terkontrol dilakukan dengan menggunakan program komputer menghasilkan nilai HTER 0.17. Sedangkan hasil pengujian secara tidak terkontrol menggunakan aplikasi prototipe Android menghasilkan nilai HTER sebesar 0.21. Hasil pengujian ini menghasilkan selisih nilai HTER sebesar 0.04 yang mengindikasikan bahwa model anti-spoof wajah akan memiliki performa yang cenderung menurun bila digunakan secara real. The facial recognition system is a method in biometric techniques that use faces to identify or verify a person. This technology does not require physical contact such as fingerprint verification and is claimed to be safer because everyone's face has a different character. There are two main phases in the facial biometric system, namely fake face detection (Presentation Attack (PA) detector) and facial recognition. This study conducted experiments with the aim of building a mobile-based machine learning model to detect fake faces or verify facial authenticity using the MobileNets architecture. Verification of facial authenticity is needed to improve the facial recognition system so that it can distinguish fake faces from real ones. Fake faces can be presented by showing video recordings or pictures of someone's face so they can manipulate the system. The real-face verification method can improve system security and minimize misuse. We use three types of public datasets, namely Replay-Mobile, Record-MPAD, and LLC-FSAD for training materials for the built anti-spoof model. The facial anti-spoof model is built using the MobilenetV2 architecture by adding 3 neural network layers which are used as classification layers. Then controlled testing was carried out using a computer program to produce an HTER value of 0.17. While the results of uncontrolled testing using the Android prototype application produce an HTER value of 0.21. The results of this test produce a difference in the HTER value of 0.04, indicating that the facial anti-spoof model will have performance that tends to decrease when used in real terms.