Pengenalan Gestur Jari Tangan Sebagai Media Pembelajaran Berhitung Bagi PAUD Berbasis Visi Komputer Dan Deep Learning

Abstract

Pendidikan anak usia dini (PAUD) merupakan periode perkembangan yang penting dalam kehidupan anak, salah satu pertumbuhan yang penting adalah aspek kognitif. Berhitung termasuk dalam kemampuan kognitif yang meliputi kemampuan menghafal, memahami, mengaplikasi, menganalisis, mensintesis, dan kemampuan mengevaluasi. Guna meningkatkan kemampuan berhitung bagi anak-anak maka harus diketahui bagaimana cara mengaplikasikan hitungan tersebut dalam dunia nyata. Pada penelitian ini memberikan solusi bagaimana cara belajar berhitung yang menyenangkan serta tidak membosankan bagi anak-anak menggunakan media pembelajaran berhitung yang interaktif melalui pengenalan bentuk gestur jari-jari kedua tangan berbasis visi komputer dan deep learning secara realtime. Adapun visi komputer pada penelitian ini menggunakan framework MediaPipe, sedangkan metode deep learning yang digunakan adalah arsitektur Convolutional Neural Network (CNN). Hasil pengujian yang telah dilakukan pada penelitian ini, akurasi deteksi kesepuluh jari tangan untuk proses berhitung dari metode MediaPipe sebesar 89,9% dengan frame per second-nya antara 20-25 FPS. Metode CNN persentase akurasi deteksinya 20% dengan nilai FPS-nya antara 10-12 FPS, manfaat dari hasil penelitian ini bisa memberikan pengalaman belajar yang menyenangkan, menstimulasi, dan mendukung perkembangan anak secara holistik.