Analisis Sentimen Penanganan Covid-19 dengan Support Vector Machine: Evaluasi Leksikon dan Metode Ekstraksi Fitur

Abstract

Peneliti melakukan uji perbandingan metode ekstraksi fitur dan leksikon bahasa Indonesia pada analisis sentimen teks di media sosial terkait penanganan Covid-19. Set data yang digunakan berasal dari penelitian sebelumnya yang divalidasi ahli bahasa. Penelitian ini bertujuan mengukur performa kamus sentimen kata dari leksikon InSet dan sentistrength_id terhadap label aktual, berikutnya untuk mengetahui pengaruh pemilihan metode ekstraksi fitur term presence, BoW, dan TF-IDF. Proses penelitian dimulai dengan tahap prapengolahan teks, pemilihan metode ekstraksi fitur, pelabelan kata dengan leksikon, dan klasifikasi sentimen dengan Support Vector Machine (SVM). Evaluasi akhir dilakukan dengan k-Fold cross validation menggunakan data yang disintesis dengan algoritma SMOTE. Pengujian awal menunjukkan bahwa kamus sentimen kata leksikon sentistrength_id menghasilkan skor akurasi sedikit lebih tinggi (64,46%) dibanding InSet (62,65%) saat dikombinasikan dengan TF-IDF. Di tahap evaluasi akhir, kamus sentimen kata sentistrength_id masih menunjukkan performa yang relatif lebih baik berdasarkan rerata nilai akurasi, presisi, sensitivitas, dan f-measure (59,22%, 61,1%, 31,3%, 41,0%) dibanding InSet (58,98%, 62,2%, 26,1%, 36,6%) saat dikombinasikan dengan TF-IDF. Secara umum, performa kedua leksikon memang masih di bawah data dengan label aktual yang mengindikasikan kedua leksikon belum cukup kuat dalam menentukan kelas kata. Penyebabnya bisa karena jumlah data yang relatif sedikit atau karena normalisasi teks belum cukup dilakukan secara maksimal.