Oleh: Muhammad Fitra Kacamarga, S.Kom., M.T.I. (Faculty Member PJJ CS)

Bayangkan jika komputer bisa tahu kapan Anda sedang senang, sedih, atau marah hanya dari suara Anda. Teknologi seperti ini bisa membuka jalan untuk interaksi manusia-komputer yang jauh lebih manusiawi. Dalam penelitian ini, kami mengembangkan sistem Speech Emotion Recognition (SER)—sistem cerdas yang dapat mengenali emosi dari ucapan manusia.

Dengan menggabungkan kekuatan deep learning dan perhatian khusus (attention mechanism), model kami berhasil membaca “rasa” dari gelombang suara!

🧠 Model Canggih: CRNN + BI-GRU + Attention

Kami menggunakan kombinasi arsitektur deep learning:

  • Convolutional Recurrent Neural Network (CRNN) untuk menangkap pola suara.

  • Bidirectional Gated Recurrent Unit (Bi-GRU) untuk memahami konteks dari dua arah.

  • Bahdanau Attention Mechanism untuk memberi “fokus” pada bagian penting dari sinyal suara.

Sinyal suara diolah dan ditransformasikan menjadi fitur-fitur yang kemudian dianalisis untuk menghasilkan prediksi emosi—apakah pembicara sedang marah, senang, takut, dsb.

🔊 Apa Saja yang Diuji?

Model diuji menggunakan dataset RAVDESS yang terdiri dari rekaman suara dengan berbagai ekspresi emosional. Untuk memperkuat model, kami juga menggunakan teknik data augmentation seperti:

  • Penambahan noise latar belakang

  • Perubahan kecepatan dan pitch suara

📈 Hasil yang Mengesankan

Model kami mencetak akurasi tertinggi dibandingkan metode-metode sebelumnya:

  • Unweighted Accuracy (UA): 90,19%

  • Weighted Accuracy (WA): 90,53%

Artinya, model mampu mengenali emosi lebih akurat dan konsisten meski data berasal dari berbagai jenis suara.

🔍 Temuan Menarik

  • Model kami unggul hingga 11–12% lebih baik dibandingkan metode lain.

  • Pendekatan few-shot learning terbukti meningkatkan kinerja, terutama saat data emosi sangat terbatas.

  • Text-based emotion recognition (berbasis teks) masih kesulitan menandingi akurasi model berbasis suara.

📌 Kesimpulan

Penelitian ini membuka jalan untuk masa depan interaksi cerdas antara manusia dan mesin. Dari asisten virtual yang lebih empatik, hingga sistem call center yang memahami emosi pelanggan—teknologi ini punya potensi besar.

💡 Masa depan bukan sekadar memahami kata-kata, tapi juga perasaan di baliknya.

Sumber: Penelitian Dosen dan Mahasiswa PJJ CS

Editor: Pandu Dwi Luhur Pambudi, S.Kom., M.Kom., M.I.M

#BINUSRESEARCHPOINT #TEKNIKINFORMATIKA #COMPUTERSCIENCE #BINUS #BINUSUNIVERSITY