oleh Voice Esther Ticoalu, S.Kom., M.T.I. (Faculty Member PJJ CS)

Pandemi global mengajarkan kita pentingnya menghindari kontak fisik, terutama pada permukaan benda yang sering disentuh bersama, seperti mouse dan keyboard. Kontak fisik dari tangan ke permukaan tidak hanya meningkatkan risiko penyebaran virus, tetapi juga menjadi tantangan dalam menjaga kebersihan saat bekerja dengan perangkat teknologi. Melalui penelitian ini, dikembangkan sebuah solusi inovatif yang memungkinkan interaksi manusia dengan komputer tanpa perlu menyentuh perangkat fisik, yaitu melalui pengenalan gerakan tangan menggunakan metode SSD dan Hand Landmark.

Tujuan dari penelitian ini adalah membangun sebuah aplikasi berbasis kecerdasan buatan yang dapat mendeteksi bentuk dan gerakan tangan secara real-time. Sistem ini menggunakan kamera webcam untuk menangkap gambar tangan dan menerapkannya sebagai alat kontrol komputer. Aplikasi ini dapat menggantikan fungsi mouse dengan gerakan tangan kanan, serta mengganti input shortcut keyboard dengan gerakan tangan kiri.

Proses pengembangan dilakukan dengan menggunakan dataset gerakan tangan dan titik-titik kunci (keypoints) tangan dari Hand Landmark Model milik Mediapipe, yang diprogram dengan bahasa Python. Setelah proses pelatihan model selesai, sistem mampu mengenali berbagai bentuk dan gerakan jari tangan kanan dan kiri, dari jari 1 sampai 5, dengan akurasi yang sangat tinggi.

Hasil pengujian menunjukkan keberhasilan sistem yang cukup signifikan. Nilai keberhasilan fungsionalitas aplikasi mencapai 94,73%, dengan nilai recall akhir sebesar 96%, precision mencapai 100%, dan akurasi keseluruhan sebesar 96%. Ini membuktikan bahwa aplikasi ini sangat layak digunakan untuk menggantikan fungsi dasar mouse dan keyboard dalam interaksi manusia-komputer.

Kesimpulannya, sistem ini bukan hanya inovatif, tetapi juga solutif di masa kini dan masa depan, di mana kontak fisik sebisa mungkin dikurangi. Aplikasi ini sangat potensial untuk diadopsi pada berbagai platform interaktif, khususnya dalam mendukung kebersihan dan efisiensi kerja dalam lingkungan digital yang lebih aman dan higienis.

Sumber: Penelitian Dosen dan Mahasiswa PJJ CS

Editor: Pandu Dwi Luhur Pambudi, S.Kom., M.Kom., M.I.M

#BINUSRESEARCHPOINT #TEKNIKINFORMATIKA #COMPUTERSCIENCE #BINUS #BINUSUNIVERSITY