Sistem Pendeteksi Gerakan Bahasa Isyarat Indonesia Menggunakan Webcam Dengan Metode Supervised Learning

Authors

  • Daniel Robert Marydo Nababan Universitas STIKUBANG
  • Zuly Budiarso Universitas STIKUBANG

:

https://doi.org/10.32409/jikstik.22.3.3403

Keywords:

Machine Learning, Supervised Learning, Computer Vision, Convolutional Neural Network, Bahasa Isyarat

Abstract

Teknologi sistem deteksi gambar mengalamai perkembangan yang sangat pesat dimana fungsinya yang dapat menyelesaikan masalah utama ,seperti membantu orang dengan gangguan pendengaran yang mengandalkan bahasa isyarat untuk berkomunikasi.Banyak penyandang tunarungu-wicara atau bisu sangat bergantung dengan bahasa isyarat sebagai media komunikasi namun sering mengalami kesulitan saat berkomunikasi dengan masyarakat umum yang tidak memahami bahasa isyarat.Untuk mengatasi masalah tersebut peneliti mengimplementasikan sistem Machine Learning (ML) dengan metode Supervised Learning untuk mendeteksi gerakan bahasa isyarat agar dapat dipahami oleh masyarakat umum. Untuk mengimplementasikan Teknik Machine Learning pada tugas tersebut,peneliti menggunakan SSD Mobile net V2 Pra-Pelatihan yang telah dilatih pada dataset.Untuk mendapatkan model deteksi yang akurat dan konsisten mengklasifikasi bahasa isyarat yang dikembangkan peneliti menggunakan SSD ResNet50 V1 FPN 640X640 yang berfungsi melaksanakan training dan testing gambar kata menggunakan pembelajaran transfer . Orang yang mempraktikkan bahasa isyarat dapat memperoleh manfaat dari pembuatan sistem sistem deteksi bahasa isyarat. Deteksi gerakan tangan akan diteliti dan dievaluasi menggunakan algoritma Computer Vision (CV) sebagai antar muka manusia dan computer. Kumpulan metode pengolahan citra dengan klasifikasi gestur dan manusia menjadi metode terbaik untuk mendeteksi.Tanpa latar belakang atau pencahayaan apapun sistem dapat mengenali gerakan bahasa isyarat dengan akurasi 90%.

Downloads

Download data is not yet available.

References

F. D. Adhinata, N. G. Ramadhan, A. Amrulloh, and A. R. Bahtiar, “Comparison of Supervised Learning Methods for COVID-19 Classification on Chest X-Ray Image,” CommIT J., vol. 16, no. 2, pp. 195–201, 2022, doi: 10.21512/commit.v16i2.7970.

F. D. Adinata and J. Arifin, “Klasifikasi Jenis Kelamin Wajah Bermasker Menggunakan Algoritma Supervised Learning,” J. Media Inform. Budidarma, vol. 6, no. 1, p. 229, 2022, doi: 10.30865/mib.v6i1.3377.

K. Kristiawan, D. D. Somali, T. A. Linggan jaya, and A. Widjaja, “Deteksi Buah Menggunakan Supervised Learning dan Ekstraksi Fitur untuk Pemeriksa Harga,” J. Tek. Inform. dan Sist. Inf., vol. 6, no. 3, pp. 541–548, 2020, doi: 10.28932/jutisi.v6i3.3029.

V. J. Schmalz, “Real-time Italian Sign Language Recognition with Deep Learning,” CEUR Workshop Proc., vol. 3078, pp. 45–57, 2022.

J. Sikder, U. K. Das, and R. J. Chakma, “Supervised Learning-Based Cancer Detection,” Int. J. Adv. Comput. Sci. Appl., vol. 12, no. 5, pp. 863–869, 2021, doi: 10.14569/IJACSA.2021.01205101.

Wantania, Sompie, and Kambey, “Penerapan Pendeteksian Manusia Dan Objek Dalam Keranjang Belanja Pada Antrian Di Kasir,” J. Tek. Inform., vol. 15, no. 2, pp. 101–108, 2020.

B. Hisham and A. Hamouda, “Supervised learning classifiers for Arabic gestures recognition using Kinect V2,” SN Appl. Sci., vol. 1, no. 7, pp. 1–21, 2019, doi: 10.1007/s42452-019-0771-2.

C. V. F. Conference, C. Vision, and P. Recognition, “Multi-Evidence Filtering and Fusion for Multi-Label Classification , Object Detection and Semantic Segmentation Based on Weakly Supervised Learning Weifeng Ge Sibei Yang Yizhou Yu Department of Computer Science , The University of Hong Kong Abstract,” Cvpr, pp. 1277–1286, 2018.

T. Wang, T. Yang, J. Cao, and X. Zhang, “Co-mining: Self-Supervised Learning for Sparsely Annotated Object Detection,” 35th AAAI Conf. Artif. Intell. AAAI 2021, vol. 4A, pp. 2800–2808, 2021, doi: 10.1609/aaai.v35i4.16385.

P. Lestari, D. H. D. Manik, N. L. Br Sihotang, and A. M. Husein, “Video Surveillance System with a Deep Learning Approach,” SinkrOn, vol. 4, no. 1, p. 263, 2019, doi: 10.33395/sinkron.v4i1.10247.

Downloads

Published

26-10-2023

How to Cite

[1]
Daniel Robert Marydo Nababan and Budiarso, Z. 2023. Sistem Pendeteksi Gerakan Bahasa Isyarat Indonesia Menggunakan Webcam Dengan Metode Supervised Learning . Jurnal Ilmiah Komputasi. 22, 3 (Oct. 2023), 449–456. DOI:https://doi.org/10.32409/jikstik.22.3.3403.
Abstract View: 0 times