Sistem Isyarat Bahasa Indonesia (SIBI) Metode Convolutional Neural Network Sequential secara Real Time
Bahasa isyarat dengan menggunakan gerakan tangan biasanya dilakukan oleh tuna rungu dan tuna wicara. Bahasa isyarat yang digunakan di Indonesia adalah SIBI (Sistem Isyarat Bahasa Indonesia). Namun, penggunaan bahasa isyarat tangan tidak selalu di mengerti oleh manusia normal sehingga dibutuhkan per...
Saved in:
| Main Authors: | , , |
|---|---|
| Format: | Article |
| Language: | Indonesian |
| Published: |
University of Brawijaya
2022-08-01
|
| Series: | Jurnal Teknologi Informasi dan Ilmu Komputer |
| Online Access: | https://jtiik.ub.ac.id/index.php/jtiik/article/view/4787 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| _version_ | 1823858578201509888 |
|---|---|
| author | Oky Dwi Nurhayati Dania Eridani Muhammad Hafiz Tsalavin |
| author_facet | Oky Dwi Nurhayati Dania Eridani Muhammad Hafiz Tsalavin |
| author_sort | Oky Dwi Nurhayati |
| collection | DOAJ |
| description |
Bahasa isyarat dengan menggunakan gerakan tangan biasanya dilakukan oleh tuna rungu dan tuna wicara. Bahasa isyarat yang digunakan di Indonesia adalah SIBI (Sistem Isyarat Bahasa Indonesia). Namun, penggunaan bahasa isyarat tangan tidak selalu di mengerti oleh manusia normal sehingga dibutuhkan perangkat tambahan yang dapat mempermudah dalam menerjemahkan suatu isyarat. Perangkat tambahan yang dikembangkan dalam penelitian ini melibatkan teknologi visi komputer deep learning sehingga menghasilkan tools untuk menerjemahkan bahasa isyarat tangan. Dalam penelitian ini, gambar isyarat tangan di capture menggunakan webcam kemudian dilakukan pre-processing dengan mengubah gambar ke dalam bentuk HSV. Gambar yang digunakan dalam penelitian berupa citra sebanyak 26 kelas huruf alfabet SIBI dan 3 kelas tambahan, dengan masing-masing kelas memiliki 1000 gambar. Kemudian dilakukan cropping dan thresholding dengan menempatkan isyarat tangan yang berbentuk huruf kedalam kotak yang merupakan area ROI untuk memudahkan pengenalan. Teknologi visi komputer deep learning convolutional neural network (CNN) digunakan untuk feature learning dan mengklasifikasi isyarat tangan pada sebuah obyek. Untuk menguji metode CNN, digunakan berbagai variasi cahaya sebesar 10-200 lux, serta jarak dari tangan ke webcam 50-200 cm. Hasil penelitian dengan metode CNN pada citra isyarat tangan memberikan akurasi sebesar 92%, presisi 91,96%, sensitivitas 91,9%, spesivisitas 91,96% dan f1 score 91,9%.
Abstract
Sign language is usually used by deaf and speech impaired persons. The Sistem Isyarat Bahasa Indonesia (SIBI) is a hand signal language used in Indonesia. The use of hand signals is not always understood by normal humans, such that additional devices are needed to make sign translation easier. The additional device in this study is developed using deep learning and computer vision technology to produce a hand signal translation tool. This study uses 29 sign images for a dataset, consisting of 26 letters of the alphabet and 3 additional signs, namely space, delete, and unclassified. Pre-processing is performed by converting the image into HSV, cropping, and thresholding to make easy recognition. The convolutional neural network (CNN) method is then used as a learning feature and hand signals classifier on an object. The testing phase is performed on various lights ranging from 10-200 lux and the hand distance to the webcam is about 50-200 cm. Experimental results show that the CNN method on the hand signal image could provide an accuracy of 97.2%, precision of 91.96%, sensitivity of 91.9%, specificity of 91.96%, and F1 score of 91.9%, respectively.
|
| format | Article |
| id | doaj-art-c0991feb9a2c473cbe2a5444df6b83e8 |
| institution | Kabale University |
| issn | 2355-7699 2528-6579 |
| language | Indonesian |
| publishDate | 2022-08-01 |
| publisher | University of Brawijaya |
| record_format | Article |
| series | Jurnal Teknologi Informasi dan Ilmu Komputer |
| spelling | doaj-art-c0991feb9a2c473cbe2a5444df6b83e82025-02-11T10:42:27ZindUniversity of BrawijayaJurnal Teknologi Informasi dan Ilmu Komputer2355-76992528-65792022-08-019410.25126/jtiik.2022944787957Sistem Isyarat Bahasa Indonesia (SIBI) Metode Convolutional Neural Network Sequential secara Real TimeOky Dwi Nurhayati0Dania Eridani1Muhammad Hafiz Tsalavin2Universitas Diponegoro, SemarangUniversitas Diponegoro, SemarangUniversitas Diponegoro, Semarang Bahasa isyarat dengan menggunakan gerakan tangan biasanya dilakukan oleh tuna rungu dan tuna wicara. Bahasa isyarat yang digunakan di Indonesia adalah SIBI (Sistem Isyarat Bahasa Indonesia). Namun, penggunaan bahasa isyarat tangan tidak selalu di mengerti oleh manusia normal sehingga dibutuhkan perangkat tambahan yang dapat mempermudah dalam menerjemahkan suatu isyarat. Perangkat tambahan yang dikembangkan dalam penelitian ini melibatkan teknologi visi komputer deep learning sehingga menghasilkan tools untuk menerjemahkan bahasa isyarat tangan. Dalam penelitian ini, gambar isyarat tangan di capture menggunakan webcam kemudian dilakukan pre-processing dengan mengubah gambar ke dalam bentuk HSV. Gambar yang digunakan dalam penelitian berupa citra sebanyak 26 kelas huruf alfabet SIBI dan 3 kelas tambahan, dengan masing-masing kelas memiliki 1000 gambar. Kemudian dilakukan cropping dan thresholding dengan menempatkan isyarat tangan yang berbentuk huruf kedalam kotak yang merupakan area ROI untuk memudahkan pengenalan. Teknologi visi komputer deep learning convolutional neural network (CNN) digunakan untuk feature learning dan mengklasifikasi isyarat tangan pada sebuah obyek. Untuk menguji metode CNN, digunakan berbagai variasi cahaya sebesar 10-200 lux, serta jarak dari tangan ke webcam 50-200 cm. Hasil penelitian dengan metode CNN pada citra isyarat tangan memberikan akurasi sebesar 92%, presisi 91,96%, sensitivitas 91,9%, spesivisitas 91,96% dan f1 score 91,9%. Abstract Sign language is usually used by deaf and speech impaired persons. The Sistem Isyarat Bahasa Indonesia (SIBI) is a hand signal language used in Indonesia. The use of hand signals is not always understood by normal humans, such that additional devices are needed to make sign translation easier. The additional device in this study is developed using deep learning and computer vision technology to produce a hand signal translation tool. This study uses 29 sign images for a dataset, consisting of 26 letters of the alphabet and 3 additional signs, namely space, delete, and unclassified. Pre-processing is performed by converting the image into HSV, cropping, and thresholding to make easy recognition. The convolutional neural network (CNN) method is then used as a learning feature and hand signals classifier on an object. The testing phase is performed on various lights ranging from 10-200 lux and the hand distance to the webcam is about 50-200 cm. Experimental results show that the CNN method on the hand signal image could provide an accuracy of 97.2%, precision of 91.96%, sensitivity of 91.9%, specificity of 91.96%, and F1 score of 91.9%, respectively. https://jtiik.ub.ac.id/index.php/jtiik/article/view/4787 |
| spellingShingle | Oky Dwi Nurhayati Dania Eridani Muhammad Hafiz Tsalavin Sistem Isyarat Bahasa Indonesia (SIBI) Metode Convolutional Neural Network Sequential secara Real Time Jurnal Teknologi Informasi dan Ilmu Komputer |
| title | Sistem Isyarat Bahasa Indonesia (SIBI) Metode Convolutional Neural Network Sequential secara Real Time |
| title_full | Sistem Isyarat Bahasa Indonesia (SIBI) Metode Convolutional Neural Network Sequential secara Real Time |
| title_fullStr | Sistem Isyarat Bahasa Indonesia (SIBI) Metode Convolutional Neural Network Sequential secara Real Time |
| title_full_unstemmed | Sistem Isyarat Bahasa Indonesia (SIBI) Metode Convolutional Neural Network Sequential secara Real Time |
| title_short | Sistem Isyarat Bahasa Indonesia (SIBI) Metode Convolutional Neural Network Sequential secara Real Time |
| title_sort | sistem isyarat bahasa indonesia sibi metode convolutional neural network sequential secara real time |
| url | https://jtiik.ub.ac.id/index.php/jtiik/article/view/4787 |
| work_keys_str_mv | AT okydwinurhayati sistemisyaratbahasaindonesiasibimetodeconvolutionalneuralnetworksequentialsecararealtime AT daniaeridani sistemisyaratbahasaindonesiasibimetodeconvolutionalneuralnetworksequentialsecararealtime AT muhammadhafiztsalavin sistemisyaratbahasaindonesiasibimetodeconvolutionalneuralnetworksequentialsecararealtime |