|
Smart Application for Thai and English Sign Language Translation |
|---|---|
| รหัสดีโอไอ | |
| Creator | Sahachok Khumwongsa |
| Title | Smart Application for Thai and English Sign Language Translation |
| Contributor | Wiyada Yawai |
| Publisher | Faculty of Informatics, Mahasarakham University |
| Publication Year | 2566 |
| Journal Title | Journal of Applied Informatics and Technology |
| Journal Vol. | 5 |
| Journal No. | 2 |
| Page no. | 178-194 |
| Keyword | Translate sign language, MediaPipe, Hearing imparied, Thai sign language, English sign language |
| URL Website | https://ph01.tci-thaijo.org/index.php/jait/article/view/251841 |
| Website title | Journal of Applied Informatics and Technology |
| ISSN | 2586-8136 |
| Abstract | Abstract:Currently, the sign language is used as a means of communication for individuals with hearing impairments. Since most people do not have knowledge to use sign language, as a result, miscommunication may occur. The aim of this project is to develop a program for translating Thai and English sign language. It can translate Thai sign language, English sign language, Arabic numbers, and English words. MediaPipe algorithm is used for hand detection and find 21 Keypoints on each hand. This research is able to detect a maximum of two hands, allowing a total of 42 Keypoints to be used to make decisions for the classification of sign language, which encompasses a total of 68 symbols in the test. A total of 3 experimenters are assigned to experiment with the sign language recognition program 5 times per symbol and specified that the webcam must be approximately 50 centimeters away from the experimenter. As a result from the experiment, it was found that English sign language recognition was more accurate than Thai sign language. This is because some signs in Thai sign language require two levels of gestures. This causes errors in sign language recognition. This research has a sign language recognition result of 95.39%.บทคัดย่อ:ปัจจุบันผู้พิการทางการได้ยินสื่อสารด้วยการใช้ภาษามือ ทำให้อาจส่งผลต่อการสื่อสารกับบุคคลทั่วไป เนื่องจากบุคคลทั่วไปส่วนใหญ่ไม่มีความรู้ในการใช้ภาษามือ ดังนั้นในการสื่อสารอาจทำให้เกิดการสื่อสารผิดพลาดได้ งานวิจัยนี้ มีวัตถุประสงค์เพื่อพัฒนาโปรแกรมสำหรับแปลภาษามือภาษาไทยและภาษาอังกฤษ โดยสามารถแปลภาษามือภาษาไทย ภาษาอังกฤษ ตัวเลขอารบิก และคำภาษาอังกฤษ โดยใช้อัลกอริทึมมีเดียไปป์ (MediaPipe) ในการตรวจจับมือ (Hand Detection) และหาจุดสำคัญ (Keypoint) บนมือที่มีจำนวน 21 จุด โดยงานวิจัยนี้สามารถตรวจจับมือสูงสุดได้จำนวน 2 มือ ทำให้สามารถนำจุดสำคัญทั้งสิ้น 42 จุดไปตัดสินใจเพื่อให้โปรแกรมจำแนก (Classification) ภาษามือที่มีจำนวนทั้งสิ้น 68 สัญลักษณ์ ในการทดสอบนั้น ผู้วิจัยได้กำหนดให้มีผู้ทดลองทั้งสิ้นจำนวน 3 คนทำการทดลองให้โปรแกรมรู้จำภาษามือจำนวนสัญลักษณ์ละ 5 ครั้ง และกำหนดให้กล้องเว็บแคมจะต้องอยู่ห่างจากผู้ทดลองประมาณ 50 เซนติเมตร จากการทดลองพบว่าในการรู้จำภาษามือภาษาอังกฤษนั้นมีความถูกต้องมากกว่าภาษามือไทย เนื่องจากบางสัญลักษณ์ในภาษามือไทยนั้นจะต้องใช้การแสดงท่าทาง 2 ระดับ จึงทำให้เกิดความผิดพลาดในการรู้จำภาษามือ โดยงานวิจัยนี้มีผลการรู้จำภาษามือที่ 95.39% |
