全國中小學科展

利用Yolo 模型辨識台灣國語口手語之研究

科展類別

臺灣國際科展作品

屆次

2021年

科別

電腦科學與資訊工程

學校名稱

基隆市私立二信高級中學

指導老師

張宏文

作者

張庭宇;游翔任;蔡炅曄

關鍵字

手語、深度學習、影像辨識

摘要或動機

手語為聾啞人士日常溝通的工具,但對一般人來說這是一種難以理解的溝通方式。本實驗使用深度學習的 Yolov3 與 Yolov4 模型訓練37個國語注音符號手勢,然後再驗證模型對圖片、影片、即時(Real time)攝影辨識的正確率。 實驗結果顯示:Yolo v3 圖片辨識度效果還不錯,但影片辨識度很差,而Yolo v4 不管在靜態的圖片或動態影片都有不錯的辨識率,另外在即時的影像辨識也有不錯的效果。 雖然有部分符號的辨識度很低,但這可能是訓練時照片拍攝的問題,如果可以改進拍攝的數量和技巧,相信可以大幅提升判讀的準確率。

TISF2021-190027.pdf

Adobe Reader(Pdf)檔案