全國中小學科展

依全國中小學科展屆次查詢

依相關評語查詢

自監督學習在臺灣手語辨識上之應用研究

科展類別

全國中小學科展作品

屆次

第64屆--民國113年

科別

電腦與資訊學科

得獎情形

第一名

學校名稱

臺中市立臺中第一高級中等學校

指導老師

柳佩君;陳志峰

作者

黃政堯;蔡允成;陳宥家

關鍵字

機器學習、自監督學習、臺灣手語

摘要或動機

在臺灣手語辨識,先前研究所使用的監督式學習需要大量標記樣本而限制可辨識詞彙量。為此,本研究借鑒自然語言處理領域中BERT的遮罩想法,將未標記手語影片隨機遮蓋部分幀數,並讓模型學習預測被遮蓋的幀數以學習臺灣手語的特徵,並透過遷移學習來訓練辨識模型,此作法可克服現有臺灣手語資料缺少的問題。經過實驗,本研究訓練之詞彙辨識模型達成了242個單字量,92%的準確率。 此外,先前研究皆未在手語句子翻譯上有成果。因此本研究基於以上模型,設計手語翻譯的系統,整個系統在100個句子的翻譯表現達到83%的準確率,證明自監督學習的方式在手語辨識、翻譯上是有效的。並展現出樣本需求少與辨識詞彙量可輕易擴大的潛力。

052510.pdf

Adobe Reader(Pdf)檔案