本研究著重於透過面部表情的判斷進而推斷情緒狀態的深度學習神經網路模型。首先,將人類的情緒狀態分為七個類別,並透過MediaPipe框架取得影像中的臉部特徵位置,利用其座標框定臉部範圍並作為深度學習模型的輸入。第二,透過部不同特徵訓練模型,進一步優化模型識別情緒的準確度,並嘗試不同的特徵,例如:趨勢曲線函數的係數或是各種向量。最後我們設計了一個插件,利用此模型在Google Meet中進行即時的影像辨識並分析,作為線上課程的授課成效評估。
目前本模型在透過五層卷積層配合池化層及全連階層,並提取瞳孔眉毛向量、瞳孔鼻尖向量以及口部中心為基準點的向量作為特徵,能夠有84%的準確度,F1值落在約85,其中快樂情緒的辨識精準度高達98%。
「為配合國家發展委員會「推動ODF-CNS15251為政府為文件標準格式實施計畫」,以及
提供使用者有文書軟體選擇的權利,本館檔案下載部分文件將公布ODF開放文件格式,
免費開源軟體可至LibreOffice下載安裝使用,或依貴慣用的軟體開啟文件。」