全國中小學科展

基於睡眠時期大腦活動之概念的類神經網路優化法研究

科展類別

臺灣國際科展作品

屆次

2018年

科別

電腦科學與資訊工程

得獎情形

二等獎

學校名稱

臺北市立建國高級中學

指導老師

許雅淳

作者

吳東昱;葉彥辰

關鍵字

加速進程,類神經網路,權重更新

摘要或動機

深度學習透過迭代的訓練,如沿著梯度反方向更新權重的梯度下降法,旨在找出損失函數建構出的多維函數圖形中,其全局最小解的變數組合。我們受到在睡眠中的快速動眼期啟發,此時期腦中的高頻率γ波可以強化學習效果。本研究模擬此現象,提出一使原損失函數擁有自適應的增幅功能的演算法(稱之為REM方法),且其中的超參數能夠根據其應用調整。 本研究將REM方法應用於三種經典的優化法,並且以五種異質的資料集測試。實驗結果指出,在搭配隨機梯度下降法(SGD)與自適應學習率優化法(Adagrad)時,REM有顯著的優化效果。REM方法不僅能大幅加速訓練進程,亦能避免特定的訓練問題。

基於睡眠時期大腦活動之概念的類神經網路優化法研究

Adobe Reader(Pdf)檔案