深度學習透過迭代的訓練,如沿著梯度反方向更新權重的梯度下降法,旨在找出損失函數建構出的多維函數圖形中,其全局最小解的變數組合。我們受到在睡眠中的快速動眼期啟發,此時期腦中的高頻率γ波可以強化學習效果。本研究模擬此現象,提出一使原損失函數擁有自適應的增幅功能的演算法(稱之為REM方法),且其中的超參數能夠根據其應用調整。
本研究將REM方法應用於三種經典的優化法,並且以五種異質的資料集測試。實驗結果指出,在搭配隨機梯度下降法(SGD)與自適應學習率優化法(Adagrad)時,REM有顯著的優化效果。REM方法不僅能大幅加速訓練進程,亦能避免特定的訓練問題。
「為配合國家發展委員會「推動ODF-CNS15251為政府為文件標準格式實施計畫」,以及
提供使用者有文書軟體選擇的權利,本館檔案下載部分文件將公布ODF開放文件格式,
免費開源軟體可至LibreOffice下載安裝使用,或依貴慣用的軟體開啟文件。」