Instruction-Tuning 在法律對話模型上的影響之探討
本研究探討 Instruction-Tuning 對法律領域語言模型的影響,我們使用 ChatGLM-2 6B 作為基礎模型,先以台灣法律文本進行 Continual Pre-training,再以和律師的 Q&A 數據集,分別採用 Supervised Fine-Tuning(SFT)、Reward Model 及 Proximal Policy Optimization(PPO)等 Instruction-Tuning 方法進行微調。結果顯示,僅經過 Pre-training 及 SFT 的模型,其產生的回覆較符合法律專業風格;但考量模型對法律知識的掌握,則以 Pre-training、SFT 及 PPO 整套 Instruction-Tuning 的結合效果最佳。本研究證明, 針對單一領域的語言模型, 不同的 Instruction-Tuning 方式會對其回覆風格及知識掌握造成不同影響。我們的研究為未來單一領域語言模型訓練提供了參考。
AI時光機-利用照片轉換技術重溫在地歷史
目前網路上流傳許多使用人工智慧修復照片的網站或應用軟體。然而,由於這些訓練資料多數來自國外,導致修復中式建築照片的效果欠佳。此外,許多老舊照片因氧化、潮濕而泛黃,使得修復程序比起修復純黑白相片更加困難。因此,本研究旨在建🖂一個專門修復中式建築物的機器學習模型,主要分為以下三個部分:首先,使用機器學習模型對老舊照片進行修復,包括著色、去模糊化和降噪;其次,分析使用不同比例之有色調照片(模擬泛黃照片)訓練模型的效果;最後,研究不同的修復順序(著色、去模糊化、降噪)和模型執行次數對照片修復效果的影響,發現「著色、去噪、去模糊化」的順序修復效果最佳。此外,許多老舊照片因為受損等原因,只剩下極少的特徵,因此本研究採用機器學習模型,以延伸重建原始照片。透過這種方法,我們能夠重新建構當時建築物周圍可能的場景和情境。