為視障者開發之學習輔助平台:結合Image-to-3D AI 模型之可觸式三維擴增實境顯示器與個人化之檢索增強生成(RAG)自然文字系統
全球約有9千萬的兒童是視障者,他們的學習依賴著點字器材。點字書難以傳達3D (三維)圖形的概念,讓他們在理解3D圖形有許多挑戰,而點字書過長的文字描述加大了他們與正常同儕之間的差距。本研究旨在開發一個學習輔助平臺,同時強化視障者的觸覺認知和文字圖形理解能力。 在強化觸覺認知方面,開發之系統能將傳統的圖片,利用影像轉3D之人工智慧建模(Image-to-3D AI model)技術,轉換圖片轉為3D,呈現在開發的擴增實境顯示器上,讓視障者能夠親身透過觸摸立體顯示器之3D模型,瞭解圖片表達的空間結構。在文字優化方面,利用微調大型語言模型與搜索式強化生成等方法,優化視障者閱讀之內容。系統開發過程中,二位視障者進行體驗,持續以修正系統設計的便利性、友善性與有效性。 本研究成果為視障者帶來新式個人化的學習輔助工具,增強視障者對立體圖形學習能力與文字理解。