臺灣國際科展

Art Recovery through PConv (Partial Convolutions) and GLCIC (Globally and Locally Consistent Image Completion)

科展類別
臺灣國際科展作品
屆次
2022年
科別
電腦科學與資訊工程
得獎情形
三等獎
學校名稱
臺北美國學校
指導老師
Jude Clapper
作者
郭馥愷
關鍵字
Image Inpainting、Machine Learning

摘要或動機

在生成性模型(Generative Models)中的一個主要應用就是“影像修復” (Image Inpainting) 也稱為“影像完成”(Image completion)。 影像修復經常被應用於許多影像處理,包含在生活照片中移除背景不必要的物件再回填移除後缺損的影像。 但是,或許之前的研究較多著墨於技術而非美學,至目前為止,很少有影像修復的研究著重於藝術作品的重建應用。 所以,本研究計畫提出三個新的模型來針對藝術作品做更優化的影像修復,以達到較一般處理日常照片所使用的如Places2 和ImageNet等影像修復技術在視覺上更為自然逼真的處理: 第一種模型是PConv (Partial Convolutions),它利用部分旋積(partial convolution) 來避免一般由於遮蔽區域中畫素起始值設定而常見的影像模糊問題。 第二種模型是GLCIC (Globally and Locally Consistent Image Completion),是一種以GAN (Generative Adversarial Network) 為基礎,進一步在全域鑑別器 (global discriminator) 之上,再建構一個區域性鑑別器(local discriminator),以確保在整體畫面與細部畫面的合理與一致性的方法。 最後一個模型是一個在本研究中所提出的全新、整合性的模型–PConv-GAN。 在這個創新的模型中,我們將GLCIC模型中常用於旋積過程中”補零”(zero padding) 的手法,以PConv模型中部分旋積的方式來取代。最後我們會利用一系列的印象派畫作為例,以L1 loss 和PSNR (peak signal-to-noise ratio) 兩種方法來評估這三個模型。


「為配合國家發展委員會「推動ODF-CNS15251為政府為文件標準格式實施計畫」,以及 提供使用者有文書軟體選擇的權利,本館檔案下載部分文件將公布ODF開放文件格式, 免費開源軟體可至LibreOffice 下載安裝使用,或依貴慣用的軟體開啟文件。」

檔案名稱 檔案大小 格式
190019.pdf 1 MB Adobe Reader(Pdf)檔案