Art Recovery through PConv (Partial Convolutions) and GLCIC (Globally and Locally Consistent Image Completion)
在生成性模型(Generative Models)中的一個主要應用就是“影像修復” (Image Inpainting) 也稱為“影像完成”(Image completion)。 影像修復經常被應用於許多影像處理,包含在生活照片中移除背景不必要的物件再回填移除後缺損的影像。 但是,或許之前的研究較多著墨於技術而非美學,至目前為止,很少有影像修復的研究著重於藝術作品的重建應用。 所以,本研究計畫提出三個新的模型來針對藝術作品做更優化的影像修復,以達到較一般處理日常照片所使用的如Places2 和ImageNet等影像修復技術在視覺上更為自然逼真的處理: 第一種模型是PConv (Partial Convolutions),它利用部分旋積(partial convolution) 來避免一般由於遮蔽區域中畫素起始值設定而常見的影像模糊問題。 第二種模型是GLCIC (Globally and Locally Consistent Image Completion),是一種以GAN (Generative Adversarial Network) 為基礎,進一步在全域鑑別器 (global discriminator) 之上,再建構一個區域性鑑別器(local discriminator),以確保在整體畫面與細部畫面的合理與一致性的方法。 最後一個模型是一個在本研究中所提出的全新、整合性的模型–PConv-GAN。 在這個創新的模型中,我們將GLCIC模型中常用於旋積過程中”補零”(zero padding) 的手法,以PConv模型中部分旋積的方式來取代。最後我們會利用一系列的印象派畫作為例,以L1 loss 和PSNR (peak signal-to-noise ratio) 兩種方法來評估這三個模型。