利用VAE-pix2pix生成擬真的山脈模型

摘要或動機

本研究利用NASA的SRTM 1 Arc-Second資料集來收集全球各地的地形高度圖(heightmap)，也利用MapTiler網站收集相對應的衛星空照圖，用這些收集的圖像，訓練我們建構的VAE-pix2pix模型。VAE-pix2pix為Variational Autoencoder (VAE)及pix2pix (為一個Conditional Generative Adversarial Network)結合的模型，能將人工繪製的高度圖加上真實山脈應有的細節(包含尖銳的山脊、山壁上的紋路、連續的河流網路等……)，並生成出相對應的擬真衛星空照圖。相較於原pix2pix模型，VAE-pix2pix所生成的高度圖及衛星空照圖會更接近於真實世界的地形高度圖及衛星空照圖，同時VAE-pix2pix模型也能透過改變latent code的數值來生成出不同風格的高度圖及空照圖，如地貌的顏色或雪線的高度等，這些都增加模型生成圖像的多樣性。為了使我們建構的模型能更廣泛的被應用，我們在Unity上開發了Unity客戶端，其生成的mesh可以讓使用者直接應用於遊戲的場景，簡化了遊戲中生成擬真山脈模型的任務。