作者：武笑石 软件学院

指导老师：徐枫 软件学院

关键词：三维重建、实时渲染、深度估计 

1.摘要

每当节假日来临，清华校内总会面临巨大的游客接待压力。客流不仅影响了师生的正常教学、而且校园路面上到处散落的烟头、广告单、塑料瓶等垃圾都为学校的环卫工作带来了巨大的压力。

本作品旨在对清华园进行完整的重建，这样游客便可足不出户，通过VR眼镜在家中游览清华园，这将为广大游客提供另一种参观渠道，从而从根本上缓解清华的游客接待压力。

2.背景介绍

2.1重建

重建是指通过一定的图片或视频输入经过一系列运算得到输入所表征的三维空间的一种易于展示的表达。重建是一项极为复杂的工作，首先，与计算机其他领域不同，视觉效果是检验一项技术成熟与否重要指标，因此人类视觉的敏感性为重建技术带来了较高的门槛。其次，受限于相机采集能力，例如色彩畸变、镜头畸变，重建算法往往被迫需要处理输入图像中并不符合几何关系的情况，以及一些并不总是成立的先验假设，如何对这些异常进行处理往往会极大地影响算法的可行性以及鲁棒性。

2.2渲染

渲染是指给定一个三维模型、特定的观察角度以及光照信息，计算得到该视角下三维模型的二维图像。渲染的效果直接影响了用户的视觉体验。评价渲染算法有许多衡量指标，其中实时性是重要的指标之一。本作品旨在实现实时交互式渲染。

3.实现方法

在重建阶段，该作品参考了Eric Penner等人的Soft 3D reconstruction for view synthesis，借鉴了其Consensus系统，确保了重建的效果。在此基础上，该作品创新性地提出了一种基于傅里叶变换的重复性结构探测方法，提高了重建的精确度。

该作品的渲染系统以OpenGL为基础，支持PC端以及VR眼镜两种观察方式，实现了多角度、全方位的交互式观察。

3.1重建

该系统首先以多张输入图片为输入估计出各种图片的深度图，然后根据多张深度图之间的印证关系生成每个图片各处在各个深度下的置信度，作为重建结果。深度图的计算采用了较为传统的方式，首先指定一个视角下的图片，预设一些列深度值，然后在不同深度下根据透视变换将附近视角的图片投影到这个视角下，根据不同深度下的匹配情况计算出该视角下的深度图。根据这种方法可以得到每一个视角的深度图。

图 1 视觉深度图

3.2重复区域

值得一提的是，在重建的过程中，该作品创新型地利用傅里叶变换探测出原图中的重复区域，从而减少了重复性结构对深度图估测的影响。

读罢上述重建方法的介绍，读者可能会很自然地想到，基于颜色匹配的方法在图像中的无纹理区域、或重复纹理区域会失效，可能会对深度估计造成不良影响。例如，在具有重复性结构的图片中，错误的深度可能会导致更高的匹配度，导致深度计算错误。本作品创新型地通过频域分析的方法检测出图片中存在重复性结构的区域，从而减小其影响。

图 2 未应用周期性检测

图 3 应用周期性检测

3.3渲染

本作品中渲染阶段由OpenGL的内核来完成，主要工作在于实现以及向VR平台的移植。具体效果请参考附件。

图 4 渲染效果图