基于跨视角信息的人体三维重建模型
作者：邢健开 计算机系
指导老师：张松海 计算机系
关键词：姿态估计 三维重建SMPL视觉 图形学
摘要
本项目旨在解决基于跨视角信息的人体三维模型重建问题，重建出的人体三维模型将进一步应用于帮助医生在体检中判断此人是否存在亚健康或者其他疾病。基于此目标，本项目通过融合不同视角中的RGB-D多模态信息重建出高精度的人体模型。考虑到人体形态的多样性和关节结构的复杂性，项目采用目前效果最好的人体参数化模型SMPL来减少结果空间的维度，使重建结果更加平滑合理。同时利用多个视角的深度相机获取到的RGB图像与深度图来优化SMPL模型的参数。试验结果表明，项目所采用的方法在SURREAL合成人体数据集上的测试准确度已达到了同类方法最高水准。
项目背景
我国体检行业起步较晚，相对其他发达国家，国民健康体检覆盖率仍然较低。近几年，随着国民生活水平的提高以及消费的升级、健康观念愈加深入人心，国民健康体检行业的市场需求旺盛，呈现井喷发展的趋势。由于体检人次的增加，医院对体检人员的需求也越来越大。
目前外科体检，如体势能评估、动作评价等环节，尚需专家全程指导体检者完成指定动作，然后进行判断评估。实现此过程自动化的难点在于通过计算机视觉的方法难以获得精准的患者体态信息，而往往正常体态和存在问题的体态差距不大，所以计算机获取的人体精度对判断结果有极大影响。
图 1
算法设计
我们所采用的算法主要分为了如下几个步骤。首先利用多视角的RGB信息进行人体姿态估计，获得关键点在三维空间中的位置，然后利用此信息初步估计SMPL参数，粗略确定人体姿态，最后利用点云数据对SMPL参数进行优化，使得重建结果表面与实际数据更加接近。
姿态检测部分，模型首先从多视角RGB图像中进行2D姿态的检测， 首先获取heatmap，然后通过寻找两个视角之间的对应区域，获得fused heatmap，接下来用自适应空间细分的方式，确定三维坐标。
接下来估计人体模型，采用迭代+反向传播的方式，首先利用关键点优化SMPL控制姿态的参数，再利用点云信息优化SMPL控制体态的参数。
测试结果
模型在SURREAL数据集上随机选取了1000个场景进行了测试，和同类方法得到结果的对比如表1，我们的方法无论在关键点误差还是表面顶点误差都比当前最先进的同类模型表现要好
|
|
Our |
MHPE |
SMPLify-x |
PointNet |
|
关键点最大误差(mm) |
35.83 |
47.73 |
\ |
\ |
|
关键点平均误差(mm) |
10.22 |
34.28 |
62.6 |
\ |
|
表面顶点最大误差(mm) |
34.57 |
\ |
\ |
423.1 |
|
表面顶点平均误差: (mm) |
14.28 |
\ |
52.9 |
15.5 |
表 1
下面是部分结果展示
图 2 结果展示
图 3 结果展示
图 4 结果展示
