基本信息
- 项目名称：
- 基于人脸特征的变形技术研究
- 来源：
- 第十一届“挑战杯”国赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作A类
- 简介：
- 本课题针对现实生活中对人脸操作的不易实现、现有技术在人脸变形、人脸特征点识别等方面需要大量人工交互操作、计算速度慢及变形、融合效果不佳等缺点，提出了基于目前最新发展的计算机图形图像及视觉算法对上述技术进行了改进和封装的新方案，完成了一套完整的人脸变形软件系统。该系统由于进行了加速优化，所需的人工交互量少，在头型行动跟踪、脸部变形及五官融合等效果上达到很好的效果，并能达到实时交互操作的速度。本系统已被中国科技馆新馆“信息之桥”展示组录用作为展示项目。本系统在数字娱乐、计算机辅助整容及虚拟主持人等方面有着重大的应用前景。
- 详细介绍：
- 本系统整合人脸变形，泊松融合，人脸特征点识别及跟踪等计算机图形学和视觉领域的最新技术，完成了一套以人脸变形为主的软件，包括三个子软件，即“哈哈镜”，“虚拟整容”和“虚拟化身”。分别介绍如下： 1.“哈哈镜”项目介绍 现实中的哈哈镜是能使物像产生变形奇异效果或幻象的各种光学装置。它主要是利用了光的物理特性，即光的直线传播、光的反射等物理原理。我们模拟的“数字哈哈镜”可以模拟这些效果。 计算机通过摄相头得到用户的头像照片，对图片进行一系列的实时操作，包括坐标归一化，相应的拉伸，压缩操作，然后将结果图像实时显示在屏幕上，用户在显示器上就可以看到自己经过处理后的图像，该计算机即可以充当一个“数字哈哈镜”来使用。 2.“虚拟整容”项目介绍 随着科学技术的发展，整容手术已日趋成熟，从局部组织的微调到大面积器官的替换，我们正在进入一个人脸的“个性化订制”时代。但是问题也同时出现：如何在整容之前先“预览”整容之后的效果？如何让整容者更有效的选择自己的整容方向？关于这个问题，图形学可以帮助现代医学给以回答。整容，从图形学角度看，就是在原来的人脸图片上作更改。一种衡量整容效果的方法是：如果更改后的图片保持自然，甚至更有美感，那么这个更改就是成功的。自然，就是一种融合的效果。我们在该项目中探索一种将人脸与被移植器官的融合方法，构造出一种尽可能自然的人脸，以此让用户判断，整容之后是否真的更有美感。 3.“虚拟化身”项目介绍 虚拟化身的设计灵感来源于影视作品中可以让画布里的人物动起来的魔法。我们希望通过计算机视觉领域的技术让静止的图像动起来，就像实施了魔法一样，使图片能按照我们希望的方式有规则有意义的动起来，实现虚拟主持，并达到极有特色的娱乐效果。该项目通过对用户实时输入的肖像视频进行处理，捕捉人物的面部特征点，根据连续画面中用户特征点的位移变化来控制素材图像变形，让素材实时模仿用户的眨眼，张嘴，摇摆身子的动作， 活灵活现、栩栩如生，实现一种将素材化为用户化身的效果。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 随着科学技术发展，“虚拟现实”由一门新兴的学科，逐渐转变为一项应用广泛的技术。所谓“虚拟现实”，顾名思义，即在非现实的环境中模拟现实中的人、事物、事件等等；它基于计算机图形学与计算机视觉的模拟技术，旨在为用户创造一个逼近真实的环境。当今我们的生活中，随处可见“虚拟现实”的应用，从游戏设备，到 CAD/CAM 技术，到医疗可视化…… 然而“虚拟现实”仍然处在发展的初期，尚未达到广泛应用的阶段。究其原因，除了技术上的瓶颈外，很大部分是因为缺少对“虚拟现实”的推广而使得人们的需求无法得到满足。比如，现实生活中针对各种人脸相关的操作，不论其目的是娱乐还是实际应用（如整容）都涉及到成本过高、条件不允许等各种因素的限制，无法真正实现。而许多现有的相关技术则缺少对人脸特点的考量，不适合专门的针对人脸操作。因此它们往往存在交互过于复杂、实时性较差、效果不够好等缺陷。在这个项目中，我们使用计算机图形图像和视觉技术来模拟人脸操作功能，基于经典的算法，根据人脸特点与可操作性因素加以改进与封装，使得用户可以由简单操作实现各种实用而且效果好的人脸变形。例如，用户可以把电脑屏幕当作哈哈镜来使用，通过自己的面目表情控制图片中的人物，把其他人的脸部器官移植到自己脸上构造一张“如假包换”的新脸，等等。 目前，我们的系统在能够达到实时交互的速度的同时，也能达到传统图像处理软件达到的效果。
科学性、先进性
- 现有的图像处理软件，大多需要人工大量的交互，比如在人脸扭曲变形中，需要对单帧图片进行交互，有时甚至需要一定的技巧，要熟练操作才能获得较好的效果。在娱乐功能上得不到推广，在生产中又得不到高效率。 如计算机中常用的图像处理软件photoshop，完成一个人脸变形，每一步处理中都需要进行人工操作，完成一幅图片大概需要至少几分钟的时间。这样的速度是无法对视频进行实时处理的。 而我们的软件关键在于交互量少，只需要少量交互甚至完全自动的获得各种人脸变形效果，任何懂得计算机基本操作的人都可以熟练操作。同时经过算法的优化，可以对获取的视频进行实时处理输出。这在通常的人脸变形软件中是没有的。
获奖情况及鉴定结果
- 本作品被中国科技馆新馆中“信息之桥”展区的“图形图像”展示项目组选中，将于2009年9月1日起在北京正式向全国观众开馆展示。
作品所处阶段
- 生产阶段
技术转让方式
- 无
作品可展示的形式
- 实物、产品 图片 录像
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 安装好需要的硬件设备（主要包括计算机主机、键盘、鼠标、摄相头等家用电脑基本硬件），根据要求安装软件后，就可以使用软件。 可以使用的功能包括通过电脑照“哈哈镜”，造成滑稽效果，达到数字娱乐目的；使用“整容”功能，可以对自己的头像进行“虚拟整容”，经过改进可以用于真正的整容机构，用于整容前模拟，先进行虚拟整容，达到预想效果后再实施手术；使用“虚拟主持人”除个人娱乐外，可以用于影视特技，也可以用于网络中的视频聊天；其人脸特征点检测技术还可以移植到其他人机交互的系统中，创建一种新的人机交互机制。 总之，成果经过进一步改进，将会有很大的市场。
同类课题研究水平概述
- 对图像进行相关变形在国内外已有很多较成熟的相关技术，也有较多的相关通用图像处理软件，但是因为这类图像软件的通用性，处理时往往需要大量的人工交互，对图像进行调整操作，才能达到较好的效果；同时，操作只能针对单帧的图片，无法对摄取的视频进行处理，因此效果往往不是那么出色。 关于人脸及其器官在图像层面上的操作，当前并没有设计精良、应用广泛的技术。少数的现有的相关技术也都存在着一定的缺点或者局限性，在一定程度上回避了真实感图像可能涉及到的像素操作问题。 早在2001年，在ACM SIGGRAPH上就有关于泊松融合（Poisson Integration）的文章，之后又有对这种方法的种种改进以及发展，包括图像无缝融合算法、基于图切割的图像拼接技术等等。这些技术设计的过程是将任意一幅图像进行边界的提取，移植到另一个背景上，然后使得原图像的主要信息可以在新背景上的到保留。它们中的有些更侧重于克服原图像的复杂性对融合的影响，有些则更侧重于修正融合后出现的缺陷与不足。这些从应用的层面上讲都过于宽泛，既没有特别地指出适用的领域，也没有形成一种移植性较强的技术（如API或者IDE工具）。 人脸特征点跟踪是计算机视觉领域的热点问题。近年来，基于KLM算法和LFA算法的工作是这一方向的热点。代表工作比如：在KLT算法中加入了基于人脸统计信息的经验约束 ,使KLT算法更加合理有效， 以及基于人脸三维模型和深度灰度约束加权对单目视频图像序列中的人脸空间姿态进行跟踪的方法，和将Kanade-Lucas-Tomasi(KLT) 特征点跟踪算法和人脸特征点定位的统计模型Active Shape Model(ASM)结合起来,提出了视频中人脸特征点定位与跟踪的混合模型方法。然而，这些方法的都有在面对光照、动作、表情、遮挡等外界环境因素影响下鲁棒性不强的问题。 人脸风格化卡通化具有很强的艺术和娱乐效果。比如微软视觉感知联合实验室有基于特征跟踪和融合的人脸风格化动画的工作，然而这个工作没有实现实时交互的要求，风格化在娱乐效果上与动作化身仍有一定差距。此外，国内也有基于视觉特征提取的表情人脸动画生成技术，但是他们的工作基于预先录制的关键帧图像,生成完整的、含有人脸各种形变和表情的关键帧库，这样的预处理工作太多，人物动作并非由单张图片生成。
