基本信息
- 项目名称：
- 基于人脸跟踪与性别识别的媒体播放内容关注度分析系统
- 来源：
- 第十二届“挑战杯”省赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作A类
- 简介：
- 为有效反馈媒体广告的关注度信息，本作品设计并实现了一个基于人脸跟踪与性别识别的媒体播放内容关注度分析系统，系统分为媒体关注度信息获取，以及媒体关注度信息分析与辅助决策两部分。前者采用基于视觉的人脸检测与跟踪，性别识别的方法完成关注人次、关注者性别以及关注时间的统计；后者对统计信息进行分析，根据分析结果可随时调整广告的播放，并生成辅助决策信息提供给广告商，用以调整广告播放方式等的决策依据。
- 详细介绍：
- 本作品在对户外广告媒体发展前景和广告厂商的需求进行分析的基础上，设计并实现了基于人脸跟踪与性别识别的媒体播放内容关注度分析系统。系统主要分为基于视频信号的媒体关注度信息的获取和媒体关注度信息的分析与辅助决策两大部分。 1）基于视频信号的媒体关注度信息的获取 a．根据人脸在正视广告媒体时的五官特征等信息，实时检测视频画面中是否出现关注广告媒体播放内容的人脸； b．通过大量的男女人物样本训练男女性别识别的BP神经元网络分类器，采用该分类器对检测出的关注广告的人脸判断其男女性别； c.采用本作品所提出的高密度人群目标区域跟踪方法，解决因人的姿态变化或短暂消失而引起的错计数问题。对人脸区域进行跟踪，根据跟踪结果对关注的人脸目标进行计数，并根据该目标出现与消失的时间间隔，计算其驻留时间。 2) 媒体关注度信息的分析与辅助决策 a．将媒体关注度的分析结果不断发送给信息交互平台，使信息交互平台的信息保持动态更新。 b．信息交互平台根据男女不同受众群体对广告关注度和关注集中时间等信息，生成辅助性决策信息提供给用户，以合理利用户外广告资源。 c．信息交互平台设计了信息查询功能，方便用户及时了解广告关注度信息，还可将统计结果生成条状图，折线图等，使结果一目了然，便于用户分析。 3) 隐私保护 视频信号的处理，是在无声无息中完成，不会干扰路人，同时系统不保存识别处理用的视频，以保护路人的肖像隐私。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 设计目的 设计一个智能化的系统，对关注媒体播放内容的人群状况进行统计，结合广告的投放地点、时间等信息进行综合分析，最大限度地提高广告宣传效果。 基本思路 通过摄像头采集广告牌前的人群视频信息，对其进行自动分析，得到关注广告的男女人次及其驻留时间，将这些信息实时传送给信息交互平台。由信息交互平台根据对客户端广告的播放方案进行评估，并生成辅助决策信息。 创新点 1）基于视频信号的媒体关注度信息的获取 对实时视频画面进行人脸检测，特征提取，性别判断以及人脸跟踪，获得媒体关注度数据。 2）媒体关注度信息的分析与辅助决策 采用数据挖掘方法，从大量的统计数据中获取有效信息，由系统自动生成辅助性决策信息。 3）路人隐私保护 系统的处理过程高效、智能、无接触，不保存路人的图像。 技术关键 1) 视频帧图像中的人脸区域检测与定位。 2) 基于人脸图像信息的性别特征提取。 3) 基于BP网络的性别识别分类器的构造方法。 4) 人脸跟踪过程中姿态变化以及短暂消失后的计数方法。 5) 基于媒体关注度信息的数据挖掘方法。 主要技术指标 1) 准确检测和定位出正面关注人脸区域，剔除非关注的路人。 2)对人脸区域，设计适当的性别特征映射关系，保持男女性别特征具有一定的差异及可分性。 3）设计BP神经元网络性别分类器的结构，使其具有较高的准确率。 4）对一定的人脸姿态变化以及遮挡等情况具有一定适应性 5）对统计数据进行分析，给出广告设置位置、时间等辅助决策信息。
科学性、先进性
- 科学性 1）基于视频信息分析的媒体关注度分析构思 在电子广告牌端，设置微型摄像头，采集关注媒体播放内容的人群目标后，对其进行分析，整个过程是在无声无息中完成的，不会引起对关注人的干扰。而且，系统不在计算机内保存人脸肖像，也维护了目标的肖像隐私。 2）基于男女性别识别的方案对关注度的分析更加清晰 对于广告投放效率分析的一个特殊点，就是广告具有一定的针对目标，如果能够不仅统计关注人数，并且能够统计广告设计时预先设定的目标群体的关注度，便可对广告设计，以及广告投放等给出具有针对性的辅助决策。 先进性 采用视频信号分析的思路构思系统，采用生物识别的方法获取关注媒体播放内容的人群目标，并对其进行统计与分析，给出对广告播放内容的辅助性决策，在作品的构思上，以及实现的方法等方面均具有先进性。 通过分析广告播放期间的关注群体，以及关注度集中的时间等信息，调整广告播放形式，提高播放效率这个创意，相比于目前单靠加大广告播放密度来提升产品宣传度的做法具有明显的先进性。
获奖情况及鉴定结果
- 2010年11月，XX大学XX学院，第十九届“XX杯”科技节，软件类特等奖。 2010年12月，XX大学第十九届大学生课外学术科技作品竞赛，一等奖。
作品所处阶段
- 实验室阶段
技术转让方式
- 系统整体技术或部分核心技术的技术转让
作品可展示的形式
- 实物、产品、现场演示
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 使用说明 本系统通过摄像头采集关注媒体播放内容的人群的视频信号，由客户端实时处理获得的图像数据。首先检测出视频画面中的人脸区域，判断其是否处于关注播放内容状态，对判断为关注状态的目标，得到性别信息，给出识别结果并记录男女关注人次信息，将数据发送给后台服务器进行汇总分析，生成辅助性决策信息提供给用户，并提供信息查询的功能。 推广前景 本系统中的传媒受众人数统计以及男女比例分析功能，以高效、智能、无接触的生物识别技术，获取广告关注度，为户外广告创意的效果分析提供了一种快捷可行的方法，也可以为大型超市、商场根据男女消费群体制定营销策略提供依据。 市场分析和经济效益预测 本系统是在现有市场需要的基础上提出来的，商家需要知道其广告的受关注情况，以及男女群体的不同关注度。只需在公共场所现有摄像头的基础上加入该模块，即可以构成关注度分析系统。无论是户外广告的受众分析，还是大型商场的消费群体分析以及智能电子产品的人性化应用都有很高的实用价值。
同类课题研究水平概述
- 近年来，国际上对计算机人脸视觉跟踪及性别识别的研究成为研究热点之一，许多科学工作者在这一领域进行了大量的探索和实践工作。麻省理工学院，卡内基梅隆大学都有计算机视觉实验室，研究人脸性别识别以及视频人脸跟踪中实时性和鲁棒性的问题。Intel公司则开发出Camshift系统，以人脸的运动来控制计算机虚拟场景中三维方向的变化。在国内则有中国科学院自动化研究所、清华大学、上海交通大学及哈尔滨工业大学都在人脸跟踪与识别技术的研究和应用开发方面做了大量工作。 目前国外比较好的跟踪方法有Kazuhiro Hotta利用粒子滤波自适应调整局部分类器的权重实现了较好的跟踪效果。Haisheng Wu等将基于统计的人脸检测扩展为人脸跟踪，基于统计人脸模型和肤色对人脸检测并使用粒子滤波技术来跟踪人脸运动，最终根据光流信息提取用于采样重分布的运动信息。Isard M等利用B样条插值提取目标轮廓，提出CONDENSATION算法，取得了比较理想的跟踪效果。Nummiaro将颜色特征纳入粒子滤波跟踪框架，并与meanshift算法做了比较，充分说明了粒子滤波跟踪算法的有效性和准确性。在性别识别方面，M.H.Yang将支持向量机方法与像素特征结合取得了较高的识别率。 在人脸性别以及人脸视频跟踪方面的研究成果，推进了其应用领域的拓展，虽然目前还有很多难题阻碍其推广应用，但是人脸性别识别以及人脸跟踪技术因为其巨大的应用价值和市场潜力,必然还会在很长一段时间内是计算机视觉研究的一个热点。 本作品正是基于这样的调研基础之上，构思了基于机器视觉的媒体播放内容关注度分析系统，尝试从生物识别，模式识别，数据挖掘，以及数据库网络工程等方面的知识综合应用，以人脸性别识别、跟踪为核心技术，对电子广告牌的设置地段、广告播放时间，关注人群的特性等给出科学的辅助性决策。
