基本信息
- 项目名称：
- 重要内容无畸变的视频图像幅型比非等比例变换系统
- 来源：
- 第十二届“挑战杯”作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作B类
- 简介：
- 为了适应目前各种显示媒介尺寸的多样化，需要对视频图像进行高质量的非等比例缩放处理。为了使视频图像在进行非等比例缩放时，不产生明显的视觉感知畸变，本作品提出了一种基于内容感知技术的视频图像幅型比非等比例变换的技术，在图像中定义与视觉敏感性相关的能量线，通过删插能量线的方法完成图像的非等比例缩放，保证经缩放后的视频图像中的重要目标不发生人眼感知的视觉畸变，并达到视频处理的实时性、连贯性的要求。
- 详细介绍：
- 随着数字媒体信息对数字媒体提出了更高的要求。同时，大屏幕液晶电视的普及，使得在将4:3格式的视频素材应用到16:9的电视系统中，需要对原始视频素材进行非等比例缩放。同样，宽屏摄像机/相机拍摄下的视频、图像素材应用到窄屏的显示媒介中也需要对视频图像素材进行非等比例缩放。 传统的显示媒介主要采用两种方法解决非等比例幅型比转化问题。贴黑边的原理虽然不损失视频图像的内容，没有变形失真，但屏幕没有充分利用；线性插值的方法虽然充分利用了屏幕，但会导致视频图像的变形失真。 据此，本作品提出了一种基于内容感知技术的视频图像幅型比非等比例变换的技术，将视频画面上物体的视觉敏感性在时空域上以能量形式定义描述后，通过反复删插低能量线的方式，改变显示画面的显示比例，实现对视频帧图像的非等比例缩放，保证缩放过程中视频图像中的重要目标不发生人眼感知的视觉畸变，并达到视频算法要求的实时性、连贯性的要求。本作品在一款以TI公司TMS320DM642处理器为核心的开发板上实现，实验结果表明本算法的处理效果明显优于常规缩放算法，并达到了实时处理的要求。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 设计目的及基本思路：由于目前各种显示媒介尺寸的多样化，人们经常需要对视频图像进行高质量的非等比例缩放处理。例如，4:3格式的数字电视视频素材应用到16:9的电视系统中，需要对原始视频素材进行非等比例缩放等。传统的显示媒介主要使用三种视频缩放方法，贴黑边的方法使屏幕没有充分利用；线性插值的方法会导致视频图像的变形失真；裁剪法则会丢失部分图像信息。 故本作品提出了一种新的重要内容无畸变的缩放算法，在空域与时域上描述了视频图像中的视觉敏感性作为视频能量，通过删插最优低能量线的方式，实现在视频的非等比例缩放中重要内容无畸变。在视频缩放算法的连贯性上，采用了专有的连贯性保证机制；在算法的时效性上，采用了计分板算法加速及DSP硬件加速，达到了中等幅型比非等比例缩放的实时处理的要求。 创新点：1） 使用基于内容感知技术的视频图像缩放技术，描述了视频图像中的视觉敏感区为重要内容，保证视频中的重要内容在缩放中不发生人眼感知的视觉畸变。2） 利用DSP搭建硬件系统，使算法能够达到实时性的要求。3） 引入视频时空能量函数及视频连贯性保证技术降低了结果视频的抖动性。4）提出计分板算法，大大降低了视频数据搬移的重复性。 技术关键：1) 视频能量的定义。2）视频低能量线的选取。3) 视频连贯性的保障技术。4) 计分板加速算法的提出与实现。5) 为确保算法的实时性，在DSP端的系统设计。 主要技术指标：系统最大处理视频为600*800，画面缩放比例小于35%；单帧处理时间<35ms。
科学性、先进性
- 科学性：1）基于内容感知的视频图像非等比例缩放。在视频的非等比例缩放过程中，采用内容感知技术，描述了视频图像中的视觉敏感区为重要内容，保证视频中的重要内容在缩放中不发生人眼感知的视觉畸变。 2）缩放算法中空间、时间连贯性的保证。采用了独有的时空连贯性保证机制，使得缩放后视频尽量在画面上不产生断层，在时间轴上不产生抖动。 3）缩放算法的实时性保证机制。采用了计分板算法加速及DSP硬件加速后，能保证中等幅型的视频缩放的实时性。 先进性：现行主流显示媒介主要采用三种方法解决非等比例幅型比转化问题，即贴黑边、线性插值、裁剪法。，这三种方法均会带来视觉畸变，画面信息丢失等问题。本作品在不丢失视频图像重要信息的基础上，保证了重要内容不发生变形失真，提高了非等比例缩放算法的效果。 国内外学术界对视频的非等比例缩放的研究主要局限在实时性及视频连贯性。本作品利用DSP系统达到中等幅型比视频缩放的实时性，且利用独有的连贯性保证机制降低了视频缩放处理的抖动。
获奖情况及鉴定结果
- 2009年12月，作品“基于内容感知技术的视频图像缩放方法”获得校星火杯特等奖； 2010年6月，获得申请公示中的国家发明专利一项； 2010年7月，在教育部科技查新工作站G10进行查新(详见查新报告)； 2011年6月，第八届西安高新陕西省挑战杯科技作品竞赛特等奖。
作品所处阶段
- 中试阶段
技术转让方式
- 整体技术转让或部分核心技术转让
作品可展示的形式
- 实物及现场演示
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 由于目前各种显示媒介尺寸的多样化，人们经常需要对视频图像进行高非等比例缩放处理。例如， 4:3格式的数字电视视频素材应用到16:9的电视系统中，需要对原始视频素材进行非等比例缩放等。同样，宽屏摄像机/相机拍摄下的视频、图像素材应用到窄屏的显示媒介中也需要对视频图像素材进行非等比例缩放；再如，使用手机、PDA、平板电脑等观看各种幅型比的视频、图像也需要对原始视频图像素材进行非等比例缩放。现在的显示媒介市场并不能很好地解决非等比例幅型比转化的问题，而本系统就是在这种市场需求的基础上提出了解决方法，可将本系统应用于电视信号的缩放，也可用于各种对于视频、图像的幅型比有非等比例变换要求的场合，如液晶电视，手机，显示器，以及各种视频、图像后期制作等。 同时，为考虑适用场合的广泛性，本系统设计了（1）PC-BASED系统，即不需要DSP加速的软件视频缩放系统，面对不需要实时性要求的大多数场合；（2）DSP-BASED系统，使用DSP硬件加速的软硬件系统，面对需要实时性要求的高速处理场合。
同类课题研究水平概述
- 随着数字媒体信息应用的广泛性及数字视频获得的便利性的提高，各种显示媒介的幅型比发生了多样化发展。而原始视频在各种幅型比不同的媒介上显示就存在视频的非等比例缩放问题。 主流的显示媒介主要采用三种方法解决非等比例幅型比转化问题，即贴黑边、线性插值、裁剪法。以液晶电视为例，现行数字电视信号主要为4:3幅型比，但液晶电视的幅型比为16:9，对于这中间的非等比例缩放问题，贴黑边的方法虽然不损失视频图像的内容，没有变形失真，但屏幕没有充分利用；线性插值的方法虽然充分利用了屏幕，但会导致视频图像的变形失真；裁剪法是线性液晶电视中使用最多的方法，首先对4:3的数字电视信号等比例放大到16:12的视频结果，最终显示屏幕中间16:9的范围内数据，但这种方法却丢失了部分图像信息。 国内外学术界对视频的非等比例缩放的研究主要局限在实时性及视频连贯性。 经过文献检索，2008年长安大学的任卫军提出了图像左右侧各30%区域非线性插值，中间40%区域线性插值的方法，但会产生非线性与线性区交界处的断面畸变，影响了视频的连贯性，故只可适用于镜头不动，重要目标物居中的简单视频。 Shai Avidan于2008年提出接缝焊接技术，在缩放中感知并保护重要内容，但由于其采用后向能量计算方法，限制了其适用范围，也只可运用于简单视频，且存在处理速度问题。2009年，他们又提出利用图割法删除/复制时间轴方向连贯的最低能量面的方法保持视频图像的原貌，但由于三维全局最优解的求解计算量过大，不适用实时视频处理。 本作品提出了一种新的缩放算法，根据视频内容定义视频能量，通过删插可在空域和时域上描述视觉敏感性的低能量线的方式，在非等比例缩放时，能够保证重要内容无畸变。并采用了独特的视频处理的连贯性与实时性的保障机制，使本系统能对于中等幅型的视频非等比例缩放能在DSP系统上达到实时性要求。
