找回密码 注册

基本信息

项目名称:
恶劣环境视频增强算法研究及硬件实现
小类:
信息技术
简介:
视频监控受环境影响较大,在烟、雾、水气、雨、雪、黑暗等环境会大大降低成像质量,导致使用者很难辨认关键物体而恶劣环境更易诱发事故。因此,视频优化产品的需求非常巨大。对此,我们提出了国际领先的视频图像增强算法,在保证处理效果的前提下,将处理速度提高为传统图片处理速度的100倍以上,并以此为基础研发视频图像增强产品,能够解决恶劣环境下视频成像的质量问题,具有效果好、速度快、成本低、易部署的特点
详细介绍:
原有的图像增强方法都是面向静态图像增强而设计的,应用到动态的视频图像时会出现处理速度慢、处理效果不佳等问题,难以实际应用。本项目提出的方法能够有效解决原有方法的不足,主要创新点有两点:(1)利用视频的时间冗余性和空间冗余性改进算法,将运动估计的原理和增强原理结合得非常紧密,使得处理速度最快可以达到50帧/秒(普通处理器),达到实时处理的能力。而传统算法最快的处理时间也要一帧几十秒,无法使用在视频处理上。(2)重点研究了面向视频特性的图像加速算法,将其整合到视频编解码器中,成为具有视频增强功能的新一代视频播放器。通过将算法整合到视频编解码器中,可以有效降低部署成本和器件的体积功耗,扩大了适用范围,尤其是能够适用对体积和功耗有苛刻要求的环境。目前本算法已经分别在PC、FPGA以及iPhone上实现,效果明显。以下为体现我们处理效果的一些图片:(其中FPGA及配套PCB板设计系统已达到批量生产的要求,可以在零下40度到零上70摄氏度的工业级环境下正常工作。iPhone上的实现已上传导苹果的应用程序商店供用户下载。)技术通过对视频信号进行均衡,边缘勾勒,增强,压缩等多种处理来增强视频图像;通过对去雾算法和黑暗增强算法互相移植,产生更好的增强效果并大大拓宽了算法的适用范围;将运动估计的原理和增强原理紧密结合,利用视频的时间冗余性和空间冗余性改进算法,减少计算复杂度,可以到达实时处理的需求。市场上现有视频增强器,基于传统的图像增强算法,采用多DSP实现。其体积和功耗庞大,成本高昂(接近1万元,基于本项目的类似硬件产品成本在100元左右)。本技术的图像增强效果好,除了黑夜增强、去雾的功能之外,还能处理高动态范围的低光图像(如开远光灯的车辆)。并且针对不同天气情况条件,自适应运用不同算法和参数提升视频图像质量,使清晰度大大提升。技术降低增强算法的复杂性,可以实现视频图像在PC、移动设备、嵌入式系统上的实时处理。将图像增强算法整合到视频编解码器中,合二为一,降低时间空间开销,在普通硬件平台上就可实现,降低成本,方便部署。

作品图片

  • 恶劣环境视频增强算法研究及硬件实现
  • 恶劣环境视频增强算法研究及硬件实现
  • 恶劣环境视频增强算法研究及硬件实现
  • 恶劣环境视频增强算法研究及硬件实现
  • 恶劣环境视频增强算法研究及硬件实现

作品专业信息

设计、发明的目的和基本思路、创新点、技术关键和主要技术指标

随着平安城市、智能交通等工程的全面建设,视频监控市场正处于高速增长期, 2010年产值已过千亿,广泛应用在公共安全、交通、电信、金融等行业。但是,视频监控受环境影响较大,在烟、雾、水气、雨、雪、黑暗等环境会大大降低成像质量,导致使用者很难辨认关键物体(如车牌、行人等)。而恶劣环境更易诱发事故。因此,用户迫切需要一种能够在恶劣环境下保证图像质量的视频优化产品。针对此需求,我们提出了国际领先的视频图像增强算法,在保证处理效果的前提下,将处理速度提高为传统图片处理速度的100倍以上,并以此为基础研发视频图像增强产品,能够解决恶劣环境下视频成像的质量问题,具有效果好、速度快、成本低、易部署的特点,受到了工业界和学术界的关注和一致认可。原有的图像增强方法都是面向静态图像增强而设计的,应用到动态的视频图像时会出现处理速度慢、处理效果不佳等问题,难以实际应用。本项目提出的方法能够有效解决原有方法的不足,主要创新点有两点:利用视频的时间冗余性和空间冗余性改进算法,将运动估计的原理和增强原理结合得非常紧密,使得处理速度最快可以达到50帧/秒达到实时处理的能力。传统算法最快的处理时间也要一帧几十秒,无法使用在视频处理上;重点研究了面向视频特性的图像加速算法,将其整合到视频编解码器中,成为具有视频增强功能的新一代视频播放器。通过将算法整合到视频编解码器中,可以有效降低部署成本和器件的体积功耗,扩大了适用范围。目前本算法已经分别在PC、FPGA以及iPhone上实现,效果明显。

科学性、先进性

科学性:通过对视频信号进行均衡,边缘勾勒,增强,压缩等多种处理来增强视频图像;通过对去雾算法和黑暗增强算法互相移植,产生更好的增强效果并大大拓宽了算法的适用范围;将运动估计的原理和增强原理紧密结合,利用视频的时间冗余性和空间冗余性改进算法,减少计算复杂度,可以到达实时处理的需求。先进性:市场上现有视频增强器,基于传统的图像增强算法,采用多DSP实现。其体积和功耗庞大,成本高昂(接近1万元,基于本项目的类似硬件产品成本在100元左右);图像增强效果好,除了黑夜增强、去雾的功能之外,还能处理高动态范围的低光图像(如开远光灯的车辆);针对不同天气情况条件,自适应运用不同算法和参数提升视频图像质量,使清晰度大大提升;降低增强算法的复杂性,可以实现视频图像在PC、移动设备、嵌入式系统上的实时处理。将图像增强算法整合到视频编解码器中,合二为一,降低时间空间开销,在普通硬件平台上就可实现,降低成本,方便部署。

获奖情况及鉴定结果

1、在校内“挑战杯”中获得了特等奖。 2、本项目的创新成果得到国际学术界认可,相关论文发表在图像处理国际顶级会议SIGGRAPH 2010(poster)以及ICME 2011,并投稿IEEE相关期刊。 3、众多国内安防公司(如中国安防技术有限公司CSST“明景电子”、江苏亿通高科技股份有限公司、深圳市天和荣视频技术有限公司等)正在积极推动将该技术应用到自身的产品当中。 4、本项目于2011年4月通过中国科学院国家科学图书馆文献服务部查新。 5、获得省级“挑战杯”大学生课外学术科技作品竞赛一等奖

作品所处阶段

生产阶段

技术转让方式

将算法以专利权转让方式给相关公司,或者由公司开发软件硬件产品或模块。

作品可展示的形式

实物产品、现场演示、图片、录像、样品

使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测

技术具有很强的适应性,可以方便集成在现有监控系统中。产品形式可以是软件模块也可以硬件固化在FPGA及专用芯片上。一般部署在摄像头视频采集的前端,也可以部署在显示器端。本项目的视频图像增强技术,能够自适应地实时处理不同环境的视频图像,包括黑夜增强、去雾,高动态范围的低光图像增强。在成像效果、处理速度等方面大大优于传统技术,还具有成本低,部署容易的优势。技术主要针对安防领域视频监控系统,这也是对图像增强需求最为迫切的领域。视频监控厂商产品同质化严重,行业集中度低。我们的技术能够促进产品差异化,提高利润率,因此具有广阔的市场前景和议价能力。已引起行业内多家厂商关注,表达合作意向。经济效益预测,目前国内每年视频监控相关的市场规模超过1000亿,每年仅摄像头生产就超过1000万台,假使其中100万的高端摄像头采用我们的技术,每个模块(或芯片)售价500元,就可以产生5亿元的收入。此外,我们的技术还可以应用于带有摄像头的移动终端(手机、平板电脑、DV)以及汽车辅助驾驶系统中。

同类课题研究水平概述

对于恶劣天气下视频不清晰的问题,研究者们提出了不同的解决方法。一方面,人们提出利用红外摄像机拍摄视频。但是,红外摄像头成本高、能耗高、寿命短,对于实际应用中的成本要求很高,而且在众多移动平台上很难采用,比如手机,平板电脑。另一方面,人们试图用视频图像增强算法解决这个问题。但是,现有算法尚存在如下几个问题。现存的增强算法的处理速度很慢,即使应用高性能计算设备专门优化,比如[H. Malm, M. Oskarsson, E. Warrant, P. Clarberg, J. Hasselgren, and C. Lejdfors, “Adaptive Enhancement and Noise Reduction in Very Low Light-Level Video,” Proceedings IEEE International Conference on Computer Vision, Rio de Janeiro, Brazil, Oct. 2007, pp. 1-8.]中的GPU加速方法,也很难达到实时处理。近年发表在代表视觉信号处理领域最高水平的国际会议SIGGRAPH上较为成熟的算法[E.P. Bennett, and L. McMillan, “Video Enhancement Using Per-Pixel Virtual Exposures,” ACM Trans. Graphics (Proceedings ACM SIGGRAPH), Los Angeles, CA, Jul. 2005 vol.24, no.3, pp.861-868.],处理一张图像的时间就需要超过1分钟,而实时视频增强需要一秒钟处理30帧图像。现有的针对不同复杂应用场景的视频增强算法都是相对独立的,如有些算法针对于雾气去除,有些算法针对于低亮度增强等。各算法各自为战,如都在视频传感器中实现,则大大提高视频传感器的体积和成本。如针对不同的具体应用环境定制具有单个增强模块的视频传感器,则不能充分利用硬件特别是芯片生产的规模效应,不利于视频传感器成本的迅速降低。部署之后也必须对不同传感器的部署情况进行跟踪,提高维护成本。现有算法的处理效果尚不能满足用户需求。比如低亮度增强算法中,大部分现有算法还是基于传统的直方图算法进行扩展,增强结果差强人意。
建议反馈 返回顶部