基本信息
- 项目名称：
- 基于交互式自由视点的网络视频直播/点播系统
- 来源：
- 第十二届“挑战杯”省赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作A类
- 简介：
- 本项目提出一种基于交互式自由视点技术的网络视频直播点播系统，设计并完成从前端多像机视频拍摄到终端交互式播放的一整套交互式网络视频直播和点播系统，在本系统中用户可完全自主地选择观看视点，且采用虚拟视点生成技术实现镜头切换过程中视频画面的平滑且平稳地过渡。
- 详细介绍：
- 针对当前视频和影视系统中用户只能被动地接受拍摄者或导播员的视角选择或镜头切换，以及视角切换时视点位置和视频画面的大范围空间跳跃导致用户缺乏临场感等问题，本项目提出一种基于交互式自由视点技术的网络视频直播点播系统，设计并完成从前端多像机视频拍摄到终端交互式播放的一整套交互式网络视频直播和点播系统，在本系统中用户可完全自主地选择观看视点，且采用虚拟视点生成技术实现镜头切换过程中视频画面的平滑且平稳地过渡。 与现有视频和影视系统相比，本系统的主要特色和创新在于： 1、用户对观看视角和内容的选择具有完全自主性和独立性。不同用户可独立选择不同的观看视角同时观看同一个视频直播内容。并且本系统针对不同的显示终端设计了三种实现用户视角变换的交互模式：基于Kinect体感控制器或键盘鼠标的互动播放；基于特定目标跟踪的半自主式互动播放；以及基于场景分析的全自主式互动播放。 2、用户具有更强的现场感和临场感。用户观看的视角和视点不受实际像机个数、位置以及实际像机视角的限制，系统通过虚拟视点生成技术实现了视点画面平滑且平稳地变换，增强用户观看的现场感和临场感，尤其是在体育比赛、文艺娱乐节目等现场直播中更为突出。 3、具有更广的覆盖率和更好的可控性。充分利用互联网优势，具体表现为：a）视频直播和点播的覆盖范围不受地域限制。b）网络传输中采用了H.264 + RTSP的实时流媒体技术，并可根据用户网络带宽和网络质量选择不同的视频编码质量。c）用户可自由选择观看现场直播或录像节目点播。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 作品设计和发明的基本思路： 整个系统总体架构采用C/S模式。服务器端实现多路像机的实时视频数据采集，并根据已离线标定得到的像机外部参数，经实时图像处理算法拼接成全景视频。然后全景视频数据经压缩编码，传输到流媒体服务器。当有客户端发送流媒体播放请求时，流媒体服务器采用RTST实时流媒体传输协议将视频码流经网络发送到客户端。客户端接收到视频码流后，解码恢复出全景视频，并根据用户设置的不同智能导播模式，在全景视频上进行视点定位。最后通过自由视点生成获得视频画面并在用户的视频终端上播放。由于每个客户端都是一个独立的视频终端，因此不同用户可独立选择不同的导播模式，从不同视点观看同一个视频直播或点播节目。 作品设计和发明的关键技术： 交互式视点定位技术、自由视点生成技术和网络流媒体传输技术。 作品设计和发明的主要技术指标： 1）单路视频分辨率为1024×768像素,帧率为30帧/秒。 2）合成后全景视频的最大分辨率为3500×1750像素。根据实际需求可选分辨率有1024×512像素和2048×1024像素。生成的全景视频帧率大于25帧/秒。 3）在全景视频的最大分辨率下，H.264编码速度大于20帧/秒。在1024×512像素和2048×1024像素低分辨率下，H.264编码速度大于25帧/秒。
科学性、先进性
- 作品关键技术为国际相关领域的前沿技术 整个系统融合了当前国际上在计算机视觉、图像视频、网络流媒体传输领域的前沿技术。交互式、自由视点和网络是本系统的主要特色，目前尚未见到相关成熟系统提出。整个系统从立项到研发过程，都受到了美国斯坦福研究院谭义博士、土耳其比尔肯特大学李建军博士等国内外多家研究机构和大学中相关领域专家的大力支持和帮助。因而在科技含量上具有国际先进水平。 作品符合产业发展趋势和产业前景 从产业发展趋势和产业化前景来看，交互式视频已逐渐成为全球新一代多媒体数字影视和数字娱乐技术的主流。当前电视和影视产业的发展正面临着新形势和新挑战，用户被动式的观看体验已无法满足目前人们对于观看过程的自主性、以及对观看时的现场感和临场感要求。本系统为此提出的融合交互式、自由视点和网络的新方案和新设想，符合产业的发展趋势，具有广阔的产业前景。在系统测试和小试阶段，亦受到杭州立体世界摄影器材有限责任公司的大力支持和帮助，并提供了相关的用户使用报告。
获奖情况及鉴定结果
- 杭州电子科技大学“挑战杯”大学生课外学术科技作品竞赛二等奖 浙江省第十二届“挑战杯”大学生课外学术科技作品竞赛一等奖
作品所处阶段
- 小试阶段（用户试用和体验）
技术转让方式
- 专利转让、提供拍摄、录制和网络直播点播服务以及设备和系统租赁服务，进一步推广后可实现成套设备转让。
作品可展示的形式
- 实物、现场演示、录像
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 作品使用说明： 本系统中只有前端多像机采集需要Ladybug2这个专业设备。在客户端则无需特定专业设备。整个系统软件平台包括服务器端软件平台和客户端软件平台。 技术特点和优势： 本系统主要技术特点在于融合了交互式视点定位技术、自由视点生成技术和网络流媒体传输技术，实现了交互式自由视点的网络视频直播/点播系统。使用技术包括数字图像视频处理，计算机视觉、网络通信，模式识别等多个计算机学科的重要研究领域。 本系统的主要优势： 1、利用自由视点技术，使得用户观看的视角和视点不受实际像机个数、位置以及实际像机视角的限制，增强用户观看的现场感和临场感。 2、通过交互设备。实现不同用户可独立选择不同的观看视角同时观看同一个视频直播内容。 3、充分利用网络优势，使得视频直播和点播的覆盖范围不受地域限制。
同类课题研究水平概述
- 本项目涉及到两个方面的技术，智能交互式网络视频领域和自由视点技术。将这两样技术结合的系统或研究较为少见。这也是本项目的创新点之一。 i.智能交互式网络视频领域 较为多的研究集中在远程智能课堂方向。美国、英国、日本等发达国家都十分重视远程课堂教学平台的建设，已经建立起不同程度的平台网络。 ii.自由视点技术的发展： 国外研究现状 国外对于自由视点视频的研究从20世纪90年代己经开始，但真正形成气候的是2002年MPEG(Moving Picture Expert Group)组织提出了3DAV的探索性草案，向全世界征集实现3DAV的方案及核心实验。比较著名的有日本名古屋大学的基于光线空间的自由视点电视(FTV，Free view point Television)系统、斯坦福大学的Light Field系统、德国HHI研究所的基于模型的由视点视频方案，还有微软、卡内基梅隆大学等也在系统的实现上进行了广泛的工作。更为重要的是2004年初欧洲提出了一个为期48个月3DTV的计划。进入2006年，MPEG组织明显加快了3DAV的步伐，JVT(Joint Video Team)组织也将多视点视频编码(MVC，Multi-view Coding)作为其H.264的一部分。 2.国内的研究现状 国内学术界对于自由视点视频技术的研究与国际上的研究几乎是同步的，到目前为止，已在多视点视频编码、校正及虚拟视点合成等方面取得了一定的研究成果。其中，宁波大学蒋刚毅教授领导的团队对于自由视点视频的研究开展得非常深入，一直走在国内的前列。清华大学也较早地展开了对于自由视点视频技术研究. 自由视点应用发展： 谷歌公司的一项特色服务——谷歌街景已经为用户提供可以360°自由视点观看静态场景的功能。 Digital Elite Inc.与匈牙利布达佩斯理工大学合作的全交互全景广播技术(a fully interactive Panoramic Broadcasting technology)——PanoCAST，可以产生出360°沉浸式电影。使用该技术所导播的短片《THE METAMORPHOSIS》2010年12月在洛杉矶获得“Hollywood Reel Independent Film Festival”电影节大奖。
