基本信息
- 项目名称：
- 聆听无声世界的音乐——图像与音乐的相关处理
- 来源：
- 第十二届“挑战杯”作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作B类
- 简介：
- 本设计基于arm嵌入式平台，利用视听联觉的原理，实现音乐与图像、动画之间的相互转换，即听觉的视觉化以及视觉的听觉化。 具体功能描述为将一首音乐按照一定的对应关系转换成具有同等感情色彩的动画播放出来，将音乐的美可视化。同时还实现了这样的一个逆过程，即由操作者任意作画，当绘制完成后，系统将根据画作的色彩等信息，依照一定的规则，将其转换为在意境上相呼应的音乐并播放出来。
- 详细介绍：
- 本项目设计研发一种音乐与图像、动画之间相互转换的电子系统，即把一首音乐按照一定的对应关系转成具有同等感情色彩的动画播放出来，把音乐的美可视化。同时，还实现了这样的一个逆过程，即由操作者任意作画，当绘制完成后，系统将根据画作的色彩等信息，依照一定的规则，将其转换为在意境上相呼应的音乐并播放出来。 本项目的设计是基于嵌入式ARM9平台，同时以Qt为开发工具，实现了音乐播放器、动画播放器、画图工具等各模块功能及其之间的互访控制，从而实现音乐与图像、动画之间的相互转换。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 作品设计发明目的：实现图像与音乐的相互转换，可让盲人“感知”图像，可让聋哑人“聆听”音乐，将声音信息视觉化，将图像信息听觉化。 基本思路：通过建立图像与音乐的对应关系，并在此基础上以绘图工具、音乐播放器、动画播放器为实体，表现出图像与音乐的对应关系，从而实现图像与音乐的相互转换。 创新点：1.作品的想象力丰富，创新性比较独特，把看似无关的图像和声音通过人的感觉联系起来；2.以前绝大多数研究都是在图像转换为声音信号的道路上进行探索，而鲜少有人研究以音乐为主动方的转变为图像的过程，而我们以人的心理感觉为基础，建立了一套图像与音乐间的对应规则； 技术关键：1.建立图像与音乐间的对应关系，这也是本项目最关键之处;2.编辑绘画、播放音乐、实现动画的程序以及它们之间的互访控制。 技术指标：1.实现流畅地动画播放；2.音乐的旋律给人的听觉感受与图像、动画给人的视觉冲击有相似之处。
科学性、先进性
- 前人绝大多数研究都是在转换为音乐的道路上进行探索，而鲜少有人研究以音乐为主动方的转变为图像的过程，而且由于主观因素太大，并未取得突破性的成果。 而我们的这款设计创造性地提出了图像与音乐的相互转换，将图像转换为声音信号，这样那些听不见动人旋律、唱不出婉转乐曲的聋哑人可以使用此设备把他们心中的歌用画图的方式“唱出来”，同样，聋哑人听不到美妙的音乐，但他们可以通过观赏动画（由音乐转换而来）来体会音乐的优美，即“看到”音乐。而且本款设计注重软、硬件结合，采用嵌入式系统设计，成本较低，比同类研究成果或产品具有更好的市场推广前景。
获奖情况及鉴定结果
- 无
作品所处阶段
- 中试阶段
技术转让方式
- 有偿转让
作品可展示的形式
- 实物产品，图片，现场演示
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 使用说明及技术特点和优势：我们的作品具有很强的实用性，且操作简便。只要你拿起电子笔作画，绘制完成后点击按键以确认绘图完成，系统将自动对图画进行处理，然后播放出相应的音乐，这部分的转换是在后台进行的。反之，如欲实现音乐至动画的转换，则只需简单地让音乐播放器播放音乐，那么，系统也将自动对音乐进行分析处理，播放出相应的动画。 适应范围：我们的设计基于ARM平台完成，成本不高。可让盲人“听”到图像，聋哑人“看”到音乐，通过另一种方式感受他们生命中无法触及的领域。同时，对于正常人来说，可以在任何环境下将绘图与音乐联系起来，感受音、象融合给予人的审美享受。还可运用于美术创作，动漫制作等方面。 市场分析：目前市场上出现的相似功能的产品均是对图像灰度值与声音的映射，而我们的作品是实现图像RGB值与声音的相互映射，这类产品目前在市场上几乎没有，因此有很广阔的应用前景。
同类课题研究水平概述
- 众所周知，从太阳光中可以析出七种色彩。而音乐与色彩一样，都能表达人内心世界的情绪变化，它们之间存在着自然的联系，从而也就引起了人们对这样的联系的研究。 1．国外色彩与音乐的研究现状 在康定斯基所著的《论艺术的精神》一书中，将色彩和音乐的情感联系起来，并在每一种色彩的解释中都用一种乐器的声音作为中介和归纳，即每一个色彩都有不同的客观伴音。在色彩音乐的发展过程中，还有许多音乐家进行了多方面的实践和创作，著名的如： 亚历山大•拉兹罗发明的色彩钢琴，它能在演奏过程中射出彩色图象到银幕上以伴随音乐，他还著有《彩色光线——音乐》一书。 弗里德里克•本顿发明了色彩控制台。里明顿图教授著有《色彩音乐——流动色彩的艺术》，同时还在音阶的12个半音上拟出一个色彩音阶……最重要的创举是科学工作者威尔弗莱德制作的Clavilux（克拉维拉克斯）色彩投影机，它实现了音乐演奏与富于变化的彩色影像的联系。随着科学技术的迅速发展，激光技术也应用到色彩音乐中，在1973年美国芝加哥天文馆内就表演了激光色彩音乐，由于激光具有与普通光线不同的视觉效果，而使色彩音乐又进入了新的领域。另外国外还研究出一款Voice软件，该软件可将来自PC摄像头、电脑屏幕、扫描仪或图片文件等的图像即时绘制成相应的（合成）声音文件，让盲人从耳机中听到周遭的景象，通过听觉“看”到与明眼人所见相同的形状和事物。 2．国内色彩与音乐的研究现状 对于视觉、听觉信号处理国内目前研究水平些许欠缺，北京大学视觉与听觉信息处理国家重点实验室以实现高度智能化的机器感知系统为目标，开展机器视觉与听觉信息处理方面的基础与应用基础研究。主要研究方向有：在机器视觉领域开展图像处理、模式识别、图像与视频压缩、生物特征识别与信息安全、三维视觉信息处理、智能机器人视觉与动作规划等研究；在机器听觉领域开展机器听觉模型、语音信号处理、人工神经网络和说话人识别及其应用研究；在智能信息系统领域开展多媒体信息的数据组织与管理、数据挖掘和网络环境下海量信息的集成等方面的研究；视觉与听觉的神经计算模型和心理生理基础研究主要从生理与心理学的角度探索高等哺乳动物视觉与听觉的机理，为视觉与听觉信息处理提供基本理论和方法。
