融合声对象信息的设备和方法
2020-01-12

融合声对象信息的设备和方法

用于融合声对象信息以提供将真实的图像与声音融合起来的增强现实(“AR”)服务的设备和方法。该声对象信息融合设备包括声对象化单元、声对象信息生成器、和融合单元。该方法对麦克风阵列中接收到的声音进行分类以识别与接收到的声音相对应的对象。如果无法识别每一声音的对象,则应用带通滤波器来对接收到的声音进行第二次分类。声对象信息被生成,并且被与拍摄到的图像或记录的声音融合。声对象信息可包括与被识别为与接收到的声音相对应的对象相关的附加信息。

本申请要求于2010年7月观日提交的第10-2010-00730M号韩国专利申请的优先权和权益,其全部内容通过弓I用并入本文,就好像在此被全部陈述一样。

如果确定存在将至少一条声对象信息与真实的声音融合起来的用户请求,则用户终端可输出与接收到的真实的声音相关联的声对象信息。声音可通过与AOIM设备相连接的用户终端的麦克风而被接收,并且可被存储在AOIM设备的用户终端中。声对象信息可被投影到用户终端的显示器上。作为示例,当由与示例的AOIM设备相连接的用户终端的麦克风接收到街上的音乐声时,用户终端将包括与音乐相关的信息的声对象信息输出到用户终端的显示器上。然而,各方面不限于此,AOIM设备可将与真实的声音相关联的声对象信息与真实的图像融合起来,并且将融合的结果输出到与AOIM设备相连接的用户终端的显示器上。

本发明的示例性实施方式披露了一种生成与声音相关联的声对象信息并且在用户终端中将声对象信息与真实的图像或声音融合起来的方法,包括步骤:估计通过麦克风阵列接收到的声音的方向和位置;基于估计出的接收到的声音的方向和位置来对接收到的声音的声音模式进行分类;通过参考存储有多个对象的声音峰值的声音模式数据库来识别与声音模式的声音峰值相关联的对象;获取与所确定的对象相关的附加信息以生成接收到的声音的声对象信息;以及将声对象信息与真实的图像或声音融合起来。

声信息融合器133输出有关于真实的声音的声对象信息。在另选的实施方式中,声信息融合器133还将声对象信息与真实的图像融合起来。真实的声音可以由与AOIM设备相连接的用户终端的麦克风接收,并且输出的声对象信息可以被输出到用户终端的显示器。在示例性实施方式中,接收到的声音可被存储在与AOIM设备相连接的用户终端中。真实的图像可以是由与AOIM设备相连接的用户终端的相机拍摄的所拍摄的图像,并且响应于来自用户的请求,该融合所获得的图像可被输出到用户终端的显示器。作为示例,如果通过与示例的AOIM设备相连接的用户终端的麦克风接收到街上的音乐声,则声信息融合器133可将包括与音乐相关的信息的声对象信息输出到用户终端的显示器上,或者可将声对象信息与真实的图像融合起来,并且其后将融合的结果输出到用户终端的显示器。

而且,根据用户请求,AOIM设备可消除与在和AOIM设备相连接的用户终端的显示器上的图像中的对象相对应的声音。作为示例,接收消除声音的用户请求。用户请求从由用户终端的相机拍摄到的管弦乐队演奏的图像中指定小提琴作为其声音不被消除的对象。因此,声音消除器135消除由其余乐器产生的声音。因此,用户可通过用户终端的扬声器听到的输出的声对象信息是对由用户终端的相机拍摄到的小提琴声音的再现。

具体实施方式

在声对象判断单元113识别出分类的声音音调的对象之后,声对象信息生成器120获取与识别出的对象相关的细节和附加信息以生成声对象信息。AOIM设备还可包括存储有与多个对象相关的细节和附加信息的对象信息DB121。然而,各方面不需要被限于此,对象信息DB121可独立于AOIM设备,并且可以以任一适当的方式连接到AOIM设备。声对象信息生成器120从对象信息DB121获取与对象相关的细节和附加信息以生成声对象信肩、ο

增强现实(“AR”)是提供了其中用户的眼睛所看到的真实世界与提供了附加信息的虚拟世界融合起来的图像的虚拟现实(“VR”)的一种。AR类似于现有的VR。VR只为用户提供了虚拟的空间和对象,而AR基于真实世界合成虚拟对象以提供不能在真实世界中容易地成为对象的附加信息。不同于基于完全虚拟世界的VR,AR将虚拟对象与真实环境结合起来以向用户提供更逼真的感觉。在美国和日本已经从1990年代的下半期开始对AR进行研究。随着诸如移动电话和个人数字助理(“PDA”)之类的移动装置的计算能力的提高、以及无线网络装置的发展,各种AR服务当前正被提供。