一种增强现实系统[发明专利]

(12)发明专利申请

(10)申请公布号 CN 1045137 A(43)申请公布日 2017.02.22

(21)申请号 201610836830.7(22)申请日 2016.09.21

(71)申请人 上海电机学院

地址 201100 上海市闵行区江川路690号(72)发明人 熊玉梅　

(74)专利代理机构 上海申汇专利代理有限公司

31001

代理人 翁若莹　柏子雵(51)Int.Cl.

G06F 3/01(2006.01)G02B 27/01(2006.01)

权利要求书1页 说明书6页 附图1页

(54)发明名称

一种增强现实系统(57)摘要

在增强现实系统中，虚拟物体与真实场景间的无缝融合至关重要，是决定增强现实系统性能的关键。实现AR系统的无缝融合，就是要保证用户在增强现实环境中所获得的空间感知和理解是一致的。本提供的一种增强现实系统以实现AR系统虚实场景融合一致性为目的。现有的各类传感器跟踪各有利弊，单一使用某种传感器进行跟踪往往较难满足实际的应用需求。为了有效提高跟踪性能，本发明在AR系统中同时采用多种跟踪传感器进行目标定位，并给出了系统的整体硬件构架及关键部件介绍，同时就软件系统核心进行了详细说明，力求更好地实现虚实世界的无缝合成，使增强现实系统性能得以提高。

CN 1045137 ACN 1045137 A

权　利　要　求　书

1/1页

1.一种增强现实系统，包括硬件系统及运行于硬件系统的运行平台，其特征在于，硬件系统包括蓝屋，在蓝屋外设有磁力跟踪系统的控制器和三台互相连接的计算机(PC1、PC2、PC3)，所述运行平台运行于计算机(PC1、PC2、PC3)上，用户佩戴头盔式显示器(HMD)位于蓝屋内，在头盔式显示器(HMD)上安装有两个电子摄像头一(CAV1、CAV2)及磁力跟踪系统的接收器，在蓝屋天花板上安装有两个电子摄像头二(CL、CR)，两个电子摄像头一(CAV1、CAV2)及两个电子摄像头二(CL、CR)分别与四块视频捕捉卡相匹配，四块视频捕捉卡安装在三台计算机(PC1、PC2、PC3)上，磁力跟踪系统的发射器固定于蓝屋天花板的正，三台计算机(PC1、PC2、PC3)通过三路显示单元(Display1、Display2、Display3)进行显示，同时，三台计算机(PC1、PC2、PC3)中的任意一台通过头盔式显示器(HMD)进行显示。

2.如权利要求1所述的一种增强现实系统，其特征在于，所述运行平台划分为Illusion核心模块、视频采集处理模块、同步跟踪模块、特效模块、三维模型处理模块、力反馈Joystick模块、语音识别模块及三维音效模块，其中：

Illusion核心模块采用分层式结构，支持视频融合，采用OpenInventor的显示机能，同时，具有管理扩展模块的能力；

同步跟踪模块，使最终合成显示的图像中，虚拟的三维物体与真实的视频能够保持相同的比例和同步的运动；

视频采集处理模块，用于合成显示的真实视频的采集力反馈Joystick模块及语音识别模块，是人与增强环境交互的手段。3.如权利要求2所述的一种增强现实系统，其特征在于，所述Illusion核心模块分为核心层、扩展层和应用层，其中：

核心层，用于数据管理和功能管理；扩展层，完成作为一个AR平台需要的各项功能；应用层，为具体的应用项目提供特殊的、有针对性的功能。

2

CN 1045137 A

说　明　书一种增强现实系统

1/6页

技术领域[0001]本发明涉及一种AR系统。

背景技术[0002]随着信息技术的发展，多媒体技术已逐步应用到社会生产、生活和文化的各个方面。目前多媒体技术最新的发展趋势之一是将三维领域的一些新技术应用到多媒体产业中，使多媒体的应用效果产生极大的改观，应用范围也随之发生新的拓展。[0003]增强现实技术(AR-Augmented Reality)是多媒体技术在三维领域实现的重要新手段。增强现实是一种利用计算机系统产生的三维信息来增加用户对现实世界感知的技术。与传统虚拟现实技术所要达到的完全沉浸的效果不同，增强现实技术致力于将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，创造一个虚实结合的世界，从而实现对现实的“增强”。[0004]我国在信息融合领域的研究起步稍晚，上世纪80年代初开始起步，进入90年代中后期出现了一批理论研究成果，一些信息融合和目标跟踪的学术专著和译著得以出版。尽管如此，在信息融合理论研究和应用实践方面，我国的发展水平与国外先进国家相比仍有一定差距。

发明内容[0005]本发明的目的是提供一种实现无缝融合的AR系统。[0006]为了达到上述目的，本发明的技术方案是提供了一种增强现实系统，包括硬件系统及运行于硬件系统的运行平台，其特征在于，硬件系统包括蓝屋，在蓝屋外设有磁力跟踪系统的控制器和三台互相连接的计算机，所述运行平台运行于计算机上，用户佩戴头盔式显示器位于蓝屋内，在头盔式显示器上安装有两个电子摄像头一及磁力跟踪系统的接收器，在蓝屋天花板上安装有两个电子摄像头二，两个电子摄像头一及两个电子摄像头二分别与四块视频捕捉卡相匹配，四块视频捕捉卡安装在三台计算机上，磁力跟踪系统的发射器固定于蓝屋天花板的正，三台计算机通过三路显示单元进行显示，同时，三台计算机中的任意一台通过头盔式显示器进行显示。[0007]优选地，所述运行平台划分为Illusion核心模块、视频采集处理模块、同步跟踪模块、特效模块、三维模型处理模块、力反馈Joystick模块、语音识别模块及三维音效模块，其中：[0008]Illusion核心模块采用分层式结构，支持视频融合，采用OpenInventor的显示机能，同时，具有管理扩展模块的能力；[0009]同步跟踪模块，使最终合成显示的图像中，虚拟的三维物体与真实的视频能够保持相同的比例和同步的运动；[0010]视频采集处理模块，用于合成显示的真实视频的采集[0011]力反馈Joystick模块及语音识别模块，是人与增强环境交互的手段。

3

CN 1045137 A[0012]

说　明　书

2/6页

优选地，所述Illusion核心模块分为核心层、扩展层和应用层，其中：

[0013]核心层，用于数据管理和功能管理；[0014]扩展层，完成作为一个AR平台需要的各项功能；[0015]应用层，为具体的应用项目提供特殊的、有针对性的功能。[0016]在增强现实系统中，虚拟物体与真实场景间的无缝融合至关重要，是决定增强现实系统性能的关键。实现AR系统的无缝融合，就是要保证用户在增强现实环境中所获得的空间感知和理解是一致的。本系统以实现AR系统虚实场景融合一致性为目的。现有的各类传感器跟踪各有利弊，单一使用某种传感器进行跟踪往往较难满足实际的应用需求。为了有效提高跟踪性能，本发明在AR系统中同时采用多种跟踪传感器进行目标定位，并给出了系统的整体硬件构架及关键部件介绍，同时就软件系统核心进行了详细说明，力求更好地实现虚实世界的无缝合成，使增强现实系统性能得以提高。附图说明[0017]图1为本发明提供的一种增强现实系统的硬件电路框图；[0018]图2为本发明的软件部分的模块图。

具体实施方式[0019]下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。[0020]随着AR技术的不断发展，其在工程、教育、医疗、娱乐等领域已显示出越来越广泛的应用前景。目前，实现虚实场景的无缝融合，使系统具有良好的视觉一致性效果是推动AR技术尽快走向普及应用的一个重要因素。本发明公开的增强现实系统致力于将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，创造一个虚实结合的世界，从而实现对现实的“增强”，较好地实现了虚实场景无缝融合，达成视觉一致性，具备三个优点：①真实世界和虚拟世界的信息集成；②具有实时交互性；③三维空间中定位增添虚拟物体，系统具备有良好应用价值。[0021]本发明提供的系统分为硬件部分及软件部分，以下分别进行介绍：[0022]本发明的硬件部分的整体构架如图1所示，包括蓝屋(蓝屋长宽高分别为3米、3米、2.8米，墙壁布置为蓝幕)。[0023]在蓝屋的外面有一台磁力跟踪系统的控制器和三台互相连接的计算机PC1、PC2、PC3。计算机PC1、PC2、PC3是特殊配置的高速计算机，是AR系统的运算处理中心。计算机PC1的功能主要有：虚拟模型构造转换、场景采集、合成显示、场景控制等多种功能。计算机PC2、PC3主要用于跟踪注册计算。[0024]用户佩戴头盔式显示器HMD位于蓝屋中。头盔式显示器HMD是一个复杂的系统，其最基本的功能是给用户提供一个沉浸式的感应环境。AR系统中，头盔式显示器HMD不仅仅起到显示器的作用，还辅助进行场景采集和跟踪注册。本发明中的头盔式显示器HMD使用Virtual Research Systems公司的V8型头盔显示器，该头盔提供左右两片真彩色LCD显示

4

CN 1045137 A

说　明　书

3/6页

器，接收800×600×60Hz×2信道的VGA视频信号，图像质量相当于CRT显示器，质量为一千克。具有轻巧耐用、易于调节的优点。由于头盔式显示器HMD是用于虚拟现实的，为了在视频透视式增强现实系统中使用，本发明对头盔式显示器HMD进行了改造，在头盔式显示器HMD上安装了两个电子摄像头一CAV1、CAV2，用于采集真实视频，并加装了磁力跟踪系统的接收器。

[0025]电子摄像头一CAV1、CAV2必须拍摄类似人眼观测到的图像，因此需要有较大的灵活性，以便能够不断调节，取得比较满意的图像。本发明采用的是CBC公司的LCH-P49A工业摄像头，它具有背光补偿，自动白平衡，自动增益控制等功能。其摄像头使用1/4″CCD(3.2×2.4mm)，水平清晰度500线。镜头的参数可调，焦距范围为4-9mm，最大光圈口径比为1∶1.6，水平视角范围为51.8°-23.8°，垂直视角可调范围为38.3°-17.8°。该摄像头有许多可调节的参数，分辨率较高，使用它捕捉的图像质量很好，是一个比较符合设计初衷的选择。针对电子摄像头一CAV1、CAV2采集的数据，使用两块视频捕捉卡，在本实施例中，上述两块视频捕捉卡采用天敏科技的10Moons SDK-2000。它是一种PCI视频捕捉卡，为Windows提供了很好的驱动。它针对系统开发提供二次开发包(以下简称SDK)，可以使用Visual Basic、Visual C++、Delphi等多种编程语言进行二次开发。[0026]本发明在蓝屋天花板上还安装了两个电子摄像头二CL、CR，用于在高处拍摄几何图形标志模板图像，进行视觉跟踪。电子摄像头二CL、CR采用Panasonic 公司的WV-BP334，它也具有自动亮度控制、背光补偿等功能，使用1/3″CCD(4.8×3.6mm)，具有570行水平清晰度，同样有752*582像素的分辨率；镜头是根据光学注册性能要求的不同而灵活安装。组装的摄像头同样提供了清晰的图像，作为视觉注册的输入。对于这两个电子摄像头二CL、CR，同样使用两块视频捕捉卡，在本实施例中，上述两块视频捕捉卡是Matrox Meteor II，这是一种支持从NTSC、PAL、RS-170、CCIR视频源捕捉图像的PCI捕捉卡，它也提供了SDK，它的SDK比较复杂，但很全面。随卡附带Matrox Imaging Library，ActiveMIL，Intellicam，Genesis Native Library。Matrox Imaging Library在底层提供了抽象的捕捉卡支持，ActiveMIL则相对简单的提供了一些ActiveX控件，Intellicam是一个摄像头设置工具，而Genesis Native Library则提供一些附加的图像处理库。这些辅助软件为Meteor卡提供了较好的二次开发功能，这对视觉跟踪系统要进行比较复杂的图像处理是有益的。[0027]与电子摄像头一CAV1、CAV2及电子摄像头二CL、CR相匹配的四块视频捕捉卡，这四块卡安装在三台计算机PC1、PC2、PC3上，均衡处理负载。三台计算机PC1、PC2、PC3通过三路显示单元Display1、Display2、Display3进行显示，同时，三台计算机PC1、PC2、PC3中的任意一台通过头盔式显示器HMD进行显示。[0028]在蓝屋的屋顶正还安装了磁力跟踪系统的发射器。蓝屋中还包括桌椅、灯光、和一些可用程控的真实物体Project1、Project2等。[0029]本发明中的跟踪设备并不是一套设备，而是包括磁力跟电子摄像头二CL、CR，视觉标志，计算机PC2、PC3等一系列硬件的，这些硬件都和跟踪注册有关。系统使用了视觉、磁力两套跟踪传感器。[0030]本系统使用的磁力跟踪系统，是由Polhemus公司提供的FASTRAK跟踪传感器，包括主机控制器、发射器、接收器等部件。其基本原理是利用三轴线圈发射低频电磁场，用固定在被测对象上的三轴磁探测器探测磁场的变化信息，利用发射信号和感应信号之间的耦合

5

CN 1045137 A

说　明　书

4/6页

关系确定被测对象的方位姿态。在本发明中，我们发射器固定悬挂在蓝屋的天花板，使其坐标系同自己建立的世界空间坐标系一致，把接收器安装在头盔上，从而对用户头部的位置姿态进行跟踪。[0031]视觉标志是一种经过特殊设计的平面图形，蕴含易于提取的图像特征，计算机通过摄像头提供的图像进行计算机视觉处理，提取视觉标志的位置姿态，从而检测出跟踪目标的位置姿态。[0032]本发明提供的AR系统的软件运行平台为Windows，开发平台是Visual C++、Open Inventor以及DirectX9.0 SDK。Open Inventor是一个3D程序开发平台，DirectX9.0 SDK是一个多媒体开发平台，本发明使用了其中的视频、音频、网络传输等开发库。[0033]结合图2，按照功能划分，本发明的整个软件部分由多个不同的功能模块组成，其中以Illusion平台为核心模块，其它各模块是根据具体的功能需要，在Illusion核心模块的基础上扩展开发的。[0034]1)Illusion核心模块[0035]Illusion平台的功能特性：AR开发平台Illusion的任务，是完成AR项目所需的实时图形显示和交互功能。AR项目需要实现的图形功能是真实场景数据和虚拟场景数据融合并显示，融合后场景的内容能够通过各种已知或未知的方式进行交互，支持特效的扩展，支持动画等。因此，设计的AR开发平台Illusion具备以下功能：[0036](1)管理扩展模块的能力；在Windows操作系统下，扩展功能可以通过DLL或者EXE实现的。EXE实现的效率非常低，只能用于模块组的启动、停止这样的功能，或者性非常强的功能组。这种方式显然不适合于AR系统。因此，本发明只考虑了DLL的扩充。[0037]在C++开发的软件项目中，功能的扩充可以通过以下两种方式，来实现两个模块之间的耦合：一种是函数调用，通常用于比较松散的耦合，插件开发难度低，效率较高；另一种是派生类，通常用于比较紧密的耦合，插件开发难度高，效率也高。因此在AR图形平台中，本发明采用了函数调用的方式耦合插件和平台之间的关系。[0038](2)采用OpenInventor的显示机能；它提供了数据管理和一系列可扩充的对象库，简化了图形编程，也不失OpenGL固有的强大3D处理能力，因此在Illusion中将利用Open Inventor的显示机能，完成三维图形的实时显示能力[0039](3)支持视频融合：本发明的AR系统需要实现真实场景数据和虚拟场景数据融合并显示，而本发明设计的视频透视式增强现实系统真实场景数据的采集是通过安装在头盔式显示器HMD上的两个摄像头和视频捕捉设备来完成的，因此支持视频融合是Illusion平台所特有的功能。[0040](4)分层式软件结构；考虑增强现实技术是不断发展变化的，因此作为AR系统的开发平台采用核心层、扩展层和应用层三层结构，从而可实现灵活的模块化管理、开放的扩展体系。[0041]核心层完成开发平台的数据管理和功能管理。负责管理扩展模块，由一组DLL组成，完成一系列的管理功能。数据管理器提供数据消息机制，以便将来扩展数据对象；功能管理器提供插件管理功能，规范外部插件的统一接口：还提供背景视频显示的功能和接口；提供动画数据的管理等。另外，核心层生成具体的应用程序。菜单、工具条、消息派送等接口元素的具体行为也是在这个部分实现的。

6

CN 1045137 A[0042]

说　明　书

5/6页

扩展层负责完成作为一个AR平台需要的各项功能：动画计算、视频捕捉、启动、动

画文件读取、远程控制CAMERA等功能。有了这些模块的协助，平台就具备了支持AR的能力。[0043]应用层是针对具体的展示项目所制作的模块，为具体的应用项目提供特殊的、有针对性的功能。[0044]Illusion核心模块主要由数据管理器、功能管理器、接口管理器三大模块组成。它对外提供插件接口，并对插件进行管理。[0045]数据管理器：将数据与功能分开。将数据统一归入数据表中进行管理，对于新建数据的用户或者是以后将会用到该数据的用户，数据管理器将在他们之间建立相应的映射关系，并注明相应的拥有等级。[0046]功能管理器：辨认插件的合法性，初始化并加载插件，其中包含DAPI/PLUGIN表。[0047]接口管理器：将与用户的交互单元与命令COMMAND关联。[0048]2)视频采集处理模块[0049]用于合成显示的真实视频的采集，是场景采集系统的一部分。这部分信号的采集由电子摄像头一CAV1、CAV2及视频捕捉卡来完成。考虑到Illusion平台针对的是Windows平台的应用，而Windows平台上DirectX中的Directshow正是一种Windows视频技术通用接口。DirectShow使用一种简洁易懂的框架掩盖了复杂的技术内幕，以滤镜(filter)为基本单位，通过视频流的方式将捕获、压缩/解压、传输、回放等一系列滤镜串联起来，实现视频应用。因此，我们采用了Directshow这一软件技术进行视频的采集和处理。[0050]3)同步跟踪模块[0051]同步跟踪是增强现实中很重要的一个部分，目的是使最终合成显示的图像中，虚拟的三维物体与真实的视频能够保持相同的比例和同步的运动。[0052]4)三维模型处理模块及特效模块[0053]由于Illsuion平台对虚拟模型的处理是通过OpenInventor来实现的，因此Illusion平台所支持的三维模型文件的格式也就是OpenInventor所采用的文件格式iv文件。系统中虚拟三维场景的模型都是通过3DMax来进行构造的，因此本发明将建好的模型导成iv文件，提供给Illusion平台。另外，为了增加视觉上的效果，本发明还采用了全局动画和顶点动画，提高增强现实的可观性。[0054]5)力反馈Joystick模块[0055]在AR系统中，本发明采用带有力反馈的操纵杆作为人与增强环境交互的手段。采用DirectInput技术在VC++下进行开发。当人与周围虚拟场景的间距小到一定程度的时候给以力反馈提示，并在发生碰撞前一时刻给予强烈的力反馈提示。[0056]6)零训练的语音识别模块[0057]人机交互方式作为计算机应用方面的重要研究内容将不断发展，包括语音、手势、眼神等人类日常使用的交流方式将逐步在人机交互领域得到实现与应用。现在很多的语音识别系统，在使用中需要对系统进行语音训练(如IBM Viavoice等)，而本发明采用Spark SDK开发工具包，无须进行语音训练，即可识别定义好的语音命令，并与Internet控制技术相结合，实现了增强现实环境的语音交互。[0058]7)三维音效模块[0059]在听觉的交互上，本发明为用户提供三维立体音响，采用DirexSound技术完成了

7

CN 1045137 A

说　明　书

6/6页

背景音乐、音效的三维声音定位。

8

CN 1045137 A

说　明　书　附　图

1/1页

图1

图2

9