一种基于AR的可视化交互教学平台

兰州文理学院学报(自然科学版)

)JournalofLanzhouUniversitfArtsandScience(NaturalSciencesyo

Vol．３３No．１

Jan．２０１９

()　　文章编号:２０９５Ｇ６９９１２０１９０１Ｇ００６４Ｇ０６

一种基于AR的可视化交互教学平台

)兰州文理学院V甘肃兰州７２．R技术研发与推广中心,３００１０

(兰州文理学院数字媒体学院,甘肃兰州７１．３００１０;

２２

,,马少斌１,张成文１,王万军１

摘要:基于V体验)环境而非教学环境,虽然这种教R的教学平台以三维全景方式构置一个沉浸式的虚拟学习(学环境可以搭建一些成本高、现实不宜构建的实验教学场景,但其最大的弊端就是将教学内容与教学过程完全割裂,学生只能置身于虚拟环境被动学习或体验,从而失去了与教师互动环节．基于AR的可视化交互教学平台将摒弃虚构的完全沉浸式教学模式,通过A该系统分R技术来促进和强化这一教学过程的体验与交互环节．为硬件平台和软件平台,硬件平台主要实现多通道交互、同步以及系统集成等;软件平台主要设计满足该平台的教学系统、课件等．这种在保留传统教学模式的基础上搭建的A可根据教学内容的R可视化交互教学系统,需要,虚拟对象在教师的控制下通过A眼镜)显示,并实现与学生的同步与交互．R头盔(关键词:虚拟现实;增强现实;可视化;教学平台中图分类号:TP３９１．９　　　文献标志码:A

0　引言

及很少(图１中绿色标识的“跟踪”是实现互动的;重要技术手段之一)其次,这种基于VR的教学模式,就是将传统的多媒体课堂教学内容或“慕课”内容移植于V以三维全景方式构置一个R中,沉浸式的虚拟学习(体验)环境而非教学环境．虽然这种所谓的教学环境可以搭建一些成本高、现实不宜构建的实验教学场景,但其最大的弊端就是将教学内容与教学过程完全割裂,学生只能置身于虚拟环境被动学习或体验,从而失去了与教师互动环节,最终结果可能如同“慕课”一样雷声

[１Ｇ３]

)近年来,技术发展如VR(VirtualReality

火如荼,VR＋的研究及应用涉及各领域和产业,

如VR＋旅游、VR＋影视、VR＋娱乐、VR＋教育从中可看出VR＋教育相对其他产业与领域发展要滞后,从技术层面分析,VR＋教育中目前主要使用了拼接、三维字幕、抠像、过渡、画中画等技术,而在教学实践中最重要的交互与互动技术涉

等．图１所示为VR技术应用及制作发布产业链,

图１　VR技术应用及制作发布产业链

收稿日期:２０１８Ｇ０９Ｇ２５

)基金项目:甘肃省高等学校科研项目(２０１８AＧ１３８

),:作者简介:马少斌(男,甘肃静宁人,副教授,研究方向:数字媒体技术．１９６９ＧEＧmailm_sb＠１６３．com．

第１期马少斌等:一种基于AR的可视化交互教学平台

６５

大、雨点小．

先,可以明显提高课程的教学效率,拓展教学知识面;其次,可在课件上添加图像,文字甚至视频等多种媒体演示形式,从而大大丰富了教学内容;第三,提高学生的学习主动性和兴趣．本系统不是对此种教学模式的摒弃,而是采用AR技术来实现这种教学,从而达到更佳的教学效果．

()实现多媒体信息的叠加．由于本系统采用１

了A通过头盔镜片不仅可以看到黑板,也R头盔,可以从头盔目镜看到叠加于黑板(或教室其他空间)的虚拟信息,这些信息可以是文字、图片、视频、动画等各种媒体,从而实现了“所讲即所见”的教学效果．

()板书教学与多媒体辅助教学的交互功能．２

现有的多媒体辅助教学一般采用投影将要展示的内容投在幕布上,无法实现板书内容与辅助教学内容的有效衔接和互动．采用AR可视化交互教如对所讲观点、公式的阐述、引申等,或对所讲内容的多媒体案例分析等,从而提高了教学效率、拓“上的难点、重点通过黑板进一步推导、AR课件”

、演算以增加学生的理解,这实际上实现了“教师”“黑板”和“三者之间的互动教学,这是AR课件”“、多媒体辅助教学、慕课”VR＋教育等教学模式所不具备的特点．

扩增教室实境,实现虚拟１．２．３　虚拟教学内容,

对象、教师与学生的同步与交互　AR允许用户展了教学知识面以及丰富了教学内容．另外可将学系统,可以将板书内容通过增强现实加以扩充,

1　基于AR的可视化交互教学平台

的设计思想

1.1　平台设计简介

)基于A的可视化交互R(AumentedRealitgy教学系统将摒弃虚构的完全沉浸式教学模式,以增强现实的方式,将虚拟信息扩增到现实空间中,它不是要取代现实空间,而是在现实空间中添加一个虚拟对象,即由摄影机的辨识技术与计算机程序的结合,当设定好的对象出现在镜头里面,就会出现对应的虚拟对象．具体来说,就是将传统教学模式中的教师、黑板以及教学过程中的互动环节保留,在此基础上搭建AR的可视化交互教学系统,根据教学内容的需要,虚拟对象只有在教师的控制下才可通过A眼镜)显示,并且实R头盔(现同步与交互．图２为基于AR的可视化交互教学系统效果图．

图２　基于AR的可视化交互教学系统效果图

看到真实世界以及融合于真实世界之中的虚拟对象,因此增强现实是“增强”了现实中的体验,而不是V增强现实可以用来在教室中R以替代现实．模拟学习对象,让学习者在现实环境背景中看到虚拟生成的模型对象,而且模型可以快速生成、操纵和旋转,能够在最贴近自然的交互形式下为学习者搭建一个自主探索的空间,这对于抽象内容

]５

教学和提升学习者兴趣是很有启发意义的[．

1.2　平台实现的教学效果

发挥传统教学的１．２．１　保留课堂板书教学模式,优势　千百年来的黑板加粉笔的教学模式之所以能保留至今,因其有着任何先进技术手段无法替代的作用,特别是对于理工农医以及数理化等学科的教学,通过教师在黑板上一步一步地推进,会实现传统板书教学１．２．２　替代多媒体教学课件,

与多媒体教学的交互功能　多媒体课件辅助教学

]４

是现在风靡的教学手段,其有着显著的优点[首．

让学生真正了解公式的产生过程和意义．

1.3　设计原理

[]

,Milram,TakemuraUtsumiandKishino６g所示．从字面上理解,在真实环境上叠加虚拟的对

定义了真实环境和虚拟环境的连接关系,如图３

图３　真实环境到虚拟环境的连接关系

兰州文理学院学报(自然科学版)　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　第３３卷６６

象,就好像把现实环境要展示的内容“增强”了,所,以就叫“增强现实”反之即是“增强虚拟”．

设备名称光学部件

表２　Microsofthololens产品参数

,透视全息透镜(波导)２个HD１６:９光引擎,

自动瞳距校准

全息密度＞２．２３０万光学点,５K弧度

Microsofthololens

2　基于AR的可视化交互教学平台

的实现方法

2.1　概述

基于AR的可视化交互教学系统以增强现实

全息分辨率传感器人体感知输入/输出技术为核心．增强现实AR是广义上虚拟现实

从技术方面看,虚拟现实的一VR的扩展．AR是“１个IMU,４个环境感知摄像头,１个深度摄

/像头,个照片视频摄像头,混合１２MPHD

现实捕捉,４个麦克风,１个环境光传感器立体声效,视线跟踪,手势输入,语音支持内置扬声器,音量、亮度调节,Wi－Fi８０２．

,１１acMicroUSB２．０

种形式,其中参与者的头盔式显示器是透明的,能清楚地看到现实世界”性来定义义为一个满足三个基本特征的系统AR,例如,Az．

也有学者根据其功能或特uma[６]

认为,A:R可以被定

真实和虚拟世界的融合、实时交互、虚拟和真实物体在３D空间中的精确注册模式与VR教育模式做一简单对比分析．基于上述分析,我们对．

AR教育．１．１　显示设备的差异需要采用与之配套的　要实现真实和虚拟世

界的融合,其最大特点就是沉浸感AR头盔．VR头盔一般采用全封闭式的,强R．”比如平台I所DE采A用LE的NIS推出的“DEAEDUCATION＋

这种全封闭式的头盔等LENSK２/K２＋头盔,其技术参数如表同于将体验者完全隔绝于现实之外１所示．,不可能实现

表１　IDEALENSK２＋产品参数

设备名称ALENSK２＋

重量主机２５２９５g,加佩戴方案IDE５５０g

屏幕分辨率FOV

PD)１可调节

２６０°

０×１４４０瞳间距(I物距[

１]无须调节(无需屈光度调节)视力调节兼容佩戴近视、远视、老花等各类眼镜接口Mi０cr０oUmAShB

电池容量RCPU

３８三星Exy

nos７４２０处理器RAMOM３３G

无线网络２２．４G

G/５GWiFi定位功能可加配

传感器

重力传感器、温度传感器、陀螺仪、加速度计、

磁力计

特点

２s之内能便捷的佩戴上头舒适佩戴正常工作时噪声极小

９０分钟以上[１]为屏幕到镜片之间的距离IDEALENS,先进的光学方案保证兼容普通的VR头显通过调节物距

来适配近视用户,．

处理器Intel３２位体U系１结．０构定制的Microsoft全息处

理单元(MP－)电源有效使用时间２３小时,最长待机时间内存PU２周

６４GB内存,２GBRAM(２GBC和１GB

重量５H操作系统W７PU)i９ngdows１０

开发所需的

准备[

１][１V０PisuaC

lStudio２０１５和Unity

５．４的Windowsco１m]/设zh计－c与n/开ho发lol的ens更/d多ev信elo息p

er访s问http

://www．Microsoft．二者的融合出基于AR．随着技术的进步,现已有不少企业推的头盔,如光场镜以及ARBOX、蚁视AR眼

可以有效的实现真实和虚拟世界的融合ololensM产品icros技ofth术参olo数le．n表这s等种半．沉２为浸式MAic．Rro头sof盔t

．１．２　交互方式的差异　全方位实时交互是R教育的主要特征,这与VR教育的交互完全不同在虚拟环境中与虚拟对象．VR教育由于采用沉浸式头盔,体验者只能(或其他体验者所扮演的虚拟对象)交互,从而与现实完全脱离,这一模式导致的结果就是与教学活动中的过程控制相背离(１

):

体验者进入虚拟世界后外界无法干预,这体行为(;

２);

体验者与真实环境无法实现互动,只是个后可通过手柄交互(３

)交互设备选择受限,无法使用包含手势交互在内．体验者进入虚拟环境的体感交互等．

下条件AR教育方案的全方位实时交互必须满足如(:

与体验者(１２

))在真实环境中对虚拟对象的控制控制着(如学生(如教师)实现同步)对虚拟对象的控制能够;;

手势交互等(３

)交互设备选择余地大;

,如可以使用动作与２Vh２A第１期马少斌等:一种基于AR的可视化交互教学平台

６７

()现实环境与虚拟环境能够同时存在或随４

时切换,或者说当虚拟对象出现时也不妨碍师生２．１．３　虚拟和真实物体在３D空间中的精确注册　将虚拟对象定位于真实３D空间中这是AR一是场景建设;二是内容建设．比较成熟的VR教,育方案采用三维建模或全景照片(视频)无论采的场景,工程量极大,这对于一般教育工作者来说不具有可行性．之间的互动．

对象,而且教学过程中绝大多数内容通过字幕、图片、视频、动画等传统多媒体教学手段即可达到目(事件)进行三维虚拟设计即可,从而大大减轻,位于水平３垂直１的任何位置．６０°８０°

的,如此以来,我们只需要对现实世界抽象事物

教育方案的另一特征．实际上涉及两方面的内容,,用何种方式,一般都要搭建水平３垂直１６０°８０°

在AR教育方案中其三维场景的生成与VR

其次,对于虚拟对象在AR教学课件的制作难度;

真实３可根据需要定D空间的定位也较为随意,

综上所述,基于VR的教育方案更多时候是

为了满足具有强烈沉浸感的、使体验者能够置身其境的且满足其猎奇心理的系统．而AR教育方案除上述优点外,还可满足教学对过程的要求,表３是对二者功能的对比分析．

增强现实自１随着随身电子９９０年提出以来,

AR教育

类似,但内容方面只需要生成与教学内容相关的

表３　基于VR教育平台与基于AR教育功能对比

功能对比设备要求设备分辨率设备舒适度沉浸感交互性同步

、讲课(授课)听课

课堂互动教学课件开发方法教学课件开发难易度

VR教育

技术产品成熟,支持二次开发VR头盔,≥２．５K

全沉浸式头盔,佩戴过程繁琐强

支持与虚拟对象的交互,但仅限于个体或个

体与个体之间,更适于“游戏”或“体验”不支持

佩戴头盔教师无法授课、学生无法听课做笔记不支持相同工作量较大

,眼镜)技术产品较为成熟,支持二AR头盔(

次开发≥２．５K

,更趋近于“眼镜”佩戴方便弱

支持与虚拟对象的交互,也支持课堂所有参与者之间的交互

、“支持,能够实现“教师演示”学生提问”等

互动环节对同步的要求

佩戴“透明”式头盔(眼镜)教师既可授课、学生也可听课做笔记,互不影响支持相同工作量较小

产品运算能力的提升,其应用愈来愈广．增强现实技术中实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术近年来也取得突破性的进展,特别是前面提到Microsofthololens

眼镜已经具备上述功能,且提供第三方冗余开发,如果我们在A体感R教育平台建设中与传感器、交互设备结合起来融合设计,可完全满足其对图４为AAR教育平台中各功能的需求,R头盔式显示设备工作原理图．

2.2　软硬件平台设计及构建

基于我们对AR可视化交互教学系统的要求以及上述理论的理解,我们首先要设计和搭建能够满足系统要求且具有可行性的方案,然后在此基础上开发具备可视化交互教学系统的软件、课件或课程,下面从硬件平台建设和AR软件课程

(内容)建设两个方面来探讨．

图４　AR头盔式显示设备工作原理

２．２．１　硬件平台设计及构建　AR教室可有由

传统教室改建并保留原有的教学功能,如黑板、白板等,在此基础增加图形系统、显示系统、交互系统、无线系统、音响系统等模块构成,如图５所示．

()图形及信息处理系统．主要完成虚拟场景１

兰州文理学院学报(自然科学版)　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　第３３卷６８

构建、交互及反馈信息处理、数字存储、声音处理等．

()视觉显示系统．本平台A２R视觉显示设备

,拟采用M该设备配备透视全息icrosofthololens透镜,分辨率达２且具有重量轻、佩３０万光学点,戴方便等一系列优点,适合全程交互课堂使用,根据Ahololens详细规格参数见表２．R教室座位

数配备Microsofthololens３０至４０台不等．

感器可检测手臂肌肉因手、手指、前臂运动等产生的电脉冲,使用肌电图技术将其转变为对电脑、移动设备或遥控工具发出的数字命令．手柄交互作为手势交互的补充,主要完成一些系统控制类交互任务,如更改交互模式、更改系统状态、启动、关停、悬浮菜单、三维图标、翻页等操作,并不是一种直接操作技术,因而可以把其理解为一种具有三维交互功能的“移动飞鼠”．HTCVive交互手柄图５　AR可视化交互教学系统示意图

(３)交互系统．前已述及,AR教育系统必须

满足各种交互方式,如手套手柄交互、手势姿势交互甚至声音交互等R教室建设方案中重点采用前两种．从课堂教学实际出发,我们在

在虚拟现实中,用户身体或肢体的运．

动可以作为一种重要的输入通道方法跟踪人体相关．通过或计算机视觉的部位(如头、手、臂或腿),获得人在物理世界的运动姿态信息作为虚拟现实系统的输入,通过识别算法解释为手势(gesＧ最为主要的虚拟现实输入方式之一ure)或姿势(p

osture,以下统称为手势[８

])而这这是目前种互形式最符合AR课堂教学的需要,可以使．

交“虚拟课堂”直接切换至“现实课堂”,反之亦然为满足上述交互要求,本系统采用手．

势交互

为主,手柄交互为辅的交互策略abs于２０１．加拿大Thalmic

制臂环,可以佩戴在任何一条胳膊的肘关节上方５年上市了一款名为MYO的手势控

,利用手和手指动作为源动力,带动前臂肌肉,利用移动手臂时测量肌肉产生的电脉冲,MYO的传

本是一款针对游戏开发的交互工具,完成诸如系统状态启停、菜单选择、翻页之类的系统控制类交互任务互,当教师操作模型对象时(４

．

)同步系统．无论采用手势交互还是手柄交,学生端能同步看到教师操作过程,如对课件的选择、操纵、导航、系统控制、定位、漫游等,对三维模型的旋转、操控等一系列操作;同时,学生端也是如此,当学生演练某实验操作步骤时,教师需要观察和指导其演示过程,其他学生也需要观摩,这是一对多的控制及显示技术,在涉及Microsofthololens二次开发时应重点解决的技术之一网络((５含无线)其他系统建设．

)、音响、机柜．AR教室的其他硬件包括

、配电以及配套桌椅等与一般多媒体教室相似,此处不再赘述的设计与开发．２．２　软件平台设计及构建．由于AR教育平台采用了　(１

)系统集成软件．

多交互方式以及同步技术,这实际上是一种多通道交互技术,因此需要针对相关设备融合开发交互平台及实现同步,涉及到对上述TMicrosofthololen、发ha,l此文中不再详细论述micLabsMYO、HTCVive等设备的二次开s看,辅助教师授A(R２)．

从应用层面应用软件就是能在AR应用软件的设计与开发．课的软件系统,A我R教育平台运行的、们暂且称之为课件,AR课件将涉及各个行业、专业甚至课A程R根据开发方式的不同将其分为“非建模类”和“．模类”片、视频等．“,这类素材不需要在三维软件中设计模”建非建模类课件内容包括常见的文本、图型,只需将其导入到三维空间水平８０°

的空间内任意二维平面即可．３６０°

、垂直们要把很多内容抽象“建模类”课件的设计制作相对复杂、教室中无法展示的模型,因为我、场景通过AR教育平台叠加在教室的三维空间中,这首先需要设计模型及场景,然后在三维虚拟现实引擎中来实现交互等功能．这一技术与开发虚At２１L第１期马少斌等:一种基于AR的可视化交互教学平台

６９

、、SUG、LihtWave３D、Maa３dsMaxolidＧgy

、、、WorksVirtoolsVRP、VeaQuest３D、UnitDgy３

９],等[但其开发过程基本类似,一般首先使用三维

拟现实系统技术相似,采用的软件平台也很多,如

参考文献:

[]喻晓和．虚拟现实技术基础教程[北京:清华大学１M]．[]申蔚,曾文琪．虚拟现实技术[北京:清华大学出２M]．[]周忠,]周颐,肖江剑．虚拟现实增强技术综述[中国３J．[]张建华．传统教学模式与计算机辅助教学的优缺点及４

[]蔡苏,张晗,薛晓茹,等．增强现实(在教学中的应５AR)[６]BILLINGHURSTM,KATOH．CollaborativeauＧg

():２００２,４５７６４Ｇ７０．

]():用案例评述[中国电化教育,J．２０１７３１Ｇ９,３０．]():改进措施[生活教育,J．２０１５２２９４,６２．():科学:信息科学,２０１５,４５２１５７Ｇ１８０．版社,２０１５．出版社,２０１５．

)软件(如３制作模型或场景,然后在三维dsMax交互软件(如U中实现交互等功能,此方nitD)y３面的技术应用较为成熟,相关研究文献很多,此文不再赘述．

3　结论

学、多媒体辅助教学、虚拟现实教育与实验等教学方式与手段有效结合的一种全新的教育模式,其最大特点就是采用A最大限度地保留教R技术,学过程中的互动与交互环节,使教学过程变得生动有趣,教学效果达到最佳,同时还能降低教学实AR教育平台中所涉及的三维跟踪与定位技术、多通道交互融合技术、同步技术以及三维动画技术的综合应用,都是AR教育平台设计与建设要攻克的技术难点．

验的投入成本,是教育的一种理想境界．但同时,

基于AR的可视化交互教学平台是将传统教

mentedrealitJ]．CommunicationsoftheACM,y[

[]蔡苏,王沛文,杨阳,等．增强现实(技术的教育应７AR)[]张凤军,戴国忠,彭晓兰．虚拟现实的人机交互综述８

[]宁芳,范军,蔡大林,等．基于M９aa和Virtools的采矿y

():２８６８２Ｇ８５．

[]():中国科学:信息科学,J．２０１６,４６１２１７１１Ｇ１７３６．]():用综述[远程教育杂志,J．２０１６,３４５２７Ｇ４０．

]虚拟现实教学系统开发[实验技术与管理,J．２０１１,

[责任编辑:李岚]

AVisualInteractiveTeachinlatformBasedonARgP

(,,;１．SchoolofDiitalMediaLanzhouUniversitfArtsandScienceLanzhou７３００００,Chinagyo

MAShaoＧbin１２,ZHANGChenＧwen１２,WANGWanＧun１gj,

,

,,)２．P&DandPromotionCenterofVRTechnoloLanzhouUniversitrtsandScienceLanzhou７３００００,ChinagyyofA

teachinnvironmentcanbuildsomeexerimentalteachinceneswhichareexensiveandunsuitablegepgsp

,forrealititsbiestdrawbackisthattheteachinontentandteachinrocessarecomleteleaＧygggcgppyspteachershasbeenlost．ThevisualinteractiveteachinlatformbasedonARwillabandonthefictionalgp

,pimmersionteachinoderomoteandstrenthentheexerienceandinteractionofthisteachingmgpgtionwhilethesoftwareplatformmainlesinsteachinstemandcoursewaretomeettheplatＧydggsyandinteractionwithstudentsaccordinotheneedsofteachinontent．gtgc

:;;;Keordsvirtualrealitaumentedrealitvisualizationteachinlatformygygpyw

rated．Studentscanonllearnorexeriencepassivelinthevirtualenvironment．Theinteractionwithypy

environmentratherthanateachinnvironmentinathreeＧdimensionalanoramicwa．Althouhthisgepyg

:)AbstractTheteachinlatformbasedonVRconstructsanimmersivevirtuallearninexeriencingpg(pg

rocessthrouhARtechnolo．Thesstemisdividedintohardwareplatformandsoftwareplatform．pggyy

,ThehardwareplatformmainlealizesmultiＧchannelinteractionsnchronizationandssteminteraＧyryyg

form．ThisARvisualinteractiveteachinstembasedonthetraditionalteachinodecandislagsygmpy

)virtualobectsunderthecontrolofteachersthrouhARhelmet(lassesandrealizesnchronizationjggy