基于双目视觉的双臂协作教学机器人研究与设计

温秀兰１　胡仰１　姚波１　赵艺兵２　宋爱国３　崔伟祥１

基于双目视觉的双臂协作教学机器人研究与设计

摘要

为弥补智能制造、机器人工程等新专业实验装置短缺、学生创新实践能力亟待提升等问题，本文设计了一种基于双目视觉的双臂协作教学机器人．双臂机械部分设计呈对称结构，底座大而稳定，可以降低制造成本及协作抓取难度；研究设计的示教动作还原算法和重投影误差最小化算法，可以提升机器人末端位姿数据采集精度，使双臂协作抓取更准确稳定．该系统不仅能够通过上位机拖动控制双臂运动完成示教编程及动作组实验，而且还能够进行基于视觉引导的图像处理及单臂抓取实验、运动分析实验、在线编程与协调抓取开放实验．该系统成本低、功能丰富、综合性强，且兼具拖动示教与开放性特点，有助于提升学生创新实践能力，非常适合在智能制造、机器人工程等专业实验教学过程中推广应用．关键词

双目视觉；双臂协作；拖动示教；重投影误差

中图分类号ＴＰ２４１􀆰２文献标志码Ａ

收稿日期２０２１⁃０４⁃０６

资助项目国家自然科学基金（５１６７５２５９）；江苏省大学生创新训练项目（２０１９１１２７６０２６Ｚ）；南京工程学院教学研究项目（２０１９ＹＢ０９）作者简介

温秀兰，博士，教授，主要从事精密计量、机器人控制标定技术等．ｚｄｈｘｗｘｌ＠ｎｊｉｔ．ｅｄｕ．ｃｎ１２南京工程学院南京工程学院自动化学院，南京，２１１１６７３南京工业中心／创新创业学院，东南大学，２１１１６７

２１１１９６

仪器科学与工程学院，南京，０　引言

　大国促进经济转型发展的战略选择　随着全球产业竞争格局的重大调整，欧美等发达国家纷纷以制造业，重视制造业成为世界主要作为振兴实体经济的重要抓手．德国率先提出“工业４􀆰０”概念，美国推行“先进制造伙伴关系”计划，２０１５年我国提出了《中国制造２０２５》规划［１］现《中国制造，全球制造业的发展正在集中指向智能化制造２０２５》宏伟目标，教育部针对机器人及智能制造人才缺、精密制造．为实乏问题，分别于２０１５年和２０１７年批准成立“机器人工程”专业和“智能制造工程”专业．２０１５年东南大学获批设置国内首个“机器人工程”专业，至２０２０年全国已有３０２所高校获批“机器人工程”专业，２１２所高效获批“智能制造工程”专业．这两个专业涉及新技术多，综合性、实践性强．为满足新专业建设要求，提升学生实践创新能力，亟需教学实验平台支撑［２⁃３］机器人作为高新技术的载体．

，集机、电、控、图像处理于一体，涉

及多门课程理论知识和实践教学，且易于激发学生学习兴趣，易于进行拓展实验，可以提升学生创新能力，为此在实践教学中越来越受到重视，成为近两年研究热点［４⁃１０］心技术，文献［４］设计了一种平面二自由度的机器人实验平台．考虑到轨迹规划及控制是机器人核，用于开展机器人的轨迹规划和控制实验．为模拟病人颈部和脊柱的运动和力学特性，文献［５］开发设计了一种旋提操作教学机器人．针对工业机器人控制系统封闭和现有实验教学设备功能有限的现状，文献［６］设计了一款机器人手臂开放式控制实验平台，基于该平台能够开展机器人关节运动控制、手臂协制实验．为了解决实验教学过程中机器人结构复杂、成本高、编程效率低等问题，文献［７］设计了一种基于

上位机控制的拖动示教教学机器人系统，该系统在设置好相关参数后只需根据上位机操作界面提示拖动机械臂运动就可以对机器人进行快速编程．文献［８］将双目视觉、搬运机器人和工业无线网等技术相结合，设计开发了一款智能搬运机器人实验平台；文献［９］介绍了一种基于计算机视觉开源数据库ＯｐｅｎＣＶ，使用Ｐｙｔｈｏｎ语言进行集成开发的管道巡检机器人视觉系统实验教学平台设计；文献［１０］设计了一款俯视相机辅助的地面机器人导航系统综合实验平台，旨在解决复杂地形造成的各种不确定性．目前有关机器人实验教学平台多是针对特定应用对象或完成特定功能而研发的．“机器人工程”专业、“智

学报（自然科学版），２０２１，１３（３）：３０４⁃３１０

ＪｏｕｒｎａｌｏｆＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ），２０２１，１３（３）：３０４⁃３１０

３０５

　能制造工程更好地掌握理论知识和实践技能　　　”专业综合性、实践性强，提升实践创新能，为使学生能够力，本文研究设计了集机、电、控、图像处理于一体，兼具拖动示教与开放性实验特点的双臂协作教学机器人．

１　机械结构设计

本研究机器人组成如图１所示，由机器人本体、控制装置、视觉装置组成．其中机器人本体包括左机械臂、右机械臂、末端机械手、总线舵机、舵机连接件，控制装置包括树莓派４Ｂ、舵机控制板、ＰＣ机及串口通信电路，视觉装置由双目摄像头、光源等组成．

图１　机器人系统组成

Ｆｉｇ􀆰１　Ｒｏｂｏｔｓｙｓｔｅｍｃｏｍｐｏｓｉｔｉｏｎ

为了提高机械臂稳定性、降低设计成本，机械臂

底座设计成大面积，双臂呈对称结构［１１］械制造难度的前提下达到示教的任务要求，在不增加机．左、右机械臂分别由６个舵机、舵机控制板、舵机连接件以及末端执行机构组成，机械结构如图２所示．该机器人左、右臂共１２个舵机均由上位机控制，可以在上位机里通过拖动各舵机对应的滑动按钮改变各舵机的角度值，或者是编辑一系列动作构成动作组，烧录上传至舵机控制板．为了使机器人末端执行机构更具适应性，选取了可拆卸的机械手掌，可以针对不同工作场合变换末端执行机构，以节省成本、提高工作效率．

２　软硬件设计

２􀆰１　硬件设计

机器人硬件由主控制器、舵机控制板、总线舵机、双目摄像头、末端机械手等组成．主控制器采用树莓派４Ｂ，搭载１􀆰５ＧＨｚ的６４位四核处理器，支持蓝牙ＭＨｚ５􀆰０，为满足高速图像处理的要求，选用５００ＵＳＢ的传输需求３􀆰０ＧＰＵ，与也支持Ｗｉ⁃Ｆｉ与有线网络，并自带２个，有双目摄像头的预留接口２个ＵＳＢ２􀆰０，适用于不同场景下的数据．该机器人的舵

图２　双臂机器人机械结构

Ｆｉｇ􀆰２　Ｍｅｃｈａｎｉｃａｌｓｔｒｕｃｔｕｒｅｄｉａｇｒａｍｏｆｔｈｅｄｕａｌ⁃ａｒｍｒｏｂｏｔ

机控制板使用ＳＴＭ３２Ｆ１，和８／１６位设备相比，所采用的ＡＲＭＣｏｒｔｅｘ⁃Ｍ３３２位ＲＩＳＣ处理器提供了更高的浮点计算能力，最高工作频率７２ＭＨｚ，其拓展Ｉ／Ｏ口可以满足高达２２７３２路舵机控制．总线舵机采用ＬＤＸ⁃与０和～１８０°．ＬＤＸ⁃１８０双目摄像头采用小觅摄像头标准版型号，转动角度范围分别为０～２７０°，型号为Ｓ１０３０⁃ＩＲ⁃１２０／Ｍｏｎｏ，深度分辨率为６０ｆｐｓ．２􀆰２　软件设计

机器人软件系统由上位机和下位机两部分组

成．上位机主要实现机器人的拖动示教、视觉引导、运动分析、在线编程、协作抓取５大实验功能，由ＱＴ语言编写，主要由操作界面程序、串口程序、舵机程序以及接口程序构成．在拖动示教实验模块中，操作人员可以在操作界面上通过拖动各个舵机参数的滑动按钮发送相应的舵机参数值到下位机，控制其实现不同的功能以及修改必要的运行参数值．在示教结束后，在按下“复位”按钮后，机械臂会恢复初始舵机角度值，实现机器人整体复位．在运动学分析实验模块中，操作人员能实现左、右机械臂的正逆运动学解算．在视觉引导实验模块中，操作人员通过选择标定方式、图像处理算法以及双目视觉算法，实现目标工件准确定位．为了提升学生创新能力，在线编程实验模块和协调抓取实验模块设计成开放性实验，由操作人员设计编写机械臂协作抓取工程项目文件，通过编译上传，来进行机械臂的协作抓取，并能在协作抓取界面中，清晰地观察到协作抓取的成功率．

下位机软件由Ｃ语言编写，主要分为示教程序和还原程序，上位机负责切换这两种模式．在上位机开始拖动示教时，该舵机控制板负责接收上位机软件传递的舵机参数及动作组文件，来控制舵机以一定速度旋转相应角度．如果接收到复位指令，舵机控制板负责将预先存储好的初始舵机参数调出，控制

３０６

ＷＥＮＸｉｕｌａｎ，ｅｔａｌ．Ｄｅｓｉｇｎｏｆｄｕａｌ⁃ａｒｍｃｏｏｐｅｒａｔｉｖｅｔｅａｃｈｉｎｇｒｏｂｏｔｂａｓｅｄｏｎｂｉｎｏｃｕｌａｒｖｉｓｉｏｎ．

温秀兰，等．基于双目视觉的双臂协作教学机器人研究与设计．

舵机复位至初始位置．

３　算法设计

３􀆰１　示教动作还原算法

本设计由上位机为舵机控制板提供复位请求，由舵机控制板程序的中断服务函数负责执行复位操作，控制左、右机械臂各舵机恢复初始角度值．该舵机控制板是以ＳＴＭ３２Ｆ１为核心，有６个普通定时器和２个高级定时器，可设置复位请求为最高中断优先级，置于中断向量表里的第１位．在还原示教动作前，舵机控制板首先需要将１２个舵机的初始角度值加载到内存，初始化每个舵机的数据寄存器、ＧＰＩＯ引脚，然后，舵机控制板会进入还原示教动作的执行程序中，将１２个舵机的初始角度值转化为ＰＷＭ参数值，通过ＰＷＭ参数值控制舵机转动至初始角度．当“复位”按钮按下时，舵机控制板会不断比较当前舵机角度值与初始角度值，直到两者相等，完成示教动作．还原程序流程如图３所示．

图３　动作还原程序流程

Ｆｉｇ􀆰３　Ｆｌｏｗｃｈａｒｔｏｆｔｈｅａｃｔｉｏｎｒｅｓｔｏｒｉｎｇｐｒｏｇｒａｍ

３􀆰２　重投影误差最小化算法

在该基于双目视觉的双臂协调机器人系统中，目标工件的识别与定位是必不可少的一步．传统的目标识别常常使用迭代最近点的点云配准方，这种

方法一般需要提供一个较好的初值，也就是需要粗配准，但是由于算法本身缺陷，最终迭代结果可能会陷入局部最优，导致配准失败，往往达不到想要的效果［１２］本设计采用重投影误差最小化．

［１３］的方法，能够

在一定程度上抑制重投影误差对目标工件定位过程带来的影响，可以得到更为准确的工件中心点坐标值．用于优化的目标函数［１４］为

ｍｉｎ∑ｎ

（２ｑｉ－Ｐ（Ｐｉ，（ＴＯＯ′１　　ｉＰ＝１

（Ｐ１）ｉ

，（ＴＯＯ３ｋ１））－ｉ，（ＴＯＯ２

′Ｏｎ２）ｉ，（ＴＯ３ｋ２

））２式中：ｑ，ｉ＝[ｍｉ

ｉ]Ｔ＝[ｘ（１）

ｉ

ｙｉ

ｚｉ]Ｔ第ｉ组观测点在像素坐标系下和在测量坐标系下的，Ｐｉ，分别代表

值；Ｏ左机械臂末端３，Ｏ，Ｏ１，Ｏ２，Ｏ′、１和Ｏ′右机械臂末端２分别为双目摄像头、工作区域、、左机械臂底盘和

右机械臂末端中心点；Ｐ表示投影矩阵；（ＴＯＯ３ｋ

左机械臂末端为中心的坐标系与以双目摄像头视角

１）为以

为中心的测量坐标之间第ｋ次的转换矩阵，（ＴＯＯ′１第ｉ组观测点在以左机械臂底盘为中心的坐标系与１

）ｉ为以左机械臂末端为中心的坐标系之间的转换矩阵（优化的结果Ｔ，

ＯＯ′２２），（ＴＯＯ３ｋ２）亦同理．当该目标函数最小时，得到最ＴＯＯ′３和ＴＯＯ′３的坐标系与测量坐标系之间的最优转换矩阵１２

，即以左、右机械臂末端为中心．该操作从ｎ组观测数据中筛选出最优转换矩阵来对左、右机械臂末端以及工件中心点进行准确识别与定位．其具体步骤如下Ｓｔｅｐ１：：输入数据；

将双目摄像头获取的ｎ组观测数据作为工作区Ｓｔｅｐ２：（域为将以左机械臂末端为中心的坐标系与以

中心的坐标之间第ｋ区域为中心的坐标之间第Ｔ）次的转换矩阵

Ｏ′Ｏ１ｋ和以右机械臂末端为中心的坐标系与以工作ｋ次的转换矩阵（ＴＯ′Ｏ２）ｋ作

为已知参数代入待求解的目标方程；

双目摄像头为中心的测量坐标之间第Ｓｔｅｐ３：将以左机械臂底盘为中心的坐标系与以ｋ－１次的转

换矩阵（ＴＯＯ３ｋ－１

与以双目摄像头为中心的测量坐标之间第１）

和以右机械臂底盘为中心的坐标系ｋ－１次

的转换矩阵Ｓｔｅｐ４：（采ＴＯＯ３ｋ－１用２）

Ｌｅｖｅｎｂｅｒｇ⁃Ｍａｒｑｕａｒｄｔ作为优化的初始值；（ＴＯ算法求解

Ｏ３ｋＯ１）与（ＴＯ３ｋ２）；

３＝３ｋＯ３３ｋ等式同时成立Ｓｔｅｐ５：判断等式，则得到优化后的转换矩阵ＴＯＯ１（ＴＯＯ１），ＴＯ２＝（ＴＯＯＴＯ２），若

Ｏ′３和ＴＯ３若等式不同时成立，则令ｋ＝ｋ＋１并返回Ｓｔｅｐ２．

１Ｏ′２

；学报（自然科学版），２０２１，１３（３）：３０４⁃３１０

ＪｏｕｒｎａｌｏｆＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ），２０２１，１３（３）：３０４⁃３１０

３０７

４　机器人原型系统及软件平台

为了验证设计方案的可行性，根据上述原理开发的机器人原型系统如图４所示．

ｄｏｗｓ操作系统下通过ＱＴ开发工具对系统功能进行设计编程．上位机界面如图５所示，由拖动示教、视觉引导、运动分析、在线编程、协作抓取５大实验模块组成．下位机借助Ｋｅｉｌ５平台对舵机控制板进行开发调试．

基于软件系统的多任务要求，软件平台在Ｗｉｎ⁃

下位机程序，由舵机控制板负责控制动作组文件的执行时间与循环次数．５􀆰２　视觉引导实验

视觉引导实验模块如图６所示，学生可以通过连接双目摄像头抓拍图像，来进行标定与图像处理．还可选择ＳＡＤ、ＳＳＤ以及ＳＧＢＭ等算法来识别目标工件的中心点坐标，然后反馈给舵机控制板，来引导机器人的一个机械臂准确、快速地抓取到目标工件．５􀆰３　运动学分析实验

该实验模块能够完成单臂运动学分析实验．该机器人左右臂结构相同，均由６个关节串联连接，根据Ｄｅｎａｖｉｔ⁃Ｈａｒｔｅｎｂｅｒｇ（ＤＨ）模型，可以得到机器人连杆相邻坐标系之间的变换关系［１５］，即

Ａｉ＝Ｒ（Ｚｉ，θｉ）Ｔ（Ｚｉ，ｄｉ）Ｔ（Ｘｉ，ａｉ）Ｒ（Ｘｉ，αｉ），

（２）

５　实验功能测试

５􀆰１　拖动示教实验

拖动示教实验通过调节滑条上滑块的位置来改变各舵机角度值，接着点击“开始示教”按钮把机器人各舵机参数值直接上传到程序编辑窗口．本系统的示教程序格式统一为“舵机ＩＤ：参数”格式，每条程序以分号结尾．当“停止示教”按钮按下时，舵机参数值不变，机器人位姿也不会发生变化．示教过程结束后，可以通过点击“复位”按钮让机器人执行还原动作程序，恢复初始舵机角度值．该实验模块能同时实现动作组控制示教功能，在点击“添加动作”按钮后，会弹出动作组添加窗口，通过按序编辑多组“舵机ＩＤ：参数”的方法，程序会自动整合动作组文件．在点击“上传”按钮后，程序将控制动作组文件传输至

其中：ａｉ，ｄｉ，αｉ，θｉ分别表示机器人第ｉ个关节的连杆θｉ）表示绕Ｚｉ轴转动关节角θｉ的旋转矩阵，Ｔ（Ｚｉ，ｄ

ｉ

长度、连杆偏距、连杆扭角及关节角的名义值；Ｒ（Ｚｉ，动学分析，即由已知的６个关节转角θ１，θ２，θ３，θ４，θ５，θ６求末端的位姿矩阵Ｔｎ过程．Ｔｎ＝Ａ１Ａ２Ａ３Ａ４Ａ５Ａ６Ａｔｏｏｌ

ｎéêｘêｎｙ＝êêｎｚê０ë

ｏｘｏｙｏｚ０

ａｘａｙａｚ０

ＰｘùúＰｙú

ú．（３）Ｐｚú１úû

）表示沿Ｚｉ轴移动距离ｄｉ的平移矩阵．机器人正运

Ｆｉｇ􀆰４　Ｒｏｂｏｔｐｒｏｔｏｔｙｐｅｓｙｓｔｅｍ

图４　机器人原型系统

３０８

ＷＥＮＸｉｕｌａｎ，ｅｔａｌ．Ｄｅｓｉｇｎｏｆｄｕａｌ⁃ａｒｍｃｏｏｐｅｒａｔｉｖｅｔｅａｃｈｉｎｇｒｏｂｏｔｂａｓｅｄｏｎｂｉｎｏｃｕｌａｒｖｉｓｉｏｎ．

温秀兰，等．基于双目视觉的双臂协作教学机器人研究与设计．

图５　上位机界面Ｆｉｇ􀆰５　Ｕｐｐｅｒｃｏｍｐｕｔｅｒｉｎｔｅｒｆａｃｅ

图６　视觉引导实验

Ｆｉｇ􀆰６　Ｖｉｓｕａｌｇｕｉｄａｎｃｅｅｘｐｅｒｉｍｅｎｔ

根据机械臂ＤＨ模型几何参数值及其末端的期望位姿，求解逆运动学方程可以得到６个关节角：θ＝［θθ其中２

θ３

θ４

θ５

θ６］＝ＩＫＰ（０ｎ

Ｔ），

（４）

（４），ＩＫＰ（１

）表示工业机器人逆运动学求解函数．式人运动范围及以最小的能量消耗或者最短的行程到可以得到８组解．在实际运动过程中，根据机器达的关节角，确定一组最优解关节角．该实验模块如图７所示．

５􀆰４　在线编程实验

在线编程实验模块设计成开放式结构，如图８所示，学生可以在该实验中学习如何编写舵机控制板下位机程序，熟悉工程文件的创建规则、ＧＰＩＯ口的使用、库函数的调用、ＳＴＭ３２的系统文件、位操作、时钟电路与ＰＷＭ驱动舵机等有关代码及编程逻辑．

图７　左机械臂逆运动学分析实验Ｆｉｇ􀆰ｅｘｐｅｒｉｍｅｎｔ７　Ｉｎｖｅｒｓｅｏｆｋｉｎｅｍａｔｉｃｓｌｅｆｔｍａｎｉｐｕｌａｔｏｒ

ａｎａｌｙｓｉｓ图８　在线编程实验

Ｆｉｇ􀆰８　Ｏｎｌｉｎｅｐｒｏｇｒａｍｍｉｎｇｅｘｐｅｒｉｍｅｎｔ

５􀆰５　协作抓取实验

协作抓取开放实验需要根据在线编程的实验结果进一步完成，如图９所示．学生可以通过标定结果示意图观察到被框出的工件轮廓以及中心点坐标，在点击“读取标定结果”按钮后，将所得的工件中心点坐标反馈给舵机控制板，由在线编程实验中设计编写的协作抓取工程文件，控制一只机械臂对目标工件的抓取；当按下“开始协作抓取”按钮后，控制另一机械臂仿照前一机械臂的运动轨迹运动至相同位置执行交换、组合与放置任务，来达到协作抓取的目的．该界面会显示自行设定好的协作抓取次数，并对抓取成功率做出显示，综合评估学生的实践设计能力．

学报（自然科学版），２０２１，１３（３）：３０４⁃３１０

ＪｏｕｒｎａｌｏｆＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ），２０２１，１３（３）：３０４⁃３１０

３０９

图９　协作抓取实验

Ｆｉｇ􀆰９　Ｃｏｌｌａｂｏｒａｔｉｖｅｇｒａｓｐｉｎｇｅｘｐｅｒｉｍｅｎｔ

６　结论

为解决智能制造、机器人工程等新专业实验装置短缺、学生创新实践能力亟待提升等问题，本文完成了基于双目视觉的双臂协作教学机器人机械结构设计、硬件设计、上位机软件和下位机控制软件研发．为提高机器人末端位姿数据采集精度，提出了重投影误差最小化算法用于该机器人使双臂协作抓取更准确稳定．经机器人原型系统设计制造及实验研究，验证了该系统不仅能够通过上位机拖动控制双臂运动完成示教编程及动作组实验，而且还能够进行基于视觉引导的图像处理及单臂抓取实验、运动分析实验、在线编程实验及协调抓取开放实验．该系统不仅兼具拖动示教编程效率高与开放灵活提升创新能力等特点，而且成本低，非常适于在新专业自主创新实践教学中推广应用．

参考文献

Ｒｅｆｅｒｅｎｃｅｓ

［１］　李源潮器会．协同融合共赢ｈｔｔｐ：∥ｎｅｗｓ．开幕式ｘｉｎｈｕａｎｅｔ．上的引领智能社会致辞ｃｏｍ［ＥＢ／ｐｏｌｉｔｉｃｓ／ＯＬ］．：在２０１５世界机

／［２０１５⁃１１２０２０⁃１２⁃１２］．／２４／ｃ［２］　１２８４５９７７７．ｈｔｍ

⁃孙茜究，孙立宁．智能制造工程专业教学创新探索性研

ＳＵＮ［Ｊ］．教育教学论坛，２０２０（４８）：１８３⁃１８４

ｏｆｉｎｔｅｌｌｉｇｅｎｔＱｉａｎ，ＳＵＮｍａｎｕｆａｃｔｕｒｉｎｇＬｉｎｉｎｇ．Ｒｅｓｅａｒｃｈｅｎｇｉｎｅｅｒｉｎｇｏｎｔｅａｃｈｉｎｇｉｎｎｏｖａｔｉｏｎ［３］　ｕｃａｔｉｏｎ贺顺设计，２０２０，１２（３）：３８４⁃３８９

［温秀兰ＴｅａｃｈｉｎｇＦｏｒｕｍ，２０２０（４８）：１８３⁃１８４

ｓｐｅｃｉａｌｔｙ［Ｊ］．Ｅｄ⁃Ｊ］．南京．基于信息ＥｔｈｅｒＣＡＴ工程大学的六自由度自平衡平台

学报（自然科学版），ＨＥＳｈｕｎ，ＷＥＮＸｉｕｌａｎ．Ｓｉｘｄｅｇｒｅｅ⁃ｏｆ⁃ｆｒｅｅｄｏｍｓｅｌｆ⁃ｂａｌａｎ⁃

ｃｉｎｇＮａｎｊｉｎｇｐｌａｔｆｏｒｍ［４］　

（ＮａｔｕｒａｌＵｎｉｖｅｒｓｉｔｙｄｅｓｉｇｎｏｆｂａｓｅｄＩｎｆｏｒｍａｔｉｏｎｏｎＥｔｈｅｒＣＡＴＳｃｉｅｎｃｅ［＆Ｊ］．ＴｅｃｈｎｏｌｏｇｙＪｏｕｒｎａｌｏｆ葛连正［Ｊ］．，Ｓｃｉｅｎｃｅ赵立军．Ｅｄｉｔｉｏｎ），２０２０，１２（３）：３８４⁃３８９

机器人轨迹规划与控制实验平台ＧＥ实验技术与管理，２０２０，３７（９）：１０２⁃１０５

ｒｏｂｏｔＬｉａｎｚｈｅｎｇ，ｔｒａｊｅｃｔｏｒｙＺＨＡＯｐｌａｎｎｉｎｇＬｉｊｕｎ．ａｎｄＥｘｐｅｒｉｍｅｎｔａｌｃｏｎｔｒｏｌ［ｐｌａｔｆｏｒｍｏｆ［５］　

付铁Ｔｅｃｈｎｏｌｏｇｙ与应用探索，张庆东ａｎｄ，李健Ｍａｎａｇｅｍｅｎｔ，２０２０，３７（９）：１０２⁃１０５Ｊ］．Ｅｘｐｅｒｉｍｅｎｔａｌ，ＦＵｅｘｐｌｏｒａｔｉｏｎＴｉｅ，ＺＨＡＮＧ［Ｊ］．机械设计与制造等．旋提操作教学机器人的研究Ｑｉｎｇｄｏｎｇ，ＬＩＪｉａｎ，，２０２０（１０）：２７０⁃２７２ｅｔｒｏｂｏｔ［Ｊ］．Ｍａｃｈｉｎｅｒｙｏｎｒｏｔａｔｉｏｎ⁃ｔｒａｃｔｉｏｎａｌ．Ｒｅｓｅａｒｃｈａｎｄ［６］　

２７０⁃２７２

Ｄｅｓｉｇｎ＆Ｍａｎｕｆａｃｔｕｒｅ，２０２０（ｍａｎｉｐｕｌａｔｉｏｎｔｅａｃｈｉｎｇ１０）：钱钧实验教学中的应用，訾斌，钱森．机器人手臂开放式控制实验平台在３８８⁃３８９

［Ｊ］．教育教学论坛，２０２０（３５）：ＱＩＡＮｐｌａｔｆｏｒｍＪｕｎ，ＺＩ［７］　

ｔｉｏｎ［Ｊ］．ＥｄｕｃａｔｉｏｎｏｆｒｏｂｏｔＢｉｎ，ＱＩＡＮｍａｎｉｐｕｌａｔｏｒＳｅｎ．Ａｐｐｌｉｃａｔｉｏｎｆｏｒｏｆｏｐｅｎｃｏｎｔｒｏｌ赵艺兵究与设，１３１，１７５

计王振豪［Ｊ］．实，倪银堂ＴｅａｃｈｉｎｇＦｏｒｕｍ，２０２０（３５）：３８８⁃３８９ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｅｄｕｃａ⁃验技术，等与．管拖动示教教学机器人研理，２０２０，３７（６）：１２８⁃ＺＨＡＯＲｅｓｅａｒｃｈＹｉｂｉｎｇ，ｒｏｂｏｔａｎｄｄｅｓｉｇｎＷＡＮＧｏｆＺｈｅｎｈａｏ，ｄｒａｇｇｉｎｇｉｎｓｔｒｕｃｔｉｏｎａｌＮＩＹｉｎｔａｎｇ，ｔｅａｃｈｉｎｇｅｔａｌ．［８］　

２０２０，３７（６）：１２８⁃１３１，１７５

［Ｊ］．ＥｘｐｅｒｉｍｅｎｔａｌＴｅｃｈｎｏｌｏｇｙａｎｄＭａｎａｇｅｍｅｎｔ，陈一铭传感网络软件设，吴耀光，陈科全１１５⁃１１７

计［Ｊ］．，物等．联实验教学机器人的无线网技术，２０２１，１１（１）：ＣＨＥＮＤｅｓｉｇｎＹｉｍｉｎｇ，ｅｘｐｅｒｉｍｅｎｔａｌｏｆｗｉｒｅｌｅｓｓＷＵＹａｏｇｕａｎｇ，ｓｅｎｓｏｒｎｅｔｗｏｒｋＣＨＥＮＫｅｑｕａｎ，ｓｏｆｔｗａｒｅｅｔａｌ．ｆｏｒ［９］　

ｎｏｌｏｇｉｅｓ，２０２１，１１（１）：１１５⁃１１７

ｔｅａｃｈｉｎｇｒｏｂｏｔ［Ｊ］．ＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇｓＴｅｃｈ⁃刘送永教学平台设计，刘后广１８３⁃１８６，１９４

［，陈松Ｊ］．实．管道巡检机器人视觉系统实验验技术与管理，２０２０，３７（９）：ＬＩＵｐｅｒｉｍｅｎｔａｌＳｏｎｇｙｏｎｇ，ＬＩＵＨｏｕｇｕａｎｇ，ＣＨＥＮＳｏｎｇ．Ｄｅｓｉｇｎｏｆｅｘ⁃ｖｉｓｕａｌ［１０］　

ｍｅｎｔ，２０２０，３７（９）：１８３⁃１８６，１９４

ｓｙｓｔｅｍ［Ｊ］．ＥｘｐｅｒｉｍｅｎｔａｌｔｅａｃｈｉｎｇｐｌａｔｆｏｒｍｆｏｒＴｅｃｈｎｏｌｏｇｙｐｉｐｅｌｉｎｅｉｎｓｐｅｃｔｉｏｎａｎｄＭａｎａｇｅ⁃ｒｏｂｏｔ曹明宇器人导航实验平台，袁家遥，张志明，等．俯视相机辅助的地面机（１１）：８３⁃８７，１３５

［Ｊ］．实验室研究与探索，２０２０，３９ＣＡＯｐｅｒｉｍｅｎｔａｌＭｉｎｇｙｕ，ＹＵＡＮＪｉａｙａｏ，ＺＨＡＮＧＺｈｉｍｉｎｇ，ｅｔａｌ．Ｅｘ⁃ｄｅｄ［１１］　

ｉｎｂｙｏｖｅｒｌｏｏｋｉｎｇｐｌａｔｆｏｒｍｃａｍｅｒａ［Ｊ］．ＲｅｓｅａｒｃｈｏｆｇｒｏｕｎｄｒｏｂｏｔｎａｖｉｇａｔｉｏｎａｎｄＥｘｐｌｏｒａｔｉｏｎｓｙｓｔｅｍａｉ⁃徐文福Ｌａｂｏｒａｔｏｒｙ，２０２０，３９（１１）：８３⁃８７，１３５

机器人轨迹规划研究，王学谦，薛强，等．６９⁃８０

［Ｊ］．保持基座稳定的双臂空间自动化学报，２０１３，３９（１）：ＸＵｔｒａｊｅｃｔｏｒｙＷｅｎｆｕ，ＷＡＮＧＸｕｅｑｉａｎ，ＸＵＥＱｉａｎｇ，ｅｔｂａｓｅｐｌａｎｎｉｎｇｏｆｄｕａｌ⁃ａｒｍｓｐａｃｅｒｏｂｏｔｋｅｅｐｉｎｇａｌ．Ｓｔｕｄｙｔｈｅｏｎ［１２］　

（１）：６９⁃８０

ｓｔａｂｉｌｉｚｅｄ［Ｊ］．ＡｃｔａＡｕｔｏｍａｔｉｃａＳｉｎｉｃａ，２０１３，３９罗保林二乘的双目机器人手眼标定算法，张献州，罗超．融合罗德里格矩阵和整体最小［Ｊ］．测绘科学技术学报，２０１９，３６（３）：２４４⁃２４９

３１０

ＷＥＮＸｉｕｌａｎ，ｅｔａｌ．Ｄｅｓｉｇｎｏｆｄｕａｌ⁃ａｒｍｃｏｏｐｅｒａｔｉｖｅｔｅａｃｈｉｎｇｒｏｂｏｔｂａｓｅｄｏｎｂｉｎｏｃｕｌａｒｖｉｓｉｏｎ．

温秀兰，等．基于双目视觉的双臂协作教学机器人研究与设计．

ＬＵＯＢａｏｌｉｎ，ＺＨＡＮＧＸｉａｎｚｈｏｕ，ＬＵＯＣｈａｏ．Ｈａｎｄ⁃ｅｙｅｃａｌｉｂｒａｔｉｏｎａｌｇｏｒｉｔｈｍｆｏｒｂｉｎｏｃｕｌａｒｒｏｂｏｔｂａｓｅｄｏｎＬｏ⁃ｄｒｉｇｕｅｓｍａｔｒｉｘａｎｄｔｏｔａｌｌｅａｓｔｓｑｕａｒｅｓ［Ｊ］．ＪｏｕｒｎａｌｏｆＧｅｏ⁃ｍａｔｉｃｓＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，２０１９，３６（３）：２４４⁃２４９

［１３］　马清华，燕必希，董明利，等．最小化重投影误差的手

眼标定优化算法［Ｊ］．激光杂志，２０２１，４２（１）：１０４⁃１０８ＭＡＱｉｎｇｈｕａ，ＹＡＮＢｉｘｉ，ＤＯＮＧＭｉｎｇｌｉ，ｅｔａｌ．Ｈａｎｄ⁃ｅｙｅｃａｌｉｂｒａｔｉｏｎｏｐｔｉｍｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｍｉｎｉｍｉｚｉｎｇｒｅｐｒｏｊｅｃｔｉｏｎｅｒｒｏｒ［Ｊ］．ＬａｓｅｒＪｏｕｒｎａｌ，２０２１，４２（１）：１０４⁃１０８

［１４］　ＬｅｖｉｎｅＳ，ＰａｓｔｏｒＰ，ＫｒｉｚｈｅｖｓｋｙＡ，ｅｔａｌ．Ｌｅａｒｎｉｎｇｈａｎｄ⁃

ｅｙｅｃｏｏｒｄｉｎａｔｉｏｎｆｏｒｒｏｂｏｔｉｃｇｒａｓｐｉｎｇｗｉｔｈｄｅｅｐｌｅａｒｎｉｎｇａｎｄｌａｒｇｅ⁃ｓｃａｌｅｄａｔａｃｏｌｌｅｃｔｉｏｎ［Ｊ］．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＲｏｂｏｔｉｃｓＲｅｓｅａｒｃｈ，２０１８，３７（２）：４２１⁃４３６

［１５］　温秀兰，康传帅，宋爱国，等．基于全位姿测量优化的

机器人精度研究［Ｊ］．仪器仪表学报，２０１９，４０（７）：８１⁃８９

ＷＥＮＸｉｕｌａｎ，ＫＡＮＧＣｈｕａｎｓｈｕａｉ，ＳＯＮＧＡｉｇｕｏ，ｅｔａｌ．Ｓｔｕｄｙｏｎｒｏｂｏｔａｃｃｕｒａｃｙｂａｓｅｄｏｎｆｕｌｌｐｏｓｅｍｅａｓｕｒｅｍｅｎｔａｎｄｏｐｔｉｍｉｚａｔｉｏｎ［Ｊ］．ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆＳｃｉｅｎｔｉｆｉｃＩｎｓｔｒｕ⁃ｍｅｎｔ，２０１９，４０（７）：８１⁃８９

Ｄｅｓｉｇｎｏｆｄｕａｌ⁃ａｒｍｃｏｏｐｅｒａｔｉｖｅｔｅａｃｈｉｎｇｒｏｂｏｔｂａｓｅｄｏｎｂｉｎｏｃｕｌａｒｖｉｓｉｏｎ

ＷＥＮＸｉｕｌａｎ１　ＨＵＹａｎｇ１　ＹＡＯＢｏ１　ＺＨＡＯＹｉｂｉｎｇ２　ＳＯＮＧＡｉｇｕｏ３　ＣＵＩＷｅｉｘｉａｎｇ１

２ＩｎｄｕｓｔｒｉａｌＣｅｎｔｅｒ／ＳｃｈｏｏｌｏｆＩｎｎｏｖａｔｉｏｎａｎｄＥｎｔｒｅｐｒｅｎｅｕｒｓｈｉｐ，ＮａｎｊｉｎｇＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ　２１１１６７

３ＳｃｈｏｏｌｏｆＩｎｓｔｒｕｍｅｎｔＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＳｏｕｔｈｅａｓｔＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ　２１１１９６

１ＳｃｈｏｏｌｏｆＡｕｔｏｍａｔｉｏｎ，ＮａｎｊｉｎｇＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ　２１１１６７

Ａｂｓｔｒａｃｔ　Ｔｏｍａｋｅｕｐｆｏｒｔｈｅｓｈｏｒｔａｇｅｏｆｅｘｐｅｒｉｍｅｎｔａｌｄｅｖｉｃｅｓｆｏｒｔｈｅｅｍｅｒｇｉｎｇｍａｊｏｒｓｓｕｃｈａｓｉｎｔｅｌｌｉｇｅｎｔｍａｎｕｆａｃ⁃

ｔｕｒｉｎｇａｎｄｒｏｂｏｔｅｎｇｉｎｅｅｒｉｎｇ，ａｓｗｅｌｌａｓｔｈｅｕｒｇｅｎｔｎｅｅｄｓｉｎｉｍｐｒｏｖｉｎｇｓｔｕｄｅｎｔｓ􀆳ｉｎｎｏｖａｔｉｖｅａｎｄｐｒａｃｔｉｃａｌａｂｉｌｉｔｙ，ｗｅｄｅｓｉｇｎａｄｕａｌ⁃ａｒｍｃｏｏｐｅｒａｔｉｖｅｔｅａｃｈｉｎｇｒｏｂｏｔｂａｓｅｄｏｎｂｉｎｏｃｕｌａｒｖｉｓｉｏｎ．Ｔｈｅｍｅｃｈａｎｉｃａｌｐａｒｔｏｆｔｈｅｔｗｏａｒｍｓｉｓａｓｙｍｍｅｔｒｉｃａｌｓｔｒｕｃｔｕｒｅｍｏｕｎｔｅｄｏｎａｂｉｇｓｔａｂｌｅｂａｓｅｔｏｒｅｄｕｃｅｍａｎｕｆａｃｔｕｒｉｎｇｃｏｓｔａｎｄｃｏｏｒｄｉｎａｔｅｄｇｒａｓｐｉｎｇｄｉｆｆｉｃｕｌｔｙ．Ｉｎｏｒｄｅｒｔｏｉｎｃｒｅａｓｅｔｈｅａｃｃｕｒａｃｙｏｆｔｈｅｒｏｂｏｔｔｅｒｍｉｎａｌｐｏｓｅａｃｑｕｉｓｉｔｉｏｎａｎｄｔｈｕｓｉｍｐｒｏｖｅｔｈｅｄｕａｌ⁃ａｒｍｃｏｏｐｅｒａｔｉｖｅｇｒａｓｐｉｎｂｏｔｈａｃｃｕｒａｃｙａｎｄｓｔａｂｉｌｉｔｙ，ｗｅｄｅｓｉｇｎａｔｅａｃｈｉｎｇｍｏｔｉｏｎｒｅｓｔｏｒｉｎｇａｌｇｏｒｉｔｈｍａｎｄａｒｅｐｒｏｊｅｃｔｉｏｎｅｒｒｏｒｍｉｎｉ⁃ａｎｄａｃｔｉｏｎｇｒｏｕｐｅｘｐｅｒｉｍｅｎｔｓ；ａｎｄｔｈｅｒｏｂｏｔｃａｎｎｏｔｏｎｌｙｐｒｏｃｅｓｓｉｍａｇｅｓａｎｄｃｏｎｄｕｃｔｓｉｎｇｌｅ⁃ａｒｍｇｒａｂｂｉｎｇｅｘｐｅｒｉ⁃ｍｅｎｔｓｕｎｄｅｒｖｉｓｕａｌｇｕｉｄａｎｃｅ，ｂｕｔａｌｓｏｃａｒｒｙｏｕｔｍｏｔｉｏｎａｎａｌｙｓｉｓｅｘｐｅｒｉｍｅｎｔｓ，ｏｎｌｉｎｅｐｒｏｇｒａｍｍｉｎｇ，ａｎｄｏｐｅｎｅｘｐｅｒｉ⁃ｔｈｅｒｅｆｏｒｅｉｔｉｓｖｅｒｙｓｕｉｔａｂｌｅｆｏｒｐｒｏｍｏｔｉｏｎａｎｄａｐｐｌｉｃａｔｉｏｎｉｎｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｔｅａｃｈｉｎｇｃｏｕｒｓｅｓｆｏｒｉｎｔｅｌｌｉｇｅｎｔｍａｎｕ⁃ｆａｃｔｕｒｉｎｇ，ｒｏｂｏｔｅｎｇｉｎｅｅｒｉｎｇａｎｄｏｔｈｅｒｒｅｌａｔｅｄｍａｊｏｒｓ．

Ｋｅｙｗｏｒｄｓ　ｂｉｎｏｃｕｌａｒｖｉｓｉｏｎ；ｄｕａｌ⁃ａｒｍｃｏｏｐｅｒａｔｉｏｎ；ｄｒａｇｔｅａｃｈｉｎｇ；ｒｅｐｒｏｊｅｃｔｉｏｎｅｒｒｏｒ

ｍｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍ．Ｔｈｅｕｐｐｅｒｃｏｍｐｕｔｅｒｏｆｔｈｅｓｙｓｔｅｍｃａｎｄｒａｇａｎｄｃｏｎｔｒｏｌｔｈｅｔｗｏａｒｍｓｔｏｄｏｐｒｏｇｒａｍｍｉｎｇｔｅａｃｈｉｎｇｍｅｎｔｓｏｆｃｏｏｒｄｉｎａｔｅｄｇｒａｂｂｉｎｇ．Ｔｈｅｐｒｏｐｏｓｅｄｓｙｓｔｅｍｉｓｃｏｓｔ⁃ｅｆｆｅｃｔｉｖｅ，ｒｉｃｈｉｎｆｕｎｃｔｉｏｎｓ，ｈｉｇｈｌｙｉｎｔｅｇｒａｔｉｖｅ，ａｎｄａｂｌｅｏｆ

ｂｏｔｈｄｒａｇｔｅａｃｈｉｎｇａｎｄｏｐｅｎｅｘｐｅｒｉｍｅｎｔｓ，ｗｈｉｃｈｉｓｈｅｌｐｆｕｌｔｏｉｍｐｒｏｖｅｓｔｕｄｅｎｔｓ􀆳ｉｎｎｏｖａｔｉｖｅａｎｄｐｒａｃｔｉｃａｌａｂｉｌｉｔｙ，