人工智能在医疗领域中应用的挑战与对策

•专论.

中国医学伦理学

2019年03月Mar. 2019

第32卷第03期

Vol. 32 No. 03

人工智能在医疗领域中应用的挑战与对策$

周吉银，刘丹，曾圣雅

(陆军军医大学第二附属医院国家药物临床试验机枸，重

庆

400037，zhoujiyin@gmail. com)

〔摘要〕诊断专家系统、医疗机器人等人工智能产品正不断应用于医疗领域，提升了效率和效益，也减轻 了医护人员的劳动量，但不可避免地带来诸多伦理问题。人工智能应用于医疗领域的伦理挑战包括公平受 益、失业、患者隐私、医疗安全、责任划分和监管等问题。其原因可能有未遵守基本伦理原则、技术缺陷、立 法和监管缺失、隐含算法偏见、数据质量欠佳、公众素养不足等；针对形成原因提出解决对策，包括明确人类 优先、故障透明且可追溯、代表性样本和研究者以规避偏见、研发生产销售的全过程监管、规范以明确道德 伦理边界、立法以健全监督管理体系、垄断数据、通过教育提升公众认知水平和全球治理以共同应对挑 战等。确保医疗领域应用人工智能产品以“为人类利益服务，绝不伤害人类”为原则，在减轻医护人员重复 劳动以提升效率和减少误诊、漏诊的前提下，切实提升医疗服务质量。

〔关键词〕人工智能；医疗领域；医学伦理〔中图分类号〕R-02

〔文献标识码〕A

〔文章编号〕1001 -8565(019)03 -021 -06

DOI：10.12026/j. issn. 1001 -8565.2019.03.01

Challenges and Countermeasures of Application of Artificial Intelligence in Medical Field

ZHOUJiyin，LIU Dan，ZENGShengya

{National Drug Clinical Trial Institution， The Second Affiliated Hospital，

Army Medical University，Chongqing 400037， China，E - maii ： zhougryin@ gmail. corn)Abstract：The artificial intelligence products

applied to medical field，which improve efficiency

such

and

as diagnostic expert system and

the

medical robot are

benefit，and reduce amount of labor of

nel ，but also inevitably bring many ethical issues. The ethical challenges of artificial intelligence applying in medi­cal field include fair benefits，unemployment，patient privacy，medical safety，division of responsibilities and su­pervision. The reasons may include failure to comply with basic ethical principles，technical defects，lack of legis­lation and supervision , implicit algorithm bias , poor data quality , insufficient public literacy and so on. The solu­tions proposed for

the reasons

included the

definition

of

human priority，fault

transparency

sentative samples and researchers to avoid prejudice，the whole process supervision of research and development，production and sales , regulation to clarify moral and ethical boundaries , the legislation to improve the supervisionand management system，the restriction of monopoly data，and the promotion of public awareness through educa­tion， and

global governance

to

deal with

challenges.

It

ucts in the medical field take u serving the interests of the human being and never harming humanas principle， under the premise of alleviating the repeated labor of medical staff to improve the efficiency and reducing the misdi­agnosis and missed diagnosis，effectively improve the medical service quality.

should ensure the application of

Key words ： Artificial Intelligence ； Medical Field ； Medical Ethics

2020年人工智能市场规模预计达183亿美元。

从20世纪70年代的专家系统开始,发展并不成熟

基金项目：217年陆军军医大学人文社会科学基金“临床科研项目伦理跟踪审查质量建设”（2217XRW23)

—281 —

网址与投稿：http: #yxllx. xjtu. edu.

的人工智能产品已应用于人类疾病的诊断和治疗。 人工智能产品于2011年开始大规模应用于医疗领 域，其虚拟部分包括信息咨询、医学影像、电子病历 等，其中在医疗诊断系统中的影像、病理和皮肤病 等方面进展很快。最近借助人工智能学习算法，研 究出一种基于DNA甲基化的中枢神经系统复杂肿 瘤分类法[1]。人工智能可优化慢性病患者的护理 流程，提示能精准治疗复杂疾病,减少医疗差错，还 能提高临床试验受试者纳入的质量[2]。人工智能 医疗系统的实体部分有医疗机器人、传送药物的纳 米机器人[2_3]。医疗机器人分为手术机器人、康复 机器人、行为辅助和仿生假肢机器人。市场销售份 额最大的是手术机器人，占全球医疗机器人60%以 上。达•芬奇手术机器人的使用是全球机器人手 术系统中最广泛,外科医生可以在稳定、高速的互 联网和屏幕的协助下，实时了解患者状况,使用机 械臂在远处完成手术，为实现远程医疗奠定了基 础[4]。人工智能在医疗领域的应用也存在许多伦 理问题，社会非常关注安全问题。本文就人工智能 在医疗领域应用中存在的伦理问题、形成原因和可 能的解决对策作一综述，为人工智能更好更快地应 用于医疗领域提供参考。1

伦理问题

人工智能技术可提升现有诊疗效率，如智能影 像辅助诊断技术极大方便医生快速判断患者病情。 人工智能的伦理问题主要由算法的自主学习能力 所衍生。在隐私安全方面，人工智能技术的发展依 托云计算、大数据技术的发展，数据挖掘和收集是 其主要的动力来源。目前人工智能是否会伤害人 类取决于赋予其任务的人类是否有伤害人类的目 的[5]。人工智能在医疗领域的应用将深刻改变现 有医疗体系，不可避免会冲击已有的社会和伦理秩 序，带来如下伦理问题：1.1 公平受益问题

人工智能医疗系统有助于分析基因组学、蛋白 质组学和新陈代谢组学等的实验数据，收集、分析 电子病历等健康数据。借助聚类分析可帮助医护 人员判断新综合征，而模式识别技术能将疗法与疾 病相匹配。鉴于现有医疗条件的不平衡分配，仅少 部分人能受益于人工智能的先进诊疗技术，即人工 智能医疗是只适用于相对小众群体的先进医疗手 —282 —

段[6]。不能从受众群体的层面判定人工智能的道 德问题，毕竟人工智能的医疗代价,如带来的社会 问题也应考虑。公平受益存在的壁垒可能间接地 拉大医疗领域的差距。大部分患者可能对人 工智能医疗有抵触情绪，毕竟自身并未切身感受到 高科技医疗的好处。甚至医护人员也会在人工智 能辅助下显得诊疗日渐“精准”，毕竟人类无法具备 人工智能的大数据处理能力和精确的医学影像识 别能力，但也可能导致医护人员对人工智能产生依 赖性,最终降低自身的诊疗水平。1.2 失业问题

人工智能可帮助医护人员摆脱以往一些重复 性强、高强度或危险的医疗负担，这是人工智能发 展的福祉。绝大部分人看好人工智能发展的经济 影响，人工智能会消灭部分旧的体力和脑力劳动岗 位，也能创造新的工作岗位。在新旧转换之间，相 关部门必须做好失业者的职业再教育工作，以保证 就业稳定。人工智能医疗应用之初的定位是辅助 医疗，可见在解决好此问题后，工作替代的问题也 会迎刃而解。1.3 患者隐私问题

发展人工智能需大量数据的积累，利用大量数 据训练算法，可提高人工智能解决问题的能力；但 这也威胁到个人隐私，成为开发数据资源价值过程 中最突出的伦理挑战。对医疗健康数据的威胁也 是人工智能发展的安全隐患，这些数据一旦被泄 露,将直接影响个人隐私。人工智能不同于人，人 工智能医疗系统收集的患者信息保存于云端或存 储器,就算人工删除也能被恢复;人工智能的“保密 性”不像人那样存在情感，任何人均可从中调取信 息，加密措施也无法完全阻止信息的调取。因此, 患者隐私信息有可能被非法窃取，人工智能医疗系 统对患者的隐私问题并没被周全地考虑。谷歌旗 下的DeepMind在2017年5月获取了英国皇家慈济 英国国家医疗服务体系信托基金运营的3家医院 160万患者的英国国家医疗服务体系数据,包括艾 滋病病毒感染状况、堕胎信息和过去的吸毒过量等 私密数据[2]。

若想得到更精准的个体化医疗服务，共享医疗 记录是必要的。设想的两种极端情况是:①完全摒 弃保护隐私，全部数据均用于发展人工智能;②隐

Chinese Medical Ethics

中国医学伦理学

2019年03月Mar. 2019

其带来的恐惧感不会有明显下降。2

形成原因

第32卷第03期

Vol. 32 No. 03

私的绝对保护,不顾数据可能会带来人工智能的进 步。两种极端情况之间取一平衡点是最理想的，但 不同数据类型的平衡点可能完全不同。如骨折患 者可能不会特别介意医疗数据的泄露，更愿意贡献 数据来发展人工智能;但乙肝患者会比较担忧诊断 因为医疗行为的受众是所有人,每个人都是潜 在的患者，而医疗行为又直接关乎生老病死这些人 生最本质的问题。鉴于医疗领域这些特殊性，人工 数据的泄露会影响其就业、择偶和保险等,更倾向 于保密个人信息[5]。1.4 医疗安全问题

人工智能应用于医疗领域的安全问题包括信 息安全和其自身的医疗安全。有别于外科医生，医 疗机器人特别是手术机器人是通过机械驱动的手 术机器,在手术过程中无思考、无情感投入,也无自 我意识。医生操作也无法确保机器人的运行无任 何差错。对机械的远程操控是否会特别精准以及 手术时细菌隔离和控制都是需要考虑的问题，无法 保证彻底对金属机器消毒，也无法确保清除其他有 害物质的感染[4]。1.5 责任划分问题

医疗机器人在减少医疗成本的同时，也带来了 责任问题。手术机器人在提高手术成功率方面表 现优异,但安全风险一样存在。如果机器人在手术 中发生系统故障，将直接危及患者的健康甚至生命 安全，此类医疗事故存在责任认定的困难。人工智 能产品也存在误诊、漏诊损害患者健康等的责任主 体划分困难问题。一般认为人工智能产品本身不 具备承担责任的能力。若是人工智能产品质量问 题导致的损失应由设计制造厂家负责，厂家需严格 定期培训、考核医务使用者，颁发合格培训、考核证 书才能上岗，也要提供定期维护、升级与更新系统； 医务使用者也应详细告知患者使用人工智能产品 潜在的风险，尽最大可能追究问题的责任者。1.6监管问题

人工智能应用于医疗领域的发展需有效的监 管机制，包括、技术和公众对其的监管。目前 世界上尚无国家拥有完整的监管体系对人工智能 技术的发展进行有效管理。若不加强监督和管理, 人工智能将会严重影响人类的人身、财产安全，并 破坏伦理道德。2016年9月Facebok、谷歌和亚马 逊专门成立了一个监督人工智能研发的联盟，旨在 探索人工智能安全隐私问题的解决办法。这些都 需技术专家和企业揭开人工智能技术的面纱，否则

智能应用于医疗系统带来的伦理问题

人工智

能的常规问题，也有与医疗相关的特殊伦理问题, 原因可能有以下几方面：2.1 未遵守基本伦理原则

在2017年美国加州的“阿西洛马会议”上，将 伦理学观点渗透在“阿西洛马人工智能原则”，规定 研究人工智能的目的在于创造服务于人、并为人所 控，成为人工智能技术发展与人类之间的基本伦理 保障，要求体现在研发人员的伦理意识中，并要求 在研发过程中被遵守。人工智能代替人类作决策 或开展行动时，需遵循人类社会的规则，符合法律 和伦理的要求;否则，人工智能在医疗领域的应用 和推广有可能会面临社会的挑战和压力。 2.2

技术缺陷

人工智能医疗主要是基于医疗大数据的驱动， 通过机器学习，分析患者的病历和案例，给出诊疗 方案。技术不成熟可能导致人工智能系统运行异 常,加之算法决策的“黑盒子”特征引发的解释性困 难和不透明性,使得算法决策的责任主体归属变得 困难，埋下了安全隐患；人工智能医疗带来的安全 问题很大程度上是因为当前人工智能的复杂性和 不确定性，导致难以很好地预测和审查人工智能的 运行及其原理。医疗领域不能放任此类模型处在 黑盒子状态，即输入某些东西会得到某些结果，但 不知道如何得到那些结果[7]。在此过程中,无法知 道人工智能是怎样操作和选择的，这涉及审查监管 的问题。

2.3 立法和监管缺失

对于人工智能的发展，无论的监管还是消 费者的使用都应担负起相应的责任。由于世界各 国暂无针对人工智能技术的专门法律规范,立法的 空缺致使人工智能发展受限,也危及人类安全和公 共利益。有关人工智能伦理问题的规定与原则均 有待加强，规定的更新和制定速度需符合当前技术 发展的需要，也正因这方面的不足带来人工智能日 益增多的伦理问题。

—283 —

网址与投稿：http: #yxllx. xjtu. edu.

2.4数据质量欠佳

人工智能医疗系统学习所用到的训练数据是 训练模型的教材,数据的质量决定了学习成果，目 前存在的技术挑战包括数据集的复杂性和异质性, 医疗数据的嘈杂和向用户解释输出结果[4]。人工 智能医疗往往利用医疗教材和医疗案例来学习，如 何获取高质量的医疗教材和案例是人工智能医疗 面临的难题。训练人工智能的数据可能并不能真 实地反映客观的实际情况，有可能受一些对抗样本 的干扰或污染而作出一些错误决策。当采集的数 据存在偏差时,用这种数据所训练的人工智能系统 也会存在相应偏差，其产生的模型或者结果势必会 复制并放大这种偏差。在这种情况下，人工智能系 统所作出的决策将会产生差别效应，且远大于人为 偏差[8]。

2.5 隐含算法偏见

与人类决策相比,基于人工智能所作的决策可 极大减少重要决策中的偏见。但也应注意到，人的 偏见是个体化的、局部性的，而人工智能算法的偏 见则是系统的，一旦形成将会产生广泛影响。人工 智能医疗系统基于算法模型和数据学习人类的行 为数据,进而作出分析和预测。训练人工智能的数 据中也可能潜藏着不易被察觉的价值偏好或风俗 习惯。在特定群体中存在的种族歧视或性别歧视, 最终都有可能被反映到数据中，从而被人工智能学 习所继承。这种歧视往往很难通过技术手段消除, 从源头上甄别哪些数据带有歧视性是极其困难的。 为了解决某个问题或任务，不同的算法工程师会设 计出不同的算法，在细节上渗透着设计者的主观特 质[]。如果在算法设计中暗藏某种歧视，可能要比 潜藏于数据中的歧视更不利于社会公正。

2.6

数据隐私

医疗数据是典型的高价值数据，因此较一般的 数据更容易形成垄断。而医疗服务又是人们所必 需的,容易产生某一疾病诊断领域的“数据寡头”， 这无疑会对市场的公平性形成挑战[5]。

2.7 公众素养不足

一些就诊患者不信任导医机器人，只选择向医 务人员咨询就医信息,说明社会要完全接受新技术 尚需时日[]。由于公众对人工智能技术的了解不 够深入，缺乏足够认识,容易形成误解和负面印象。 —284 —

如在听到关于人工智能技术负面事件后，易造成公 众恐慌的现象，从而排斥人工智能技术。增强公众 的伦理观念对于缓解人工智能技术带来的压 力和伦理问题非常有必要。部分医生对人工智能 持观望态度，人工智能技术尚未完全取得医疗界信 任，毕竟人工智能辅助的准确率尚未达到100% []。 3

解决对策

2018年4月17日英国上议院的报告提出，应 确立一个适用于不同领域的“人工智能准则”，其中 主要包括5个方面:①人工智能应为人类共同利益 服务;②人工智能应遵循可理解性和公平性原则； ③人工智能不应用于削弱个人、家庭乃至社区的数 据权利或隐私;④所有公众都应有权利接受相关教 育,以便能在精神、情感和经济上适应人工智能发 展;⑤人工智能绝不应被赋予任何伤害、毁灭或欺 骗人类的自主能力。发展人工智能并非没有风险, 上述准则将有助于减少这些风险，在道德约束下发 展人工智能能让公众信任这项技术，了解它带来的 好处，同时准备好质疑对它的滥用。针对人工智能 医疗系统存在的上述伦理问题，可尝试从以下几方 面采取措施加以解决：3.1

明确人类优先

2016年12月，电气和电子工程师协会发布《以 伦理为基准的设计指南》，鼓励科研人员将伦理问 题置于人工智能设计和研发的优先位置，强调人工 智能应当符合人类价值观，服务于人类社会[0]。 2018年4月英国上议院也明确提出人工智能必须 遵守“为人类利益服务，绝不伤害人类”的原则。3.2故障透明且可追溯

人工智能作为一项新技术，其系统运行的稳定 和安全直接关系医疗应用领域的安全。如果人工 智能系统出现了故障或者遭到损害，造成损害的原 因是可以被查明的，应该由人类监管机构来审核人 工智能系统的安全性和故障，即人类参与司法决 策，要求故障透明和司法透明。这样有利于增加公 众对人工智能技术的信任，如果发生事故,故障透 明原则有助于事故调查人员查明事故原因。联合 国关于机器人伦理的报告认为，在对机器人及机器 人技术的伦理与法律监管中,一个至关重要的要素 是可追溯性，可追溯性的确立才能让机器人的行为 及决策全程处于监管之下。它让人类的监管机构

Chinese Medical Ethics

中国医学伦理学

2019年03月Mar. 2019

第32卷第03期

Vol. 32 No. 03

不仅能够理解智能机器人的思考决策过程和作出 必要的修正，且能在特定的调查和法律行动中发挥 它本来应有的作用。只有保证人类能够全面追踪 机器人思考及决策的过程，才有可能在监管机器人 的过程中占据主动权或者事后进行全面的追踪 调查[11]。

3.3 选择代表性样本和研究者以规避偏见

为防止训练人工智能数据中潜藏的价值偏好 约范围，要加强立法研究,完善人工智能的权利、义 务、责任相关的法律。将法律融入人工智能研究、 开发和应用的全过程，使得人工智能技术在法律的 规范下发展。同时，相关部门应制定一套包含相关 机构、技术和公众监督的完整监管体系，并对其进 行科学有效的监管，严惩发展过程中的不法行为。 着眼于人工智能的运行和应用层面，要研发类似于 电子的人工智能系统，即用人工智能监管人工 或风俗习惯，应尽可能采用不同国家不同区域代表 性医院的数据,更大的代表性样本量有助于降低潜 藏的价值偏好或风俗习惯被人工智能学习所继承。 人工智能研究者应当是不同性别的，不同种族的， 人工智能学术界不应当存在对于研究人员的任何 歧视。3.4

全过程监管

要通过立法形式明确人工智能医疗系统的生 产、销售、使用和售后服务的规范。科学管理人工 智能医疗产品可解决很多无法追责的问题。为每 个人工智能产品配置唯一身份标识号码，一是可通 过设置该身份标识号码来查找产品的责任人（产品 设计者、制造商、检测员等），甚至附上产品设计者、 成品检测员的信息，这不仅有助于保证每个产品的 质量,一旦出现问题也可方便查找问题及其责任 者;二是可防止山寨产品。还须配一份详细的使用 说明书,包括注意事项、产品操作手册等。使用人 工智能产品的医疗机构要定期维护、升级与更新系 统，进一步减少误诊和漏诊发生率等。用于训练人 工智能的医疗数据和资料应通过所在医疗机构伦 理委员会的审查批准。在人工智能医疗实施进程 中,必须制定一系列的安全标准，就护理方案、供应 商以及数据中心如何以电子邮件的形式来访问、传 送和存储受保护的患者信息作出详细规定[3]。3.5规范以明确道德伦理边界

应将科学研究与伦理制度科学研究相结合，制 定人工智能技术开发、研究、应用的完整伦理规范。 人工智能技术领域的科学家与哲学家、伦理学家、 法学家的交流学习，使人工智能技术融入更多的交 叉学科思想，从而使人工智能技术更加的人性化、 生态化、和谐化，这将有助于缓解甚至解决人工智 能技术的某些伦理问题[12]。3.6 立法以健全监督管理体系

众多人工智能伦理问题超出了现有法律的制

智能,防止人工智能技术被非法利用或偏离正常 运行[3]。

3.7 垄断数据

2018年4月英国上议院的报告建议对大公司 的垄断数据加以，希望人工智能决策透明，呼 吁立法以规范人工智能发展。个人应对自己 的数据及其如何被使用拥有更大的控制权，有必要 改变数据的收集和获取方式，以更好地保护公众隐 私。当前主导人工智能医疗发展的大部分是业务 跨度极大的高技术公司，这些公司无一例外的都不 是专门的人工智能医疗公司，能在人工智能医疗发 展中抢占先机源于其掌握着大量用户数据[5]。3.8

加强教育，提升公众认知水平

针对人工智能技术发展的伦理问题在公众中 所引起的恐慌，、科研机构、学校等相关部门应 形成教育合力，可利用媒体宣传或现场讲授方式, 普及人工智能技术相关的基本知识和相关内容，提 高公众对于人工智能技术的认知水平。要引导公 众朝着合理健康的方向认识人工智能，提高公众的 理性判断能力，避免公众过多地受到人工智能“威 胁论”的影响，从而推动人工智能技术健康发展[1]。 3.9

全球治理，共同应对挑战

人工智能高速发展中的伦理问题是世界各国 所共同面临的，要建立人工智能技术发展统一标 准，使得世界各国关于人工智能技术的研究朝着合 理化方向迈进，推动人工智能技术不断造福人 类[15]。2017年1月，来自全球的人工智能领域专家 在Beneficial AI会议上联合签署了“阿西洛马人工 智能原则”，明确了安全性、利益共享等23条原则， 并呼吁人工智能领域的工作者遵守这些原则，共同 保障人类未来的利益和安全[6]。不同于西方国家 具备的技术支撑和研发环境，我国人工智能设计领 域偏于商业驱动，这是因为医疗行业标准滞后甚至

—285 —

网址与投稿：http: #yxllx. xjtu. edu. cn

缺失。解决人工智能产品设计的伦理问题仅依赖 于产品设计者的伦理自觉性。4

小结

尽管人工智能医疗系统的快速发展引发了公 平受益、失业、患者隐私、医疗安全、责任划分和监 管等伦理问题,但对于这项正在快速发展中的新技 术所带来的伦理问题不必过度担心或恐慌。针对 其形成的原因采取相应解决对策，在确保医疗领域 应用人工智能以“为人类利益服务，绝不伤害人类” 为原则，在减轻医护人员重复劳动以提升效率，减 少误诊、漏诊的前提下，切实提升医疗服务质量。 可见，清醒的认识人工智能技术的伦理问题并施以 相应的对策，对人工智能技术更好地为人类造福具 有非常重要的实践意义。

〔参考文献〕

[1 ] CapperD，JonesDTW，SillM，etal.DNAmethy-lation - based classification of central nervous sys­tem tum〇urs[J]. Nature, 2018, 555(7697) ： 469 -474.

[2]

Miller DD， Brown EW. Artificial intelligence inmedical practice: The question to the answer? [J]. Am J Med, 2018, 131(2) ： 129 -133.

[3 ]

Hamet P， Tremblay J. Artificial intelligence in medicine [ J ]. Metabolism， 2017 ( 69S ) ： S36 -S40.

[4] Recht M, Bryan RN. Artificial intelligence： Threat

or boon to radiologists? [J]. J Am Coll Radiol， 2017, 14(11) ： 1476 -1480.

[5] 刘荣.智能医学中的安全问题[J].中华腔镜外

科杂志（电子版），2018, 11(1)： 4-7.

[6] Altman RB. Artificial intelligence ( AI) systems for

interpreting complex medical datasets [ J ]. Clin

一 286 —

Pharmacol Ther, 2017, 101(5) ： 585 -586.[7] Peek N, Combi C, Marin R, et al. Thirty years of

artificial intelligence in medicine ( AIME) confer­ences ：A review^ of research themes [ J ]. Artif Intell Med, 2015, 65(1) ： 61 -73.

[8] Ramesh S. A checklist to protect human rights in

artificial - intelligence research [ J ]. Nature，2017， 552(7685) ： 334.

[9] 邱超奕.聚焦医疗人工智能：辅助医疗，减少误

诊漏诊[J].决策探索（上），2018 (3) 28 -29.[10] Diprose W，Buist N. Artificial intelligence in med­

icine： Humans need not apply? [ J]. N Z Med J， 2016, 129(1434) ： 73 -76.

[11] 腾讯研究院.人工智能各国战略解读：联合国人

工智能报告[J].电信网技术，2017 (2)： 26 -28.

[12] Davies J. Program good ethics into artificial intelli-

gence[J]. Nature, 2016, 538(7625) ：91.[13] Koch M. Artificial Intelligence is becoming natural

[J]. Cell, 2018, 173(3) ： 531 -533.

[14] Buch YH，Ahmed I，Maruthappu M. Artificial in­

telligence in medicine ： current trends and future possibilities [ J ]. Br J Gen Pract, 2018, 68 (668)： 143 -144.

[15] Singh S， Okun A，Jackson A. Artificial intelli­

gence ：Learning to play Go from scratch [ J ]. Na­ture, 2017, 550(7676) ： 336 -337.

[6] Irving M，陈亮.阿西洛马23原则使AI更安全

和道德[J].机器人产业，2017 (2) ： 12-15.

〔收稿日期2018-10-09〕 〔修回日期2018 -11 -07〕

〔编

辑吉鹏程〕