002

主    编 |

副 主 编 |

编    委 |

刊名题字 |

地    址 |

邮    编 |

电    话 |

传    真 |

印刷日期 |

发行对象 |

郑南宁 CAA 理 事 长、 中 国 工 程 院 院 士、

西安交通大学教授

王飞跃 CAA 监事长、中国科学院自动化

研究所研究员

杨孟飞 CAA 副理事长、中国科学院院士、

中国空间技术研究院研究员

陈俊龙 CAA 副理事长、欧洲科学院院士、

华南理工大学教授

（按姓氏笔画排列）

丁进良 王 飞 王占山 王兆魁 王庆林

王 坛 邓 方 石红芳 付 俊 吕金虎

乔 非 尹 峰 刘成林 孙长生 孙长银

孙彦广 孙富春 阳春华 李乐飞 辛景民

张 楠 张 俊 陈积明 易建强 周 杰

赵千川 赵延龙 胡昌华 钟麦英 侯增广

姜 斌 祝 峰 高会军 黄 华 董海荣

韩建达 谢海江 解永春 戴琼海

宋 健

北京市海淀区中关村东路 95 号

100190

（010）8254 4542

（010）6252 2248

E-mail：caa@ia.ac.cn

http：//www.caa.org.cn

2022 年 9 月 30 日

中国自动化学会会员及自动化领域科技工作者

◆ 为支持学术争鸣，本刊会登载学术观点彼此相左的不同文章。来稿是否

采用并不反映本刊在学术分歧或争论中的立场。每篇文章只反映作者自身

的观点，与本刊无涉。

主管单位　中国科学技术协会

主办单位　中国自动化学会

编辑出版　中国自动化学会办公室

本刊声明

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 001

自动化是一门涉及学科较多、应用广泛的综合性科学技术，在新技术

新思想的推动下，控制科学与工程学科的发展不断吸收其他学科领域的最

新成果，已经成为保障和促进现代社会发展和生产力提高的核心科学技术

之一。六十年来，广大自动化领域科技工作者前赴后继，创造了一个又一

个奇迹，孕育了一大批重大成果，凝聚了一大批科研学者，产生了一大批

科技论文，培育了一大批科技期刊，构建了一大批学术研究机构，形成了

完善的教育体系。自动化已长成为一棵根基深厚、枝繁叶茂的参天大树，

不断交叉融合，孕育产生了许多新兴学科，成为衡量一个国家发展水平和

现代化程度的重要标志。

一甲子风云历程，六十载春华秋实。伴随自动化科学技术的发展，中

国自动化学会也逐渐发展成为一流科技社团，学会各项业务实现了跨越式

发展，取得了诸多辉煌的荣誉，逐步发展成为了拥有近 8 万名会员、58 个

分支机构，具有国内外广泛影响力和公信力的现代科技社团。

2022 年 8 月 12 日，中国自动化学会 60 周年会庆活动在云南昆明成

功召开。本期通讯聚焦中国自动化学会六十周年会庆活动，为大家分享了

中国工程院院士、中国自动化学会理事长、西安交通大学教授郑南宁在活

动上的工作报告，及中国工程院院士、中国自动化学会第九届理事会理事

长、浙江大学教授孙优贤在论坛上的致辞，并重点介绍了中国自动化学会

六十周年杰出贡献奖。

在此向贡献稿件的各位专家学者表示衷心的感谢。六十载砥砺前行，

新时代催人奋进。历史启示我们，前进道路从来不是一帆风顺的，但只要

有坚定的信念、坚决的行动，必将战胜一切艰难险阻，不断创造历史伟

业。站在新的历史起点，中国自动化学会将团结带领广大科技工作者，瞄

准世界科技前沿，坚持“四个面向”，发扬科学家精神，勠力同心，笃行

不怠，奋力推进我国自动化科技事业自立自强！

主编的话

002 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

专题 /  Column

004 弘扬科学家精神　奋力推进中国自动化事业

高水平发展——中国自动化学会成立六十周年

工作报告 / 郑南宁

008 在中国自动化学会 60 年会庆上的讲话（内容

节选）/ 孙优贤

009 铭记与传承——中国自动化学会六十周年杰出

贡献奖隆重颁发

观点 /  Viewpoint

012 王耀南院士：我国智能机器人核心芯片技术发

展战略研究

024 王飞跃：元宇宙如何改变一切

目录 CONTENTS

学术前沿 /  Academic Frontier

028 具有全局速度约束的惯性 / 编码器 / 视觉 / 激光

融合定位方法：IEVL-Fusion / 武东杰　仲训昱

崔晓珍　庄明溪　彭侠夫

039 一种基于功用性图的目标推抓技能自监督学习

方法 / 吴培良　刘瑞军　毛秉毅　史浩洋　陈雯柏　高国伟

054 解耦表征学习综述 / 文载道　王佳蕊　王小旭　潘　泉

科普园地 /  Science Park

079 “魔镜”靠什么辨识每一张脸 / 戴凤智

081 人脸识别技术全面总结：从传统方法到深度学

习 /Daniel Saez Trigueros 等

P004

P023 P027

P008

P009

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 003

CONTENTS 目录

学会动态 /  Activities

087 第七期 CAA 会士面对面活动成功召开

088 第十期 CAA 科普大讲堂活动成功召开

089 零距离“对话”人工智能，机器人足球赛“燃

翻全场”——扬子晚报苏州小记者走进同济机

器人科普教育基地

091 首届新兴技术产业高端圆桌论坛在京召开

党建强会 /  Party Building

092 习近平：在复兴之路上坚定前行——《复兴文

库》序言

093 张玉卓：在深化系统改革中持续增强科协组织

的发展活力

形势通报 /  Voice

097 关于新时代进一步加强科学技术普及工作的

意见

P089 P088

P090 P091

P087

004 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

专题 COLUMN

弘扬科学家精神　奋力推进中国自动化事业高水平发展

——中国自动化学会成立六十周年工作报告

文 / 中国工程院院士、中国自动化学会理事长、西安交通大学教授郑南宁

今 天， 我 们 怀 着 激 动 和 喜

悦的心情在这里隆重集会，热烈

庆祝中国自动化学会成立 60 周

年。首先，我代表中国自动化学

会，向莅临此次大会的来宾表示

热烈的欢迎！向关心、支持学会

工作的各界同仁、自动化及相关

领域广大科技工作者表示衷心的

感谢！

本次大会是在我国开启全面

建设社会主义现代化国家新征程、

以实际行动迎接党的二十大的重

要时刻召开的一次大会，具有重

要 的 历 史 意 义。 会 议 的 主 题 是：

弘扬老一辈科学家精神，奋力推

进自动化高水平自立自强，为把

我国建设成为世界一流科技强国

做出更大贡献。

1956 年，党中央发出“向科

学进军”的号召，为贯彻落实科

学技术十二年发展远景纲要，在

周总理的亲切关怀下，在钱学森、

沈尚贤、钟士模、陆元九、郎世

俊等老一辈科学家的倡议下，中

国自动化学会于 1961 年 11 月 27

日，宣告成立，钱学森任学会第

一届理事长。

1978 年， 邓 小 平 同 志 提 出

“科学技术是第一生产力”的重要

论断，中华民族迎来了“历史上

最 灿 烂 的 科 学 春 天 ”， 中 国 自 动

化学会恢复和焕发出了新的生机，

中国自动化事业得到了快速发展。

2012 年 党 的 十 八 来 以 来，

以习近平同志为核心的党中央加

强了对科技事业的全面领导；中

国自动化学会不忘初心，牢记使

命，紧抓机遇，锐意改革，积极

创新，昂首阔步迈向新的发展

阶段。

六 十 多 年 以 来， 自 动 化 科

学与技术不断地将人类从繁重的

体力劳动中解放出来，不断地拓

展人类认识世界和改造世界的领

域，不断地提升人类认识世界和

改造世界的能力，成为衡量一个

国家发展水平和现代化程度的重

要标志。随着科学技术的快速发

展和社会需求的日益增长，自动

化已经开始并继续将人类从复杂

的脑力劳动中解放出来，推动人

类社会进入新的智能化时代。经

过六十年的发展，中国自动化已

长成为一棵根基深厚、枝繁叶茂

的参天大树，孕育产生了许多新

兴学科，在空天科技、深地深海

前沿领域、轨道交通、生物医疗、

智慧农业、社会治理等方面发挥

着不可替代的作用，取得了重要

突破。

第一部分：历史回顾

六十年来，中国自动化学会

和中国自动化事业大体上经历了

开创发展、追踪发展和加速发展

三个阶段。

第一阶段：开创发展期

（1961 年至 1976 年）

中国自动化学会成立之初就

立足国家发展战略：主动参与国

家科委关于自动化科学学科组工

作；组建自动化元件及装置等五

个专业委员会；创办《自动化学

报》等期刊；成为国际自控联的

发起成员国之一；以及举办展览

会等；为百废待兴的新中国建设

与发展贡献了一份力量。

第二阶段：追踪发展期

（1977 年至 2012 年）

1978 年， 邓 小 平 同 志 在 全

国科学大会上做出了“科学技术

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 005

COLUMN 专题

是第一生产力”的重要论断，确

立了科技工作的指导思想。中国

自动化学会迎来了发展的春天，

1977 年 9 月学会正式恢复开展学

术活动。自此，在宋健、胡启恒、

杨嘉墀、陈翰馥、戴汝为、孙优

贤等理事长的大力领导下，中国

自动化学会已经成长为拥有 4 万

余名会员、80 个团体会员、26 个

专业委员会的科技社团。

1978 年，学会在太原召开第

一次大型学术年会，1979 年复刊

《自动化学报》、创刊《机器人》。

自 1980 年起逐步增建仿真技术专

委会等，全面开展学术交流、学

科研究等相关工作。自此学会每

年平均举办 40 余次全国性综合或

专门领域的学术会议。

学会高度重视国际学术交流

活动，1981 年与美国 IEEE 控制

系统学会共同主办“中美控制系

统学术会议”；1999 年承办国际

自 动 控 制 联 合 会（IFAC） 第 14

届世界大会等，为提升中国自动

化的国际地位做出了重要贡献。

学会积极开展人才培养工作，

2007 年与中国宇航学会共同设立

杨 嘉 墀 科 技 奖， 组 织 RoboCup

机器人世界杯中国赛、高校自动

化大赛等自动化系列赛事。学会

创办中国自动化产业世纪行活动，

推动产学研用协同发展。

第三阶段：加速发展期

（2013 年至今）

党的十八大以来，中国自动

化学会积极响应党的号召，与时

俱进全面深化改革，团结凝聚科

技工作者不断促进科技创新、助

力经济社会发展、深化国际科技

合作，向科学技术的广度和深度

进军。

在中国科协的坚强领导下，

在中科院自动化所的大力支持下，

中国自动化学会在近十年中实现

了跨越式发展。学会个人会员数

量翻番，现有个人会员近 8 万名，

团体会员由 80 家增长至近 300 家，

新增 27 个专业委员会、53 个科普

教育基地、23 个学会服务站，参

与筹建 2 个国际学术组织，荣获

“全国科协系统先进集体”称号，

获评世界一流科技社团评价“五

星级社团”。

第二部分：近十年主要工作与

改革创新成果

过去十年，是自动化领域科

技工作者砥砺奋进的十年。我国

自动化在基础理论、关键技术、

产业应用等方面取得了重要进展

和重大突破。

过去十年，是中国自动化学

会锐意进取的十年。学会坚持党

建引领，民主办会，全面深化学

会改革，全力打造有温度的科技

工作者之家，构筑多层次学术交

流和科普格局，引领学科高质量

发展，全面提升战略支撑力，助

力科技经济深度融合，为自动化、

信息与智能科学技术的繁荣发展，

为建设世界科技强国做出积极

贡献。

一、立根铸魂，以党建促会

建，全面推进学会发展。

夯实党建之基。学会自成立

以来不断增强全面从严治党的政

治自觉，以党的政治建设为统领，

不断加强思想建设，建立学会理

事长、知名科学家讲党课常态化

机制；开展“不忘初心，牢记使

命 ”、 学 习 贯 彻 党 的 十 九 届 五 中

全会精神、喜迎建党百年等专项

政治学习活动，用党的创新理论

指导学会发展实践。以党的制度

建设为保障，制定《中国自动化

学会党委工作会议议事规则》等，

不断推动学会从严治党向纵深发

展，切实发挥党组织的政治引领

作用和战斗堡垒作用。

弘 扬 科 学 家 精 神。 学 会 于

2015 年打造“口述历史”系列访

谈，深度采访“七一勋章获得者”

百岁院士陆元九等与学会建设和

学科发展息息相关的老一辈科学

家，以科学家精神引领时代风尚。

筑 牢 党 建 强 会 主 阵 地。 自

2012 年至今，学会连续 9 年积极

承担中国科协党建强会计划，切

实开展“科技精准扶贫”系列活

动。“CAA 党员先锋队”的足迹

已遍布云南、贵州、甘肃等全国

20 余 个 地 市 区， 建 立 2 所 爱 心

图书馆，8 个智慧教育实验基地，

广泛开展助学助教工作，普及科

技新知，助力乡村振兴，作为唯

006 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

专题 COLUMN

一一家全国性社会组织，入选中

国社会组织扶贫 50 佳案例。

深化学会治理结构与治理机

制改革。自上而下分工合作、权

责明确，创新理事会五级例会制

度， 形 成 位 阶 有 序 的 议 事 规 则；

规范分支机构动态管理，推进学

会办事机构实体化建设，增强服

务能力。

矢志不懈，戮力奋斗。学会

党建工作得到了中国科协党委的

充分肯定，连续 6 年荣获党建强

会项目“优秀组织奖”，2018 年

荣获全国学会“星级党组织”称

号（ 八 星 级 ）， 并 在 建 党 百 年 之

际被中国科协评为“2018-2020

年度中国科协党建工作先进

学会”。

二、以人为本，打造有温度

的科技工作者之家

学会充分发挥组织优势，以

品牌凝聚人才，以服务温暖人心，

以核心价值观引领人才，以信息

化平台为手段，全方位、多层次、

宽领域服务科技工作者，建设深

受广大会员喜爱的科技工作者

之家。

以品牌凝聚人才，构筑学术

交流高地。搭建高端学术交流平

台，打造中国自动化大会等 10 余

个品牌学术会议，形成层次清晰

的学术交流矩阵。

以服务温暖人心，实施会员

精准服务。面向全体会员，学会

设立会员服务月，每年定期开展

10 余次专属会员活动；面向女性

会员，设立“女性科技工作者发

展计划”项目；面向青年会员，

全力打造青年菁英系列论坛、钱

学森国际杰出科学家讲座等品牌

活动；打造 CAA 线上云讲座系

列活动；在疫情来袭之际，第一

时间向疫情地区会员邮寄口罩等

防疫物资，为会员提供有温度的

服务。

以核心价值观引领人才，强

化人才培养力度。建设科技奖励

体系，实现多层次人才评价。此

外，学会不断拓宽奖励举荐渠道，

2015 年获得直推国家科技奖励资

格，经学会推荐的 3 个项目荣获

国家科技奖；依托中国科协“青

年人才托举工程”，支持 38 位青

年人才茁壮成长；广泛开展人才

培训和评价，承担国家专业人才

知识更新工程，探索工程师能力

标准国际互认试点。

以 信 息 化 平 台 为 手 段， 开

创智慧学会新局面。以“互联网

+”集成学会优势资源，提升联通

能力，建设会员服务系统、学术

交流系统、期刊采编系统、奖励

系统、组织管理系统和科研动态

系统，与学会各项业务工作同频

共振。

三、砥砺深耕，坚守学术本

源，引领学科高质量发展

中国自动化学会以高端交流

平台和高水平科技期刊等为抓手，

汇聚国内外顶尖人才，筑牢开放

合作基础，突出高端学术引领，

建设支撑科技自立自强新高地。

搭建开放交流平台，构建三

位一体学术会议体系。学会瞄准

世界科技前沿和可持续发展目标，

紧扣时代发展主题，构建以中国

自动化大会为代表的“综合交叉

类学术会议”、以国家机器人发展

论坛、国家智能车发展论坛、中

国认知计算与混合智能学术大会

等为代表的“前沿高端类学术会

议”。58 个分支机构面向不同的

二级学科建立品牌学术会议。学

会每年约召开千余场学术活动，

受众人数近两千万人次，交流论

文上万余篇，覆盖自动化、信息

与智能科学领域的基础研究、技

术开发、产业应用和教育等各个

方面，有力地助推了自动化、信

息与智能科学的自主创新和人才

培养。

支撑引领原始创新，加快一

流期刊品牌建设。学会紧跟学科

发展趋势，大力培育 9 种精品学

术期刊，形成一流期刊集群。编

制发布高质量科技期刊分级目录，

形成《中国自动化学会推荐学术

期刊目录（试行）》。

深耕学科发展，积极组织撰

写领域学科发展研究。学会连续

四年开展“控制科学与工程学科

发展研究”，编制《中国控制科学

与工程学科史》《自动化学科发展

路线图》和《智能控制：方法与

应用》，发挥学科战略引领作用，

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 007

COLUMN 专题

预判学科发展趋势，推动自动化

学科快速发展。

四、精准布局，发挥智库优

势，服务科技经济融合发展

中国自动化学会以国家和区

域产业发展需求为牵引，把科技

共同体人才势能转化为高质量发

展动能，为提升国民经济发展水

平提供科技支撑。

学会组建多个产业科技服务

团，汇聚 200 余位专家学者，走

访 50 余个城市，成立 23 家学会

服务站、2 个院士工作站，形成

20 余项技术开发合作项目，为产

业集群和重点企业提供定制化组

合式服务。创办国家机器人发展

论坛、等十余个品牌学术活动，

构建供需对接信息平台、人才技

术赋能平台，形成“成果库”“专

家库”“需求库”以及重点技术领

域专利信息库，发布《前沿科技

领域成果汇编》、《区块链技术前沿

热点综述》、《工业控制系统信息

安全》等重点领域系列发展报告；

开展团体标准制定和科技成果评

价工作，完成百余项目技术成果

鉴定；开展“智汇中国”平台建

设，参与中国科协学术会议成果

智库化项目，将学术交流成果有

效转化为智库成果；前瞻性提出

未来竞争优势的重点布局，为制

定科技战略和规划提供依据，为

自动化产业及科技社团发展建言

献策，突出科技社团治理特色，

为党和政府决策服务。

五、 肩 负 使 命， 合 力 打 造

“科普之翼”

中国自动化学会始终肩负

传播自动化、信息及智能科学

领域新知识、提高全民科学素

质的重要使命，积极推动自动

化、信息与智能科学领域内科

普传播协同化、侧重化、多样

化发展。

搭建多主体参与、多样化传

播的共建共享平台。组建以科研

院所、媒体及企业为主体的科普

工作委员会；组建“自动化与人

工智能”科普百人团及 9 个科学

传 播 团 队； 建 立 53 家 科 普 教 育

基地，织密科普工作网络。此外，

学会积极参加全国科普日等活动，

加强《自动化博览》等科普刊物

建设，出版科普书籍；积极探索

“互联网 + 科普”新模式，广泛传

播领域知识。

构建培养青少年科技人

才 的 开 放 高 地。 组 织 开 展 了

RoboCupJunior 青 少 年 机 器 人

世界杯中国赛、中国机器人大赛、

3E 国际青少年智能与创意设计大

赛、世界青少年创客奥林匹克竞

赛（WYMOLY） 中 国 赛 等 系 列

赛事，组织开展了全国高校青年

“自动化与人工智能”知识普及志

愿活动。

学会微博进驻科普中国潜力

榜，荣获科普新媒体传播飞跃奖，

连续多年荣获中国科协“全国学

会科普工作优秀单位”称号。

六、开放合作，提升学会国

际影响力

中国自动化学会着力构建对

外开放新格局，以全球视野谋划

和推动学会改革创新，不断提升

学会开放合作能力。

搭建国际学术交流平台。学

会成功承办 IFAC 第 14 届世界

大会、第 23 届世界人工智能国

际联合大会、国际智能车大会等

10 余个大型在华国际学术会议，

其中学会于 1999 年承办的 IFAC

世界大会是第一次在发展中国家

召开的国际自动控制界的一次盛

会；世界人工智能国际联合大会

是人工智能领域的顶级学术会

议，被誉为人工智能界的奥林匹

克，是自创办 45 年以来首次落

户中国。

提升参与全球科技治理能力。

学会参与筹建智能科学与技术协

会（AIST）和智能产业促进协会

（AAII）； 与 国 际 自 动 控 制 联 合

会（IFAC）、电气电子工程师学

会（IEEE）、以及国际 模 式 识 别

学会（IAPR）等建立互惠合作

网络。推荐百余位会员当选国际

学术组织 Fellow，担任国际学

术组织重要领导职务，有力提升

了我国自动化的国际影响力和话

语权。

第三部分：“十四五”发展设想

今年是实施“十四五”规划

的关键之年，中国自动化学会将

008 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

专题 COLUMN

在中国自动化学会 60 年会庆上的讲话

（内容节选）

文 / 中国工程院院士、中国自动化学会第九届理事会理事长、浙江大学教授孙优贤

壮丽六十载，奋斗新时代。从一

株幼苗成长为如今枝繁叶茂的参天大

树，中国自动化学会在一代又一代自

动化人的接续奋斗中砥砺前行，这其

中饱含了无数老一辈科学家上下求索

的追寻、呕心沥血的奉献；饱含了无

数青年科技工作者热情昂扬的奋斗和

坚定执着的前行；饱含了全国各界自

动化工作人员任劳任怨的付出和勤勤

恳恳的奉献。

作为中国自动化学会第九届理事

会理事长，看到如今蓬勃发展的中国

自动化学会，我感到非常骄傲和自豪。

尤其是这十年来，中国自动化学

会在郑南宁理事长的带领下，取得了

全方位的、开创性的成就，学会获得

了民政部先进社会组织，连续两年蝉

联了世界五星级科技社团的称号，这

是全国各界自动化学人共同努力的

结果。

十年来，中国自动化学会进行了

深层次的、根本性的变革，包括提出

的一系列新理念新思想新战略，推出

的一系列重大举措，开展的一系列重

大工作，办成了许多过去想办而没有

办成功的大事，推动了学会和自动化

事业的繁荣发展。

我们更加欣喜地看到，这十年来，

中国自动化学会全面深化改革实现了

重大突破，学术引领力、会员凝聚力、

战略支撑力、文化传播力、国际影响

力实现了跨越式发展，这让我们看到

了一个更加团结、更加奋进、更加蓬

勃的中国自动化学会。

继续围绕党和国家的

发展大局，以改革创

新的精神推进中国特

色世界一流科技社团

建设；以广大科技工

作者为中心，繁荣学

术研究和交流，促进

开放合作，涵养创新

生态；以更加广阔的

视野、更强有力的历

史担当，团结带领广

大科技工作者为中国

自动化事业繁荣发展

做出更大的贡献。

自动化同仁们！

岁 月 峥 嵘， 甲

子荣光。广大科技工

作者在我国自动化事

业的发展道路上留下

过辛勤的汗水，谱写

过辉煌的篇章。宏图

引领未来，使命呼唤

担当。站在新的历史

起点，中国自动化学

会将团结带领广大科

技工作者，瞄准世界

科技前沿，坚持“四

个面向”，发扬科学

家精神，勠力同心，

奋勇前进，为推进我

国自动化事业高水平

发展，为使我国真正

成为世界自动化和人

工智能强国做出更大

的贡献！

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 009

COLUMN 专题

铭记与传承

——中国自动化学会六十周年杰出贡献奖隆重颁发

2022 年 8 月 12 日，2021 中国

自动化大会暨中国自动化学会六十周

年会庆活动在云南昆明召开，值此甲

子华诞之际，学会特别设立“中国自

动化学会六十周年杰出贡献奖”，隆

重表彰 12 位在自动化学科、产业繁

荣、学会建设等方面作出突出成就的

老一辈科学家，传承弘扬以他们为代

表的创新精神和奉献精神。

中国自动化学会理事长、中国

工程院院士西安交通大学郑南宁教授

为获奖者颁奖。 中国自动化学会杰出贡献奖授予仪式

中国自动化学会六十周年杰出贡献奖获得者

010 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

专题 COLUMN

万百五

CAA 第三届理事会常务理事、第四届理事会

理事

王子才

CAA Fellow

胡启恒

CAA Fellow　第四、五届理事会理事长

吴　澄

CAA Fellow

第十、十一届理事会特聘顾问

涂序彦

CAA 第三、五、六、七、八届理事会

常务理事

熊范纶

CAA Fellow

第六、七、八届理事会常务理事

我国自动化及系统工程专家，

在大工业过程递阶稳态优化控制、稳

态模型辨识、大工业过程智能控制等

方面取得重大成果。

中国工程院院士、我国自动控

制、系统仿真专家，发展了伺服系统

理论，首次研制成功分布式仿真系

统，为半物理仿真系统及仿真转台研

制及产业化发展作出了重大贡献。

中国工程院院士，我国模式识

别与人工智能领域最早的探索者之

一，推动互联网在中国发展做出了卓

越贡献，成为获得全球互联网最高荣

誉的首位中国人。作为学会两任理事

长，对学会发展做出了突出贡献。

中国工程院院士、我国自动控

制专家，领导并参与了中国 CIMS 的

研究和应用，为中国企业的技术进步

和建立现代管理制度起了示范及引导

作用。积极参与学会产学研工作，为

提升学会服务科技经济融合能力做出

了重要贡献。

我国自动控制和人工智能专家，

主持研制了世界上第一个中医专家系

统，在国际上首先提出“智能管理”

新概念与“多级专家系统”等新方

法。连续多届参与学会工作，为学会

学术、期刊等发展做出了重要贡献。

CAA 会士，国际自动控制联合

会 IFAC Fellow。我国智能农业的

开创者与奠基人，国际农业人工智能

的开拓者之一，并为 CAA 智慧农业

专委会的创建发展做出了突出贡献。

CAA 六十周年杰出贡献奖（按年龄排序）

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 011

COLUMN 专题

王天然

CAA Fellow

第九届理事会副理事长

柴天佑

CAA Fellow

第十届理事会副理事长

席裕庚

CAA 第七、八、九届理事会副理事长，

第十、十一届理事会特聘顾问

桂卫华

CAA Fellow

第十、十一届理事会副理事长

吴启迪

CAA 第九届理事会特聘顾问

王成红

CAA Fellow

第十、十一届理事会副理事长

中国工程院院士、我国机器人

与工业自动化专家，在工业机器人关

键技术攻关及推进中国机器人技术产

业化方面做出了突出成绩。

中国工程院院士、我国控制理

论和控制工程专家，为中国控制理论

与控制工程学科的发展和中国工业自

动化事业做出突出贡献。积极参与学

会学科发展与研究工作，为学会学术

及期刊发展做出了重要贡献。

我国自动控制专家，我国预测

控制领域的开拓者，为推动预测控制

在我国的传播、研究和应用做出了杰

出贡献。

中国工程院院士、我国自动控

制专家，为中国有色金属工业的可持

续发展和自动化水平的提升，以及中

国大型高强度铝合金构件制备重大装

备自动化技术水平跨入世界先进行列

做出了重要贡献。积极参与奖励工

作，为学会奖励规范化发展、提升奖

励影响力做出了重要贡献。

我国智能控制专家，长期从事

控制理论、控制工程和管理工程领域

的教学、科研和管理工作，为国家培

养了一大批自动控制领域的人才。

作为学会副理事长分管组织管理

工作，为全面深化学会改革、推动学

会各项业务发展、提升学会影响力和

公信力做出了重要贡献。时光承载，

岁月濡染。历史长河，奔流不息。那

些在自动化和中国自动化学会发展长

河中做出贡献的杰出科学家，我们需

要铭记；同时我们也需要传承，发扬

光大“自动化人”的精神，以更加坚

定的信念、更加坚决的行动，奋力推

进我国自动化科技事业自立自强。

观点 VIEWPOINT

012 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

王耀南院士：我国智能机器人核心芯片技术发展战

略研究

智能机器人正在引领全球新

一轮的科技革命和产业变革。机

器人是芯片技术研究的载体，芯

片是机器人功能实现的保障。培

育并推进我国智能机器人核心芯

片技术及产业发展，提出可行的

智能机器人自主可控专用芯片技

术发展路线，对解决机器人发展

的“卡脖子”问题，推动产业优

化升级并实现生产力跃升，具有

重要的产业价值和战略意义。

中国工程院王耀南院士研究

团队在中国工程院院刊《中国工

程科学》2022 年第 4 期发表《我

国智能机器人核心芯片技术发展

战略研究》一文。文章阐述了智

能机器人核心芯片技术对于推动

技术自主可控、实现经济高质量

发展、满足居民美好生活需要、

提升国家核心竞争力等方面的重

要价值；梳理了相关政策、技术、

产业等的国际进展，分析了我国

发展智能机器人核心芯片的基础

优势和面临的问题；以多架构路

线、技术方案比对的方式，论证

了我国智能机器人芯片技术发展

路线，据此提出领域发展策略，

形成面向 2035 的重点任务与发展

路线图。文章建议，将智能机器

人芯片自主可控发展上升为国家

战略，明确顶层设计；设立智能

机器人芯片重大科技专项，加大

科研经费投入；出台激励智能机

器人芯片技术研究和产业应用的

政策，牵引产业链升级；落实智

能机器人芯片人才培养和发展措

施，推动技术及产业健康发展。

一、前言

智能机器人作为新一轮科技

革命和产业革命的代表性成果，

其研发与制造涉及人工智能、机

械工程、控制论、材料、计算机

等多学科领域，产业链覆盖面广、

带动性强，是推动我国工业、农

业、国防等各大行业转型升级的

战略性产业，也是衡量国家科技

创新实力的重要标志。随着智能

机器人逐渐融入到人类的生产与

生活中，其面临的环境愈发多样，

从事的任务愈发复杂，高可靠、

高动态、强对抗的应用需求对智

能机器人的算法与算力提出了高

要求，但我国在机器人所需的核

心高性能芯片领域仍相对薄弱，

核心部件的自主研发生产能力与

国际领先水平相差较大，算力、

稳定性和集成化程度等方面表现

不佳。伴随着国际形势日益严峻，

中美贸易摩擦升级，逆全球化趋

势愈演愈烈，加强国产制造能力，

掌握新兴产业主导权，实现智能

VIEWPOINT 观点

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 013

机器人芯片技术及其产业链的自

主可控刻不容缓。

目前，我国智能机器人核心

芯片领域的研究仍处于起步阶段，

制定合理的战略规划对于其发展

具有至关重要的作用。已有研究

较为系统地梳理了智能机器人与

芯片技术的发展现状并提出发展

策略建议。相关研究围绕当前人

工智能核心软硬件在技术、产业

和政策的发展情况，梳理总结了

我国面临的生态体系不完整、基

础理论研究存在短板、创新环境

不完善等问题，为其技术和产业

发展提出了思路与目标。瞄准陆

空协同多模态智能机器人，分析

了该种机器人的发展现状，指出

其缺乏系统的发展规划，没有形

成全链条式的发展模式，软硬件

结合度不够等问题，并给出相应

发展建议。对人工智能芯片的概

念、 分 类、 发 展 历 程 进 行 介 绍，

对其产业发展现状与趋势进行调

研与判别，并围绕人工智能芯片

产 业 发 展 提 出 了 建 议。“ 先 进 半

导体材料及辅助材料”编写组提

出了半导体材料与辅助材料的体

系化发展、上下游协同发展与可

持续发展思路，形成了集成电路

发展的相关对策建议。工业和信

息化部、发展和改革委员会、科

学技术部等 15 个部门联合印发

了《“十四五”机器人产业发展规

划》，为我国智能机器人产业提供

了发展路线指引。

机器人是芯片技术研究的载

体，芯片是机器人功能实现的保

障，两者发展具有深刻的内在联

系，这是当前研究未能深入探讨

之处。为此，中国工程院及时针

对智能机器人核心芯片自主可控

发展的全局性和关键性问题，启

动了相关研究，旨在梳理战略规

划、论证技术路径、提出技术方

案。本文分析了智能机器人核心

芯片的重要价值与国际进展，总

结我国的基础优势与面临的问题，

着重论证技术发展路线并提出面

向 2035 年的发展路线图，以期为

国家产业政策、技术规划、技术

攻关等研究提供参考。

二、智能机器人核心芯片发展

的战略意义

智能机器人核心芯片是一种

专门用于实现感知、控制、导航、

决策、规划等机器人计算功能的

高性能处理器，是机器人在复杂

环境完成各类作业任务的关键。

通过对智能机器人核心芯片技术

发展战略的研究，能够为相关技

术的研究提供思路，推动技术链、

产业链的自主可控，促进经济高

质量发展。

（一）推动技术自主可控的重

要赛道

目前智能机器人核心芯片产

业面临着严重的内忧外患。内忧

在于机器人芯片产业链核心技术

严重不足，国产化率很低，国内

芯片封装测试初步可控，但设计

与制造等高端环节自主可控率严

重不足；外患在于目前大国博弈

的国际形势，西方国家对我国高

端设备、材料与技术进行封锁，

对先进芯片实施禁运，以遏制中

国的发展。因此，亟需开展智能

机器人核心芯片技术方案论证，

根据算法模型特点设计芯片计算

架构，根据计算架构优化算法模

型与编译，以实现高性能、低功

耗、低延时的目标，推动“直道

追赶”和“换道超车”双线并

行，积极抢占集成电路技术创新

竞争高地，增强智能机器人核心

芯片技术链、产业链自主可控

能力。

（二）实现经济高质量发展的

重要支撑

智能机器人是集成众多领域

技术的高端装备，是产业间技术

融合和创新的产物，核心芯片技

术的发展能够提升智能机器人的

作业能力与适应能力，进一步释

放智能机器人的需求，从而带动

整条产业链的技术升级和产品结

构优化，对实体经济振兴起到明

显效果，进而成为经济脱虚向实

的重要手段。大力发展智能机器

人及其核心芯片技术能够带动制

造业的全面提升，成为制造强国

建设的突破口。此外，作为信息

革命的代表性产业，智能机器人

核心芯片产业的发展能够进一步

整 合 大 数 据、 云 计 算、 物 联 网，

观点 VIEWPOINT

014 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

5G 通信等新兴技术，构建新型工

业体系，成为推动我国经济高质

量发展的“火车头”。

（三）满足人民对美好生活需

要的重要保障

我国社会的主要矛盾已转

化为人民日益增长的美好生活需

要和不平衡不充分发展之间的矛

盾。智能机器人核心芯片技术的

发展能够提升智能机器人的应用

范围，大大提升社会生产力，将

人民从重复机械性劳动中解脱出

来，创造更多更高层次与质量的

工作岗位；智能机器人适应性的

提升也能加大特种作业需求，使

人远离危险作业任务，如何在消

防、治安、搜救、排爆等工作中

发挥出重要作用；智能机器人的

大规模利用能够有效提升生产效

率，从而减少生产过程中的消耗

和污染。推动智能机器人产业的

发展，能够有效节约资源、减少

排放，成为建设“两型社会”的

重要支撑。

（四）提升国家核心竞争力的

重要载体

大力推进智能机器人核心芯

片技术与产业的发展，有助于保

障我国国防安全、抢占全球科技

制高点，从而有效提升国家核心

竞争力。目前无人化战争已逐步

成为现代战争的主流，无人系统

作为一类具备自主移动能力的智

能机器人，其态势感知、规划决

策、多机协同、运动控制等都离

不开智能机器人核心芯片的计算

处理能力，本项目的研究有助于

推动军事智能化的发展，推动我

国国防现代化进程。而机器人核

心芯片作为新一轮科技革命的典

型产品，是衡量国家科技创新实

力的重要标志，目前我国在这个

方面具有很大的发展潜力，大力

发展机器人核心芯片能够快速推

动我国相关高技术产业发展，提

升国家核心竞争力。

三、智能机器人核心芯片的国

际发展现状

（一）政策规划方面

近年来，全球性的芯片短缺

给所有智能化产业都带来了严重

的影响，世界各主要发达国家和

地区针对芯片发展制定了一系列

政策规划，围绕技术革新、接口

标准、财政计划等全面布局，抢

占芯片技术发展主导权。

美 国 2020 年 推 出《2020 美

国晶圆代工法案》，建议国会收紧

芯片制造技术的瓶颈，以防止中

国在未来几年内超越美国。随后

又推出《2021 年美国创新与竞争

法案》（USICA）主张对我国采取

强硬的反制措施，提高美国与中

国科技竞争的能力。欧盟委员会

2020 年发表了《欧洲处理器和半

导体科技计划联合声明》，预计投

入 1450 亿欧元助力半导体产业发

展。日本 2020 年发布了“绿色增

长战略”，将半导体产业作为重点

发展领域。韩国 2020 年宣布，将

在 未 来 5 年 内 投 资 950 万 美 元，

发展 5 nm 以下半导体光刻工艺的

材料技术。

各传统芯片强国意图依靠其

丰富的经验，强大的创新能力，

以及雄厚的经济实力，在政策法

规的引导下，凭借国家战略达成

各方共识，将优势资源引导至芯

片领域，从而引领新一轮科技革

命，进一步加强其竞争优势。

（二）技术方面

在新一轮科技革命的浪潮中，

机器人的应用场景与作业需求日

益复杂，对其环境感知、决策规

划、导航定位、运动控制的算法

算力提出了更高的要求。目前基

于通用嵌入式处理器和可编程逻

辑控制器的计算系统，不能满足

未来机器人的感知能力、认知能

力、 灵 敏 运 动 能 力 需 求。 因 此，

亟需研发新形势下机器人核心芯

片，融合最新的人工智能算法，

提升机器人智能自主能力。

在机器人智能算法方面，人

工智能的赋能带来了突飞猛进式

的发展：

① 人工智能提高环境感知效

率。面向目标识别，提出了诸如

SSD、YOLO、R-CNN 等系列经

典框架，让智能机器人可以模拟

人类大脑的计算方式，依靠多层

卷积神经网络大幅增强感知环境

能力；

② 人工智能提升规划决策能

VIEWPOINT 观点

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 015

力。人工智能技术的迅速发展大

大提升了智能机器人规划决策的

自 主 性， 面 向 高 动 态、 高 复 杂、

强对抗环境依然能够正常开展作

业任务；

③ 人工智能强化多机协同能

力。以“机动能量和信息互联”

为基础、围绕“模型算法与数据

计算”的核心，智能机器人能够

实现自主作业为主，人机协同、

机机协同的合作，这将成为未来

智能机器人运用的主要方式。人

工智能技术在互操作、自主决策、

集群控制算法等方面提供了强大

的技术支撑。

在智能机器人计算硬件方面，

正面临摩尔定律失效的问题，并

逐步朝着高能效、专用化、定制

化等多元方向发展：

① 在通用人工智能芯片架构

上，逐渐向类脑化和神经形态演

化。2019 年清华大学发布全球首

款异构融合类脑芯片——“天机”，

让自行车真正实现自动行驶，登

上 Nature 封面；

② 在制造工艺上，芯片制造

进 入 原 子 时 代。2021 年 湖 南 大

学、韩国三星高等技术研究院等

在 Nature 上发表综述文章，文章

讨论了二维半导体和传统三维半

导体的关键材料参数，总结了推

动二维晶体管极限的途径；

③ 在芯片设计上，未来人工

智 能（AI） 自 动 设 计 或 将 实 现。

2021 年谷歌大脑团队联合斯坦福

大学在 Nature 上发表一篇论文，

基于 AI 的芯片设计方法进行了

改进，并将其应用于 Google I/O

2021 大会上正式发布的下一代张

量处理单元（TPU v4）加速器的

产品中。

在机器人智能算法与芯片硬

件融合方面，类脑芯片是一种具

有天然高能效优势的智能算法实

体化解决方案。众所周知，算法、

算力与数据是人工智能技术发展

的三架马车，人工智能技术的引

入增强了机器人的算法效能，各

类传感器为机器人引入了海量的

数据，类脑芯片的出现成为了承

接算法与数据的载体。智能机器

人芯片信息处理单元的架构也逐

渐向仿生大脑结构的方向转变，

“存算一体”的类脑芯片成为了人

工智能技术创新的基础，在运行

一些智能算法上具有高能效优势。

其底端的非易失性核心器件也正

逐步取代易失性核心器件，从而

更好地实现非结构化环境和复杂

任务的智能计算功能。

（三）产业方面

智能机器人核心芯片技术涉

及到半导体、机器人以及人工智

能等多个产业。在半导体领域，

加工制造设备的市场集中度较高，

荷兰、美国、日本的企业垄断了

全球芯片制造市场超过 9 成的份

额。在芯片产业链上，国外整体

上都处于强势地位，在芯片设计、

制造、封测上中下三个主要环节

都占据着主导地位。机器人方面，

目前工业机器人巨头企业主要集

中在日本、美国、德国等工业发

达国家。

因此，国际上智能机器人核

心芯片产业已经形成了一系列商

业化平台。2017 年 11 月，英特

尔 中 国 研 究 院 正 式 发 布 HERO

机 器 人 平 台， 是 专 为 智 能 机 器

人（包括服务机器人、医疗机器

人、自动驾驶汽车等）打造的一

套 低 功 耗、 高 性 能、 体 积 小 的

异 构 系 统 平 台 方 案。 在 该 方 案

中， 中 央 处 理 器（CPU） 作 为

控制中心，与现场可编程逻辑门

阵列（FPGA）和其他专用加速

器芯片搭配，能够提供优异的性

能。2018 年 12 月，英伟达发布

世界首款专为机器人设计的芯片

Jetson AGX Xavier。 作 为 首

款专为自主机器设计的计算机，

Jetson AGX Xavier 的性能足以

完成视觉测距、传感器融合、定

位与建图、障碍物检测以及对新

一代机器人至关重要的路线规划

等任务。2020 年 6 月，美国高通

推出迭代产品机器人 RB5 平台，

成为高通专为机器人设计的最先

进和高集成度整体解决方案，其

在 RB3 基础上提供了丰富的硬件、

软件和开发工具组合，助力开发

者与厂商研制具有低功耗、高算

力的下一代智能机器人，满足消

费级、企业级、工业级以及专业

服务领域的要求。

观点 VIEWPOINT

016 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

四、我国发展智能机器人核心

芯片的基础优势及面临的问题

（一）基础优势

1. 我国积极营造智能机器人

核心芯片发展环境

国家历来重视基础科技和高

新技术产业的发展，在历次国家顶

层宏观政策中，都重点突出对机器

人 / 芯片等高新技术产业的支持。

2021 年 3 月发布的《中华人民共

和国国民经济和社会发展第十四个

五年规划和 2035 年远景目标纲要》

中更是提出在科技前沿领域要攻关

集成电路技术，推动集成电路、机

器人等产业创新发展，提升制造业

核心竞争力。与此同时，国家相

关部委也在专项规划、政策扶持、

进出口投资、区域发展和产业配

套等方面提出了一系列政策文件，

为国内机器人 / 芯片产业发展培育

市场和人才提供政策与资金保障。

相较于其他国家，中国特色社会

主义制度也能够最大限度地整合

社会资源，通过宏观调控、政策

规划、金融财政等手段集中力量

办大事，为智能机器人核心芯片

发展保驾护航。

2. 我国巨大的内需市场为智能

机器人核心芯片发展提供强大动力

目前我国芯片市场规模正在

扩大，芯片产值逐年增加。统计

显示，在过去的五年时间中，我

国芯片产业年复合增值率超过了

21%，达到了同期全球增速的近 5

倍。依据世界半导体行业协会的

统计，我国市场规模实现了跨越

式的快速增长，市场份额达到了

50.7%，高居全球第一。中国已经

成为了全球芯片市场不可或缺的

重要组成。据有关部门统计，近

年来我国机器人产业体系年均复

合增长率超过 15%，产业规模也

已 突 破 1000 亿 元。 而 集 成 应 用

的大幅拓展，使得国内制造业机

器人密度早在 2019 年就已达到

187 台 / 万人，明显高于全球平均

水平。在服务机器人领域，市场

扩张速度更加迅猛。据相关资料

显 示，2013 —2021 年 全 球 服 务

机器人销售额年均复合增长率为

19.2%，2021 年其所占机器人市

场的比重就已达 36%。巨大的内

需市场是智能机器人核心芯片产

业发展的最强动力。

3. 我国拥有最为完整的工业

体系，具备良好的产业基础

中国是全球最大的制造业国

家，工业门类齐全，拥有联合国

工业分类中 39 个工业大类、191

个工业中类、525 个工业小类的

完整工业体系，产值规模高居世

界第一。完整的工业体系能够大

大降低生产成本，提高生产效率，

为智能机器人核心芯片产业的发

展提供底层支撑。芯片关联产业

尤其是机器人产业链水平持续提

升，我国机器人产业规模得到快

速增长并已初步形成较为完整的

机器人产业体系，机器人行业发

展水平已进入世界第一方阵，随

着中国 5G、人工智能、云计算等

“新基建”的快速发展，将进一步

加快智能机器人核心芯片产业的

发展。

4. 我 国 高 学 位 的“ 人 口 红

利”，形成独特的人力资源优势

我国在科学、技术、工程和

数学领域（STEM）的毕业生常

年高居世界首位，据《中国科技

人才发展报告（2020）》显示，我

国研究与试验发展人员数量快速

增 长， 年 均 增 速 超 过 7%， 截 至

2020 年， 人 数 达 到 了 509.2 万，

连 续 多 年 居 世 界 第 一。《 中 国 集

成电路产业人才白皮书（2019 —

2020 年版）》的统计显示，截至

2019 年年底，中国集成电路行业

的直接从业人员规模达到了 51.19

万人。根据当前的发展态势以及

人 均 产 值 计 算， 截 至 2022 年 年

底，该行业人才需求将突破 74.45

万人。2021 年国内各大高校集成

电路学院也如雨后春笋般成立，

其中包括多所国家“双一流”建

设高校。从中长期看，基于持续

的工程师红利和世界前列的人工

智能技术优势，中国有望比肩发

达国家，引领未来机器人及芯片

产业的发展。

5. 国内智能机器人芯片产业

迈出升级新步伐

近年来，我国机器人核心芯

片产业在政策支持与市场需求的

带动下正快速发展。目前国内在

VIEWPOINT 观点

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 017

芯片设计、芯片制造和机器人应

用等方面涌现了一批优秀企业。

芯片设计领域是国内发展最成熟，

技术最全面，也是和国际一流水

平最接近的领域。主要有深圳市

海思半导体有限公司、中科寒武

纪科技股份有限公司、北京地平

线机器人技术研发有限公司等芯

片设计公司。在芯片制造领域我

国与世界领先水平还存在较大差

距，但也在这个领域站稳了脚跟，

目前中芯国际集成电路制造（上

海）有限公司、上海华虹（集团）

有限公司和合肥晶和集成电路股

份有限公司三家公司位列全球芯

片制造代工企业十强。在机器人

领域我国也有长足的进步，随着

市场进一步扩增，政策、研发投

入力度持续加大，我国机器人发

展迅速走强，出现了深圳市大疆

创新科技有限公司、埃夫特智能

装备股份有限公司，沈阳新松机

器人自动化股份有限公司等一大

批领域内的优秀企业。这些公司

的快速发展，展示了我国智能机

器人芯片产业迈出新步伐。

（二）面临要问题

虽然我国在智能机器人核心

芯片方面已经取得了显著的成效，

但对比全球产业同期发展现状，为

实现相关技术、产业自主可控，仍

然存在着一系列问题需要克服。

1. 针对性的顶层设计缺失，

战略目标不清晰

国家全局的顶层战略如“全

面 深 化 改 革 ”“ 中 国 制 造 2025”

“十四五规划”均对智能机器人芯

片发展具有重要意义。然而，智

能机器人芯片由于与机器人技术

以及芯片技术关系紧密，具有其

独特的发展规律，上述国家全局

战略对于智能机器人芯片领域发

展难以起到精准战略指导作用。

近几年，国家陆续出台多项政策

支持机器人和人工智能芯片产业

发展，尤其是 2009 年后政府明

显加快了政策措施出台速度和力

度，从顶层设计、财税金融、示

范应用、人才培养等多角度发

力支持机器人产业发展，政策叠

加效应为我国机器人产业营造了

良好的发展氛围。然而，各部委

制定的机器人和人工智能产业政

策与当前智能机器人以及其核心

芯片的关联性不完全匹配，缺乏

针对智能机器人芯片的指向性政

策，难以起到整体战略的引领

作用。

2. 多个技术环节自主可控率

普遍较低，受制于人

国外智能机器人芯片的设计、

制造、测试、生态构建等，由于

发展较早，技术壁垒较高，而国

内起步较晚，且严重依赖进口，

关键核心环节难以实现自主可控，

诸多方面技术难题亟需突破。主

要问题在于平台核心支撑能力不

足，缺少支撑智能机器人芯片技

术跨领域、跨行业的互联互通的

平台和集成开发环境；核心软硬

件产业基础薄弱，对国外产品依

赖度高，特别是电子设计自动化

（EDA）、知识产权（IP）核、光

刻机、硅晶圆、光刻胶等环节产

业基础薄弱，自主可控率非常低

（≤ 5%），几乎全部依赖进口；当

前我国芯片设计业发展迅速但总

体小而分散，仅有三家公司营收

过百亿，与国际领先的高通公司、

博通公司超 1000 亿元的营收差

距依旧很大，存在着多而不强，

大而不强，快而不优的问题，制

约了智能机器人系统芯片技术的

发展。

3. 高层次人才短缺严重，学

科发展不平衡

随着芯片行业的持续发展，

我国迫切需要一大批芯片行业领

军者。但由于各种内外因素，特

别是外国政府和领先的国际企业

的限制。海外的高层次领军人才

很少回国效力。国内高层次人才

短缺严重的原因一方面是由于国

内芯片产业发展时间段，经验不

足，在技术创新、产品研发、制

造 管 理 等 方 面 的 产 业 人 才 缺 乏；

另一方面是芯片专业的人才培养

需要雄厚的学术基础，开设相关

专业的师资队伍不齐全，没有足

够数量的高校，难以有效满足快

速扩张的芯片制造企业对人才的

庞大需求。

4. 各行业环节发展不均衡，

核心技术储备不足

我国智能机器人芯片企业普

观点 VIEWPOINT

018 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

遍弱小而分散，产品线少，资金

实力不强，未形成合力，综合竞

争力远弱于国外芯片企业，并且

国内产品仍然主要集中在中低端

市场，很多高端芯片核心技术仍

待攻关突破和创新引领。国内在

智能机器人芯片 EDA 设计工具、

芯片体系架构、芯片制造工艺、

关键原材料以及软硬件生态等芯

片产业链核心环节，尚无法脱离

国外核心技术，尤其是高端芯片

EDA 设计工具与高工艺光刻机必

须依赖进口，国内在打通整个智

能机器人芯片产业链方面还有很

长一段路要走。

五、我国智能机器人核心芯片

技术发展路线论证分析

智能机器人有相对发达的

“大脑”，在脑中起主要作用的是

CPU。智能机器人智能程度的提高

依赖于芯片处理能力的增强，现实

是我国智能机器人系统芯片，特别

是处理功能芯片等关键部件存在自

给率低、性能不高等突出问题。因

此，提出可行的智能机器人自主可

控专用芯片技术发展路线，对解决

机器人发展的“卡脖子”问题，提

高我国机器人的智能化和安全性具

有重要的产业价值和战略意义。

（一）技术体系框架

本文从智能机器人处理功能

的芯片纯设计方面着手，进行算

法芯片化设计技术体系规划。该

技术体系建议：从现有技术基础

（科学研究和产业技术）出发，剖

析机器人关键算法，澄清关键算

法芯片化技术，结合特定应用领

域技术，开展算法、电路、架构、

系统的软硬件协同设计研究，在

技术节点不占优势的前提下，通

过其他层面的变革性创新实现系

统性能提升，并试图找到我国智

能机器人系统芯片自主可控发展

的最优方案。

（二）多架构路线全面推进智

能机器人核心芯片发展

算法是决定机器人功能的

重要因素，如果把机器人与人类

比，可以说算法相当于人类的智

慧与灵魂思想。按照功能类别来

分，主流机器人算法主要可分为

感知算法、规划算法、控制算法

等几类。未来的智能机器人发展

需要先进的算法，同时应着重于

芯片的能效比，因此，通过软硬

件协同的算法芯片化设计是趋势，

也是以差异化方式实现我国智能

机器人系统芯片自主可控的必经

途径。

为推动智能机器人核心芯片

发展，建议采用以下几类处理技

术体系模式（异构并行方式）的

并 行 发 展 路 线。CPU 作 为 计 算

系统（智能机器人也属于一种计

算系统）的运算和控制核心，是

信息处理、程序运行的最终执行

单元，它是对系统内的所有硬件

资源进行控制调配、执行通用运

算的核心硬件单元。本文从处理

角度出发，所有技术路线都包含

CPU 作为主处理器。其中，图形

处理器（GPU）、FPGA 均是前期

较为成熟的芯片架构，属于通用型

芯片。专用集成电路（ASIC）属

于为 AI 特定场景定制的芯片，可

将 ASIC 分为全数字 ASIC AI 芯

片和数模混合存算一体 AI 芯片。

1. 路线 1：CPU 主处理器 +

GPU 协处理器

AI 算法均可以通过 CPU 实

现，但 CPU 缺乏并行性，对于 AI

算法中需要大量的并行计算方式

并不友好。GPU 则具备并行的处

理能力，也是目前实现 AI 计算最

广泛的方式。

2. 路线 2：CPU 主处理器 +

FPGA 协处理器

FPGA 可设计为非冯·诺依

曼架构，使得其在运算单元和存

储单元间的信息交换量大幅降低，

因此具有流水线处理和响应迅速

的特点。

3. 路线 3：CPU 主处理器 +

ASIC 协处理器

AI 算 法 稳 定 后，AI 芯 片 可

采用 ASIC 设计方法进行全定制，

使性能、功耗和面积等指标面向

深度学习算法做到最优。

（1）路线3.1：CPU主处理器+

全 数 字 ASIC AI 协 处 理 器。AI

算法中很多的乘累加操作（MAC）

可采用“类存算一体”方式进行

全数字 ASIC 设计，具有更高的能

效性能。

VIEWPOINT 观点

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 019

（2） 路 线 3.2：CPU 主 处 理

器 + 数模混合存算一体 AI 协处理

器。通用处理架构存在冯·诺依曼

瓶颈，即运算与存储分离，导致大

部分的能量消耗在运算单元和存储

单元的通信上。成熟非易失性存储

器件或新兴非易失性存储器件结

合交叉阵列架构具有天然的一步

实现 AI 算法中密集的 MAC 操作

的特性，从而具有实现完全“存

算一体”新计算范式的能力。

（三）技术路径与技术方案

分析

分析智能机器人系统芯片技

术路线，其实就是分析路线中协

处理器运行 AI 算法的特点和他们

的自主程度，智能机器人系统芯

片自主可控技术路线分析如下。

1. 路线 1：CPU 主处理器 +

GPU 协处理器

该路线是目前最成熟、最易

于实现相对自主可控的方式，短

期可通过自研算法实现相对自主

可控，长期需自研芯片实现自主

可控。但也应该注意存在一定的

风险，因为国产 CPU 没有自主指

令集系统，并不能说是完全的自

主可控产品，而景嘉微电子股份

有限公司作为唯一的自主 GPU 生

产商，竞争风险过于集中。

CPU 和 GPU 都 是 通 用 处 理

器，技术成熟，国外有先发优势，

国内受到严重的技术限制，国内

外差距大。虽然在该技术路线上

很容易被“卡脖子”，但在该技术

路线上实现智能机器人芯片自主

可控非常有必要：一是反哺增强

CPU 和 GPU 的自主可控能力；二

是结合特定应用实现协同优化提

高智能机器人芯片的安全性和智

能性。这也是在现阶段基础上最

现实的技术路线，针对特定应用

场景，依靠自研算法提升性能，

有利于 AI 算法技术的提升，以

“直道追赶 + 差异化应用”方式突

破封锁。

2. 路线 2：CPU 主处理器 +

FPGA 协处理器

理 论 上，FPGA 可 以 实 现 任

意 ASIC 和数字信号处理（DSP）

的逻辑功能。而实际应用中，开发

人员可通过 FPGA 的 EDA 软件来

修改芯片，而不是替换和重新设

计芯片。FPGA 的开发流程不涉

及掩模和流片等步骤，使得开发

周期可以缩减。在当前 AI 企业级

应用中，FPGA 占据了主导地位。

FPGA 流片成本高昂，实现

同 样 的 AI 应 用， 制 作 FPGA 芯

片的成本可能会超过 ASIC 的成

本 10 倍以上。为适应下游用户复

杂多样的需求和应用，FPGA 的

门电路集成度往往很高，然而具体

到某一应用，冗余的门电路会提升

FPGA 的功耗。在功耗敏感的领域

中，这是非常致命的缺陷。而另

一方面，作为 AI 算法 ASIC 芯片

化的前期验证路线，FPGA 具有

较短的研究周期和较低的成本。

3. 路线 3：CPU 主处理器 +

ASIC 协处理器

路线 3.1 属于电路级“存算一

体”路线，即用数字“类存算一

体”方式实现 MAC 操作，相对

于路线 3.2，该路线实现稳定性较

高，但并行性和能效比要低。

路线 3.2 是器件级“存算一

体 ” 路 线， 即 采 用 的 固 定 存 储

器（NVM） 本 身 具 有 存 储 和 计

算功能，这些器件结合 Crossbar

array 架 构 在 MAC 操 作 上 具 有

天然的优势，并且单位器件可具

有多级状态，发展潜力巨大。两

种 ASIC AI 芯片技术路线具有针

对特定应用执行智能机器人边缘

（在机器人领域，这里边缘指代近

感知端）部署的潜力，简单的任

务可以自行处理，提高系统效率。

国外 AI 芯片尚未形成明显压倒性

优势，国内起步不算晚，国外尚

未完全形成技术垄断，有利于在

工艺制程技术不占优势的基础上

实现系统性能的超越。

总体上，在成熟度方面：路

线 1> 路线 2> 路线 3.1> 路线 3.2

（能效比 / 自主可控）；在潜力方

面：路线 3.2> 路线 3.1> 路线 2>

路线 1（见表 1）。虽然路线 3 的

成熟度相对较低，但也意味着该

领域存在着更多的技术自主可控

机会，在这些领域也涌现了有代

表性的中国公司。建议加大力度

布局前沿技术研究，实现“换道

超车”。同时，在通用芯片领域受

限于摩尔定律放缓，而机器学习

观点 VIEWPOINT

020 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

规模指数级增长的机遇下，紧抓

高端芯片先进工艺制程关键、核

心技术攻关，由“直道追赶”到

“直道赶超”。全面布局，为实现

智能机器人系统芯片自主可控打

下坚实的基础。

六、我国智能机器人核心芯片

发展思路、重点任务与战略目标

（一）基本策略

紧密围绕解决智能机器人芯

片“卡脖子”难题，服务我国科技

稳步快速发展的总目标，在分析总

结国内外芯片产业发展态势、发展

方向，调研我国在机器人芯片领域

所存在的优势和不足的基础上，提

出以下五个方面的发展思路。

直面困难，自力更生。当前

国际形势风云变幻，国家安全和

发展环境复杂多变，未来一个时

期又是我国实现中华民族伟大复

兴的关键期，对我国各个领域的

科技支撑能力提出了更高的要求。

我国智能机器人芯片发展战略首

要就是在当前时代背景和国际环

境下，正视我国在芯片领域面临

的“卡脖子”问题。自觉践行和

大力弘扬“两弹一星”精神、载

人航天精神等新时代科学家精神。

制定长期发展战略，做好打持久

战的准备，举国家之力，打破国

外对高端芯片的技术封锁，实现

新时代科技新长征的最终胜利。

顶层设计，战略布局。智能

机器人芯片产业的发展与机器人

技术、机器人应用技术、芯片产

业、芯片应用产业等诸多行业密

切相关，关乎我国国防装备、工

业生产、居民生活等方方面面。

需真正从国家的高度对机器人芯

片的发展提出纲领性、统揽性的

谋划。不能将该领域的发展寄希

望于外来的技术支持，寄希望于

设备的进口，而是将其作为国家

科技重要支柱性产业来抓。做好

从基础理论研究、关键技术突破

到产业应用落地的全链条总体规

划，注重对国家长期发展的支持。

强调整体，重点突破。机器

人芯片产业的发展是涉及面广、

影响力大、关联性强、制约关系

复杂的系统工程，某一环节不足

很容易形成木桶效应。发展自主

可控的智能机器人芯片需要重视

其相关各方面的有机联系，做到

整体推进。同时，系统工程需要

重点突破，善于抓“牛鼻子”，找

突破点，或“剥茧抽丝”，或“快

刀斩乱麻”，方式方法得当，就能

起到“四两拨千金”的作用。

夯实基础，扩大优势。近几

十年，我国机器人、芯片等领域

的技术及应用更多是规模上“量”

的增长，走的是“买来主义”路

线，实际的机器人芯片基本技术

和工艺，高端芯片的设计研究和应

用虽有进步，但跟国外先进水平

还有很大差距。要实现关键技术

自主可控的转变，需要充分挖掘

和发挥我国所具有的集中力量办

大事体制优势，继续扩大我国在

市场需求、生产加工、人才储备、

基础设施建设等方面的发展优势，

尤其注重在全球竞争的环境中扬

长避短，积极抢占新一轮科技与

产业的制高点。

深耕本土，面向世界。我国

拥有世界最大的智能机器人芯片

既有市场和潜在市场，这成为我

国芯片发展的不竭动力。我国芯

片产业应该充分立足本国市场，

挖掘好本国需求，发挥好本土优

势，从本土市场起步才能最终走

向世界。同时我国科技与社会发

表 1　技术路径特点与比较分析

路线 成熟度 潜力（能效比 / 自主可控） 协处理器芯片架构特点

１ 高 低 冯·诺依曼架构，存算分离

2 中 中低 非冯·诺依曼架构，近存计算

3.1 中低 中 非冯·诺依曼架构，类存算一体

3.2 低 高 非冯·诺依曼架构，存算一体

VIEWPOINT 观点

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 021

展对机器人芯片需求迫切，也需

要在借鉴欧洲、美国、日本等发

达国家和地区经验的基础上，充

分立足我国国情，处理好产品进

口、技术引进与自主研发之间的

关系，勇敢探索一条适合我国国

情的机器人专用芯片发展道路。

总之，需认真总结提炼我国

在机器人芯片发展过程中的经验

和教训，准确把握世界发展趋势

和新时代国家整体发展需求和方

向，立足新时代我国基本国情，

充分发挥我国在机器人芯片方面

的各种优势并将之与现阶段芯片

技术发展的本质规律有机结合，

探索出一条具有中国特色的智能

机器人芯片发展之路。

（二）重点任务与发展路线图

我国智能机器人芯片发展要

准确把握全球信息技术、机器人

技术、人工智能等领域发展赋予

的重大机遇，站在机器人产业和

芯片产业融合发展全局的角度，

充分总结历史发展经验教训，瞄

准未来科技发展战略制高点，以

问题为牵引，以需求为导向，围

绕自主可控发展中国智能机器人

芯片的总目标，着力布局以下重

点任务：

① 做好中国智能机器人芯片

发展的顶层设计。

② 制定智能机器人芯片的发

展路线。

③ 做好智能机器人芯片的产

业布局。

④ 构建智能机器人芯片产业

协同优化的产业结构。

⑤ 制定释放市场和人才创新

活力的协同创新机制。

⑥ 明确自主可控与国际协作

发展的边界。

⑦ 重点推动智能机器人芯片

的应用落地。

我国智能机器人芯片发展

就是以实现解决机器人专用芯片

图 1　我国智能机器人核心芯片发展路线图

观点 VIEWPOINT

022 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

“卡脖子”难题、服务中国科技

稳步快速发展为总目标，力争到

2035 年左右建设成为智能机器人

芯片强国，机器人芯片产业自主、

可控、完善、协同、高效，对国

家经济社会发展支撑作用显著增

强。我国智能机器人核心芯片发

展路线图如图 1 所示，实现总目

标可分“三步走”。

第一步，到 2025 年，全国上

下自主可控发展机器人芯片的共

识强烈，自主创新能力显著增强，

掌握一批关键核心技术，优势领

域竞争力进一步增强，尤其在芯

片设计、中低端芯片的加工、芯

片的产业化融合等领域进步明显，

机器人芯片对机器人产业的提质

增效作用逐步凸显。自主可控智

能机器人芯片与发达国家芯片产

业跟跑差距不断缩小。

第 二 步， 到 2030 年， 建 成

自主创新的机器人芯片研发体系，

关键核心技术和应用达到世界领

先水平，全产业链实现安全可控，

在全球价值链中的地位明显提升，

新型机器人芯片产业生态基本形

成，低中高全覆盖的芯片设计、

加工、制造、应用完整产业集群

涌现，机器人芯片对机器人产业、

国家经济和社会发展的支撑作用

持续增强。自主可控智能机器人

芯片与发达国家芯片产业并跑态

势基本达成。

第 三 步， 到 2035 年， 形 成

创新引领优势，建成全球领先的

机器人芯片体系，新型机器人芯

片产业生态逐步完善，芯片技术、

机器人技术与各个领域全面实现

协调发展，芯片对经济和社会发

展的支撑作用大幅提升。自主可

控智能机器人芯片实现全球领跑。

七、对策建议

（一）将智能机器人芯片自主

可控上升为国家战略

建议制定“智能机器人芯片

自主可控发展战略”，明确智能机

器人芯片的自主可控发展在国家

总体战略规划中的突出地位。成

立智能机器人芯片发展领导小组，

负责对机器人产业和芯片产业发

展的统一规划和统筹实施。组织

涵 盖 科 技、 经 济、 能 源、 环 境、

交通、通信、城市规划等不同领

域的顶级专家成立智能机器人芯

片自主可控发展专家咨询委员会，

为智能机器人芯片发展提供决策

支撑，统筹推进机器人技术及产

业、芯片技术及产业的协同发展，

围绕体制机制改革、特色市场环

境搭建、自主创新体系建设、智

能机器人产业生态、专用智能芯

片产业和集群等重点任务，制定

目标清晰、方向明确、措施得力

的顶层设计。

（二）设立智能机器人芯片重

大科技专项

面向各大应用领域对机器人

及机器人芯片的重大迫切需求，

抓住机器人与芯片不断深入融合

发展的重大变革机遇，设立智能

机器人芯片重大科技专项，实现

智能机器人芯片领域核心和关键

技术全面自主可控。智能机器人

芯片重大科技专项要以战略性、

全局性、前瞻性、关键性技术需

求为牵引，发挥国家实验室、国

家工程研究中心等平台优势，重

点围绕芯片基础科学及工艺的芯

片设计、芯片制造、芯片封测技

术，围绕智能感知、认知、交互、

规划、控制、协同的机器人技术，

围绕算法芯片融合的模型压缩、

算法融合、新型架构设计技术，

以及围绕工业机器人、服务机器

人、自主无人系统、特种机器人、

智慧交通系统的智能机器人芯片

应用技术等为重点，为智能机器

人芯片做好技术储备，促进我国

机器人领域在核心理论和关键技

术方面全面赶超世界先进水平。

智能机器人芯片重大科技专项资

金来源可从应用市场获取，主要

依托机器人应用的相关产业产生

的税收红利，在确保一定政府资

金投入的基础上，形成多元化的

投入机制。

（三）出台激励智能机器人芯

片技术研究和产业应用政策

国务院印发的《新时期促进

集成电路产业和软件产业高质量

发展的若干政策》（2020 年）强

调，集成电路产业和软件产业是

信息产业的核心，是引领新一轮

科技革命和产业变革的关键力量。

VIEWPOINT 观点

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 023

随后，我国集成电路产业和软件

产业快速发展，有力支撑了国家

信息化建设，促进了国民经济和

社会持续健康发展。建议在此框

架内，突出“自主可控”的总体

指导思想，重点强调基础研究与

应用研究并重发展，出台面向智

能机器人领域的芯片产业发展详

细 落 地 政 策， 在 财 税、 投 融 资、

研究开发、进出口、人才、知识

产权、市场应用、国际合作等方

面继续明确在机器人专用芯片领

域的专项措施。由智能机器人芯

片发展领导小组推进各部门、各

地方尽快制定具体配套政策，加

快政策落地，确保取得实效，推

动我国智能机器人芯片领域实现

高质量发展。

（四）落实智能机器人芯片人

才培养发展措施

支撑和决定智能机器人芯

片产业发展的关键在于人才。建

议我国出台政策措施，重点推进

“政产学研”多方协同的研发机

制，不断加强芯片产业人才的培

养力度、提升产业研发能力、缩

小产业的技能缺口。首先，推动

深层次产学研合作，促进产业人

才培养。重视和加快机器人、半

导体、集成电路相关学科的人才

培养开发，鼓励各类研发机构、

高校、科研院所与高新区企业、

基地载体等各类组织开展多种形

式的高层次、紧缺和骨干专业技

术人才培养合作。另外，完善人

才评价和激励机制，完善鼓励创

王耀南，中国工程院院士，

机器人技术与智能控制专家，湖

南大学教授 , 机器人视觉感知与

控制技术国家工程研究中心主

任。任中国科协委员、中国图象

图形学学会理事长、中国自动化

学会会士、中国计算机学会会

士、中国人工智能学会会士、全

国智能机器人创新联盟副理事

长、国家自然科学基金委员会专

家咨询委员、中国自动化学会常

务理事、中国人工智能学会监

事、教育部科技委人工智能与区

块链技术委员会委员、湖南省自

动化学会理事长等。曾任湖南大

学电气与信息工程学院院长、机

器 人 学 院 院 长、 国 家 863 计 划

智能机器人领域专家、欧盟第五

框架国际合作重大项目首席科

学家。

长期从事机器人感知与控

制技术教学科研工作，成果获国

家技术发明二等奖 1 项、国家科

技进步二等奖 4 项、国际 IEEE

机器人与自动化领域“工业应用

最高奖”，省部级一等奖 11 项。

发表国际 IEEE 等 SCI 论文 200

余篇，出版机器人感知与智能控

制等著作 15 部，获国家发明专

利 90 余项，培养博士 70 余名

（ 含 IEEE Fellow、 长 江、 杰

青等）。荣获国家百千万工程人

才、德国杰出洪堡学者、全国高

等学校优秀教师、全国五一劳动

奖章、全国先进工作者、全国创

新争先奖、全国教材建设先进个

人、湖南省抗击新冠疫情先进个

人等荣誉称号。

王耀南简介

新创造的分配激励机制，形成有

效的正向激励，使人才能够充分

发挥创新潜能。全面调动人才的

积极性，发挥创新潜能与活力。

再者，积极引进高端人才，完善

人才集聚机制，加大对全球芯片

产业高端人才的吸引力度，根据

产业发展需求开展人才与企业、

人才与项目对接活动，拓展全球

技术研发、制造等理工科类人才

流入国内芯片行业的渠道。最后，

构建专业化人才服务体系，为芯

片产业高层次人才的科技研发、

成果转化、市场拓展等提供深层

次增值服务，支持打造适合人才

长期发展的良好生态，聚集人才

并留住人才。

来源：中国工程院院刊

观点 VIEWPOINT

024 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

王飞跃：元宇宙如何改变一切

关于元宇宙的：现象与本质

莎士比亚曾说：一千个读者

眼中就会有一千个哈姆雷特。对

于“ 元 宇 宙 ”， 一 千 个 人 的 头 脑

里，会有“一千零一夜”的元宇

宙（Metaverse）之梦。

再结合马修·鲍尔关于元宇

宙的文章，就会发现，在每一个元

宇宙里至少有上亿个“哈姆雷特”，

他们不停地在自问：是生活在元宇

宙之中，还是消失在元宇宙之外？

Tobe or not to be（inthe

Metaverse）？

自 从 2021 年 Facebook 创

始人扎克伯格宣布其公司更名为

ftetaPlatforms 之 后，“ 元 宇 宙 ”

一词顿时在全世界热了起来，引

发人们的热烈讨论：

这是 Trickor Treat（是“猪”

都会飞的风口还是割“韭菜”的

时 机 ）？Hopeor Hype（ 是 科 技

新希望还是商业新忽悠）？这些问

题归根结底就是：到底什么是元

宇宙？元宇宙究竟意味着什么？

曾任亚马逊全球战略主管的

马修·鲍尔应该是回答这些问题

的最佳、最权威人士。他去年在

Facebook 改 名 之 前 发 布 的《 元

宇宙入门》，几乎是阅读量最高的

“元宇宙”主题的文章，或许扎克

伯格就是受此影响才决定变“脸”

为“元”，自我革命，Allinfteta！

毫无疑问，正是马修·鲍尔

的努力，才使元宇宙成为西方投

资者、商界人士和政客追逐的新

热点，并引发世界性热潮，成了

令无数相关人士向往并希望可以

借其通向新世界的“蓝海”。

因此，在“元宇宙入门”基

础上完成的《元宇宙改变一切》，

应该是每一位关注元宇宙人士的

必读之物。

在本书中，马修·鲍尔以其

一贯的风格，用翔实的素材、深

入 的 分 析， 全 面 论 述 了 元 宇 宙

的现状和潜力，是目前关于这一

“形而上”愿景之最“形而下”的

权威著作。

在我看来，元宇宙的出现推

动人类社会关注方式和信用机制

的变革。而且，无论你我对其的

态度是认可的“Tobe”还是否定

的“Nottobe”， 元 宇 宙 都 将 改

变一切。相信本书将有助于大家

正确理解元宇宙，避免落入“黑”

科技的“黑洞”，自然地融入科技

发展之历史潮流，共同引导智能

科技向善，推动人类社会向健康

可持续的智慧社会发展。

特别令人赞赏的是，马修·鲍

尔在本书中没有在众多的“哈姆雷

特式”元宇宙问答或定义中选边站

队，更没有对五花八门、各式各样

的元宇宙愿景及其实现进行预测或

“算命”，只是力求客观地描述各

路“元军”的努力、希望、意义，

为大家进一步的畅想提供了良好的

素材与空间。至于元宇宙为何能改

变世界，或借用本书英文书名 The

Metaverse:And How It Will

Revolutionize Everything 提 出

的问题，依然是读者自己必须面对

并回答的“哈姆雷特式”问题。

本书让我遗憾之处是没有

对“ 元 宇 宙 ” 一 词 的 英 文 起 源

进 行 全 面 而 客 观 的 梳 理， 特 别

是 没 有 对 1981 年 弗 诺· 文 奇

（VernorVinge） 的《 真 名 实 姓 》

（TrueNames）和1984年威廉·吉

布 森（William Gibson） 的《 神

经漫游者》（Neuromancer）催生

元宇宙的作用给予充分的阐述。实

际上，没有吉布森在其 1982 年的

处女作《全息玫瑰碎片》（Burning

Chrome） 中 提 出 的“ 赛 博 空 间 ”

（cyberspace） 一 词， 并 在《 神

VIEWPOINT 观点

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 025

经漫游者》中发扬光大，很难想

象 1992 年尼尔·斯蒂芬森（Neal

Stephenson）会在《雪崩》（Snow

Crash）中提出“元宇宙”一词。

此外，马修·鲍尔还有意无

意 地 忽 略 了 1991 年 出 版 的《 镜

像 世 界 》（Mirror Worlds） 及

其 作 者 戴 维· 格 勒 尔 特（David

Gelernter)，以及众多和镜像世界

有关的小说和影视作品。从时间上

和技术上看，其实“镜像世界”才

是当下人们谈论的元宇宙之真身。

无论如何，同马修·鲍尔一

样，我坚信元宇宙将改变人类社

会的一切，就像从农业社会到工

业社会是一场产业与社会革命，

元宇宙、数字孪生和平行智能等

将是从工业社会到智业社会这场

革命的关键科技与产业支撑及基

础设施。

这些技术就是“新 IT”智能

技术（Intelligent Technology），

是“旧 IT”信息技术（Information

Technology）和“老 IT”工业技

术（Industrial Technology） 的

升级和升华。

“老”“旧”“新”三种 IT 技

术将融汇起来，开发我们面临的

波 普 尔 的“ 三 个 世 界 ”： 物 理 世

界，以老 IT 工业技术为主；心理

世界，以旧 IT 信息技术为主；人

工世界，以新 IT 智能技术为主。

这一切的本质就是：通过虚

实互动一体化的元宇宙等技术，

人类社会将信用度（Trust）和关

注力（Attention）等人工世界的

理念，转化为可大批量生产并可

大规模流通的新商品，就像工业

革命是以利用纺织机将心理世界

的“时尚”转化为实际的新商品

为起点一样，使整个人工世界成

为人类发展的新边疆和提高效益

的新途径。

据此，元宇宙及其支撑和衍

生科技必将改变一切。

关于元宇宙的：哲学与科技

哲 学 上， 元 宇 宙 ftetaverse

之“元”就是形而上学 ftetaphysics 之“ 元 ”（fteta）。 元 宇 宙

的实质就是“形而上”，其实际功

能就是激发大家的想象力和创新能

力。所以，不是一千个人应有一千

个元宇宙，而是每个人都该有自己

的“一千零一夜”之元宇宙梦。

我的元宇宙梦就是为此类理

念建立相应的科学与技术及其工

程支撑体系，这就是我一直倡导

的平行智能与平行系统。

借用我为中国青年科技工作

者所撰的另一部元宇宙专著所写

之序，在此就元宇宙之哲学和科

技，谈谈自己的初步想法。

“形而上者谓之道，形而下

者 谓 之 器 ”， 这 本 是 中 国 古 老 的

哲 学 思 想， 但 今 日 的 元 宇 宙 之

“fteta”， 区 块 链 之“DAO”， 还

有各种智能科技新 IT 之“器”般

的理念与算法，从维纳的《控制

论 》（Cybernetics） 到 吉 布 森 的

赛博空间，从人工智能（AI）到

深度学习（DL），从影子系统、数

字孪生到平行智能，已将这一哲

学思想转化为技术要求和工程系

统，如图 1 和图 2 所示。

《圣经·新约·约翰福音》开

篇第一句就是“太初有道，道与

神同在”。中国经典《道德经》第

四十二章开首即为“道生一，一生

二，二 生 三，三 生 万 物 ”。 二 者 之

合，恰好“形而上”地刻画出未

图 1　平行智能与元宇宙：迈向智慧社会的“真”（TRUE）与“道”（DAO）

资料来源：Fei-YueWang，Parallel Intelligence in Metaverses: Welcome to Hanoi! IEEEIntelligent Systems，Vol.37，No.1，pp.16-20，2022.

观点 VIEWPOINT

026 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

来智能技术的必然流程：

● 太初有道，元源太初，是催

生控制论的“循环因果论”，将区

块链之“道”与元宇宙之“元”，

通过“真”与“道”的理念融合

起 来， 变 成 技 术， 特 别 是 机 器

学习等“形而下”的人工智能技

术， 为“ 真 ” 的 可 信 Trust、 可

靠 Reliable、可用 Useful、效益

Effective/Efficient，以及“道”

的层次和功能（分布 / 全中心、自

动 / 自主、组织 / 行动），提出具

体要求；

● 道生一，就是我们必须面对

的特定自然系统和问题；

● 一生二，就是我们开始解

决问题时必须面对的界限和“小

数据”；

● 二生三，就是我们的由经

验、模型、“实验”（特别是“计算

实验”）所产生的“大数据”；

● 三生万物，就是通过智能方

法从大数据中提炼出来的各种具

有针对性的“深智能”；

●“小数据 - 大数据 - 深智能”

这一流程尽归于“元”，在“元宇

宙”中必然存在其对应物，从而

实现虚实合一、平行互动。由此，

必然走向基于 ACP（A：人工社会；

C：计算实验；P：平行执行）的

平行智能方法，融机器人、区块

链和智能科技为一体，变革生产

资料、生产关系和生产力，进入

人类社会发展的新阶段。

这 一 切 的 本 质， 就 是 试 图

把过去受个人认知能力的“密勒

指 数 ”（ftillerindices，5±2），

以及社会认知容量的“邓巴圈”

（150±50）之限而无法商品化的

关注力和信用度转化为可批量化

生产、可规模化流通的新型商品。

这正是我们研究元宇宙的原因和

动机。我们相信，如果正确的元

宇宙模式成功，将革命性地变革

经济商品的范畴。同时，也能够

极大地扩展提高社会效益的途径，

加速从工业时代到智业时代的

进程。

20 世纪 80 年代初，从利用

蒙 特· 卡 罗 方 法（ftonte Carlo

method）和高斯随机场（Gaussian

Random Field） 进 行 材 料 缺 陷

研究开始，我有幸在浙大走上了

利用计算手段设计、分析、实验、

验证物理系统的学术研究道路。

20 世纪 90 年代初，我向美国国

家航空航天局（NASA）提出将

模型作为数据产生器和可视化工

具的“影子系统“方法，即今天

的数字孪生思想。

21 世纪初，在科学哲学家卡

尔·波普尔“三个世界”理论的

影响下，我在中国科学院提出“平

行系统”及其平行智能，以及相

应的 ACP 方法和 CPSS（CyberPhysical-Social Systems）概念。

我一直希望这些研究能够催生新

的产业革命，促成智能企业和智

能产品—从我们日常离不开的智

能家居系统开始。为此，2000 年

在上海举办的第一届中国家电科

技大会上，我做了“家用‘网器’

及其互联互通与产业革命”的大

会报告，提出互联网将导致“第

四次产业革命”，即“工业 4.0”，

而 OSGi 将开启“第五次产业革

命 ”， 即“ 工 业 5.0”。 同 年， 我

图 2　学科交叉与元宇宙：在多重元宇宙和交叉学科中实现“循环因果”和“小数据 - 大

数据 - 深智能”智能科技新范式

资料来源：Fei-YueWang，The DAO to Meta Control for Meta Systems in Metaverses: The

System of Parallel Control Systems for Knowledge Automation and ControlIntelligence

in CPSS，IEEE/CAA Journal of Automatica Sinica，Vol.9，No.11，pp.1899-1908，2022.

VIEWPOINT 观点

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 027

与广东科龙电器集团、中国科学

院和美国亚利桑那大学合作，成

立国际研发中心和创业公司，于

2000 年至 2001 年进行云计算和

物联网相关科研和系统开发，有

幸发表了平行、ACP 和 CPSS 领

域的开拓性文章。这些经历，让

我对数字孪生和元宇宙等有了进

一步的思考与认识，相信本书的

出版将更深入地推动元宇宙智能

科技的发展与应用。

元宇宙在赛博空间中孕育，

在《镜像世界》一书中诞生，借

小说《雪崩》成名。

我的希望是，通过平行智能，

元宇宙进化到钱学森的“灵境”技

术，最终构成“明境、临境、灵

境”三位一体的智能科技体系，即

三境智能：明察其境、身临其境、

智汇灵境，成为不但更有“中国

味”，也更加人性化，能更好地服

务于人类的向善的新科技。

来源：《元宇宙改变一切》序言

王 飞 跃 教 授，1990 年 获

美国伦塞利尔理工学院（RPI）

计 算 机 与 系 统 工 程 博 士 学 位。

1990 年起在美国亚利桑那大学

先后任助教授、副教授和教授，

机器人与自动化实验室主任，复

杂系统高等研究中心主任。曾任

中国科学院自动化研究所副所

长，现为中国科学院自动化研究

所复杂系统管理与控制国家重点

实验室主任。

王教授是智能控制、智能机

器人、无人驾驶、智能交通等领

域早期开拓者之一。自上世纪 80

年代起，师从机器人和人工智能

领域开拓者 G. N. Saridis 和 R. F.

McNaughton 教 授， 开 展 智 能

控制、机器人、人工智能和复杂

系统的研究与应用工作，提出并

建立了智能系统的协调结构和理

论、语言动力学理论、代理控制

方法、复杂系统的 ACP 方法等。

现已完成“Advanced Studies of

Flexible Robotic Manipulators:

Modeling， Design， Control and

Application”、“Autonomous

Rock Excavation: Intelligent

C o n t r o l T e c h n i q u e s a n d

Experimentation”、“Advanced

Motion Control and Sensing

for Intelligent Vehicles”、

“Advances in Computational

Intelligence: Theory and

Applications”、《社会计算》、《智

能汽车》、《智能轮胎》、《区块链

理论与方法》等十多本学术专

著，皆为相关领域的首部学术

著作。自二十一世纪初，发起

并开拓了社会计算、社会制造、

平行智能、平行控制、平行管

理、平行艺术、知识自动化等新

的研究领域。王教授现任智能科

学与技术学报、IEEE 智能车汇

刊（IEEE Trans. on Intelligent

Vehicles） 主 编， 指 挥 与 控 制

学报名誉主编。1996 创办 Int’l

J. of Intelligent Control and

Systems 和 World Scientific

Series on Intelligent Control

and Intelligent Automation，

2019 年 创 办《 智 能 科 学 与 技

术 学 报 》。 现 任 中 国 自 动 化 学

会 监 事 长。2003 年 起 先 后 当

选 IEEE、INCOSE、IFAC、

ASME 和 AAAS 等国际学术组

织 Fellow。2007 年 获 国 家 自

然科学二等奖和 ACM 杰出科学

家 称 号，2014 年 获 IEEE 诺 伯

特·维纳奖。

王飞跃简介

学术前沿 ACADEMIC FRONTIER

028 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

摘要：针对卫星拒止环境中移动机器人高精度定位需求，提出一种基于误差状态扩展卡尔曼滤波（ESEKF）的激光定位子系统 / 视觉定位子系统 / 全局速度测量子系统松耦合融合定位方法，并设计了一个误差

低漂移的组合定位系统。首先，根据向量加法和矩阵乘法对系统状态的误差进行最小表示，建立误差形式

的卡尔曼滤波模型，以误差状态的最优估计对系统状态的估计值进行补偿。然后，针对激光和视觉定位子

系统位姿不确定度未知的问题，将位姿输出依时间戳转化为位姿增量，并建立位姿增量观测模型。其次，

针对组合定位系统缺少全局速度约束的问题，利用姿态航向参考系统（AHRS）和正向运动学模型构建全

局速度测量子系统，并建立全局速度观测模型。最后，在街道和野外两个场景中进行测试，本文算法的相

对定位误差小于 0.4%，相较于仅受局部速度约束的 EKF 和 ES-EKF 融合定位算法降低了约 40%。实验结

果表明，所提出的算法有效提升了定位系统的精度。

关键词：卫星拒止；多传感器融合；位姿增量融合；全局速度约束；误差状态扩展卡尔曼滤波；轮式

机器人；移动机器人定位

具有全局速度约束的惯性 / 编码器 / 视觉 / 激光

融合定位方法：IEVL-Fusion

文 / 武东杰　仲训昱　崔晓珍　庄明溪　彭侠夫

1　引言（Introduction）

定位是移动机器人所必须

具备的一项重要功能，是实现地

图构建、自主导航等功能的前提

和基础［1］。全球卫星定位系统

（GNSS）能够在全球范围内、24

小时地提供全局位置信息，是室

外车辆所普遍使用的定位技术［2］。

然而，在卫星拒止区域内，例如在

室内、地下等，接收器完全接收不

到卫星信号时，必须启动备用的

导航系统才能完成导航任务［3-4］。

移动机器人常配备惯性测

量 单 元（IMU）、 编 码 器（encoder）、视觉（vision）传感器和

激光雷达（LiDAR）等导航传感

器。IMU 和 编 码 器 虽 然 成 本 低

廉、原理简单，但定位误差会随

时间和运行里程快速累积，通常

用于辅助视觉或激光雷达进行定

位。视觉定位系统通过对连续的

两帧图像进行特征跟踪、特征匹

配、位姿递推估计等一系列处理，

实现对移动机器人的定位，但在

高动态和光照变化明显的情况下，

其误差累积会显著增大。

激光定位系统通过点云匹配

实现较高精度的位姿估计，具有

定位精度高、使用范围广等特点，

目前已广泛应用到物流机器人与

扫地机器人等低速的移动机器人

上［4］。但是激光定位系统所获得

的高精度是以降低输出频率为代

价的。LOAM（LiDARodometry

and mapping）［5］ 是目前 KITTI

Odometry 数 据 集［6］ 上排名最

靠前的定位算法之一，其相对定

位误差可达 0.55%，输出频率却

很 低（ 在 NVIDIA Jetson TX2

处理器上测试的后端定位频率约

1.5 Hz）。 为 了 进 一 步 降 低 计 算

量，Shan 等［7］ 基于特征分割和

地 面 优 化 技 术 对 LOAM 算 法 进

行改进，提出了轻量型的 LeGO-

ACADEMIC FRONTIER 学术前沿

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 029

LOAM 算法，虽然精度和稳定性

均有一定的提高，但输出频率仍

然偏低（在 NVIDIA Jetson TX2

处理器上测试的后端定位频率约

3Hz），这对于中、高速移动机器

人导航是十分不利的。另外，由

于缺乏高度方向上的全局约束，

其高度方向上的平均误差约占总

体定位误差的 70% 以上［7］。

面对单一传感器的不足，研

究人员提出了许多基于多传感器

融合技术的组合定位算法。如为

了应对光照变化和高速运动时的

特征丢失等问题，可将高频率的

IMU（惯性测量单元）数据融入到

视觉定位系统中，以此来提高系

统的鲁棒性和算法的稳定性［8-9］。

其中，Qin 等［9］设计了一个基于

优化方法的相机和 IMU 紧组合定

位 系 统 VINSFusion， 在 KITTI

Odometry 数据集上的测试定位

精度为 1.09%，是目前较为优秀

的双目视觉 / 惯性融合定位算法。

为了弥补激光输出频率低和视觉

高 动 态 不 稳 定 的 缺 点，Zhang

等［10］ 基于优化融合方法提出了

V-LOAM 算 法， 单 目 视 觉 模 块

以 60Hz 的 频 率 进 行 运 动 估 计，

激光模块以 1Hz 的频率对位姿进

行地图匹配优化，实现了 0.54%

的 定 位 精 度。Kubelka 等［11］ 认

为 IMU/ 编 码 器 / 相 机 / 激 光 雷

达组合定位是实现卫星拒止环境

下高精度、高可靠性导航的有效

方式，并利用 EKF 算法对 IMU/

编码器里程计/视觉里程计/

激光里程计进行融合，在多种场

景下实现了 1.2% 的定位精度。但

是，这些研究侧重于定位系统的

整体设计，编程实现复杂，且导

航定位精度往往很难超过在激光

雷达可用时的定位精度。

为了避免复杂的系统设计

和 编 程 实 现， 研 究 人 员 开 始 尝

试 另 一 条 研 究 思 路， 即 直 接 对

现有的定位系统进行松耦合融

合。为此，Moore 等［12］ 在 ROS

（robot operating system） 环

境下设计并实现了一个基于

EKF 的 多 传 感 器 融 合 算 法 框 架

robotlocalization， 可 以 依 照

ROS 预定义的信息格式，融合任

意多个定位子系统的位置、姿态

和速度等数据。当前，它已经成

为 ROS 系统上非常流行、被广泛

使用的一种定位算法包。但是，该

算法在融合定位子系统的位姿时存

在着协方差无法确定的问题：在没

有卫星定位等全局信息辅助的情况

下，激光或视觉定位子系统的位姿

输出会随着运动范围的增大而产生

误差累积，即位姿估计的不确定度

关于时间是无界的［13］。尽管回

环检测能够大幅度减小累积误差，

但进行复杂场景下大范围运动时，

回环检测常常失效，甚至出现假

阳性闭环的问题［14］。因此，目

前还缺少有效方法对激光或视觉

定位子系统的协方差进行建模。

另 外， 在 组 合 定 位 系 统 中，

速度测量通常是在机器人坐标系

中进行（即局部速度测量），而非

在世界坐标系中进行（即全局速

度测量）。但是，相对于全局速度

融合，局部速度融合对于提升系

统定位精度的意义并不大。例如

IMU/ 编码器融合定位算法［15-16］

和 IMU/ 相机 / 编码器融合定位算

法［17］都是先根据正运动学模型和

编码器读数计算出局部速度，再

将其融入系统的状态中。由于局

部速度必须使用最新的姿态估计

值将其分解为全局速度才能对位

置估计产生约束，因此，这种融

合方式对定位结果的影响严重依

赖于姿态估计的好坏。如果能够

利用 IMU 和编码器构建一个独立

于系统状态的全局速度测量系统，

通过卡尔曼观测更新过程直接对

系统状态产生约束，便可进一步

提升系统的定位精度。

针对定位子系统位姿协方差

无法建模和组合定位系统缺少全

局速度测量的问题，本文借助当

前优秀的激光定位系统和视觉定

位系统，设计一个松耦合定位算

法 IEVL-Fusion， 将 激 光、 相

机、编码器和 IMU 快速、高效地

集成起来，实现低漂移、高频率

的移动机器人定位。首先，考虑

到 ES-EKF 相 对 于 常 规 的 EKF

具有一些显著优点［18-19］：（1）姿

态误差是小量，可用 3 维向量对

其进行等价表示，有利于避免出

现协方差奇异问题；（2）系统误差

学术前沿 ACADEMIC FRONTIER

030 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

在 0 附近，有利于降低系统的非线性程度，提高滤波

精度；（3）系统误差为小量，意味着可忽略二次项及

高阶项，使雅可比矩阵的计算变得简单、快速。因此，

本文选择 ES-EKF 作为融合方法。其次，针对激光

定位子系统位姿协方差无法建模的问题，将位姿依时

间戳转换为位姿增量，并将位姿增量的协方差建模为

时间增量的二次函数，建立了位姿增量观测模型。最

后，受 AHRS 可输出全局姿态信息的启发［20］，利用

AHRS 输出的全局姿态对正向运动学模型输出的局部

速度进行分解，获得对移动机器人全局速度的独立测

量结果，从而获得对系统状态的全局速度约束。

本文方法的创新和贡献主要体现在：

（1）将协方差无法建模的位姿融合问题转化为协

方差可建模的位姿增量融合问题，并考虑位姿增量测量

输出的不均匀性，将其协方差建模为时间增量的二次

函数，有效实现了激光和视觉定位子系统输出的融合；

（2）设计了一种新型的编码器信息的融合方式，

即利用 IMU 姿态输出和移动机器人正向运动学模型

构建全局速度测量子系统，再将全局速度测量值融合

到系统状态中，有效降低组合系统的定位误差；

（3）在街道和野地 2 个场景中对本文算法进行测

试和对比分析，并公开实验中所采集到的数据集，可

通过扫码本文标题页的 OSID 码下载。

2  方法（Methodology）

2.1　总体框架

如图 1 所示，融合算法总体框架包括子系统和融

合估计器两大部分。子系统包括激光定位子系统、视

觉定位子系统、全局速度测量子系统。其中，IMU

姿态测量模块以重力方向或地磁方向作为参考，提

供有绝对参考的俯仰角、滚转角等姿态信息，例如

AHRS、垂直参考单元（VRU）等。移动机器人正

运动学模型以编码器输出的轮速作为输入，求解出移

动机器人参考点处的线速度，经 IMU 姿态分解后可

得车体在世界坐标系中的运动速度，其观测模型详见

2.4.3 节。视觉定位子系统和激光定位子系统分别以

图像和激光点云（也包括 IMU 数据）为输入，可输

出移动机器人的位置、姿态等信息，其观测模型详见

2.4.1 和 2.4.2 节。ES-EKF 估计器在结构上可以分为

状态预测过程和状态更新过程，算法设计过程详见第

2 节。

图2展示了基于ES-EKF的融合估计器的算法流程，

其中，各模块的具体处理过程请参考其对应的公式。

图 2　基于 ES-EKF 的状态估计器框图

图 1　融合算法总体框架

ACADEMIC FRONTIER 学术前沿

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 031

2.2 姿态及其误差表示

设 SO（3）为 3 维姿态空间，姿态的矩阵表示、

旋转向量表示分别记为 和 ，它们之

间的转换关系记为

（1）

式中，（·）∧表示将向量映射为一个反对称矩阵［21］，

（·）∧和（·）∨互为逆映射，即

（2）

2.3  系统模型与状态预测

2.3.1 状态变量定义

将系统状态 x 定义为

x p v R b b （3）

其中，位置 p 、姿态 、速度 定义在

世界坐标系中，加速度计测量偏差 ，陀螺仪测

量偏差 定义在机器人坐标系中。对应的估计值

记为

（4）

将状态估计误差 定义为真实值与估计值的偏差：

（5）

各误差的定义式如下：

（6）

2.3.2 系统的状态运动模型

IMU 的测量模型设为［19］

（7）

（8）

其中， 表示加速度计的测量输出， 为加

速度真值， 为加速度计的测量噪声；

表 示 陀 螺 仪 的 测 量 输 出， 为 角 速 度 真 值，

为陀螺仪的测量噪声。

将测量偏差 和 建模为随机游走模型［9］，则系

统的状态运动模型为

（9）

式中， 为重力加速度常量， 、 、 、 均建模为

高斯白噪声， 即 ， ，

， 。

对微分方程（9）在微小时间间隔 内

进行数值积分，得到系统模型的差分递推形式：

（10）

其中，控制输入定义为 ， ，系

统的过程噪声定义为 。

2.3.3 系统的误差运动模型

根据误差定义式（6）和系统微分方程（9），可

得误差状态的微分方程［19］：

（11）

式中，

学术前沿 ACADEMIC FRONTIER

032 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

对微分方程（11）在 上进行数值积分，可得误差状

态的运动模型为［21］

（12）

式中，

2.3.4 状态预测与误差预测

在上一时刻，状态、误差状态及其协方差矩阵的

后验估计分别记为 、 和 ；在当前时刻，状

态、误差状态及其协方差矩阵的先验估计分别记为 、

和 ；则在卡尔曼滤波框架下，可得状态和误差的

预测式：

（13）

2.4 观测模型与状态更新

2.4.1 激光定位子系统观测模型

在总结 Kubelka［11］ 和 Ma［21］ 的工作基础上，

进一步将位置增量 和姿态增量

（3）的协方差建模为时间增量的 2 次函数，建立增量

的测量模型为

（14）

其中， 和 分别为姿态增量测量噪

声和位置增量测量噪声，这里均假设为高斯白噪声，

协方差分别设为 和 。

记激光定位子系统在时刻 和 输出的位置测

量结果分别为 和 ，姿态测量结

果分别为 （3）和 （3）， 定 义

虚拟测量值 ：

（15）

建立虚拟测量的观测模型如下：

（16）

其中，

2.4.2 视觉定位子系统观测模型

视觉定位子系统可同时输出位置、姿态及速度信

息，其位姿观测模型与激光位姿观测模型完全一样，

不再赘述，这里仅介绍其局部速度观测模型。

在机器人坐标系中，设时刻 的局部速度测量模型为

（17）

其中， 为局部速度测量噪声，协方差设为 。

记视觉定位子系统在时刻 输出的局部速度测量

值为 ，参考系为机器人坐标系，定义虚拟

测量值 ：

（18）

建立虚拟测量值的观测模型如下：

（19）

其中，

2.4.3 全局速度测量子系统观测模型

在世界坐标系中，设时刻 的全局速度测量模

ACADEMIC FRONTIER 学术前沿

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 033

型为

（20）

其中， 为世界坐标系内的速度测量噪声，协

方差设为 。

记 IMU 姿态测量模块的输出为 （3），

正运动学模块利用编码器读数解算出的机器人速度为

，定义虚拟测量值 ：

（21）

建立虚拟测量值的观测模型如下：

（22）

其中，

2.4.4 误差更新与状态更新

为了便于表示，将观测模型统一表示为

（23）

其中， 、 和 分别表示第 时刻的观测矩

阵、噪声矩阵和协方差矩阵。

在当前时刻，状态、误差状态及其协方差矩阵

的后验估计分别记为 、 和 ；则在卡尔曼框架

下，可得状态和误差的观测更新式：

（24）

式中，运算符 表示利用误差后验估计值 对状态

先验估计值 进行补偿，具体计算公式如下：

（25）

最后，对误差状态的后验估计值进行归零重置，

为下一次滤波估计过程做准备，归零过程记为

（26）

3  实验（Experiments）

3.1 实验平台搭建

硬件平台由 3 部分构成：（1）四轮独立驱动越野

型移动机器人；（2）传感器集合；（3）工控机。移动

机器人及其传感器配置情况如图 3 所示。

图 3　移动机器人及其传感器配置

移 动 机 器 人 为 AgileX SCOUT2.0， 工 控 机 为

NVIDIA Jetson AGX Xavier，工控机通过 CAN（控

制器局域网络）接口与移动机器人下位机通信，实

时获取底盘的轮胎转速、线速度等运动状态信息。传

感器产品包括：轮式编码器（SCOUT2.0 自带）、惯

性 测 量 单 元（Xsens MTi-30）、 双 目 视 觉 传 感 器

（Stereolabs ZED 2）、 激 光 雷 达（RoboSenseRSLiDAR-16）、RTK 接收机（司南导航 M600miniG

GNSS-RTK 接收机），各传感器产品的输出参数见

表 1。

学术前沿 ACADEMIC FRONTIER

034 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

表 1　各传感器产品的输出参数表

传感器 / 产品 输出数据

轮式编码器 转速（rad/s）

Xsens MTi-30

角速度（rad/s）

比力（m·s-2

）

磁场强度（0.1mT）

姿态角（°）

Stereolabs ZED 2

双目图像

角速度（rad/s）

比力（m·s-2

）

RoboSense

RS-LiDAR-16 点云

RTK 接收机

位置（m）

水平精度：10mm+D×10-6

mm

高度精度：20mm+D×10-6

mm

注：D 代表以千米计量的 RTK 接收机到基站的距离数值

整个导航系统在 ROS 环境下使用 C++ 语言编程

实现，其中，激光定位子系统改编自 LeGOLOAM［7］

开源算法包，视觉定位子系统算法改编自 VINSFusion［9］开源算法包。表 2 展示了系统各模块的输

出频率。

表 2　系统各模块的输出频率

激光定位

子系统

视觉定位

子定位

全局速度

测量

子系统

融合估计器

输出

3Hz 10Hz 20Hz >30Hz

3.2 测试及其评估

为了充分验证本文融合定位算法的有效性，分别

在街道场景和野外场景下完成定位测试，表 3 列出了

各实验场景中移动机器人的基本运动情况。

表 3　各实验场景中移动机器人的基本运动情况

场景 路程 /m 时长 /s 平均速度 /

（m/s） 参考源

街道 1419 1158 1.23 RTK

野外 529 619 0.85 RTK

实验中，将各传感器数据采集下来，分别进行

了 如 下 定 位 算 法 测 试：（1） 利 用 VINS-Fusion 算

法［9］ 进 行 IMU/ 相 机 融 合 定 位；（2） 利 用 LeGOLOAM 算 法［7］ 进 行 IMU/ 激 光 雷 达 融 合 定 位；

（3） 利 用 robotlocalization 算 法［12］ 进 行 IMU/ 编

码 器 / 相 机 / 激 光 雷 达 融 合 定 位；（4） 利 用 本 文 的

IEVL-Fusion 算法进行 IMU/ 编码器 / 相机 / 激光

雷 达 融 合 定 位；（5） 利 用 本 文 的 IEVL-Fusion-no

算法进行 IMU/ 编码器 / 相机 / 激光雷达融合定位。

IEVL-Fusion-no 算 法 是 将 IEVL-Fusion 算 法 中

编码器全局式融合替换为局部式融合后得到的算法，

其余部分均与 IEVLFusion 算法相同。各定位算法的

文献来源及其所用传感器组合如表 4 所示。

图 4 展示了街道实验中相关的照片和定位曲线。

街道数据采集于晚上 6 点左右，光线由明变暗，移动

机器人总的行驶路程约为 1419m，高度变化约 2.5m，

行驶时长约 1158s，平均速度约 1.23m/s。图 4（a）

为街道所在区域的卫星地图，红色曲线为 RTK 参考

轨迹，移动机器人绕着两栋教学大楼走出了一个“8”

形，其中约有 1/4 的石板路，另外 3/4 为柏油路。图

4（b）为实验过程中实拍到的移动机器人和环境的照

片，此时的光线昏暗，马路旁路灯已经打开。图 4（c）

为各算法的 3 维轨迹估计结果，对比来看，IEVLFusion 算法的结果更加接近 RTK 给出的参考轨迹。

图 4（d）为各算法在X、Y、Z 分量上的定位误差关

于时间的变化曲线。

图 5 展示了野外实验中相关的照片和定位曲线。

野外数据采集的时间在下午 2:30 左右，移动机器人

ACADEMIC FRONTIER 学术前沿

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 035

表 4　各定位算法及其所用传感器组合

定位方案 来源 融合方法 IMU 相机 激光雷达

编码器融合方式

局部速度融合 全局速度融合

VINS-Fusion 文 [9] 优化 √ √

LeGO-LOAM 文 [7] 优化 √ √

robot-localization 文 [12] EKF √ √ √ √

IEVL-Fusion-no 本文 ES-EKF √ √ √ √

IEVL-Fusion 本文 ES-EKF √ √ √ √

图 4　街道实验中相关的照片和定位曲线

（a）街道所在区域的卫星地图 （b）移动机器人和环境的实验实拍图

（c）各算法的 3 维轨迹估计结果 （d）各算法在各轴上的位置误差

学术前沿 ACADEMIC FRONTIER

036 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

总的行驶路程约为 529m，高度变化约 35m，行驶时

长约 619s，平均速度约 0.85m/s。图 5（a）为实验

所在区域的卫星地图，红色曲线为 RTK 参考轨迹，

移动机器人沿着非常崎岖的土路曲折前行，道路两旁

为自然生长的植被。图 5（b）为实验过程中实拍到的

移动机器人和周围环境的照片，可以看到，这样的场

景在野外是普遍存在的。图 5（c）为各算法的 3 维轨

迹 估 计 结 果，IEVL-Fusion-no、IEVLFusion 和

robot-localization 算法的定位轨迹均有较好的收

敛。图 5（d）为各算法的X 分量、Y 分量和Z 分量

的定位误差关于时间的变化曲线，从曲线变化很难直

观看出定位效果，需要进一步定量分析。

实验过程中 RTK 接收机的数据接收正常，本文

依据 RTK 定位数据对测试结果进行量化与评价。为

了对定位结果进行综合评估，本文定义了 4 个量化指标：

最大定位误差 ME、最大相对定位误差 MRE、平均定

位误差 AE 和平均相对定位误差 ARE［11］：

图 5　野外实验中相关的照片和定位曲线

（a）实验所在区域的卫星地图 （b）移动机器人和环境的实验实拍图

（c）各算法的 3 维轨迹估计结果 （d）各算法在各轴上的位置误差

ACADEMIC FRONTIER 学术前沿

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 037

（27）

其中，N 表示采样点的个数，D 表示机器人运动的

路程。

依据以上定义的量化指标，对各算法的X、Y、Z

三个分量和总体（3D 位置）进行指标计算，计算结果

列于表 5 中，其中加粗的字体表示对应列中的最小值。

就 总 体 定 位 误 差 而 言，IEVL-Fusion 在 ME、

MRE、AE 和 ARE 四 个 指 标 上 均 为 最 好， 平 均 相

对定位误差小于总路程的 0.4%，最大相对定位误差

小 于 0.7%。 相 较 于 VINS-Fusion、LeGO-OAM、

robotlocalization 和 IEVL-Fusion-no 算 法，

IEVL-Fusion 算法的最大相对定位误差分别降低了

约 90%、65%、40% 和 40%。

对比各算法在 X 和 Y 分量上的定位误差可看出，

IEVL-Fusion 算法的水平定位精度和 LeGOLOAM

算 法 相 当。 但 在 Z 分 量 上，IEVL-Fusion 算 法 具

有最小的定位误差，且 IEVL-Fusion 算法的平均

定 位 误 差 相 较 于 VINS-Fusion、LeGO-LOAM、

robot-localization 以及 IEVL-Fusion-no 算法分

表 5　各算法在X、Y、Z 轴上的定位误差和总体定位误差

场景 算法 X 分量

AE/m

Y 分量

AE/m

Z 分量

AE/m

总体误差（3D 位置）

ME/m MRE/% AE/m ARE/%

街道

VINSFusion 4.83 15.28 2.20 49.43 3.48 16.5 1.16

LeGOLOAM 0.52 0.71 6.27 12.68 0.89 6.35 0.45

robotlocalization 0.74 0.94 1.75 5.79 0.41 2.25 0.16

IEVLFusion-no 2.01 1.04 5.14 11.39 0.80 5.87 0.41

IEVLFusion 0.49 0.95 0.28 3.57 0.25 1.21 0.10

野外

VINSFusion 6.26 12.99 4.61 38.33 7.25 15.61 2.95

LeGOLOAM 0.77 1.02 3.56 8.04 1.52 4.04 0.77

robotlocalization 1.11 1.30 2.21 5.36 1.01 2.88 0.55

IEVLFusion-no 1.38 0.94 1.05 3.79 0.72 2.17 0.41

IEVLFusion 1.15 1.22 0.60 3.28 0.62 1.88 0.36

学术前沿 ACADEMIC FRONTIER

038 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

别降低了 86%、83%、72% 和 42% 以上。

实际上，偏航角 、俯仰角 、滚转角 与旋转矩

阵 之间存在如下关系：

（28）

其中，* 表示与 有关的项。AHRS 输出的俯仰角和

滚转角是以重力向量为参考求解到的，偏航角是以地

磁为参考的。根据全局速度观测模型（21），全局速

度 的第 3 个分量是有绝对参考的竖直速度测

量值，第 1 个分量和第 2 个分量易受到周围环境中电

磁干扰的影响，无法提供无偏的速度测量值。这一分

析与实验结果相互印证，即全局速度观测更新对于竖

直方向上的误差累积具有显著的抑制作用。

4  结论与展望（Conclusion and prospect）

针对卫星拒止环境中移动机器人高精度定位的需

求，提出一种基于 ES-EKF 的激光定位子系统 / 视

觉定位子系统 / 全局速度测量子系统松耦合融合定位

方法，设计了一个误差漂移低、输出频率高的 IMU/

编码器 / 相机 / 激光组合定位系统，并在城镇和野外

场景下进行了测试。相较于 VINSFusion、LeGOLOAM、robot-localization 等定位算法，本文提出

的方法具有更高的定位精度。本文方法的主要优势

为：（1）无需对整个定位系统进行重复设计即可实现

LeGO-LOAM、VINS-Fusion 算法在组合导航中的

快速集成和应用；（2）将位姿融合转化为位姿增量融

合，避免了激光定位系统中位姿协方差无法建模的问

题；（3）利用 IMU 和编码器分解得到机器人的全局速

度测量值，对状态估计器的高度估计产生有效约束，

显著提高整个系统的状态估计精度。

在实际的移动机器人导航中，除了努力提高定位

系统的精度之外，还希望提升复杂环境下移动机器人

的定位鲁棒性和持续性［22］。例如，遮挡、逆光等会

造成视觉定位算法失效，长廊会造成激光定位算法失

效［23-24］。因此，在接下来的研究中，将进一步利用

多传感器融合技术赋予系统处理这些问题的能力，提

升整个定位系统的定位可靠性。

来源：《机器人》

武东杰（1990 —），男，博士生。研究

领域：多源融合定位与自主导航。

仲训昱（1980 —），男，博士，副教授。

研究领域：多源融合定位与自主导航。

崔晓珍（1997 —），女，硕士生。研究

领域：组合导航。

作者简介

ACADEMIC FRONTIER 学术前沿

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 039

1　引言（Introduction）

近 年 来， 机 器 学 习 方 法 快

速发展，使得机器人可以实现对

未知物体的自主抓取操作，但机

器人抓取杂乱场景下的目标物体

仍面临不小的挑战。一些研究在

Conell Grasping、Jacquard 等

抓取数据集上通过深度学习方法

进行有监督的训练以获取最优抓

取框［1-4］、判定物体的抓取点或

抓取姿势，进而完成机器人对物

体的抓取任务，但应用大量数据

集导致训练时间过长。强化学习

的兴起，使得机器人可以自监督

一种基于功用性图的目标推抓技能自监督学习方法

文 / 吴培良　刘瑞军　毛秉毅　史浩洋　陈雯柏　高国伟

摘要：提出了一种基于功用性图的目标推抓技能自监督学习方法。首先，给出了杂乱环境下面向目标

推抓任务的机器人技能自监督学习问题描述，将工作空间中机器人推抓操作的决策过程定义为一个全新的

马尔可夫决策过程（MDP），分别训练视觉机制模块与动作机制模块。其次，在视觉机制模块中融合自适

应参数与分组拆分注意力模块设计了特征提取网络 RGSA-Net，可由输入网络的原始状态图像生成功用性

图，为目标推抓操作提供良好的前提。然后，在动作机制模块中搭建了基于演员－评论家（actor-critic）

框架的深度强化学习自监督训练框架 DQAC，机器人根据功用性图执行动作后利用该框架进行动作评判，

更好地实现了推、抓之间的协同。最后，进行了实验对比与分析，验证了本文方法的有效性。

关键词：推抓技能学习；功用性图；自监督学习；自适应参数；拆分注意力机制

地与环境进行信息交互，进而完

成所设定的任务。传统强化学习

方法为机器臂抓取、机器人堆叠

和整理、四足机器人行走以及机

器人导航等高维度的控制问题提

供了较好的解决方案。

数据驱动的方法在许多方面

都取得了成功，受此鼓舞，深度

神经网络也被用在杂乱场景下的

物体姿态估计。机器人通过对抓

取数据集训练实现了对目标物体

的抓取［1-4］。Morrison 等［1］ 提

出生成式抓取卷积神经网络（GGCNN），对图像中每个像素的抓取

质量和姿势给出得分。Redmon

等［2］使用单阶段回归法找到可抓

取 的 矩 形 检 测 框。Levine 等［3］

拟合了末端夹具的运动轨迹进而

预测抓取成功的概率，并探索了

多个机器人并行化训练的方法。

Schmidt 等［4］提出了一种数据驱

动、自下而上的学习方法，使用

深度卷积神经网络（DCNN）来

实现机器人对新颖对象的抓取。

Mahler 等［5］ 使 用 Dex-Net 2.0

数据集训练抓取质量卷积神经网

络（GQ-CNN）模型，根据深度

相机给出的 3D 点云信息，找到鲁

棒性最高的吸附抓取点。Kumra

等［6］提出了一种新颖的生成式残

基金项目：国家重点研发计划（2018YFB1308300）；国家自然科学基金区域联合基金（U20A20167）；北京市自然科学基金（4202026）；河北省自然科学

　　　　　基金（F202103079）．

通信作者：毛秉毅，ysdxmby@163.com　收稿／录用／修回：2021-06-18/2021-08-20/2021-08-24

学术前沿 ACADEMIC FRONTIER

040 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

差 网 络（GR-ConvNet） 模 型，

用于反足机器人从场景的 n 通道

图像中生成最佳抓取点，成功完

成对未知目标的抓取。Lou 等［7］

提出了一种基于 3 维像素的深度

卷 积 神 经 网 络（3D-CNN）， 可

在能实现可达性感知的无限制工

作空间中生成可行的 6 自由度机

器 人 抓 取 姿 态。Shao［8］ 等基于

ResNet 和 U-Net［9］网络训练了

一种端到端的神经网络，在不需

要进行识别和姿态估计的非结构

化环境中预测抓取区域。深度学

习中使用的数据集大多由人工标

记抓取点构成，由于存在多种抓

握方式，因此标记并非易事；而

且，受语义偏见的影响，实验中

使用的数据量较低，这也导致机

器人倾向于过拟合［10］。

基于深度强化学习算法的自

监督抓取策略为实现自动化抓取

提供了可能，该类方法在抓取对

象形状、位姿未知的情况下，通

过策略迭代与奖励值反馈进行自

监督学习。Shukla 等［11］ 将形状

规则的刚性目标抓取的问题分解

为位置和方向学习，提出了一种

GDQN（抓取深度 Q 网络）深度

强化学习算法，用于姿态估计，

并验证了该网络的有效性，但其

对于目标物体要求较高且需要部

分人工标注。Kalashnikov 等［12］

提出了一种大规模分布式优化和

深度 Q 学习拟合的离线策略训练

方法，实现了机器人的动态操作，

但其硬件要求过高导致复现较难。

Sarantopoulos 等［13］ 提出了一

种模块化的强化学习方法，使用

连续动作将目标对象从周围的杂

波中完全分离出来。通过动作原

语和特征选择，将先验知识有效

地融入到学习中，提高了样本效

率，一定程度上解决了训练效率

低的问题。Quillen 等［14］探索了

一种基于视觉的机器人抓取深度

强化学习算法，根据异策略（offpolicy）强化学习算法评估无模型

的 机 器 人 抓 取 任 务。Hou 等［15］

在机器人抓取之前，通过监督学

习对 Q 网络进行预训练，验证了

该方法能够在早期阶段显著加速

自监督学习，并且与工作空间中

对象的稀疏性几乎无关。Deng 等

［16］基于 DQN（深度 Q 网络）设

计了一种结合吸盘与夹持器的新

型机械手的主动探索算法，在杂

波环境中完成了抓取任务。Xie

等［17］ 提出带失败概率的贝叶斯

逆强化学习（BIRLF）算法，该

算法从策略最优性条件导出半空

间，在贝叶斯逆强化学习（BIRL）

框架下合并失败的经验并回传给

机器人，适用于工作空间更复杂

的环境。但其需要对规则物体进

行前期人工标注，工作量较大。

Johannink 等［18］ 直接在现实世

界中训练智能体，将机械臂控制

难题分解为常规反馈控制方法解

决的部分和用 RL（强化学习）法

解决的残差部分，有效地解决实

际控制问题。Mohammadi 等［19］

在改进的 DDPG（深度确定性策

略梯度）基础上提出了一种在线

连续深度强化学习的方法，用于

完成混乱环境中的抓取任务。Ni

等［20］针对边缘物体抓取，将抓取

质量函数的变化与遗忘机制相结

合来训练推抓动作，此外，还设

置了双重体验重播，以增加边界

上的搜索。文 [21-22] 都在 DQN

算 法 的 基 础 上 提 出 了 新 的 改 进，

Gui 等［21］提出了一种知识诱导的

深度 Q 学习模型（KI-DQN），在

采取抓取动作之前先将目标物体

推向墙壁，将该问题看作马尔可

夫决策过程，主动利用环境优势

来抓取物体。Joshi 等［22］构建双

重 DQN 框架抓取网络来输出抓取

概率，提高了抓取成功率，但其

需要收集海量训练数据，还要在

多个物理机器人上进行训练，大

大增加了训练成本。Zhang 等［23］

基于 DQN 提出了一种堆叠抓取网

络（GSN），在研究目标物体的抓

取问题时进一步讨论了物体放置问

题，但其仅考虑了单个物体的场

景，具有一定的局限性。Zeng 等

［24］通过卷积神经网络预先计算每

个动作的置信度 Q 值，然后通过

环境奖励反馈进行梯度回传，通过

推、抓之间的协同完成抓取任务，

但其使用传统 DQN 算法训练动作，

使 得 推、 抓 之 间 的 协 同 性 较 差。

Yang 等［25］在文［24］的基础上

通过语义分割得到目标掩码，并使

ACADEMIC FRONTIER 学术前沿

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 041

用二分类网络训练推、抓之间的

协同，重新排列目标周围的干扰

物体，实现了对目标物体的抓取，

但其仍然存在抓取点定位不准确、

推抓协同效率低等问题。

针对杂乱环境下面向目标物

的抓取任务，本文提出一种基于

功用性图检测的目标抓取技能自

监督学习方法，主要贡献包括：

（1）给出了杂乱环境下面向

目标抓取的问题描述，并将其表示

为一个全新的马尔可夫决策过程

（MDP）。其中状态信息包括 t 时

刻的图像状态与特征状态，对于 2

种状态分别给出奖励函数集合。

（2）基于自适应参数调节与

分组拆分注意力机制，提出一种

新型特征提取网络 RGSA-Net，

它可根据 RGB-D 摄像机采集到

的状态得到精准推抓的功用性图

（affordance map）。同时，通过

自适应参数调节防止梯度弥散。

（3）基于演员－评论家框架

的思想，在动作机制模块中设计

DQAC 算法。该算法将基于值函

数与策略梯度的算法的优势结合

起来，用于训练机器人推、抓之

间的协同。

2　问题描述与求解框架（Problem descrip-tion and solutionframework）

2.1 推动和抓取任务描述及

抽象化

杂乱环境的特点是在一个场

景下一些形状未知的物体呈无规

律堆叠，而且目标物体被严重遮

挡。因此，该环境中面向目标的

抓取尤为困难。功用性图定义了

某一像素的推抓置信度，颜色越

深表示采取动作的置信度越高，

反之置信度越低。本文研究机器

人在图 1 所示的杂乱环境下面向

目标的推抓问题，采用 RGB-D

相机作为机器人的外部传感器，

利用功用性图判断该场景中是否

存在适于抓取的位置和角度。若

存在则直接抓取；若不存在，则

采取若干次推动动作，增大目标

物体周围的空间供机器人抓取。

本文将机器人面向目标的推

抓技能学习问题定义为一个马尔

可夫决策过程（MDP），该过程由

七 元 组（S，SC

，A，Rq

，RC

，P，

γ）组成。参数 S 表示图像状态

集，集合中以图像的形式存储每

一时刻相机所采集到的环境状态；

图 1　机器人目标推抓技能自监督学习系统

学术前沿 ACADEMIC FRONTIER

042 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

参 数 SC 表 示 特 征 状 态 集， 集 合

中以功用性图的形式存储每一时

刻状态 S 经特征提取网络处理后

生成的特征状态；参数 A 为有限

动作集合，包括推动与抓取动作；

参数 Rq 为针对特征设计的奖励函

数，集合中存储每一时刻的 Q 值

以及奖励值；参数 RC 为根据动作

以及环境反馈给出的奖励函数集

合；参数 P（s

c

t+1 | s

c

t ，at ) 为根据

当前时刻状态与动作得到的下一

时刻状态的转移概率矩阵；参数

γ∈（0，1］为折扣因子，用于平

衡即时奖励以提高奖励期望。机

器人在任意时刻 t 接收到图像状态

st 与特征状态 s

c

t

，并基于深度强化

学习策略以概率 p 选择行为 at，进

入新的状态 st+1 和 s

c

t+1 并得到相应

的奖励 r

q

（st ，at）和 r

c

（s

c

t ，at）。

2.2 问题求解的总体框架

基于深度强化学习设计了一

种目标推抓技能自监督学习方法。

如图 1 所示，整个框架分为视觉机

制模块和动作机制模块。首先将

机器人上方的 RGB-D 相机获取

的工作台图像信息作为当前时刻

的状态 st 放到图像经验池（SRB）

和视觉机制模块中。图像经验池

用于打破相邻时间内图像的相关

性。视觉机制模块由两部分构成，

一部分是 RGSA-Net 特征提取网

络，另一部分是由推抓网络构成

的动作网络。该模块用于生成推

抓功用性图，整合推抓操作的位

置 p（x，y，z）和角度信息 θ。利

用环境给出的功用性图奖励 Rc 进

行随机梯度下降来训练网络参数。

将功用性图作为当前时刻的特征

状 态 s

c

t 送 入 特 征 经 验 池（FRB）

与动作机制模块中。特征经验池

用于打破相邻时间内特征的相关

性。 动 作 机 制 模 块 将 传 统 的 演

员－评论家框架进行拆分，将评

价网络进一步分解成值网络（Q

网络）与目标值网络（Target Q

网络），用于训练机器人推、抓动

作之间的协同，利用环境给出的

动作奖励 Rc 更新参数。

视觉机制模块的执行流程如

图 2 所示。首先在相机坐标系中将

深度信息投影到 3D 点云中，创建

RGB-D 高度图，经预处理后得到

状态高度图（heightmap），将其

旋转 16 次后输入到特征提取网络

RGSA-Net 进行特征提取。然后

将提取到的特征作为推抓动作网络

的输入，分别得到推动与抓取动

作的功用性图，进而求得在执行

动作时所需的置信度最大的像素

点与角度。最后根据手眼标定结

果将相机坐标系信息转化为机器

人坐标系信息，在工作空间中得

到接触点位置与角度来执行动作。

图 2　视觉机制模块执行流程

ACADEMIC FRONTIER 学术前沿

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 043

动作机制模块基于演员－评论家框架的思想，其

策略网络输入为当前状态值，输出为决策动作，目标

是训练最优的策略 πθ（s

c

，a）以达到最高奖励，即在

状态 s

c

t 下执行动作 at 可得到最优的参数 J（θ）：

（1）

其评价网络基于值函数，负责评估动作网络的表现，

并指导该网络下一阶段的输出动作，即评判动作执行

的好坏，其目标函数梯度更新计算公式如下：

（2）

3　方法（Method）

3.1　推抓功用性图特征提取网络 RGSA-Net

为了生成准确的推抓功用性图，本文在视觉机制

模块中以深度残差网络（ResNet18［9］）作为主骨干，

设计了一种基于分组卷积和自适应拆分注意力机制的

特征提取网络 RGSA-Net。该网络将预处理后得到的

3 种高度图（彩色高度图、深度高度图、目标掩码高

度图）旋转 16 次后作为输入，得到所有像素点期望

Q 值并生成推抓功用性图，采取贪婪策略选取最大的

Q 值像素点转化为动作执行位置点 p（x，y，z），同

时得到动作执行的角度 θ。

3.1.1 自适应参数

深度神经网络虽然在各个领域取得了很大进展，

但是经常面临梯度消失或梯度弥散等问题，研究者通

常使用 3 种方法解决上述问题［26］：1) 设置初始化；

2) 使用 BatchNorm 或 LayerNorm 等算法实现正则

化；3) 残差连接方法。而这些方法同样存在着设计痕

迹过重、计算开销大等问题。对于一个深度为 L 的模

型，传统残差网络第 l 层输出为

（3）

本文在残差连接前增加一个初始值为 0 的自适应

参数，该参数可以使得模型更好地接收梯度信号，加

快网络的收敛速度，其基本形式如下：

（4）

残差网络可以解决传统神经网络中梯度弥散的问

题，但用其拟合恒等变换并不容易。恒等变换的主要

目标是构造一种天然的恒等映射，即：

（5）

等价于令残差部分 。

对于任意2个层数 l2 > l1， 可 将 式（3） 递 归

展开：

(6)

最终损失 ε 对于低层输出的梯度可展开为

(7)

式中前一项表示反向传播时错误信号不经过任何中间

权重矩阵变换直接传播到低层，可以很好地缓解梯度

弥散问题。

自适应参数 αi 的训练如下所示。假设深度神经网

络模型输出由式 (8) 给出：

（8）

其中权重参数 ω 的训练迭代过程为

（9）

式中 C 为损失函数，λ 为学习率。由式 (9) 可以看出：

当 α = 0 时，第 1 轮更新没有更新参数 ω。参数 α 的

训练过程如下：

（10）

从第 2 轮开始，权重参数 ω 的更新方式为

（11）

由 式 (11) 可 以 看 出， 如 果 损 失 函 数 C 是合理

的，当前的更新不会导致很强的梯度振荡

，保证了深度神经网络模型更新时网络的

稳定性。自适应参数 αi 在 RGSA-Net 网络中的更新

过程如图 3 所示。

学术前沿 ACADEMIC FRONTIER

044 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

图 3　自适应参数更新过程

3.1.2 基于分组卷积的 RGSA-Block

分组卷积已经被证实可以在效能不变的情况下

大大减少参数量［27］。若初始输入深度神经网络的特

征向量维度为 C1×H×W，则将该特征在通道维度上

分 成 g 个基数组 {G1，G2，…，Gg}，每组特征维度

为（C1/g）×H×W。若普通卷积对应的卷积核大小为

K×K×C1，则分组卷积核的维度为 K×K×C1/g。将

g 组特征在通道维度拼接后仍可得到维度为 C2×H×W

的输出特征。此时深度神经网络的参数量可减少为标

准卷积操作的 1/g，且经过不同路径卷积得到的特征

图之间的耦合性较低，利用所关注的不同特征可以得

到互为补充的特征图。

将 RGB-D 相机采集到的图片数据经过一种语

义分割的深度全卷积神经网络结构 SegNet［28］作预

处理后，得到了彩色高度图（RGB-height）、深度

高度图（depth-height）、目标掩码高度图（maskheight）。将完成特征提取后的 3 种数据在通道维度

融合，得到维度为 1×5×640×640 的特征。深度强

化学习框架每次训练输入网络的样本数量为 1 会导

致特征归一化失败，因此本文在通道维度增加相同维

度的数据并进行特征拼接。最终 RGSA-Net 网络的

输入特征维度为 2×5×640×640，输出特征维度为

1×1024×20×20。

如图 4 所示，本文的 RGSA-Block 基本块先将

输入特征分为 2 个候选集（K=2），每一集合又分成

2 组（G=2）进行训练，每一组特征在经过 2 个不同

卷积块后馈入到拆分注意力模块进行特征融合。卷积

块由卷积层、归一化层、ReLU（线性整流）激活函

数依次构成，区别在于卷积核的大小分别为 3×3 和

5×5。2 个候选集的输出特征经过拼接操作后由 1×1

的卷积块进行维度调整以适应网络输入，乘上自适

应参数 αi 后与原始特征向量相加，作为最终的输出

特征。

如图 5 所示，将 RGSA-Block 基本块嵌入到残

差网络 ResNet-18 后得到了 RGSA-Net。

图 4　RGSA-Block 网络结构

图 5　RGSA-Net 网络结构

ACADEMIC FRONTIER 学术前沿

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 045

3.1.3　基于拆分注意力机制的 Split-Attention

模块

在计算能力有限的情况下，机器人需要更加注意

目标物体周围的情况［29］。使用具有注意力机制的深

度神经网络，可以使机器人更快地定位目标物体，提

高对目标物体的注意力程度，从而探索更多的环境状

态以获得目标信息。如图 6 所示，本文采用基于通道

的拆分注意力机制［29］，对于输入 RGSA-Net 网络的

彩色高度图、深度高度图、目标掩码高度图 3 种状态

高度图在通道方面给予不同的权重，以建模 5 个通道

的重要程度。

图 6　拆分注意力网络结构

图 6 中，设每个输入特征的维度为 W×H×C，

其中 C= K

C1

，特征融合计算公式为

（12）

其中 r=2 为基数，将融合后的特征进行全局平均池化，

计算公式如下：

（13）

至此，将得到的单图平均后的中间特征经过卷积

块处理后进行通道拆分，拆分成通道数为 3、1、1 的

3 种特征后，再分别经过全连接层和 r-SoftMax 层进

行特征提取，r-SoftMax 层参数计算如下：

（14）

将经过 r-SoftMax 层处理的 3 种特征在通道维

度进行特征融合，得到通道数为 5 的输出特征，并将

其输入到下一个网络模块中。

3.2　面向机器人推抓技能学习的 DQAC 算法

训练面向目标物体的推、抓动作之间的协同是机

器人抓取成功的关键。在保证抓取成功率的同时尽可

能地减少机器人运动次数，就需要建立起良好的评估

机制，充分训练推、抓之间的协同策略。

3.2.1 DQAC 算法思想

本文的动作机制模块是基于演员－评论家框架［30］

设计的一种自监督学习算法 DQAC，该算法由策略网

络和值网络构成。策略网络建立模型 π（s，a；θ）将

动作选择策略参数化，根据状态的分布概率选择离散

动作。值网络评判当前动作以迭代更新策略参数值，

使得策略模型的累积回报不断增加，从而得到最优的

协同动作策略。

3.2.2　DQAC 算法设计

熵是信息论中的重要概念，用于表示信息的不确

定程度，熵值越大，则信息的不确定程度越大。

（15）

DQAC 算法是针对离散动作空间异策略改进的强

化学习算法，使用信息熵最大化随机策略来提高机器

人对环境的探索能力，从而实现目标策略的优化。

（16）

学术前沿 ACADEMIC FRONTIER

046 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

式中，目标函数值 为最优策略，He（π（s

c

t））表示

在状态为 s

c

t 时采取不同策略得到的不同熵值。熵值越

大表示机器人对环境的探索策略越随机，同时采用软

更新方式进行策略迭代。

DQAC 算法的环境奖励值由功用性奖励 rg 和动

作奖励 r

c

g 两部分构成。将推动动作奖励定义为：当

推动动作导致环境结构发生变化的像素值超过阈值时

rp=0.5，r

c

p=0.5； 未 超 过 阈 值 时 rp=0，r

c

p=-1。 本 文

将阈值设置为 30 个像素。将抓取奖励定义为：抓取

目标成功时，rg=1，r

c

g=1；抓取目标失败时，rg=0，

r

c

g=-1。

图 7　动作机制模块网络结构

如图 7 所示，动作机制模块由策略网络（actor）、

值网络（critic）和目标值网络（targetcrit-ic）组

成。每个网络由结构相同的多层感知机（MLP）网络

构成。该网络由输入、输出及中间层构成，相邻 2 层

之间的所有神经元均互相连接，而同层神经元之间无

连接。

动作机制模块的作用是根据 RGSA-Net 网络提

取的特征作出决策。具体的流程为：将从环境中提取

的特征状态送入到策略网络中，中间经过不同神经元

的前向传播直到输出层神经元。使用 SoftMax 函数计

算出不同动作的概率值，使用非线性激活函数 ReLU

防止梯度消失。值网络（Q 网络）由 2 个结构相同的

MLP 网络构成，用于拟合计算某一时刻的机器人特征

状态与动作决策；目标值网络（Target Q 网络）以

固定周期复制 Q 网络的参数，采用软更新策略进行更

新，用于预测环境中下一时刻的状态以及动作 Q 值。

考虑机器人在杂乱环境中采取推动和抓取 2 种离

散动作，DQAC 算法根据特征状态 s

c

t 对策略 π 进行拟

合以减小目标估计方差。由贝尔曼方程得出计算离散

动作对应值函数公式：

（17）

式中，β 为温度参数，用于自适应调节值函数的奖励。

目标值网络的输出计算公式如下：

（18）

该网络使用均方误差损失函数计算目标值与现实值之

间的差值 δ 并进行梯度下降处理。均方误差损失函数

计算公式如下：

（19）

通过减小熵值损失来减小估计值的损失方差，据

此，设计了如下的温度熵损失目标函数：

（20）

在目标值网络中加入动作值函数期望和熵值计算

来更新策略，从而对离散动作空间输出准确的概率分

布以减小误差。因此，设计策略损失目标函数如下：

（21）

综上所述，DQAC 推抓技能自监督学习算法描述

如下。

算法 1 DQAC 推抓技能学习算法

输入：当前状态 s

输出：Q，π*

1：初始化视觉网络参数 ω 和动作策略网络 π（φ），

值网络 Qu1

，Qu2

，目标值网络—Qu1

，—Qu2

2：u1 ← u1，u2 ← u2

3：初始化图像经验池 D 和特征经验池 Dc

，定义 M

4：迭代次数 < M：

5: 计算置信度 Q 值：

ACADEMIC FRONTIER 学术前沿

中国自动化学会通讯  第 43 卷  第 9 期  总第 228 期  2022 年 9 月 047

6：根据功用性图最大 Q 值，得到机器人工作点位

置 p（x，y， ）和旋转角度 θ

7：初始化特征状态信息 s

c

8：at~πϕ（at|s

c

t）# 根据策略选择执行动作

9：选择执行动作 at

10：s

c

t+1 ~ p（s

c

t+1 | s

c

t，at）# 转移概率更新下一特征

状态

11：环境反馈奖励值 r，r

c

12：策略函数计算：

13：计算损失函数，优化目标，更新网络参数

14： # 更新策略网络参数

15： # 更新值网络参数

16： # 更新温度参数

17： # 目标网络参数进行软更新

18：st+1=st，s

c

t+1=s

c

t

19：将元组存储到图像经验池和特征经验池中

20：下一步训练，在 2 个经验池分别采样（st,st+1，

a，r）和（s

c

t，s

c

t+1，a，r

c

）

21：直到迭代次数 > M

4　实验与结果（Experiment and results）

4.1　仿真环境搭建

为了验证机器人采用本算法抓取目标物体的性

能，使用 V-REP 3.5.0［31］动力学仿真软件模拟机

器人在未知环境下对目标物体的抓取。该软件内部

的运动学模块可准确地模拟真实机器人的运动轨

迹，同时还具有重力等物理引擎，可模拟真实物体

属性。使用 RGB-D 相机采集工作空间状态信息。

该相机由被动 RGB 相机和主动深度传感器组成，

除了提供 RGB 图像外还提供每个像素的深度信息，

可将每个像素的深度值快速转换为点云信息用于

3D 感知。

建立了图 8 所示的仿真实验环境。建立装有 RG2

夹具的 UR5 机械臂模型，并在工作空间正上方与斜上

方 45°的位置安装 RGB-D 相机，该相机会在每次机

械臂执行完动作后进行图像采集，提供完整的且大小

为 640×480 的深度信息。

图 8　V-REP 仿真环境与图像信息

仿真硬件配置为 3.6GHz Intel Core i9-9900 k

CPU 和 NVIDIA 2070S GPU，操作系统为 Ubuntu

18.04 LTS，V-REP 的版本为 3.5.0 的教育版，采用

0.4 版本的 PyTorch 框架来训练网络模型。

4.2　训练阶段

在训练阶段，待抓取的目标物体的颜色、形状及

位置随机，机器人通过不断试错寻找最优策略来实现

未知环境下对目标物体的成功抓取。该阶段采用特征

提取网络 RGSA-Net 生成推动和抓取功用性图，采

用 DQAC 框架选取最优动作，前期采用初始探索概率

为 0.50 的 ε 贪婪策略进行探索，且概率随训练回合数

增加而减小，并采用最大贪婪策略与动作分类策略探

索推、抓动作之间的协同，自监督训练的回合数 M 取

2500。如图 1 所示，在仿真环境中杂乱放置了 m 个随

机目标块和 n 个不同形状的基本块，机器人通过协调

推抓动作实现对目标物体的成功抓取。

为了验证本方法的有效性，将其与其他 4 种方法

在训练阶段的抓取性能进行了对比。

（1）RAND：一种不经过监督训练而采取随机像

素点抓取的方法；

学术前沿 ACADEMIC FRONTIER

048 COMMUNICATIONS OF CAA Vol.43, No.09, Serial No.228, September, 2022

（2）Grasping-only［24］：一种贪婪的确定性抓

取策略，它使用单个 FCN（全卷积网络）进行抓取，

该网络使用二分类（来自试错）的监督。此策略下的

机器人仅执行抓取动作；

（3）VPG［24］：提出面向目标的抓取任务，使用

基于 DQN 的强化学习框架训练推、抓之间的协同实

现目标抓取；对于给定目标物体，使用 2 个动作全卷

积网络映射动作 Q 值。

（4）GIT［25］：一种深度强化学习方法，使用目

标分割网络提取特征来增强机器人感知，基于 DQN

二分类器进行机器人推动与抓取训练。

4.2.1　性能展示

训练阶段执行动作次数的最大阈值设置为 30，当

动作数超过阈值或整个工作区域无目标物体时，重置

抓取环境开启新一轮的抓取训练，该过程中随机指定

目标物块。使用不同算法对机器人进行 2500 次的训

练，不同算法的耗时如表 1 所示。图 9 绘制了机器人

在不同方法下的抓取成功率。

4.2.2 性能分析

从表 1 和图 9 可见，在训练过程中，RAND 算

法训练耗时最短，但其面对目标抓取任务时忽略环

境而采取随机策略选择动作，使得抓取成功率极低。

Grasping-only 算法中加入了卷积神经网络处理视

觉输入，训练耗时较 RAND 算法有所增加，但其仅

采用抓取动作，忽略了杂乱环境对目标任务的影响，

表 1　不同算法 2500 次训练耗时

方法 训练耗时 /h

RAND 4.45

Grasping-only 5.58

VPG 6.33

GIT 5.72

RGSA-Net 6.15

DQAC 5.84

RGSA-Net + DQAC 6.24

图 9　抓取成功率对比