（文/代文杰）2026 年 7 月，计算机应用研究中心王轩教授课题组2025级博士生代文杰同学以第一作者完成的论文《EmbodiedSign: Closed-Loop Sign Interaction with Lightweight Understanding and Robot-Executable Sign Expression》获2026 CAAI International Conference on Artificial Intelligence（CICAI 2026）会议录用。该工作面向服务场景中的无障碍人机交互，构建了从用户手语输入到机器人手语回应的完整闭环。
CICAI 由中国人工智能学会（Chinese Association for Artificial Intelligence，CAAI）主办，是中国人工智能学会推荐的 A类国际学术会议，旨在促进人工智能及相关学科的前沿研究与学术交流。CICAI 2026 计划于 2026 年 10 月 17 日至 18 日在浙江海宁举行。
图 1 EmbodiedSign 实验平台与代表性交互案例
手语是听障群体开展教育、医疗和社会交往的重要语言载体。近年来，手语识别、翻译、虚拟人呈现和手语生成技术持续进步，但不少系统仍止于“识别成文本”“在屏幕上播放”或“调用预定义动作”。在真实服务环境中，机器人不仅要看懂用户手语，还要结合对话上下文组织回应，将开放式自然语言转换为标准手语词条，并在机器人身体与灵巧手的运动学约束下完成动作表达。任何一个环节中断，都会使理解、回复与执行彼此脱节。
针对这一问题，论文提出 EmbodiedSign，将具身手语交互表述为“手语视频—识别文本—回复文本—标准词条序列—机器人动作轨迹”的四阶段闭环。系统首先采用教师—学生蒸馏实现轻量化手语理解，以兼顾识别质量和机器人侧部署时延；随后结合当前输入、历史对话及场景约束进行上下文感知回复规划；再通过同义词归一、功能词过滤、短语优先匹配和最长匹配切分，将开放式回复对齐为标准手语词条；最后从结构化词库中检索并组合关键帧，经插值和动作重定向，将手语表达映射到 Unitree G1 人形机器人与 LinkerHand L10 灵巧手。
图 2 EmbodiedSign 总体框架：从手语输入到机器人执行的闭环
图 3 标准手语词条检索、动作生成与机器人映射流程
EmbodiedSign 的关键不在于孤立地提升某一个模型，而在于打通语言理解与物理执行之间的“落地鸿沟”。系统构建了包含 5,587 个标准化可执行词条的结构化手语库，每个词条均与语义标签、关键帧序列及时序信息关联。开放式语言回复经规范化后可被映射到词库条目，再完成句级关键帧组合、连续动作插值以及手型、腕部和手臂轨迹的机器人适配，使词库从单纯的语言资源转化为机器人可直接调用的执行基础。
论文在真实人形机器人平台上开展了端到端交互测试和模块消融实验。完整系统在单轮问答和多轮对话中的总体任务成功率达到 87.5%，语义一致性评分为 4.24/5，标准表达质量评分为 4.21/5，从用户手语输入到机器人完成手语输出的平均完整响应周期为 8.0 秒。其中，单轮问答任务成功率为 91.0%，多轮对话任务成功率为 84.0%。
进一步分析表明，轻量化蒸馏方案在显著缩短响应周期的同时保留了接近教师路线的交互质量；加入当前输入、对话历史和场景约束后，多轮对话任务成功率较仅使用当前输入的规划方式提高 10.0 个百分点。文本规范化模块则将标准词条命中率由 72.4% 提升至 89.6%，将动作序列可执行率由 76.8% 提升至 88.3%，额外时间开销约为 0.2 秒。这些结果说明，轻量理解、上下文规划、标准化对齐和动作执行需要协同设计，才能形成稳定的具身手语交互链路。
该系统的技术原型此前已走出实验室。2025 年 11 月 14 日至 16 日，第二十七届中国国际高新技术成果交易会在深圳国际会展中心（宝安）举办，计算机应用研究中心团队现场展示机器人手语交流系统，相关成果入选中心 2025 年度十大新闻。央视记者现场进行了报道。
图 4 EmbodiedSign 技术原型亮相第二十七届高交会（央视新闻画面）
■ 论文信息
论文题目：EmbodiedSign: Closed-Loop Sign Interaction with Lightweight Understanding and Robot-Executable Sign Expression
论文作者：Wenjie Dai（代文杰，第一作者）、Xinyu Xiao（肖鑫宇）、Liqian Sun（孙俪倩）、Junzeng Lv（吕俊增）、Shuhan Qi（漆舒汉，通讯作者）、Xuan Wang（王轩，通讯作者）
作者单位：哈尔滨工业大学（深圳）计算机科学与技术学院；广东省安全智能新技术重点实验室（哈尔滨工业大学（深圳））
录用会议：2026 CAAI International Conference on Artificial Intelligence（CICAI 2026，中国人工智能学会推荐 A类国际学术会议）
该研究得到国家自然科学基金面上项目（62376073）、深圳市关键技术项目（ZDCY20250901100302003）、深圳市高等院校稳定支持项目（GXWD20220811170225001）及广东省自然科学基金（2024A1515030024）等项目资助。
■第一作者简介：
代文杰，哈尔滨工业大学（深圳）2025级博士研究生，研究方向为机器人、具身智能。
撰写 | 代文杰
初审 | 黄颖欣
复审 | 漆舒汉
终审 | 王 轩
