2025年3月28日，广东省安全智能新技术重点实验室主办的硕博论坛第十期“大模型的评测与应用”在哈尔滨工业大学（深圳）L-315顺利开展，本期论坛由哈尔滨工业大学（深圳）高翠芸教授主持，邀请了香港中文大学的王文轩同学和香港中文大学（深圳）的徐俊杰龙同学分享大模型可靠性的测试与评估和基于大模型的程序修复的目标对齐工作。
图1 高翠芸教授主持本期论坛
王文轩同学的报告介绍了检验大模型可靠性的技术和方法。自ChatGPT发布以来，大模型用户量迅速增长。然而，大模型的输出常常存在事实错误、社会偏见、毒性等问题，应用于庞大的用户群体和多样的实际场景时存在安全隐患。王同学先分析了大模型可靠性研究的角度，例如正确性、无毒性、安全性，由不可靠原因引入可靠性分析的方法，例如利用知识图谱、逻辑表达式等方法，揭示了文化偏见等具体现象。最后，王同学介绍了可靠性的未来研究方向。
图2 王文轩同学报告《大模型可靠性的测试与评估》
徐俊杰龙同学介绍了基于大模型的程序修复方法，以及如何进行目标对齐。大模型在自动化程序修复任务上已取得不错的成果，但是大模型训练目标为续写，与修复任务的填充式目标不一致。此外，现有修复方法仍依赖于语句级bug定位方法，难以修复给定位置以外的bug。基于以上问题，徐同学介绍了D4C框架，将大模型输出与训练目标对齐，在不预先识别错误语句的情况下直接修复整个程序。徐同学介绍了实验结果，并表示该框架可充分利用大模型的预训练能力，并且直接调试比传统的定位后修复的流程更适合用于基于大模型的程序修复。
图3 徐俊杰龙同学报告《基于大模型的程序修复的目标对齐》
在高翠芸教授的主持和引导下，本次论坛在轻松愉快的氛围中顺利进行，线上线下参与的同学积极参与，提出了一些有价值的问题，并通过汇报交流增进了对大模型评估与改进的理解和兴趣。
图4 演讲嘉宾和听众合影留念
演讲嘉宾介绍：
王文轩，于香港中文大学计算机系博士毕业，导师为吕荣聪教授。研究方向为大模型的可靠性和安全性，研究课题包含大模型的错误、毒性和偏见的检测和修复方法。近五年发表顶会论文二十余篇，发表论文获ACM Distinguished Paper Award，谷歌学术引用2500余次。
徐俊杰龙，香港中文大学（深圳）计算机科学系博士研究生，导师为何品佳教授。研究重点为基于大语言模型的 DevOps 自动化，旨在提高代码和服务的可靠性，特别是在以下领域：（1）日志生成和根本原因分析（RCA）；（2）调试和自动化程序修复（APR）。
