实验室简介

广东省安全智能新技术重点实验室成功举办SAILING讲坛第二十期

发表时间:2024-11-28 14:08:32 来源: 作者: 浏览:

【文章导读】2024年11月26日,广东省安全智能新技术重点实验室主办,深圳市计算机学会元宇宙专委会,深圳市计算机学会大模型专委会协办的SAILING讲坛第二十期于哈尔滨工业大学(深圳)顺利召开。广东省安全智能新技术重点实验室是由广东省科学技术厅于2022年批准成立的省级科研平台,依托哈尔滨工业大学(深圳)进行建设管理。实验室遵循“开放、流动、联合、竞争”的发展方针。以提高自主创新能力为目标,聚焦广东优势学科、支柱产业以及重...

2024年11月26日,广东省安全智能新技术重点实验室主办,深圳市计算机学会元宇宙专委会,深圳市计算机学会大模型专委会协办的SAILING讲坛第二十期于哈尔滨工业大学(深圳)顺利召开。

广东省安全智能新技术重点实验室是由广东省科学技术厅于2022年批准成立的省级科研平台,依托哈尔滨工业大学(深圳)进行建设管理。实验室遵循“开放、流动、联合、竞争”的发展方针。以提高自主创新能力为目标,聚焦广东优势学科、支柱产业以及重大战略需求,科学规划、整体布局,推进实验室体系提质增效,着力加强基础研究和源头创新能力,着力推进科技研发和成果转化,着力培育创新型人才队伍,着力强化开放共享,使之成为支撑广东建设更高水平科技创新强省的战略科技力量。

本期论坛围绕《大模型安全:基础模型的可信研究》展开。随着大模型研究的不断深入,其在处理敏感和未知问题时的表现备受关注。大模型是否包含有害内容的回答、能否正确识别需要回应的问题类型以及提供合法的回复,已成为关键议题。大模型的安全性已成为学术界和业界关注的核心焦点。本次SAILING讲坛由哈尔滨工业大学(深圳)陈斌副教授主持,由特邀嘉宾香港浸会大学韩波助理教授和清华大学博士后董胤篷做精彩报告。

韩波老师做了题为《Exploring Trustworthy Foundation Models under Imperfect Data》的特邀报告。报告中,韩老师介绍构建能够在不完美条件下运行的可信基础模型,因为现实世界中的数据往往存在噪声,例如异常输入、图像伪影和对抗样本。这些模型需要具备类似人类的能力,在不确定性中进行学习和推理。韩老师详细聚焦于三个最新研究进展,探讨该领域的可靠性、鲁棒性和安全性问题。具体而言,可靠性研究通过引入负标签增强视觉-语言模型,以有效检测分布外样本;鲁棒性研究通过使用扩散模型进行图像插值,解决信息丢失问题,从而保证生成内容的一致性和质量;安全性研究则通过"Deepinception"项目分析大型语言模型的脆弱性,该方法利用嵌套场景诱导自适应越权行为,揭示交互式模型的安全隐患。报告结束后,现场师生就数据去噪、图像生成的实际应用与研究方向与韩波研究员展开了热烈讨论。

董胤篷博士做了题为《On the Trustworthiness of Multimodal Generative AIs》的特邀报告。近年来,多模态生成模型的进步极大提升了对图像、文本及其他数据形式的理解与生成能力,催生了如GPT-4、Gemini和Sora等突破性应用。然而,这些模型也面临诸多可信性挑战,例如容易生成有害内容、易受对抗攻击以及存在严重的隐私风险。董胤篷博士详细探讨识别这些风险的方法,并讨论相应的缓解策略。同时,将介绍一个名为MultiTrust的综合基准,用于评估多模态生成AI系统的可信性。报告结束后,现场师生就大模型可能存在的安全问题与董胤篷博士展开了热烈讨论。

(审核:陈斌)