科技日报记者 王禹涵 通信员 白毅鹏
“凌晨的高速公路上，主动驾驶汽车的AI体系忽然掉灵。明明前方没有障碍物，它却误判呈现行人，紧迫刹车激发后车追尾。激发这场变乱的，并不是硬件妨碍，而是藏于AI模子里的‘隐形炸弹’——进犯者植入的‘后门’……”
讲堂上，西安电子科技年夜学传授马卓正对于着台下的学生阐发AI安全案例，PPT上变乱模仿动画与数据图表瓜代呈现。
如今，金融风控、智能家居、主动驾驶等范畴的AI模子，天天都于处置惩罚海量数据，面对着近似危害。而马卓领导团队，用一项日前得到2024年度中国电子学会天然科学奖二等奖的结果，为AI模子筑安全防地。
揪出藏于模子中的“卧底”
走进马卓的试验室，屏幕上跳动的数据流、白板上密密麻麻的算法，都于诉说着这里的科研一样平常。“AI模子就像一个个不断运转的‘年夜脑’，但它们的数据来历太繁杂了，很轻易被钻空子。”马卓指着一组AI模子测试数听说。
他口中的“空子”，即是进犯者植入的“后门”。“它们就像藏于AI模子里的‘卧底’，日常平凡安平静静，一旦碰到特定指令，就会让模子‘犯糊涂’。”马卓的话语中带着一丝担心。而这份担心，恰是他领导团队开展科研攻关的出发点。
传统的防备要领，于马卓看来犹如“年夜海捞针”。“以往，要于包罗亿万参数的AI模子里找出‘后门’，患上把所有数据一个个过一遍。这类方式不仅效率低，并且成本高，底子不合适现实运用。”他说。
面临难题，马卓没有堕入通例思绪，而是提出了一个斗胆的设法。“咱们练习AI模子是为让它‘记住’某些数据，那能不克不及反着来，让它‘遗忘’有害数据？”他说。
这个设法成为了破解难题的要害。他及团队从练习模子经常使用的梯度降落法中寻觅灵感，颠末无数次试验，首创基在梯度上升的模子遗忘技能。
马卓用认识的糊口场景给记者注释。“你可以把AI模子想象成一个专门存放‘数据书’的书架。练习模子的历程，相称在咱们按特定挨次把一本本‘数据书’摆到书架上。此刻要让AI‘遗忘’有害数据，就要沿着当初摆书时的线路倒归去，把那本‘有害的书’抽出来。”他顿了顿说，“删除了影象操作必需精准，多忘一点有效的，AI模子就会‘变笨’，少忘一点有害的，‘后门’还有于。”
这项技能年夜幅晋升查找“后门”的效率。“之前处置惩罚一样的使命可能需要100小时，此刻1小时就能完成。”马卓说。
打造产学研交融团队
“立异技能不克不及‘躺’于试验室里，要到财产中去解决真问题。”这是马卓挂于嘴边的话。而他领导的团队，恰是于产学研交融的泥土中茁壮发展起来的。
“咱们许多科研思绪都是于及企业的交流中患上来的。”马卓回忆道，为了找到真实的行业“痛点”，团队主干常常深切头部科技企业及金融机构。
于一次与主动驾驶企业的交流中，企业工程师们提到的“AI模子易受歹意数据进犯”问题，让团队找到了新的攻关标的目的。“咱们把财产一线的难题带回来，从中找到科研标的目的，让产出的结果更有价值。”马卓说。
于人材造就上，马卓更是尽心尽力。他开设新生钻研课，用活泼的科研案例将低年级本科生带入AI世界。“我要让他们早点大白，科研不是枯燥的公式，而是能解决现实问题的东西。”他说。
看待团队里的年青科研职员，马卓严酷却不苛刻。他会按照他们的特色为其计划成长标的目的：假如擅长理论研究，他就鼓动勉励其深耕算法范畴；假如讲授能力凸起，他就撑持其于讲台绽开色泽；假如对于市场敏感，他便指导其成为技能与财产之间的“桥梁”。“每一位年青人都是怪异的，要发明每一个人的闪光点，让他们阐扬最年夜的价值。”他说。
如今，马卓领导的团队不仅产出了多项具备自立常识产权的结果，并且让相干技能于金融风控、主动驾驶等场景中落地运用。
从领导团队霸占技能难题，到造就新一代立异人材，马卓用步履诠释着科技事情者的初心。他及团队仍于不停摸索，只为给智能时代装上更结实的“安全锁”，让AI更好地办事人类。
-OB电竞
