来源：公众号“清华大学智能法治研究院”

原文链接：https://mp.weixin.qq.com/s/QyCaNdHyJC2OBH9ubx7hAg?scene=1

2026年8月15日至21日，第35届国际人工智能联合会议（IJCAI-ECAI 2026）将于德国不来梅举行。清华大学计算法学课题组完成的1篇论文被录用。IJCAI-ECAI（International Joint Conference on Artificial Intelligence / European Conference on Artificial Intelligence）是国际人工智能联合会议（IJCAI）与欧洲人工智能会议（ECAI）的联合举办版本。其中，IJCAI创办于1969年，是人工智能领域最具影响力的顶级国际会议之一；ECAI是欧洲人工智能领域最具代表性的顶级会议。两者自2018年起每四年联合举办一次，旨在汇聚全球与欧洲两大学术共同体，促进人工智能研究的国际协作，在相关领域享有极高的学术声誉。

论文：Self-Refine Learning in LLM Multi-Agent Systems for Legal Norm Cognition and Compliance

作者：程荣鑫*、杨健辉*、熊博翰、郑宁、胡伊然、陈卿静、刘妍、刘黄海、刘云、申卫星。*为共同一作。

程荣鑫、刘妍为清华大学计算法学课题组2024级硕士研究生，杨健辉、刘黄海为清华大学计算法学课题组2023级硕士研究生，胡伊然、陈卿静为清华大学计算法学课题组2021级硕士研究生，郑宁为计算法学方向创新领军工程博士项目2023级博士研究生。

摘要：

随着大语言模型（LLMs）日益作为自主智能体被应用于社会模拟，其能否理解并遵守法律规范成为亟需研究的关键问题。然而，现有LLM智能体在多智能体交互中频繁出现“奖励黑客”（Reward Hacking, RH）行为——即为了优化某些指标而牺牲对规范的遵守，这不仅削弱了社会模拟的真实性，也限制了其在现实场景中的部署。

为此，本文提出了一个TBC-TBA自我精炼学习多智能体框架，通过迭代式的多智能体反馈机制实现规范的动态适应。该框架整合了Think-Before-Chat（对话前思考，社会反馈处理阶段）与Think-Before-Act（行动前思考，规范引导决策阶段）两个核心阶段，使智能体能够通过结构化的交互循环逐步精炼自身的规范理解。

论文基于6个国家（中、法、德、美、英、加）8部法律中的229条法律条文构建数据集，覆盖医疗系统、金融系统、应急服务、政府任命等17类场景。在五种主流LLMs（GPT-4o、GPT-4o-mini、DeepSeek-V2.5、Llama-3-8B-Instruct、Qwen2.5-7B-Instruct）和100个法律场景上的实验显示，LLMs虽能在一定程度上识别法律规范，但普遍存在RH行为，违法行为发生率（Illegal Action Rate, IAR）介于14.29%–37.11%之间。

图1：研究框架。本研究通过TBC-TBA自我精炼学习框架，考察LLM智能体的法律规范认知能力、与人类认知的一致性，以及多智能体交互中的合规性增强路径。

图2：多智能体自我精炼学习系统框架。规范认知场景基于真实法律条文生成。在Think-Before-Chat（TBC）阶段，智能体通过分析共享语境与个体特征进行信息推断与交换；在Think-Before-Act（TBA）阶段，智能体基于上下文与反馈评估行动必要性，并执行最优决策。

图3：在五种大语言模型（LLMs）中，引入与未引入法律规范情况下违法行为率（IAR）的对比分析。

进一步与人类认知模式进行对比，研究发现LLM智能体在道德推理层面与人类高度一致：道德水平越高，违法行为率越低；但在教育背景影响、风险偏好曲线和概率扭曲权重三个维度上与人类存在显著差异：教育水平的提高未能稳定降低违法率，反而呈现波动或U型曲线；五个LLMs均未表现出经典的S型风险偏好曲线，对风险概率呈现“麻木”特征；在损失域中，LLMs的概率扭曲权重γ普遍低于人类中位数（0.69），表明其更严重地高估小概率损失事件、低估大概率损失事件。

图4：社会认知因素与法律合规性之间的关系：(a)按道德水平划分的违法行为率，显示在所有五种大语言模型中，违法行为率均随道德水平的提高而下降；(b)按教育水平划分的违法行为率，显示与预期人类行为模式不一致。

图5：大语言模型与人类风险偏好曲线的对比，显示与预期人类行为模式不一致。

表1：5种LLMs的概率扭曲权重γ

为提升LLM智能体的法律规范合规性、改善其社会对齐表现，本文进一步提出了四种增强方法：

1.动态规范学习机制（Dynamic Norm Learning Mechanism, DNLM）：以心理学为基础，模拟人类的“识别—推断—实施”（identify–infer–implement）规范认知过程，是本文最核心、最有效的方法；

2.深度最大痛苦机制（Deep MaxPain, DMP）：通过强调违规后果实现震慑；

3.规范分析思维链（Norm Analysis Chain-of-Thought, NA-CoT）：通过结构化推理引导智能体逐步分析规范目的与违规后果；

4.少样本规范学习（Few-shot Norm Learning, FNL）：通过提供典型案例帮助智能体理解规范。

图6：动态规范学习机制（DNLM）。该机制借鉴规范心理学中关于人类先天规范认知的理论框架[Sripada and Stich, 2006; Kelly and Setman, 2020]，构建了“识别—推断—实施”三阶段认知模型，使LLM智能体能够从上下文中识别、推断并实施规范，在多智能体交互中实现自适应的规范理解。

实验结果表明，DNLM在五个LLMs上平均降低违法行为率达15.78%，是四种方法中表现最优的方案。其中，GPT-4o的违法行为率从20.20%降至3.03%；GPT-4o-mini从24.74%降至6.19%；Llama-3-8B-Instruct从37.11%降至13.27%。NA-CoT方法整体表现位列第二。

表2：DNLM在五种LLMs上的违法行为率改善效果。

本研究的核心贡献在于：

1.首次系统验证了LLM智能体在多智能体交互中具备法律规范认知能力，并明确揭示了其奖励黑客行为的存在；

2.跨学科地比对了LLM与人类在道德推理、教育影响、风险偏好和概率认知四个维度的一致性与分歧，定位了当前模型在社会因素整合上的关键短板；

3.以心理学为基础提出DNLM等四种增强方法，为构建可扩展、规范合规的自主智能体提供了切实可行的路径。

本研究为多智能体系统的社会对齐与法律规范遵守提供了新的理论视角与方法工具，对未来在复杂社会环境中部署符合规范的自主智能体具有重要意义。