大模型安全总览

先说结论

大模型安全涵盖幻觉防御、对齐安全（HHH）、对抗攻击防御、隐私保护和输出可控性，确保模型在落地中不会产生有害、错误或不可预测的内容。

QUESTION 面试高频：大模型安全包含哪些维度？ 六大核心维度：幻觉防御（减少事实错误）、安全对齐（Helpful + Harmless + Honest）、对抗防御（防越狱/注入攻击）、隐私保护（防 PII 泄露）、偏见公平（防歧视性输出）、稳定性（输出一致性）。其中幻觉是最常见的问题，越狱攻击是最受关注的安全风险。

安全维度全景

大模型安全
├── 幻觉防御 ──── 事实错误、与上下文矛盾
├── 对齐安全 ──── HHH: Helpful, Harmless, Honest
├── 对抗防御 ──── 越狱、Prompt注入、间接注入
├── 隐私保护 ──── PII 泄露、训练数据提取
├── 偏见公平 ──── 性别/种族/宗教歧视
└── 稳定性 ────── 自一致性、提示敏感性、版本一致性

一、幻觉评测与缓解

幻觉类型

幻觉缓解方法

详见 幻觉

二、对齐评测

HHH 原则

对齐评测方法

对齐税（Alignment Tax）

QUESTION 面试高频：什么是对齐税？ 对齐税是指安全对齐可能降低模型在其他能力上的表现。例如，过度安全训练可能导致模型拒绝回答合理问题（过度拒绝），或降低了创意写作能力。好的对齐方法应最小化对齐税，同时确保安全性。RLHF、DPO、Constitutional AI 等方法都在试图降低对齐税。

三、安全评测与红队

安全评测框架

红队测试（Red Teaming）

QUESTION 面试高频：什么是红队测试？有哪些常见攻击手法？

红队测试是主动攻击模型以发现安全漏洞。

常见攻击手法：

防御策略

四、隐私保护

隐私风险

隐私保护方法

1. 数据脱敏：在训练和推理前对 PII 进行替换/删除
2. 差分隐私：在训练中添加噪声保护个体数据
3. 访问控制：限制模型对不同级别数据的访问
4. 输出过滤：在输出前检测和过滤 PII
5. 隔离部署：不同用户/租户的模型实例隔离

五、偏见与公平性

偏见类型

评测基准

六、稳定性评测

输出一致性

对抗鲁棒性

Agent 安全

QUESTION 面试高频：Agent 系统有哪些特殊的安全风险？

安全最佳实践

1. 多层防御：输入过滤 + 模型安全训练 + 输出过滤，不要只依赖一层
2. 红队测试常态化：定期进行人工和自动红队测试
3. 建立安全案例库：收集攻击样本，持续回归测试
4. 监控安全指标：安全事件率 < 0.1%，越狱成功率 < 1%
5. 最小权限原则：Agent 只能访问完成任务所需的最少工具和数据
6. 人工审批：涉及高风险操作必须人工确认

前沿趋势

1. 多语言安全评测：从英文扩展到多语种
2. 多模态安全：图像/视频输入的安全风险
3. Agent 安全：工具调用场景的安全风险
4. 安全分级框架：Anthropic RSP 等分级安全标准
5. Constitutional AI：用 AI 辅助进行安全训练

如果要对外讲，可以怎么概括

"大模型安全是落地的底线。我关注六个维度：幻觉、对齐、对抗防御、隐私、偏见和稳定性。在幻觉方面，RAG 是最有效的缓解手段但不能根治，需要配合 Faithfulness 评测和后处理验证。在对抗防御方面，越狱攻击层出不穷（角色扮演、编码绕过、间接注入），需要多层防御——输入过滤 + 安全训练 + 输出过滤 + Guardrails。Agent 系统引入了新的安全风险：间接注入（通过工具返回内容攻击）和权限滥用（Agent 调用超出预期的工具）。我的原则是最小权限 + 多层防御 + 红队常态化。过度安全会导致过度拒绝，影响用户体验，所以需要在安全性和有用性之间取得平衡。"

最后记几条

1. HHH 原则：Helpful + Harmless + Honest 是对齐的核心目标
2. 越狱攻击是最大安全威胁：角色扮演、编码绕过、间接注入是三大手法
3. 多层防御：不依赖单一安全措施，输入 + 训练 + 输出三层防护
4. 对齐税是真实存在的：过度安全导致过度拒绝，需要在安全和有用之间取平衡
5. Agent 安全是新兴挑战：间接注入和权限滥用是 Agent 特有的安全风险

参考资料

• Anthropic Responsible Scaling Policy (RSP)
• Mazeika, M. et al. "HarmBench: A Standardized Evaluation Framework for Automated Red Teaming" (2024)
• Huang, L. et al. "A Survey on Hallucination in Large Language Models" (2023)
• Bai, Y. et al. "Constitutional AI: Harmlessness from AI Feedback" (2022)
• Zou, A. et al. "Universal and Transferable Adversarial Attacks on Aligned Language Models" (2023)

延伸阅读

• 大模型总索引