预训练与困惑度
一、困惑度（Perplexity）基础
1.1 定义
困惑度是衡量语言模型对 held-out 语料预测能力的标准指标：
PPL = exp(-1/N × sum(log p(x_i | x_<i)))
- PPL 越低，模型预测越好
- 本质上是交叉熵损失的指数化
1.2 直觉理解
- PPL = 10 表示模型在每个位置平均在 10 个等概率候选词中犹豫
- PPL = 1 表示模型完美预测（不可能）
- PPL = 词汇表大小表示完全随机猜测
二、困惑度的边界与限制
2.1 缩放定律（Scaling Laws）
- Kaplan et al. (2020) 和 Hoffmann et al. (2022/Chinchilla) 发现 PPL 改进遵循近似幂律
- 计算最优：Chinchilla 定律表明数据量应与参数量同比例增长
- 但收益递减：更大模型的 PPL 改进幅度逐渐减小
2.2 数据墙
- Villalobos et al. (2023-2024) 估算高质量互联网文本可能在数年内耗尽
- 这将限制通过更多数据降低 PPL 的空间
- 应对方案：合成数据、数据增强、更高效的数据利用
2.3 评测污染/数据泄漏
- 许多 PPL 基准被训练数据污染，导致数据不可靠
- 去污染工作成为重要研究方向
- 需要严格的 held-out 测试集
2.4 基准饱和
- WikiText、Penn Treebank 等标准语料上的 PPL 已非常低
- 进一步改进边际递减且难以统计区分
- 需要更具挑战性的评测语料
三、PPL 的局限性
3.1 PPL 不等于能力
- 低 PPL 不一定意味着强下游性能（尤其是推理）
- PPL 衡量的是"预测下一个 token"的能力，不是"解决复杂问题"的能力
- 两个 PPL 相同的模型可能在推理、编程、数学上差异巨大
3.2 跨模型比较困难
- 不同 tokenizer 和词表大小使 PPL 比较不公平
- BPE vs SentencePiece vs WordPiece 的粒度差异
- 需要归一化处理（如 bits-per-character）
3.3 长上下文 PPL
- 128K+ token 的超长上下文评测引入新的计算和方法论挑战
- 长文本中的 PPL 不一定反映长程依赖理解能力
- Needle-in-a-Haystack 等替代评测兴起
四、实际应用中的困惑度
4.1 作为训练监控指标
- 监控训练过程中的 validation PPL
- 检测过拟合（train PPL 持续下降但 val PPL 上升）
- 决定学习率调度和训练终止
4.2 作为数据质量指标
- 用 PPL 筛选训练数据（过滤 PPL 过高的异常文本）
- 评估数据混合策略的效果
- 不同领域 PPL 可指导数据配比调整
4.3 域外检测
- 高 PPL 可能表明输入在训练分布之外
- 用于触发 fallback 策略或人工审核
五、替代和补充指标
| 指标 | 说明 |
|---|---|
| 下游任务准确率 | MMLU, HumanEval, GSM8K 等 |
| 校准不确定性 | 模型对其置信度的准确性 |
| 人类偏好对齐 | Chatbot Arena Elo 分 |
| 生成质量评分 | LLM-as-a-Judge |
六、前沿研究方向（2024-2025）
- 多模态 PPL：视觉-语言模型的联合困惑度
- MoE PPL：稀疏模型的困惑度评估方法
- 推理时 PPL：推理模型（如 o1）的困惑度评估新范式
- 数据效率：更少数据达到相同 PPL 的训练策略