离线评测

先说结论

离线评测是在标准化 benchmark 数据集上，通过自动化指标（准确率、pass@k、LLM 打分等）量化评估模型能力，是模型选型和迭代过程中成本最低、效率最高的评测方式。

自动评测基准

通用知识评测

编程能力评测

数学与推理评测

指令遵循评测

多模态评测

HumanEval pass@k

QUESTION 面试高频：pass@k 的含义和计算公式？

pass@k 衡量模型在 k 次采样中至少一次通过所有单元测试的概率：

$\text{pass@k} = 1 - \frac{\binom{n-c}{k}}{\binom{n}{k}}$

其中 $n$ 为总采样次数，$c$ 为通过次数。

• pass@1：一次性通过率，反映实际部署体验（用户通常只看一次生成）
• pass@10：10 次中至少一次通过，反映模型潜力上限
• pass@100：100 次中至少一次通过，理论上限

HumanEval+ 的改进：原始 HumanEval 平均仅几个测试用例，模型可能通过巧合而非正确实现通过。HumanEval+ 增加了约 80 倍的测试用例，大幅减少假阳性。

LLM-as-a-Judge

核心思路

使用更强的模型（如 GPT-4、Claude）作为评委，评估模型输出质量。

评估方式

评估维度

LLM-as-a-Judge 的偏差

QUESTION 面试高频：LLM-as-a-Judge 有什么偏差？

研究表明 GPT-4 作为裁判与人类判断的一致率约为 80%，虽不完美但已具备实用价值。

SFT 前后对比评测

回归检测

• 确保 SFT 没有退化基座模型的能力
• 在通用基准上比较 SFT 前后的得分
• 特别关注微调领域外的能力退化（灾难性遗忘）

目标领域验证

• 在微调目标领域的测试集上验证提升
• 使用领域专家评估
• 检查是否过拟合训练数据

评测工具

前沿趋势

1. 更难的基准：MMLU-Pro、GPQA 取代趋于饱和的旧基准
2. 动态更新基准：LiveCodeBench 等持续引入新题
3. 真实任务基准：SWE-bench 评估工程能力而非竞赛能力
4. 多模态评测：MMMU、MathVista 覆盖视觉理解
5. Agent 评测：BFCL、ToolBench 评估工具调用能力

如果要对外讲，可以怎么概括

"离线评测是模型选型和迭代的基础。我会按维度选择基准：知识广度看 MMLU/MMLU-Pro，代码能力看 HumanEval+/LiveCodeBench，对话质量看 MT-Bench/Chatbot Arena。关键是要理解每个基准的局限：MMLU 已饱和且有数据泄露风险，MT-Bench 的 LLM-as-a-Judge 有长度偏差，HumanEval 测试用例不足导致假阳性。我的做法是多基准交叉验证，同时构建与业务场景匹配的私有评测集。评测结果必须注明设置（few-shot 数、prompt 模板、温度），确保可复现。"

最后记几条

1. 多基准交叉验证——不依赖单一基准
2. pass@1 反映部署体验，pass@10 反映潜力上限
3. HumanEval+ 优于 HumanEval——80x 测试用例减少假阳性
4. LLM-as-a-Judge 约与 80% 人类一致性——有偏差但实用
5. SFT 必须做回归检测——确保不退化基础能力

参考资料

• Hendrycks, D. et al. "Measuring Massive Multitask Language Understanding" (2021)
• Chen, M. et al. "Evaluating Large Language Models Trained on Code" (2021)
• Zheng, L. et al. "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena" (2023)
• Wang, Y. et al. "MMLU-Pro" (2024)
• LiveCodeBench: https://livecodebench.github.io/

延伸阅读

• 大模型总索引