1. 一次评测翻车，让我重新认识标准化

上周我用QLoRA微调了一个基于Llama-3-8B-Instruct的模型，自认为效果不错。为了验证，我手动从MMLU数据集中选了200道题，写了个简单的Python脚本，逐个prompt进去，解析输出选择A/B/C/D。结果准确率只有32%，比原始模型还低了10个点。我差点怀疑微调出了问题。

后来仔细排查，发现我手工写答案提取逻辑时，用正则r"[A-D]"去匹配第一个字母，但模型有时输出"Answer: B) Option B"，正则只拿到第一个A（因为"Answer"里有A）。一个符号的错误导致我一周白干。

这件事让我意识到：大模型评测必须标准化。手动评测容易在细节上踩坑，且无法复现。本文将对比两种主流评测方式——使用lm-eval-harness（开源评测框架）和手写评测脚本——在MMLU、HumanEval、GSM8K三个基准上的效果，并给出可运行的代码和你的避坑指南。

2. 两个方案对比：lm-eval-harness vs 手写脚本

2.1 方案A：lm-eval-harness（v0.4.0）

这是EleutherAI开源的评测框架，支持100+基准，包括MMLU、HumanEval、GSM8K。它内置了各基准官方的preprocessing、few-shot格式、答案提取和评分逻辑。你只需要提供模型路径和参数，框架自动完成全部评测流程。

2.2 方案B：手写评测脚本

完全自主实现：从Hugging Face下载数据集，编写prompt模板，解析模型输出，计算Metrics。灵活性最高，但你需要精通每个基准的细节规则（如MMLU的5-shot样例格式、HumanEval的functional correctness执行、GSM8K的chain-of-thought后处理）。

2.3 核心对比维度

3. 完整代码实现：两个方案跑通三大基准

3.1 环境准备

本文所有代码基于以下环境：

• Python 3.10.12
• torch 2.2.1+cu121
• transformers 4.41.0
• lm-eval-harness 0.4.0
• datasets 2.19.2
• vllm 0.5.1（用于加速推理）
• GPU: NVIDIA A100 80GB

3.2 方案A：使用lm-eval-harness（推荐）

3.2.1 安装lm-eval-harness

git clone https://github.com/EleutherAI/lm-evaluation-harness
cd lm-evaluation-harness
pip install -e .

3.2.2 评测命令（以MMLU为例）

# 使用vLLM加速推理（支持量化模型和全精度）
python main.py \
    --model vllm \
    --model_args pretrained=meta-llama/Meta-Llama-3-8B-Instruct,tensor_parallel_size=1,dtype=auto,gpu_memory_utilization=0.8 \
    --tasks mmlu \  # 支持mmlu、human_eval、gsm8k
    --num_fewshot 5 \
    --batch_size auto \
    --output_path results/mmlu_llama3_8b_instruct.json

说明：--tasks参数可设置为mmlu（57个子任务，取平均）、human_eval、gsm8k。框架自动下载数据集、组装prompt、执行推理、计算Metrics。

3.2.3 解析结果

输出JSON包含所有子任务得分。下面用Python提取三个Benchmark的总分：

import json

with open('results/mmlu_llama3_8b_instruct.json', 'r') as f:
    data = json.load(f)

mmlu_score = data['results']['mmlu']['acc,none']  # 平均准确率
print(f"MMLU 5-shot: {mmlu_score:.4f}")

3.3 方案B：手写评测脚本（以MMLU为例）

虽然不推荐，但为了理解底层原理和对比，我给出一个精简但可运行的版本。注意：此脚本仅用于演示，完整版需要处理57个子任务，这里只用一个子任务‘abstract_algebra’测试。

3.3.1 加载模型和数据集

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from datasets import load_dataset

model_name = "meta-llama/Meta-Llama-3-8B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
dataset = load_dataset("lukaemon/mmlu", "abstract_algebra", split="test")
# 注意：MMLU官方使用了5-shot，这里直接从数据集中取前5个作为few-shot例子
fewshot_examples = load_dataset("lukaemon/mmlu", "abstract_algebra", split="dev").select(range(5))

3.3.2 Prompt构造和推理函数

def build_prompt(question, choices, fewshot=True):
    """构造5-shot prompt"""
    prompt = "The following are multiple choice questions about abstract algebra.\n\n"
    if fewshot:
        for ex in fewshot_examples:
            prompt += f"Question: {ex['question']}\n"
            choices_str = "\n".join([f"{chr(65+i)}. {c}" for i,c in enumerate(ex['choices'])])
            prompt += f"Choices:\n{choices_str}\n"
            prompt += f"Answer: {ex['answer']}\n\n"
    prompt += f"Question: {question}\n"
    choices_str = "\n".join([f"{chr(65+i)}. {c}" for i,c in enumerate(choices)])
    prompt += f"Choices:\n{choices_str}\n"
    prompt += "Answer:"
    return prompt

def get_model_answer(prompt):
    inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
    with torch.no_grad():
        outputs = model.generate(**inputs, max_new_tokens=10, temperature=0, do_sample=False)
    response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
    # 提取第一个字母A/B/C/D
    import re
    match = re.search(r'\b([A-D])\b', response)
    return match.group(1) if match else "Z"  # Z表示无法提取

3.3.3 评测循环及评分

correct = 0
total = 0
for i, example in enumerate(dataset):
    question = example['question']
    choices = example['choices']
    correct_answer = chr(65 + example['answer'])  # 0->A, 1->B, ...
    prompt = build_prompt(question, choices)
    pred = get_model_answer(prompt)
    if pred == correct_answer:
        correct += 1
    total += 1
    if i % 20 == 0:
        print(f"Processed {i}/{len(dataset)}")

accuracy = correct / total
print(f"Manual MMLU (abstract_algebra) accuracy: {accuracy:.4f}")

3.3.4 HumanEval手写评测（关键部分）

HumanEval需要生成完整函数并运行测试。核心思想：从prompt中提取函数体，与测试用例拼接后执行。注意安全问题（临时容器）。这里只展示代码生成和解析部分：

from human_eval.data import read_problems
from human_eval.evaluation import evaluate_functional_correctness

# 生成函数
def generate_one_completion(prompt):
    inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
    outputs = model.generate(**inputs, max_new_tokens=512, temperature=0.2, do_sample=True)
    completion = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
    # 仅保留第一个函数定义（通常到```或换行）
    return completion.split("```")[0].strip() if "```" in completion else completion

# 使用官方evaluate_functional_correctness（需要先写入临时文件）
# 完整代码省略，原理类似

4. 效果数据：两种方案耗时与得分对比

我使用同一个模型（Meta-Llama-3-8B-Instruct）在单块A100 80GB上分别用两种方案评测，结果如下：

* 手写脚本得分与lm-eval略有偏差（≤0.005），主要是由于few-shot顺序、后处理规则微小差异导致。lm-eval-harness经过社区勘误，结果更稳定。

耗时方面：lm-eval-harness使用batch并行和vLLM加速，比手写循环节省约15%-25%时间。手写脚本未做批量推理优化，逐条推理。

5. 避坑指南：实测踩过的坑

5.1 MMLU常见坑

• 坑1：答案提取正则不准确。 模型可能输出“The answer is B.”或“B) Explanation...”。使用r'(?并取最后一个匹配字母更可靠。
• 坑2：few-shot样例顺序影响得分。 lm-eval-harness使用固定随机种子shuffle dev集，手写脚本若shuffle不同会带来0.5-1%差异。建议固定seed。
• 坑3：MMLU的5-shot是每个子任务独立取前5个dev样本吗？ 不是！官方做法是：每个子任务从自己的dev集取前5个（按题目ID排序）。如果随意取可能破坏同主题一致性。lm-eval-harness严格按照官方设置。

# 安装lm-eval-harness 0.4.0
pip install lm-eval==0.4.0

# 评测全部三个基准（vLLM加速）
python -m lm_eval \
    --model vllm \
    --model_args pretrained=meta-llama/Meta-Llama-3-8B-Instruct,dtype=bfloat16,gpu_memory_utilization=0.9 \
    --tasks mmlu,human_eval,gsm8k \
    --num_fewshot 5 \
    --batch_size auto \
    --output_path results/llama3_8b_all.json

# 查看结果
python -c "import json; d=json.load(open('results/llama3_8b_all.json')); print({k:d['results'][k]['acc,none'] for k in d['results']})"