三个现成 AO baseline:全量核心任务对照
本轮补齐原版 AO、作者三层配方 ours-3layers、GRPO-step-500,在同样本上完成两个核心任务:每版 985 条 hallucination 和 600 条 PersonaQA,共 4,755 条输出。已完成的是这三个 checkpoint 在这两个任务上的全量测试;没有把全部 AObench 子任务或所有消融 checkpoint 混入本轮。
先看结果
三个 checkpoint 都已跑完,现成基线具备启动项目的条件。 GRPO 的合并错误率最低(42.03%),但含糊率最高(49.44%);三层配方 PersonaQA 最好(16.50%),同时 hallucination 的细节错误更多。没有一个版本在少犯错、少含糊和读出属性三个方面同时占优。
这给第一个项目一个具体目标:在 GRPO 已有的低错误率基础上,找回有证据支持的具体信息。原版和三层配方也保留作对照。A(现成模型候选重排序)与 B(训练固化)都可围绕这个目标,具体路线仍由你选择。
| 指标 |
原版 AO |
ours-3layers |
GRPO-step-500 |
| 正确 |
6.80% (67/985) |
9.44% (93/985) |
8.53% (84/985) |
| 含糊 |
38.68% (381/985) |
9.85% (97/985) |
49.44% (487/985) |
| 同领域但细节错 |
33.10% (326/985) |
65.69% (647/985) |
30.15% (297/985) |
| 明显离题 |
21.42% (211/985) |
15.03% (148/985) |
11.88% (117/985) |
| 合并错误率(细节错+明显离题) |
54.52% |
80.71% |
42.03% |
| 上游汇总口径:没有明显离题 |
78.58% |
84.97% |
88.12% |
| PersonaQA 官方子串匹配 |
9.00% (54/600) |
16.50% (99/600) |
11.33% (68/600) |
| PersonaQA 严格相等 |
8.00% (48/600) |
16.17% (97/600) |
10.33% (62/600) |
PersonaQA 的总分也会掩盖属性差异。下表每个单元为正确条数/100,使用同一官方匹配规则。
| 属性 |
原版 AO |
ours-3layers |
GRPO-step-500 |
| 国家 |
7/100 |
45/100 |
34/100 |
| 食物 |
3/100 |
9/100 |
5/100 |
| 饮料 |
9/100 |
9/100 |
2/100 |
| 音乐 |
10/100 |
6/100 |
11/100 |
| 运动 |
20/100 |
20/100 |
10/100 |
| 桌游 |
5/100 |
10/100 |
6/100 |
“没有明显离题”把正确、含糊、同领域细节错都算进去,因此不能称为准确率。论文综合 hallucination 图还合并了领域识别、缺失信息和数字预测等任务;本表没有冒充论文综合分。
原版/三层配方的全量PersonaQA分别为9.0%/16.5%,与上游历史8.83%/16.33%接近(每个相差1/600),但不据此声称所有任务逐项严格复现。
这里的含糊率来自同批 hallucination 输出,不是另一个 vagueness 子任务的分数。PersonaQA 使用已发布的 shuffled-persona target adapter;我们测的是读取其目标属性的准确率,尚未加入 text-only/no-activation 对照。
样本、配对与不确定性
Hallucination 是固定数据文件的全部 197 条轨迹记录 × 5 个提问,来自 29 道不同源题;PersonaQA 是全部 100 个人物 × 6 个属性。三版 metadata 和实际输入 token 序列逐行核对相同。不能把 985 条请求当作 985 个独立问题。
| 与原版比较 |
合并错误率变化 |
按源题分组 bootstrap 95% 区间 |
| ours-3layers − 原版 |
+26.19 个百分点 |
[+21.02, +31.10] 个百分点 |
| GRPO-step-500 − 原版 |
-12.49 个百分点 |
[-17.74, -7.12] 个百分点 |
区间为 10,000 次源题整组配对重采样、seed 1729,未包含 judge 的系统性误差。相同题目的不同轨迹和问题模板一起重采样。全量只针对已发布数据文件,仍不代表所有任务或模型。
为什么不能只盯住一个错误率
我们保留上游四分类提示和原始标签,使用个人端点 Claude Sonnet 4.6;三版各 985 条评分齐全。另对先前 ours-3layers 被判细节错的 7 个案例进行了定向轨迹核查:
- judge 的真实薄弱点: index 11 中 AO 列出两名玩家获胜及游戏继续的概率量,这三个量确实出现在推理末尾。judge因玩家规则不对称而判错,但AO并没说两个概率相等;该理由不成立。
- 真实读出错误仍存在: index 28 把“每段有 3 个数”读成“数模 3 为 0 的整数”,混淆数量与除数;index 19 则把轨迹中的值 8 说成 1。
- 读出忠实性不同于题目解答正确性: 若目标模型在推理中试错,AO忠实描述该试错不应仅因数学上错误而被惩罚。原 judge 只看题目、不看轨迹,不能独自认证模型当时的状态。
七例为定向核查,不能计算总体 judge 错误率。官方标签未改;完整证据和逐条判断见 audit.md。下一步研究保留官方分以便比较,同时为关键断言增加支持、反驳、证据不足的核查,避免只学会迎合 judge。
相同题目与AO回答组成的重复judge输入共有108组,其中3组得到不同标签,说明评分本身存在波动;原始标签均保留,见附件。Hall达到100-token输出上限的条数分别为11/20/12,不能排除截断影响。
与历史归档的一个关键配置差异
本轮 Hall 明确读取未挂 oracle adapter 的底模激活(orig)。历史原版结果文件的配置却为 activation_input_types=[lora]、batch32,本轮为batch1。固定版本的 collect_target_activations 在 lora 且没有 target_lora_path 时会保留已激活的 oracle adapter;因此历史配置不能直接当作相同底模激活的数值复现目标。
我们用上游原函数和 stock Transformers adapter 加载路径做了同一输入的控制检查:oracle adapter 激活时,lora 与 orig 的第18层末5位置激活相对L2差为0.16266,确实不同。该检查证明当前代码/环境存在此配置差异;不能据此倒推历史进程一定处于同一状态,也不能把所有分差归因于此。详情见 activation-source-check.json 与脚本。
因此,本报告是固定底模目标、同输入的可比较baseline。上次提及的公开历史错误率只保留为背景,不能据它直接断言本轮严格复现或失败。公开5位置summary还只有78条实际已评分记录,不能冒充985条完整对照。
计算与下载实测
| 模型 |
Hall 推理秒数 |
Persona 推理秒数 |
两任务峰值 allocated GiB |
Hall 平均输出 token |
| 原版 AO |
937.7 |
129.4 |
16.25 |
20.2 |
| ours-3layers |
2038.4 |
113.4 |
16.26 |
48.2 |
| GRPO-step-500 |
940.7 |
119.8 |
16.26 |
20.0 |
推理循环累计 1.19 GPU 小时(单GPU进程计时之和,含激活提取,不含加载、下载和 judge)。本轮最多同时使用4张5090,各模型仍是单卡、batch1。不同GPU的并行运行/系统负载可能影响速度,因此不把小幅时间差解释为算法加速。原版/三层配方分别复用 v7 的100条hall与96条Persona输出及评分,未重复计算;表中耗时包含这些缓存原始耗时。summary的wall_seconds只计本次新增部分,不能与总inference_seconds直接比较。
GRPO adapter 从 hf-mirror.com 下载,698,419,728 bytes,revision a4adc9786150e4be8b0965b18700357a2088e0b1,SHA-256与元数据相符。其模型卡说明:由 final-sprint-no-DPO 继续GRPO训练,step500,读取层[9,18,27]、注入层1;本轮评估使用上游匹配配置。其余底模、adapter和环境沿用已验证资产。
训练可行性仍沿用v7实测:rank64 BF16底模/FP32 adapter,20步配对1024-token合成训练17.09秒、峰值20.14GiB。1,000对×2epoch约28.5分钟/臂、三臂约1.43GPU小时是特定长度下的纯训练外推。此次没有重训,也没有把Unsloth加入测试;其activation hook/梯度重算兼容性仍需专门验证。
第一个项目的启动条件
现成 checkpoint、可复用输出、评估入口和单卡资源锚点已经齐备,可以据此选定第一个项目。用户提出的顺序可以落地:先用已经训好的 AO 做 A 的候选覆盖与重排序,若信号有价值,再用 B 训练把能力固化。 A/B仍围绕同一个主题:减少错误具体细节,同时保留有用内部信息。
项目应保留原版和最有竞争力的现成 checkpoint,不能只挑一个弱基线。启动时先固定主指标、候选覆盖诊断及数据划分;增加同预算普通概率排序和text-only控制,才能区分参照激活的收益与多采样/题面纠错收益。已检查的这批数据可作baseline与开发锚点,不能再称全新未触及测试;最终结论需新留出源题或独立验证集。
本轮完成baseline阶段,没有自动启动A/B研究团队或训练。接下来可以用这些实测结果确定项目的起点及成功标准。
复现与附件
published-hall-original-prefix.txt 只保存历史JSON前65,536 bytes,用于查配置,并非完整结果文件。
代码固定为 cot-oracle fb28b5543b2f151eb7922289005794eebeba0681;BF16 Qwen3-8B、SDPA、seed1729、greedy。Hall读取5位置/max_new_tokens100;Persona single_token=-7/max_new_tokens40。各checkpoint使用自身对应层/前缀。脚本延续上游分词、激活提取、注入、评分,新增断点复用校验。公开历史分数只能作参考,judge运行、配置和发布版本不一定完全一致。
2,955条正式评分的返回usage(含复用v7的200条):{"input_tokens": 1116004, "output_tokens": 590676, "cache_read_input_tokens": 250749, "cache_creation_input_tokens": 556}。新增调用为2,755条成功评分;评分期间出现过失败,断点重试已补齐全部记录;失败请求计费未必体现在成功记录中。实际账单/美元价格未核实。