三个现成 AO baseline:全量核心任务对照

本轮补齐原版 AO、作者三层配方 ours-3layers、GRPO-step-500,在同样本上完成两个核心任务:每版 985 条 hallucination 和 600 条 PersonaQA,共 4,755 条输出。已完成的是这三个 checkpoint 在这两个任务上的全量测试;没有把全部 AObench 子任务或所有消融 checkpoint 混入本轮。

先看结果

三个 checkpoint 都已跑完,现成基线具备启动项目的条件。 GRPO 的合并错误率最低(42.03%),但含糊率最高(49.44%);三层配方 PersonaQA 最好(16.50%),同时 hallucination 的细节错误更多。没有一个版本在少犯错、少含糊和读出属性三个方面同时占优。

这给第一个项目一个具体目标:在 GRPO 已有的低错误率基础上,找回有证据支持的具体信息。原版和三层配方也保留作对照。A(现成模型候选重排序)与 B(训练固化)都可围绕这个目标,具体路线仍由你选择。

指标 原版 AO ours-3layers GRPO-step-500
正确 6.80% (67/985) 9.44% (93/985) 8.53% (84/985)
含糊 38.68% (381/985) 9.85% (97/985) 49.44% (487/985)
同领域但细节错 33.10% (326/985) 65.69% (647/985) 30.15% (297/985)
明显离题 21.42% (211/985) 15.03% (148/985) 11.88% (117/985)
合并错误率(细节错+明显离题) 54.52% 80.71% 42.03%
上游汇总口径:没有明显离题 78.58% 84.97% 88.12%
PersonaQA 官方子串匹配 9.00% (54/600) 16.50% (99/600) 11.33% (68/600)
PersonaQA 严格相等 8.00% (48/600) 16.17% (97/600) 10.33% (62/600)

PersonaQA 的总分也会掩盖属性差异。下表每个单元为正确条数/100,使用同一官方匹配规则。

属性 原版 AO ours-3layers GRPO-step-500
国家 7/100 45/100 34/100
食物 3/100 9/100 5/100
饮料 9/100 9/100 2/100
音乐 10/100 6/100 11/100
运动 20/100 20/100 10/100
桌游 5/100 10/100 6/100

“没有明显离题”把正确、含糊、同领域细节错都算进去,因此不能称为准确率。论文综合 hallucination 图还合并了领域识别、缺失信息和数字预测等任务;本表没有冒充论文综合分。

原版/三层配方的全量PersonaQA分别为9.0%/16.5%,与上游历史8.83%/16.33%接近(每个相差1/600),但不据此声称所有任务逐项严格复现。

这里的含糊率来自同批 hallucination 输出,不是另一个 vagueness 子任务的分数。PersonaQA 使用已发布的 shuffled-persona target adapter;我们测的是读取其目标属性的准确率,尚未加入 text-only/no-activation 对照。

样本、配对与不确定性

Hallucination 是固定数据文件的全部 197 条轨迹记录 × 5 个提问,来自 29 道不同源题;PersonaQA 是全部 100 个人物 × 6 个属性。三版 metadata 和实际输入 token 序列逐行核对相同。不能把 985 条请求当作 985 个独立问题。

与原版比较 合并错误率变化 按源题分组 bootstrap 95% 区间
ours-3layers − 原版 +26.19 个百分点 [+21.02, +31.10] 个百分点
GRPO-step-500 − 原版 -12.49 个百分点 [-17.74, -7.12] 个百分点

区间为 10,000 次源题整组配对重采样、seed 1729,未包含 judge 的系统性误差。相同题目的不同轨迹和问题模板一起重采样。全量只针对已发布数据文件,仍不代表所有任务或模型。

为什么不能只盯住一个错误率

我们保留上游四分类提示和原始标签,使用个人端点 Claude Sonnet 4.6;三版各 985 条评分齐全。另对先前 ours-3layers 被判细节错的 7 个案例进行了定向轨迹核查:

七例为定向核查,不能计算总体 judge 错误率。官方标签未改;完整证据和逐条判断见 audit.md。下一步研究保留官方分以便比较,同时为关键断言增加支持、反驳、证据不足的核查,避免只学会迎合 judge。

相同题目与AO回答组成的重复judge输入共有108组,其中3组得到不同标签,说明评分本身存在波动;原始标签均保留,见附件。Hall达到100-token输出上限的条数分别为11/20/12,不能排除截断影响。

与历史归档的一个关键配置差异

本轮 Hall 明确读取未挂 oracle adapter 的底模激活(orig)。历史原版结果文件的配置却为 activation_input_types=[lora]、batch32,本轮为batch1。固定版本的 collect_target_activations 在 lora 且没有 target_lora_path 时会保留已激活的 oracle adapter;因此历史配置不能直接当作相同底模激活的数值复现目标。

我们用上游原函数和 stock Transformers adapter 加载路径做了同一输入的控制检查:oracle adapter 激活时,lora 与 orig 的第18层末5位置激活相对L2差为0.16266,确实不同。该检查证明当前代码/环境存在此配置差异;不能据此倒推历史进程一定处于同一状态,也不能把所有分差归因于此。详情见 activation-source-check.json 与脚本。

因此,本报告是固定底模目标、同输入的可比较baseline。上次提及的公开历史错误率只保留为背景,不能据它直接断言本轮严格复现或失败。公开5位置summary还只有78条实际已评分记录,不能冒充985条完整对照。

计算与下载实测

模型 Hall 推理秒数 Persona 推理秒数 两任务峰值 allocated GiB Hall 平均输出 token
原版 AO 937.7 129.4 16.25 20.2
ours-3layers 2038.4 113.4 16.26 48.2
GRPO-step-500 940.7 119.8 16.26 20.0

推理循环累计 1.19 GPU 小时(单GPU进程计时之和,含激活提取,不含加载、下载和 judge)。本轮最多同时使用4张5090,各模型仍是单卡、batch1。不同GPU的并行运行/系统负载可能影响速度,因此不把小幅时间差解释为算法加速。原版/三层配方分别复用 v7 的100条hall与96条Persona输出及评分,未重复计算;表中耗时包含这些缓存原始耗时。summary的wall_seconds只计本次新增部分,不能与总inference_seconds直接比较。

GRPO adapter 从 hf-mirror.com 下载,698,419,728 bytes,revision a4adc9786150e4be8b0965b18700357a2088e0b1,SHA-256与元数据相符。其模型卡说明:由 final-sprint-no-DPO 继续GRPO训练,step500,读取层[9,18,27]、注入层1;本轮评估使用上游匹配配置。其余底模、adapter和环境沿用已验证资产。

训练可行性仍沿用v7实测:rank64 BF16底模/FP32 adapter,20步配对1024-token合成训练17.09秒、峰值20.14GiB。1,000对×2epoch约28.5分钟/臂、三臂约1.43GPU小时是特定长度下的纯训练外推。此次没有重训,也没有把Unsloth加入测试;其activation hook/梯度重算兼容性仍需专门验证。

第一个项目的启动条件

现成 checkpoint、可复用输出、评估入口和单卡资源锚点已经齐备,可以据此选定第一个项目。用户提出的顺序可以落地:先用已经训好的 AO 做 A 的候选覆盖与重排序,若信号有价值,再用 B 训练把能力固化。 A/B仍围绕同一个主题:减少错误具体细节,同时保留有用内部信息。

项目应保留原版和最有竞争力的现成 checkpoint,不能只挑一个弱基线。启动时先固定主指标、候选覆盖诊断及数据划分;增加同预算普通概率排序和text-only控制,才能区分参照激活的收益与多采样/题面纠错收益。已检查的这批数据可作baseline与开发锚点,不能再称全新未触及测试;最终结论需新留出源题或独立验证集。

本轮完成baseline阶段,没有自动启动A/B研究团队或训练。接下来可以用这些实测结果确定项目的起点及成功标准。

复现与附件

published-hall-original-prefix.txt 只保存历史JSON前65,536 bytes,用于查配置,并非完整结果文件。 代码固定为 cot-oracle fb28b5543b2f151eb7922289005794eebeba0681;BF16 Qwen3-8B、SDPA、seed1729、greedy。Hall读取5位置/max_new_tokens100;Persona single_token=-7/max_new_tokens40。各checkpoint使用自身对应层/前缀。脚本延续上游分词、激活提取、注入、评分,新增断点复用校验。公开历史分数只能作参考,judge运行、配置和发布版本不一定完全一致。

2,955条正式评分的返回usage(含复用v7的200条):{"input_tokens": 1116004, "output_tokens": 590676, "cache_read_input_tokens": 250749, "cache_creation_input_tokens": 556}。新增调用为2,755条成功评分;评分期间出现过失败,断点重试已补齐全部记录;失败请求计费未必体现在成功记录中。实际账单/美元价格未核实。