Claude 5 与 GPT-5.6 家族的参数量估计

1. 背景：IKP 方法与它的争议

自 GPT-4 起，前沿实验室不再披露模型的参数量。部署所需显存的下界取决于这个数字，Scaling Laws（缩放定律）的外推也以它为锚点；「开源模型与闭源前沿的差距」这一问题，同样绕不开它。有缺口就有猜测。流传最广的是「GPT-4 是 1.8T 的 MoE（混合专家）模型」这条社区共识，对新一代旗舰的想象则已达「数十万亿参数」；它们无一可以检验。今年夏天，OpenAI 与 Anthropic 相继发布 GPT-5.6 与 Claude 5 两个模型家族，参数量照例保密。本文尝试对这两个家族给出可检验的估计。

我们使用的方法由 Bojie Li 于今年四月提出，名为 IKP（Incompressible Knowledge Probes，不可压缩知识探针；arXiv:2604.24827）。核心想法是：语言模型对长尾事实的记忆无法通过泛化规则压缩，只能占用权重容量存储。由此有一个推论——对足够冷僻的事实问题，召回精度应当随参数量可预测地增长。从信息论的基本原则不难推出：语法、语义、常识推理这类可泛化的规律，学会一次即可覆盖无数实例，存储成本被摊薄到近乎为零。而「某所印尼理工学院成立于哪一年」则不然：这类孤立事实与语料的其余部分近乎统计独立，无法从任何更一般的规律推出，最短描述就是它本身。模型每记住一条，就要占用一份无法摊薄的容量。

这一直觉的定量形式，Allen-Zhu 与 Li 的知识容量缩放定律（arXiv:2404.05405）在合成语料上给出过：Transformer 每参数至多稳定存储约 2 bit 的事实知识。IKP 将这条原理反向应用——存储长尾事实既然必须占用容量，冷僻事实的召回率就是对容量的探测。

论文构造了 1400 道事实题，按冷僻程度分为 T1 至 T7 七个层级，自「普遍知识」渐至「极端长尾」。这套题在近百个参数量公开的开源模型上验证了精度与总参数量的对数呈线性关系，初版报告决定系数 $R^2 = 0.917$——参数量的对数解释了九成以上的精度差异。论文据此对闭源模型给出估计。最引人注目的数字是 GPT-5.5 约 9.7T（本文以 B 记十亿参数，以 T 记万亿），Gemini 3.1 Pro 约 40.8T。

这些不合直觉的大数字很快招致了质疑与复核。两位研究者在 LessWrong 上发表了系统性的重分析，发现了两处实质性问题。其一是实现与论文的偏差。初版的记分对答错施加负惩罚，一个在冷僻层级上大量猜错的模型，层级平均分可以为负；论文声称保留这些负分，代码则实际将其截断为零。被这一截断抬高的主要是小模型的精度，因为大量猜错难题的正是它们。小模型一端被抬高后，同样的参数量跨度对应的精度差缩小；以精度反推参数量时，每个百分点折算的参数量随之变多，对前沿模型的外推被成倍放大。仅移除截断，$R^2$ 就从 0.917 降至 0.815，90% 预测区间从点估计乘除约 3 倍放宽至乘除 5.7 倍（乘除 $k$ 倍指区间为点估计的 $1/k$ 至 $k$ 倍，下同）。

其二是题目质量：9.4% 即 131 道题目存在多实体重名、答案过时或标准答案错误等缺陷，且缺陷集中于区分前沿模型的最难层级。移除缺陷题并修正截断后，GPT-5.5 的估计从 9.7T 回落至约 1.5T。

复核同时厘清了哪些结论稳健、哪些不稳健。稳健的部分有三：长尾事实召回与对数参数量的近似线性关系在各种记分与子集选择下都成立，$R^2$ 介于 0.78 与 0.92；对 MoE 模型，预测知识容量的是总参数量，而非单次推理实际动用的激活参数量；以及一个阴性结果：在固定参数量下，长尾事实召回能力从 2023 年至今几乎没有改善，与「能力密度约每三个月翻倍」的 Densing Law 在这一维度上直接矛盾。不稳健的部分是具体的点估计：它们对记分选择、题目清洗与校准子集高度敏感。换言之，方法的信号是真实的，需要修正的是记分与题集。

这正是本文的出发点。争论的主要修正已由论文作者合并进公开仓库：一是 1311 题的清洗题集，按可自动核验的规则移除了 89 道缺陷题，移除范围窄于复核标记的 131 道；二是无截断且对答错不施加负惩罚的 $\lambda=0$ 记分（记分规则的完整定义见第 2 节）。而争论未及处理的一个问题在我们重测部分校准队列时暴露出来，并最终促成了对校准曲线的一次重拟合（第 2 节）。

基于修订后的题集、记分与校准曲线，我们测量了 GPT-5.6 家族的全部六个变体（第 3 节）与 Claude 5 家族的三个现役模型（第 4 节），并对两个家族分别回答容量与谱系两类问题；GPT-5.5 属上一代型号，复核已给出约 1.5T 的修正估计，本文不再重测。第 5 节汇总全部估计，并讨论这些数字应当如何被引用。

先把主要结果放在前面，供只关心数字的读者取用。GPT-5.6 家族分 sol、terra、luna 三个系列，Claude 5 家族现役为 fable、opus、sonnet 三个模型。sol 系列与 fable/opus 同处约 2T 档，与 kimi-k3 公开的 2.78T 处于同一区间；terra 与 luna 约 700B 至 810B，sonnet 约 970B。所有数字均为 IKP 等效参数量（定义见第 2 节），90% 区间约为点估计乘除 3.45 倍。

2. 校准曲线的修订

在测量闭源模型之前，我们先重新检验了校准曲线本身。IKP 的全部推断依赖这条曲线：修订版论文在 93 个参数量公开的开源模型（135M 至 1.6T）上，以清洗后的题集拟合 IKP 精度与总参数量常用对数（$\log_{10}$）之间的线性关系，$R^2 = 0.910$；这 93 个模型以下称为校准队列。MoE 模型每次推理只激活全部权重的一小部分，因此有总参数量与激活参数量两个尺寸；校准的尺寸轴取前者，这一选择是拟合的结果而非先验假设。以混合尺寸轴 $N_{\text{total}}^{\gamma} \cdot N_{\text{active}}^{1-\gamma}$ 拟合时，指数 $\gamma$ 的最优值为 1.00：混合轴退化为总参数量本身，激活参数量几乎不提供额外信号。对队列重抽样反复拟合（bootstrap），$\gamma$ 的 90% 区间为 $[0.86, 1.00]$，上界就是定义域端点。

论文的数据采集截止于四月，我们的重测在七月末进行，间隔约三个月。若校准关系在此期间发生了漂移，后续所有估计都将失去依据。

估计量与记分规则

首先界定该方法的估计量。IKP 测得的量，本文记作 $N_{\text{eff}}$，称「IKP 等效参数量」。它回答的是这样一个问题：被测模型权重中存储的不可压缩知识，若要由一个校准队列平均水准的开源模型来存储，这个模型需要多大体量？该体量就是 $N_{\text{eff}}$，它并非真实权重数。

$N_{\text{eff}}$ 与真实权重数 $N_{\text{true}}$ 之比 $\rho \equiv N_{\text{eff}} / N_{\text{true}}$ 称为知识密度，衡量一个模型在给定真实体量下存储了多少知识。在本文重拟合后的校准队列上（重拟合见后文），$\log_{10}\rho$ 的标准差约为 0.33，换回倍数（$10^{0.33} \approx 2.1$）即一个标准差相当于乘除 2.1 倍；极端值从 nemotron-70b 的 $\rho \approx 9.5$ 到 llama-4-scout 的 $\rho \approx 0.29$，跨约 33 倍。换句话说，真实体量相同的两个开源模型，知识容量相差 2 倍属于常态，极端情形可相差一个数量级以上。因此本文所有估计都为「与多大体量的开源模型知识容量相当」，而非「拥有多少权重」。

其次是记分规则。判分模型将每个回答归为答对、答错、拒答三类，明确表示不知道或拒绝作答记为拒答；记分函数为（答对数 $+\ \lambda \cdot$ 答错数）/ 总题数，拒答在任何 $\lambda$ 下都计 0 分。论文的默认设定为 $\lambda = 0$：答对计 1 分，答错与拒答均计 0 分。

不对答错施加负惩罚，论文给出的理由是容量与诚实为两个独立维度：在固定容量下，「不知道时仍作答」的比例随厂商从 3% 到 99% 不等，任何负惩罚都会将厂商的幻觉政策混入体量估计，且偏差方向随厂商而异。这一理由成立，但只处理了答错一侧：拒答计 0 分意味着回答意愿仍保留在分数之内，同等知识下多拒答就少得分，而 LessWrong 的复核已经演示过估计值对记分选择的敏感性。换言之，$\lambda = 0$ 排除了幻觉政策这一种混杂，却保留了回答意愿这另一种。

重测暴露的漂移

当我们重测校准队列的七个代表模型时，上述残留混杂从理论上的疑虑变成了可观测的事实。七个模型的公开体量自 3.2B 至 1.6T，下图按体量自小而大列出它们在论文与重测两个时间点的 $\lambda=0$ 精度：

分界出现在 1T：其下的五个模型，重测值与论文值相差均不到 2 个百分点，两点几乎重叠；其上的两个模型各自移动了 8.8 与 17.6 个百分点，且方向相反：kimi-k2（1.04T）从 69.2% 跌至 51.6%，deepseek-v4-pro（1.6T）从 60.1% 升至 68.9%。两者恰好也是重测中拒答率最高的两个模型（39.7% 与 20.7%）。

这样的漂移需要一个解释，我们首先怀疑的是自己的改动。论文使用 gemini-3-flash-preview 判分，我们的运行管线换用了 gemini-3.6-flash。如果新判分模型的标准不同，整条曲线会系统性偏移，且判分裁量空间最大的最难题目受影响最深，这恰好能解释漂移为何集中在大模型上。

为验证这一点，我们重新运行了若干开源模型，并加测 claude-haiku-4.5 作为闭源对照。判分模型的差异只能在相同的被判回答上比较：若模型回答本身变了，判定的变化便无法归因于判分模型。因此对照集取两次运行中模型回答几乎相同的 605 道题。结果排除了这一假设：在这 605 道题上，新旧判分模型的判定完全一致。这在事后看来也符合预期，判分模型的任务仅为将回答与标准答案比对，裁量空间本就相当有限。

haiku-4.5 排除了另一个候选解释：高拒答模型自身不稳定。haiku 是全批次拒答率最高的模型（43.1%），复现却最为精确，$\lambda=0$ 精度与论文仅差 0.1 个百分点；若高拒答本身带来不稳定，haiku 应当偏离最大，而事实相反。因此漂移不在我们的管线中，而在厂商一侧。

两个漂移案例都涉及回答政策变化，但牵涉的层面不同。deepseek-v4-pro 是单纯的一例：它有 229 道题的回答从拒答变为给出答案，拒答率在这三个月间由约 38% 降至 20.7%，$\lambda=0$ 精度随之上升 8.8 个百分点，而其 attempted 精度，即仅在实际作答的题目上计算的精度，前后仅差 1.7 个百分点。知识容量未变，改变的只是回答政策。kimi-k2 的情形更复杂：论文时点它几乎不拒答，重测时却在 39.7% 的题目上拒答，$\lambda=0$ 精度下降 17.6 个百分点，且 attempted 精度也下降了 7.0 个百分点。这说明拒答政策之外，上游大概率还发生了权重更新或部署配置层面的变更：attempted 口径剔除了漂移中可归于回答政策的部分，剔除不了权重本身的变化。无论如何，结论是一致的：上游一次部署更新即可使 $\lambda=0$ 分数移动两位数百分点，将这样的测量值代入三个月前拟合的曲线，得到的估计没有意义。

以 attempted 精度重拟合

相应的修正是将拒答从分母中移除，以 attempted 精度重新拟合曲线；我们同时对校准队列做了两处调整（见后文），队列由 93 个模型增至 94 个。预测区间以 LOFO（leave-one-family-out）交叉验证估计：留出时以模型家族为单位，整族一起留出，因为同家族模型高度相关，逐个留出会使区间虚窄。代价是 $R^2$ 从 0.910 降至 0.898。收益在两处：LOFO 90% 预测区间从原 $\lambda=0$ 曲线的点估计上下乘除 3.51 倍收窄至 3.45 倍，七模型重测子集的平均漂移从 4.1% 降至 2.4%。拟合优度衡量的是同一时点上跨模型的解释力，几乎未变；改善的是同一模型在不同时间点的可重复性，而对一个需要反复使用的估计方法，后者更为重要。重拟合后的曲线为

其中 $N_{\text{eff}}$ 以 B 为单位，$A_{\text{attempted}}$ 为 attempted 精度，取 0 到 1 之间的小数。本文报告的所有精度均为七个冷僻度层级的宏平均，即先逐层计算再平均，口径与校准拟合一致。逐题计算时，$\lambda=0$ 精度恰等于 attempted 精度乘以作答率（即 1 减拒答率）；宏平均后该恒等式不再成立，以后文表中数字互相验算会出现小的出入。

校准队列本身有两处调整。其一，v4-pro 以重测值替换论文值：原值 60.1% 使一个 1.6T 模型排在同厂商 284B 的 v4-flash（74.8%）之下，而其 attempted 精度前后仅差 1.7 个百分点，这一反常排序应归因于旧快照的拒答行为而非能力，重测值是更干净的读数。kimi-k2 则保留论文值：它的 attempted 精度在重测中也移动了 7 个百分点，新旧快照哪个更能代表「kimi-k2」本身已无法裁定，我们选择不动它；它在 1T 处的去留对曲线的影响也远小于上端锚点。

其二，kimi-k3 加入队列。它公开了 2.78T 的总参数量，是目前唯一与闭源旗舰同体量的已知尺寸开源模型；在它加入之前，曲线上端止于 1.6T，对 2T 以上的一切估计均属外推。加入之后，本文最关心的 1T 至 3T 区间大部分转为内插。

两个已知体量的锚点均紧贴曲线，可以逐个检验：把 kimi-k3 从队列中留出，用其余模型重拟合后再预测它，预测值与公开值相差 1.20 倍；同样操作 v4-pro 得 1.24 倍。两者同为轻微低估，均远小于乘除 3.45 倍的预测区间，曲线上端的位置并非仅由这两个点决定。当然，锚点的「已知体量」采信的是厂商自报数字；整条推断链的上端最终系于 kimi-k3 与 v4-pro 的自报体量为真。重拟合后的完整校准关系如下图，两个新锚点以菱形标记，恰好落在曲线上端的预测区间之内：

Attempted 口径的适用边界

Attempted 精度自身也依赖一个假设：被拒答的题目与实际作答的题目难度同分布。拒答一旦与难度相关，假设便失效。模型集中拒答难题时，估计偏高；集中拒答其能作答的题目时，估计偏低。这两个方向在第 4 节的 Claude 家族上各有实测案例；借助外部参照模型的修正方法，也在那一节给出。

3. GPT-5.6 家族的测量结果

OpenAI 在模型聚合平台 OpenRouter 上开放的 GPT-5.6 家族共六个变体。命名上有一处需要先澄清：不存在独立的 gpt-5.6-pro 型号，pro 是各系列各自的后缀，这个家族应读作三个系列（sol、terra、luna）各含两个变体，而非六个平行型号。我们对全部六个变体运行了完整的 1311 题清洗题集，所有运行均无未判分题目。

容量估计

六个变体的测量结果如下：

这张表的特征是整洁：六个变体的拒答率全部低于 5%，第 2 节讨论的拒答混杂在这里几乎不存在，attempted 与 $\lambda=0$ 两种口径给出的估计几乎重合。这一点与第 4 节的 Claude 家族形成对照，也意味着 GPT-5.6 家族的读数可以直接采信，无需借助外部修正——采信的仍是「与多大体量的开源模型知识容量相当」这一口径。

这些数字给出三个结论。其一，sol 系列构成独立的一档：其精度领先 terra/luna 系列 7 至 8 个百分点，折合 $N_{\text{eff}}$ 约 2.7 倍，且这一差距自 T4 起在每一个层级上都成立。不过这一分档是「提示性」而非「统计分离」的：sol 的 90% 区间下端（559B）低于 terra/luna 的点估计，在预测区间横跨 3.45 倍的方法下，这样的重叠属于预期之内。

其二，terra 与 luna 在知识容量上不可区分。两者的 attempted 精度相差 0.4 个百分点，区间几乎重合；更能说明问题的是，两者的排序在 $\lambda=0$ 与 attempted 两种口径之间发生翻转：排序本身不稳定，恰恰是差异属于噪声的证据。

其三，pro 后缀不增加知识容量。三对变体的精度差分别为 0.2、0.5、0.6 个百分点；仅题目抽样的随机性就足以使宏平均精度波动约 0.8 个百分点（二项标准误），三对差异全部落在这一噪声之内。各代 pro 变体普遍被理解为测试时缩放（test-time scaling）的产物，这一结果与之相符：推理时计算可以改善推理链的质量，但不能凭空增加权重中存储的事实。IKP 测不出 pro 的差异，与该基准「测量存储的知识而非推理表现」的设计意图一致。

分层级的精度分布进一步支持上述读法。下图中颜色区分三个系列，虚线为各系列的 pro 变体：

三个结论在层级曲线上各有对应。sol 系列的两条蓝线与 terra/luna 的四条线之间从 T4 起分离，间距在 T6 达到最大的 23 个百分点，T7 因各变体一同跌落而收窄；terra 与 luna 的四条线在全部层级上相互交叠，无法分辨；而每个系列的 pro 虚线与实线几乎重合。T1 至 T3 各变体均在 98% 以上，不携带信号；区分度集中于 T4 以下的长尾事实层级，这正是该基准的设计意图。

定价与成本前沿的旁证

「terra 与 luna 容量相当」这一测量结果，对模型的定价结构有一个直接的推论。按发布时的官方定价，sol、terra、luna 每百万输入/输出 token 分别为 $5.00/$30.00、$2.50/$15.00 与 $1.00/$6.00，terra 的单 token 价格是 luna 的 2.5 倍。若两者的知识容量确实相当，那么 terra 相对 luna 的溢价所购买的，就不是权重中存储的知识，而是推理栈特性，或仅仅是产品分层。

社区在我们的测量之前已经从行为侧观察到了同样的现象。Sebastian Raschka 在 GPT-5.6 发布次日评论道：「除非你需要 Terra Ultra 的性能，否则总是更适合选择更高推理力度档位的 Luna 模型（性能相同或更好，且更便宜）。」这一建议限定于 agentic coding 场景；其中的例外 Terra Ultra 是 ChatGPT（原 Codex App）产品端 terra 的最高推理力度档位，并非独立型号，也不对应本文测量的 terra-pro。撇开这一例外，该建议的经济学含义与我们的容量读数一致：在推理预算可调的前提下，terra 相对 luna 没有独立的生态位。

Artificial Analysis 随后的成本前沿分析将这一观察系统化：在能力对成本的帕累托前沿上，sol 与 luna 的各档位配置处处支配 terra，即任取一个 terra 配置，总能找到相近成本下更强或相近能力下更便宜的 sol 或 luna 配置。

IKP 测量的是存储的知识，Raschka 与 Artificial Analysis 测量的是编码任务上的性能与成本，三条证据没有共享的方法论假设，彼此独立。它们的指向一致：terra 与 luna 的知识容量相当，产品区分不在权重所存储的知识。但一致不等于证明，而且这里的「相当」只在 $N_{\text{eff}}$ 的刻度上成立。按第 2 节给出的 $\rho$ 离散度，容量相同的两个模型真实体量相差 2 倍属于常态。于是有一个平凡的可能：luna 的真实体量远小于 terra，只是知识密度更高。terra 也可能是激活参数量不同的同级 MoE，或同一模型的不同量化部署。这些情形与三条证据全都相容。黑盒测量的上限是让多条独立证据收敛，体量与架构的结论则超出其能力。

本文成稿期间，这一定价结构发生了变动。7 月 30 日，OpenAI 宣布降价：luna 降至 $0.20/$1.20，降幅 80%；terra 降至 $2.00/$12.00，降幅仅 20%。terra 对 luna 的单 token 价差由此从 2.5 倍扩大到整 10 倍。这个数字仍然落在两个可能之间：luna 的真实体量远小于 terra，服务成本本就低得多；或者定价与成本无关，只是产品分层。价差扩大到 10 倍，没有让这两者更容易分开。

措辞的变化不依赖这一区分。降价文案不再将 terra 与 luna 并列，而是建议「目前默认使用 sol 的用户，若任务不需要最高智能，可考虑评估 terra」，terra 的参照系由此从 luna 换成了 sol。测量指向的是 terra 相对 luna 没有独立生态位，而这次调整所做的，正是把 terra 从这场比较里移开。

共享基座的指纹检验

容量估计回答「多大」，不回答「是否同源」。对后一个问题，IKP 论文给了一组指纹指标，本节将其应用于 GPT-5.6 家族的全部十五个变体对。这组指标由论文自行构造，无既有文献可参考，所以定义需要先完整给出。计算一律取 T5、T6 两个长尾层级的探针。容易的题目会被所有前沿模型答对，并不携带区分信号。设两个模型各自答对的题目集合为 $C_A$、$C_B$。

Jaccard 相似度 $J = |C_A \cap C_B| / |C_A \cup C_B|$ 衡量两模型知识范围的重合。它的缺陷是被「样本总体都会的题」主导：GPT-5 与 Claude Opus 4.5 由不同厂商独立训练，而论文记录两者之间的 $J = 0.56$。高 $J$ 本身并不构成任何同源证据。

lift 是交集大小除以 $|C_A| \cdot |C_B| / n$（$n$ 为共享题池大小）。分母是假定两模型答对与否互不相关时交集的期望大小，lift 大于 1 即表示重合超出巧合水平。它部分修正了 $J$ 的缺陷；但当两模型精度都很高时，几乎所有题目都进入交集，交集大小从上方逼近独立期望。此时指标趋于 1，失去分辨力。

HSS（幻觉签名相似度，hallucination signature similarity）在 joint-wrong 池上计算——所谓 joint-wrong，即两模型都给出非拒答错误答案的题目。HSS 取的是错误答案归一化后完全相同的比例；归一化指转小写、折叠空白与标点、截取前 80 字符。其依据的规律是，独立训练的模型极少针对同一冷僻事实编造出相同的错误答案，而共享权重的模型在 30% 至 55% 的 joint-wrong 题目上给出相同的错误。正确答案只有一个，错误答案的空间近乎无穷。错误答案作为个体签名，分辨率远高于正确答案。

论文的判定阈值为：共享基座（shared-base）要求 $\text{HSS} \geq 0.30$ 且 $J \geq 0.60$；谱系相关（lineage）要求 $\text{HSS} \geq 0.10$ 且 $J \geq 0.50$；$\text{HSS} < 0.10$ 且 joint-wrong 池不少于 10 题则判为重新训练（retrained）。joint-wrong 池小于 10 题时，HSS 噪声过大，不作判定。

我们在 T5、T6 两层级合计 368 道探针上，计算了六个变体两两配对的全部十五对。下图为完整的配对矩阵（下三角），颜色深度编码 HSS 值；悬停可查看每对的 Jaccard、lift 与 joint-wrong 池大小：

三个深色单元格全部位于系列内配对，HSS 依次为 luna/luna-pro 0.443、sol/sol-pro 0.342、terra/terra-pro 0.239；十二个跨系列配对全部是浅色，HSS 不超过 0.167。其中两对的 HSS 恰好为 0.000，而它们的 joint-wrong 池并不小：luna/terra 有 64 题，sol/terra 有 37 题。

这一结果的可信度来自矩阵自带的对照。在同一指标、同一题池、量级相当的 joint-wrong 样本下，系列内配对落在 0.239 至 0.443，跨系列配对不超过 0.167，而 0.17 与 0.24 之间没有任何配对：分隔是断裂，而非渐变。因此 luna/terra 在 64 道 joint-wrong 题上返回 0.000，不能解读为「方法在前沿模型上失去了分辨力」：同一方法、同一代模型、同一题池，刚刚分辨出了三对系列内变体。

跨系列配对中还有一批落在 0.10 至 0.17 的次高值，乍看是微弱的同源信号。将这些配对共享的错误答案逐条列出，反复出现的其实是同一小批结构相似的题目：「State Polytechnic of Indramayu 成立于 2008 年」「Quinsaloma 成立于 2007 年」「埃塞俄比亚国家博物馆成立于 1958 年」，全部是成立年份类问题，以相同的模板给出貌似合理的年份。论文预警过这种失效模式：少量结构性趋同的幻觉，而非知识重合。

顺带一提，这一步没有任何技术含量：把配对共享的错误答案打印出来，读一遍。Andrew Ng 在《Machine Learning Yearning》里讲 error analysis，建议的做法也不过是手动过一遍约 100 个分错的 dev set 样例，归类统计，据此决定下一步优化方向。此处不涉及优化方向，只是看数据，但性价比是同一个量级：HSS 是个聚合数，0.10 与 0.17 之间的差别在数值上说不清楚，三行错误答案就说清楚了。

系列内配对中唯一低于共享基座阈值的是 terra/terra-pro，HSS 0.239；其 joint-wrong 池有 92 题，为全矩阵最大，样本量无法解释这一低值。更值得怀疑的不是 terra-pro 的出身，而是指标在这类配对上的适用性。

「pro 是同一基座的测试时缩放变体」在各代 GPT 产品线上是一个非常强的先验。OpenAI 从未披露其实现，但自 o1-pro 以来，社区普遍将其理解为并行采样、结果聚合一类的推理时计算，亦无任何公开证据显示存在独立的后训练；本节的容量测量（相差 0.5 个百分点）与另外两对 pro 的指纹结果也都与之一致。

问题在于，测试时缩放本身就足以触发 HSS 的假阴性。HSS 依赖归一化后错误答案字符串的精确匹配；对于模型本就不知道答案的题目，更深的推理链或多次采样的聚合恰恰会扰动最终给出的那个错误猜测。存储的知识未变，被改变的只是错误答案的表面形式。这类假阴性有先例：论文中 nemotron 对 llama-3.1 呈现过 $J = 0.81$ 与 $\text{HSS} = 0.08$ 并存的极端案例。在那里，扰动错误答案的是后训练对措辞的改写；在此处，是推理时的重采样。机制不同，对指标的效果相同。

综合来看，terra/terra-pro 大概率仍是共享基座，其 pro 变体的推理堆栈恰好落在 HSS 的盲区；按论文阈值我们如实将其记录为谱系相关，但这应读作 HSS 所能确认的下限：真实关系至少是谱系相关，很可能就是共享基座。遗留的开放问题是：为何同样的测试时缩放在 luna 与 sol 两对上保留了高 HSS，唯独在 terra 上扰动更大。我们的数据无法回答，三个系列的 pro 也未必共享同一套推理时策略。

综合容量与指纹两组证据，GPT-5.6 家族的结构可以概括为：sol、terra、luna 是三个独立训练的基座，各系列的 pro 是其自身基座的变体。这与论文对上一代的判定在结构上吻合：GPT-5、GPT-5-pro 与 GPT-5-think 构成一个共享基座簇。

4. Claude 5 家族的测量结果

Anthropic 一侧我们测量了 claude-fable-5、claude-opus-5、claude-sonnet-5 三个现役模型，并加测上一代的 claude-haiku-4.5 作为小体量对照，同样使用 1311 题清洗题集，全部运行，无未判分题目。结果如下，两种口径并列给出。其中只有 attempted 口径的 $N_{\text{eff}}$ 是正式估计；$\lambda=0$ 口径的 $N_{\text{eff}}$ 不是独立校准的估计，而是把 $\lambda=0$ 分数代入同一条 attempted 曲线所得，只为在共同刻度上显示拒答压低了多少读数。

与上一节对照：GPT-5.6 六个变体的拒答率介于 0.6% 与 4.5% 之间，两种口径的估计几乎重合；Anthropic 四个模型的拒答率介于 12.0% 与 43.1% 之间，两种口径的分歧在 opus 上达到 5.4 倍，3.2T 对 593B，在 haiku 上达到 9 倍。第 2 节讨论的回答政策混杂，对 GPT-5.6 是可以忽略的次要项，在这里成为主导误差源。因此本节的任务不是逐项复述表中的数字，而是回答两个问题：这些数字的偏差有多大、朝哪个方向，以及它们能否被修正。

首先排除「高拒答率是我们运行环境的异常」这种解释。论文测过的 fable、sonnet、haiku 三个模型，$\lambda=0$ 精度与论文值的差距全部在 0.4 个百分点以内：若高拒答是我们环境诱发的，这三个数字不可能与论文对得这么齐。opus-5 论文未测，是我们新增的。复现同时说明模型行为在论文成稿后的三个月内没有漂移；至少在这一观测窗口内，高拒答是 Anthropic 模型的稳定特征，而非部署快照的噪声。

以参照模型检验 attempted 假设

Attempted 口径的隐含假设是：被拒答的题目与实际作答的题目难度同分布。这一假设在此处可以直接检验，因为所有模型运行的是同一套 1311 道题：对任何一道被模型 $A$ 拒答的题目，总有其他模型给出了可判分的回答。于是可以构造如下的反事实：将 $A$ 的每道拒答题不按 $A$ 自己的 attempted 精度插补，而按某个参照模型 $B$ 在这批题目上的实测正确率插补。若 attempted 假设成立，两种插补应给出相近的结果；若不成立，两者的差就是偏差的方向与量级。

插补的可信度取决于覆盖率：$B$ 同样会拒答，插补只能在 $B$ 实际作答的那部分 $A$ 的拒答题上进行。参照覆盖率低时，插补便只建立在双方都愿意作答的题目上，而这是一个系统性偏易的子集。极端案例足以说明问题：以 haiku 为参照插补 opus，覆盖率仅 3% 即 8 道题，在这 8 道题上算出的修正值与 attempted 估计相差 5.20 倍，量级是高覆盖参照的三倍以上；以 opus 插补 fable，5% 的覆盖率下修正值与 attempted 估计仅差 1.03 倍，貌似无偏，同样只是 8 道题上的巧合。二者都不构成测量。

参照的选择因此有两条标准：覆盖率要高，知识面要尽量涵盖被测模型。后一条的理由是，插补隐含「参照不会的题被测模型也不会」，参照的知识面越是接近将被测模型完全覆盖，这一假设的误差越小；这也是约 700B 档的 terra/luna 不如 sol 适合校验 2T 档模型的原因。我们从被测的 Anthropic 模型中互取参照，再加上 gpt-5.6-sol 作为外部参照，其中只有 sol 两条都满足：1.8% 的拒答率使其对每个目标的覆盖率均不低于 90%，容量估计又与 GPT-5.6 六变体中最大的一个同档；且它来自另一厂商，与被测模型没有共享的后训练政策。

中等覆盖率的厂商内参照虽不合格，给出的修正方向却与 sol 一致：以 fable 插补 opus（39% 覆盖）同样判 attempted 高估，以 fable 或 opus 插补 sonnet（48% 与 28% 覆盖）同样判低估。方向性结论不依赖 sol 一家。下图给出以 sol 为参照的插补结果，空心圆为 attempted 口径的原始估计，实心圆为插补修正值，连线颜色标记修正方向：

这张图的信息主要在偏差的方向上。fable 与 opus 被 attempted 口径高估，sonnet 与 haiku 被低估，而拒答率完全不能预测方向：sonnet（20.7%）与 opus（18.7%）拒答率几乎相同，偏差方向却相反。决定方向的是拒答与难度之间的相关性，而这一相关性无法从单个模型自身的运行中检测，必须借助参照模型。

fable 与 opus 的高估机制是常规的：它们的拒答集中在最难的层级，T7 拒答率分别为 57.6% 与 70.3%，attempted 精度因此是在一个偏易的作答子集上计算的，外推到全题集自然偏高。反常的是 sonnet。其 T6 层级的明细为：28 题答对，56 题答错，103 题拒答。attempted 口径读到它在作答题上 33.3% 的正确率，并假定那 103 道拒答题也是这个水平；而 fable 在同一批 103 道题上的实测正确率是 80.6%。sonnet 作答了它相对不擅长的题目，拒答的反而是它本可能答对的题目：拒答与难度负相关，第 2 节预告的 attempted 口径向下失效的条件在此成立。成因上，一个融贯的解释是过度保守的诚实政策——模型低估自己的把握，将许多其实答得对的题目也划入「没把握」一侧；但这属于推测，我们的数据只能确认相关性的符号。

修正后的读数

以 sol 为参照的插补给出本节的核心结论。fable-5 与 opus-5 在知识容量上不可区分：attempted 精度相差 0.3 个百分点，插补后两者同为 2.1T，插补精度 85.1% 对 85.2%，排序也随口径翻转。对插补后的估计，我们沿用校准曲线乘除 3.45 倍的 90% 区间，fable 与 opus 约 609B 至 7.2T；插补自身还会引入额外的不确定性，未纳入核算，真实区间只会比这更宽。

这一结果可以对照官方的产品叙事来读。Anthropic 将 fable-5 定位为 opus 之上的新层级，并说明它与 mythos-5（面向获批组织、不附加双用途安全措施的版本）是同一底层模型。在「权重中存储了多少事实」这一维度上，这个新层级没有对应物：IKP 读不出 fable-5 与 opus-5 的差别。层级差异如果存在，就存在于 IKP 不测量的地方，而真实体量也在其中——$N_{\text{eff}}$ 相等不蕴含 $N_{\text{true}}$ 相等。fable-5 若确实是更大的模型，那么多出的那部分体量没有变成长尾事实。

sonnet-5 的修正估计约为 970B，是 attempted 口径 719B 的 1.35 倍。haiku-4.5 没有可引用的估计：它的三个估计量，$\lambda=0$ 的 14B、attempted 的 126B、sol 插补的 869B，横跨 62 倍。插补在这里失去意义，尽管按上一小节的标准 sol 仍是合格参照，对 haiku 的覆盖率高达 96%：插补把 sol 在 haiku 拒答题上的正确率当作 haiku 的反事实正确率，等于假定 haiku「知道 sol 所知道的」。这一假定对体量与 sol 相当的 fable 与 opus 尚属近似，对真实体量远小于 sol 的 haiku 则完全不成立，得出的 869B 只是上界而非修正。对一个拒答率 43.1% 的模型，该方法实质上退化了；haiku 在本文中的作用是划出方法适用性的边界，而非提供一个测量值。

指纹检验在高拒答模型上的失效

对 Claude 家族自然也想提出与第 3 节相同的同源性问题，尤其是 fable 与 opus 的关系。但 HSS 在这批模型上没有分辨力，原因在于该指标的一个结构性依赖。

HSS 的计算样本是「两个模型都给出非拒答错误答案」的题目。Anthropic 模型恰恰在最能提供这种样本的题目上选择拒答。下图给出本文测量的全部十个闭源模型（GPT-5.6 六个变体加 Anthropic 四个模型）在各冷僻度层级上的拒答率，两家厂商的行为在 T5 之后分成两个几乎不相交的簇：

在 T5、T6 层级上，四个 Anthropic 模型的拒答次数合计 623 次，单模型 56 至 305 次；而 OpenAI 六个变体合计仅 78 次。其后果是 joint-wrong 池只剩 3 至 19 题，而第 3 节成功分辨三对系列内变体所依赖的池是 38 至 92 题。在 11 题的池上，单独一道题的巧合重合就会使 HSS 摆动 0.09；反过来，真实的权重共享也可能读出 0.000——共享的幻觉并非不存在，只是被拒答政策排除在可观测样本之外。Anthropic 四个模型两两配对共六对，HSS 均不超过 0.067，其中四对恰为 0.000，但这不是六对模型相互独立的证据，而是指标在此处双向失效。

矩阵中唯一值得记录的信号是 fable-5/opus-5 的 $J = 0.743$，为全矩阵最高，与插补分析「两者容量不可区分」的结论相容。判定脚本按「高 $J$ 低 HSS」的模式（第 3 节的重新训练阈值：$\text{HSS} < 0.10$ 且池不少于 10 题）将其标记为重新训练，但该判定建立在 11 道 joint-wrong 题上，仅比最低可判定门槛高出一题。我们认为，关于 fable-5 与 opus-5 的谱系关系，这份数据不支持任何结论；要回答这个问题，需要一套这些模型愿意作答而非拒答的探针，或一种不依赖错误答案的指纹方法。

与社区估计的对照

这些修正后的数字与社区流传的猜测有可观的出入。Elon Musk 曾在四月断言 Sonnet 的体量约为 1T，Opus 约为 5T；其时 Claude 5 尚未发布，所指应为 4.x 世代，这里只作量级对照。1T 与我们对 sonnet-5 的修正估计（约 970B）恰好同阶；5T 则约为 opus-5 修正值（2.1T）的 2.4 倍，不过仍落在 609B 至 7.2T 的 90% 区间之内，无法被正式排除。IKP 方法自身也经历过同方向的修正：论文最初对 GPT-5.5 给出 9.7T，经 LessWrong 复核后降至约 1.5T。社区的口头估计与未经修正的测量，偏差的方向是同一个——夸大。旗舰模型「十几万亿参数」的民间想象，现有的每一条测量证据都不支持。

修正之后，各方估计反而收敛：sol 系列约 2T，fable-5 与 opus-5 约 2.1T，kimi-k3 公开的 2.78T 也在同一区间。最大的开源模型在知识容量上已经与闭源旗舰持平。若这些估计大体成立，闭源前沿模型的领先优势无论存在于何处，都不主要存在于权重所存储的知识总量之中。

5. 总结与讨论

全文的估计汇总为下图。点为首选估计，即我们认为最可辩护的读数：GPT-5.6 家族的拒答混杂可忽略，直接取 attempted 口径；Claude 家族取以 sol 为参照做插补修正后的值。横线为围绕各自首选估计乘除 3.45 倍的 90% 预测区间，虚线标出 kimi-k3 公开的 2.78T 作为参照。haiku-4.5 无可引用估计，不在图中，理由见第 4 节：

同一批数字以表格形式列出，便于引用时成对摘取：

重申这些数字的单位与精度。$N_{\text{eff}}$ 是 IKP 等效参数量，不是权重数；点估计的意义是「与该体量的平均开源模型知识容量相当」，90% 区间横跨约 3.45 倍。本文支持的表述是「fable-5 的知识容量相当于一个约 2T 的开源模型，90% 区间约为 609B 至 7.2T」，不支持「fable-5 有 2.1 万亿参数」。区间与点估计必须同行出现，因为本文反复演示了单独引用点估计如何制造虚假精度：同一个 opus-5，三种口径给出 593B、3.2T 与 2.1T。

在参数量之外，本文的测量还得到了一个副产品：两家厂商在后训练阶段为模型设定的回答政策，在测量学上产生了实质分化。OpenAI 模型对不知道的题目倾向于给出错误答案，Anthropic 模型倾向于拒答。就模型质量而言，这一差异未必有优劣之分，从幻觉控制的角度，Anthropic 的政策或许更值得称许；但它对黑盒测量的后果是不对称的：GPT-5.6 家族可以被 IKP 直接测量，容量与谱系两类问题都能得到干净的回答；Claude 家族的容量估计必须借助外部参照修正，谱系问题则完全失去了可用的样本。推论是：越诚实的模型越难被测量。无论厂商是否有意为之，拒答政策在客观上使这类容量探针对其部分失效。

方法层面有三条独立于任何具体模型估计值的结论。

其一，$\lambda=0$ 精度对上游部署更新不鲁棒，三个月内可移动两位数百分点，跨时间比较必须使用 attempted 口径或显式的拒答核算。attempted 也非完全鲁棒：kimi-k2 的 attempted 精度同期移动了 7 个百分点；该口径剔除的只是漂移中可归因于回答政策的那部分，剔除不了权重本身的变化。

其二，attempted 口径的失效由拒答与难度的相关性驱动，且方向不可从拒答率预知。在同题集上以高覆盖率的低拒答参照模型做插补，是目前可行的检验与修正手段。

其三，HSS 指纹的分辨力依赖被测模型「愿意猜错」，对高拒答模型双向失效，阴性结果不构成独立性证据。

最后是开放问题。校准曲线的上端仍然只有 kimi-k3 与 deepseek-v4-pro 两个已知体量的锚点，2T 以上的估计精度受制于此；若更多超大体量开源模型公开参数量，这一区间的内插密度将直接改善。Qwen 3.8 Max Preview 公开的 2.4T 恰好落在 v4-pro 与 kimi-k3 之间，但它未开放权重，队列的准入条件由此不满足：锚点要求的不只是厂商公开体量，还要求这个数字可被独立核验，而后者依赖权重在手。它也只能经阿里云百炼调用，我们没有账号；百炼的 Token Plan 是包月订阅而非按量计费的 API，用它跑基准测试是否合乎用户条款，我们同样没有把握。拒答修正目前依赖 sol 这一单一外部参照；多参照的交叉验证，或论文作者提出的「去探测」（deprobing）方案，即用成对提示测量被拒答的题目中有多少是模型实际掌握的，都可能进一步收窄区间。

题集自四月起公开，本文的被测模型均在其后发布，「题目已混入训练语料」这种污染无法被正式排除。不过三个月的间隔留给预训练语料的窗口很窄，现有读数也不具备污染的特征：在最冷僻的 T7 层级上，表现最好的 fable-5 与 sol 的 attempted 精度分别约为 52% 与 24%，远低于两者 85% 上下的全题集 attempted 精度；若题集已进入训练语料，这批题目恰好应该是精度最高而非最低的。真正的检验仍需构造未公开的保留题集，这与去探测同样值得做。

而 fable-5 与 opus-5 的谱系关系，即本文数据无法回答的那个问题，需要一套这些模型愿意作答的探针。这本身就是一个有趣的基准设计问题：如何构造让高诚实模型也愿意猜测的长尾事实题。

本文实验基于 IKP 的公开仓库与公开题集，在其估计脚本上做了本地修改，包括 attempted 口径的重拟合、拒答插补与指纹配对分析。全部实验的 API 总支出约为 126 美元，包括重测校准队列、十个闭源模型各 1311 道题的完整运行、若干次每次 49 题的预试，以及全部判分开销。对黑盒模型的参数量估计并不需要大规模算力，它需要的是一条经过检验且检验仍然有效的校准曲线。持有 OpenRouter 密钥的读者可以按论文仓库的说明，以同一量级的成本，对任何可访问的模型复现同类估计。

本文的实验数据可以在此下载，1.4 MB，含十个闭源模型与八个开源模型各 1311 道题的逐题回答与判定、attempted 口径的校准拟合输出，以及所用的清洗题集。第 3 节与第 4 节的全部表格、第 2 节的漂移核算、HSS 与插补分析均可由这些文件复算。