Thinking in a Low-Resource Language: What SFT Builds, What RL Fixes, What Accuracy Cannot See 精读

论文链接：Thinking in a Low-Resource Language: What SFT Builds, What RL Fixes, What Accuracy Cannot See 模型仓库：HuggingFace: KIEFERSA（发布 5 个 checkpoint） 发表时间：2026 年 8 月（HuggingFace Daily Papers 08-21 批次，12 票） 机构：Sophea AI / KIEFER SA（希腊雅典，独立企业研究——低资源语言社区里少见的"独立企业做开放研究、发 null 结果"的稀有范式）

一、论文背景

1.1 一个没人问的问题：模型用什么语言思考？

推理模型时代有一个被大多数人忽略的事实：思维链（Chain-of-Thought）是有语言的。当你用希腊语向一个推理模型提问时，模型几乎总是先用英语"在脑子里想一遍"，再把这个英语推理过程原样吐给你，最后附上希腊语答案。对英语用户来说这无所谓；对希腊语用户来说，这意味着模型的推理过程不可读、不可审计——你只能看到一个正确或错误的最终答案，却无法检查它是怎么想的、在哪一步出错、是否值得信任。

这不仅是体验问题，更是主权问题。一个低资源语言社区如果想让模型"用自己的语言思考"，就需要对基座模型做推理微调。于是自然产生一个工程问题：微调之后，你怎么知道微调起了作用？

1.2 希腊语模型生态：从 Meltemi 到 MoE 时代

希腊语是典型的"中等资源、低优先级"语言：有完整的维基百科和学术语料，但在主流大模型训练分布里占比很小。希腊语自研模型生态的代表作是雅典语言与语音处理研究所（ILSP）的 Meltemi（7B 级稠密模型）及其后继 Krikri（在 Mixtral 8×7B 基础上做希腊语持续预训练的稀疏模型）。值得注意的是，Krikri 本身就选了 MoE 路线——这并非巧合。

MoE（Mixture-of-Experts，专家混合）架构把模型分成许多"专家"网络，每个 token 只路由到其中少数几个。它的经济学特征是：总参数可以做得很大（知识容量大），但每个 token 的激活参数很小（推理便宜）。对低资源语言社区而言，这正是最优解——市场小、预算有限、但语言知识（词法、句法、文化背景）一样都不能少。今天活跃开源的 3-4B 激活参数级 MoE（激活小到可以单节点部署，总量大到 20-36B）构成了低资源语言部署的经济选择。本文选的三家 MoE 家族正是这一经济区间的代表。

1.3 准确率评测的传统与盲区

评测低资源语言能力的传统做法是翻译基准：把 MMLU、GSM8K 这类英语基准翻译成目标语言，跑一遍，报一个准确率数字。这个传统的力量在于简单、可比、历史悠久；它的盲区在于——一个数字只回答"答对了多少"，回答不了任何人真正关心的问题：

• 模型用什么语言推理？（用户可读性）
• 推理烧了多少 token？（部署成本）
• 模型能否区分难题与易题？（难度分辨，推理质量的内在标志）
• 微调付出什么代价？（通用能力遗忘多少）

本文的全部张力就在这里：当一个社区花真金白银做低资源语言微调时，他们能看到的唯一仪表盘——翻译基准准确率——可能根本没有信息量。这篇论文用二十八页篇幅证明了这个刺眼的结论，并给出了替代方案。

二、论文定位和关联工作

2.1 谱系一：多语言能力基准研究

这一支的工作（MGSM 多语言小学数学、MMLU 多语言翻译版、BELEBELE 阅读理解等）关注"模型在语言 X 上能得多少分"，产出了大量按语言排序的排行榜。它们与本论文的关系是被测对象：本文证明的就是"翻译基准准确率"这个被这一谱系奉为圭臬的指标，在推理微调场景下接近无信息。也有研究关注多语言模型思维链中的语码转换（code-switching）现象，但多停留在描述层面，没有把它变成微调质量的度量体系。

2.2 谱系二：LLM 评测方法学

这一支研究基准污染、跑分方差、多重比较陷阱——“benchmark 分数能信吗”。本文与它们共享方法论武器（方差分析、控制实验），但视角不同：方法学工作通常问"这个基准测得准不准"，本文问的是"这个基准测的是不是微调真正改变的东西"——答案是：微调改变的是行为分布，准确率测的是正确率，两者在噪声水平上几乎脱钩。

2.3 谱系三：SFT 与 RLVR 的训练研究

STaR 式自举（模型自己生成推理、答案对齐才保留）与 RLVR（可验证奖励的强化学习）都是成熟技术。本文的定位不是发明新训练法，而是给这对组合做行为解剖：SFT 建立了什么、留下了什么缺陷、RLVR 修掉了什么、没修掉什么。

2.4 “null 结果论文"的稀有价值

学术发表系统存在系统性偏差：正结果容易发，null 结果（“没效果”）难发表也少有人愿意写。本文的准确率部分就是一个彻底的 null 结果——最佳微调 arm 76.5 分 vs 基线 77.2 分，微调没有提升准确率。但作者没有把它包装成"我们的方法有效（p=0.13 勉强显著）"，而是反过来说：这个 null 本身就是最重要的发现，因为它揭示了测量仪器的失效。在 LLM 研究里，愿意花二十八页论证"你们都在看的数字没有意义"的论文极为稀有。

定位结论：这是一篇站在多语言基准、评测方法学、后训练三支谱系交叉点上的"测量学论文”——它不发明新模型，而是重新定义"低资源语言微调成功"的度量衡。

三、问题定义

3.1 从具体场景到抽象问题

具体场景：希腊企业微调 MoE 模型让它用希腊语思考。抽象问题：当一个处理（微调）的真实效应小于测量仪器的噪声时，如何区分"处理无效"和"仪器失效"？更进一步：当仪器失效时，应该换什么仪器？

3.2 形式化：准确率 ≈ 噪声

设微调的处理效应为 δ（语料配方差异带来的准确率变化），测量噪声为 σ（随机种子带来的方差）。传统评测的隐含假设是 δ ≫ σ，所以报一个 δ̂ 就够了。本文的实证结论是：

• σ_seed ≈ 7.7 分（随机种子噪声地板）；
• 所有语料与配方效应 |δ| 都小于这个地板；
• 因此准确率差值在统计上不可分辨于换了一个随机种子。

更残酷的算术来自二项方差：1000 道题、正确率约 0.77 的纯采样标准差就是 √(0.77×0.23/1000) ≈ 1.3 分——这还只是评测端的地板；训练端随机性（数据顺序、初始化、路由抖动）把它放大到 7.7 分。团队曾花数周构建 5 个新语料试图"修复"性能下降，最终发现他们在追逐噪声。

3.3 行为六维：换一个被测对象

论文的解法不是把准确率测得更准，而是换被测量。定义六维行为度量（每项都设置"与输出长度的相关性拒绝门槛"——若某维度的改善只是"输出变长了"的副产品，则拒绝采信，防止用 token 预算买分）：

这个抽象的精妙之处：微调真正改变的量（行为分布的位移，如 0%→98% 的语言切换）效应量巨大、跨种子稳定；准确率这个投影恰好落在噪声里。不是微调没有效果，是准确率这台仪器对"微调为之物"天生失明。

四、问题解法

4.1 三家 MoE、四个模型的对照设计

为了让结论不依赖单一模型家族，论文固定"激活参数 3.6-4.0B / 训练服务成本相当"这一约束，横跨三家开源 MoE：

四模型、三架构（细粒度 MoE、粗粒度 MoE、混合架构）的覆盖，让"希腊语思考可以训出来"成为家族无关的结论。训练配置刻意保守以求可复现：LoRA r=32、α=64，一轮（one epoch），expert stride 3（每隔两个专家挂一个适配器，控制可训练量），全部实验单节点 8×B200 DGX 即可复现——这对低资源语言社区是重要的可行性声明：不需要数据中心，一台 DGX 就能做出这篇论文的全部科学。

4.2 语料两半：118,092 行的结构化设计

两个细节值得放大。其一，9% 英语回放是防遗忘的保险丝——纯希腊语 SFT 会把英语能力烧掉，一小撮英语数据像疫苗一样维持双语平衡。其二，推理半的合成方式是"STaR 式答案门控"：拿英文推理数据集的问题（答案已知），让 LLM 用希腊语现场解题，只有最终答案与 gold 对齐的推理轨迹才被保留进训练集。这是 STaR（Self-Taught Reasoner）思想在低资源语言上的移植：不翻译推理（翻译体思维链质量差且贵），而是让模型"用希腊语重做一遍这道题，做对了才配当老师"。门控的产出率在 60-95% 之间浮动——这本身就是难度信号。

4.3 六维度量与长度相关性拒绝门槛

行为度量最大的风险是混淆：“希腊语比例上升"会不会只是"输出变长"的副作用？论文为每一维设置拒绝门槛：若该度量与输出长度显著相关，则该度量不得单独作为证据。这是把临床试验里的"排除混杂因素"直接搬进 LLM 评测。

4.4 预注册 RLVR

RLVR（Reinforcement Learning with Verifiable Rewards）指奖励来自可程序化验证的信号（如"答案是否出现在答案通道"“格式是否合规”），而非奖励模型打分。本文的特别之处是预注册（preregistration）：实验前书面登记每个假设及其通过门槛（类似临床试验注册），事后不得挑好看的结果讲。例如"用英语思考"指令遵从提升了 9.1 个百分点——真实效应，但未达预注册门槛，论文就如实说未达标。配套的还有flat 随机奖励控制组：给一组随机奖励跑同样的 RL 流程，用来证明修复效应来自真实奖励信号而非 RL 流程本身的副作用。

五、评估指标与实验证据

本部分的看点不是数字大，而是每个数字背后都有一个能证伪错误解释的控制实验。

5.1 发现一：准确率 null 结果与 7.7 分噪声地板

最佳微调 arm 76.5 分，基线 77.2 分——微调"降分"了。团队的第一反应是修：花数周建 5 个新语料，全部无效。转折点是他们做了一个此前无人强调的测量：只换随机种子、固定一切其他条件，反复训练。结果：种子间极差 7.7 分，超过所有语料与配方效应。也就是说，换种子的影响力比换语料大——那些"新语料让分数回升 2 分"的瞬间，全是噪声波动。这个发现过程本身就是方法学寓言：他们不是先测噪声再做实验，而是先被噪声骗了几周。

5.2 发现二：0 → 98% 的推理语言切换

基线模型：0/1000 条轨迹用希腊语思考（即使问题是希腊语）——模型答对了，但推理过程对希腊语用户完全不可审计。SFT 之后：约 98% 的轨迹切换为问题语言；其中一家模型推理 token 开销省了 3 倍（希腊语思考反而更短——英语"绕道翻译"的思维链被短路了）；四个模型的希腊语语法评分全部上升；双语通用能力维持（9% 英语回放的功劳，且行为度量体系的"遗忘"维度持续监控这一点）。这是全文效应量最大的结果，也是"微调真正为之物"的直接证据。

5.3 发现三：SFT 建立习惯，但留下三类缺陷

• 格式跳过：约 1/4 的答案跳过了格式要求（如该输出 boxed 答案没输出）；
• 答案泄漏：3.5% 的答案泄漏进推理通道（推理过程中直接说出答案，破坏可审计性）；
• 元指令不遵从：“请用英语思考"这类指令的遵从率低于 50%。

这三类缺陷的共性是：SFT 的损失函数不区分它们——只要 token 预测对了就都在奖励，格式违规与答案泄漏不扣分。

5.4 发现四：RLVR 的精准修复（预注册结果）

最关键的是最后一行：RLVR 只用准确率/合规做奖励、完全不含语言偏好信号，希腊语思考习惯依然 98.2% 保真。这证明 SFT 建立的行为习惯在 RL 阶段是稳定不动点——RL 修缺陷不拆习惯。

5.5 发现五：六次仪器失效的自省记录

论文逐一记录了六次测量仪器失效，每一次都曾被团队当成真实现象，每一次都被控制实验捕获。最典型的一例：单次贪心解码制造了假能力变化——批处理推理中的数值伪影让两次评测看起来能力此消彼长，控制实验（同批次对比、多解码重复）揭穿了它。这张"失败清单"的诚实度在 LLM 论文里罕见，它把"我们错了六次"变成了可复用的避坑地图。

5.6 证据结构：这套实验为什么能证明论文的主张

论文的主张是三层：(a) 准确率无信息；(b) 行为维度有信息；(c) SFT/RLVR 分工明确。证明结构：种子重复实验证明(a)——噪声地板高于处理效应；跨种子、跨家族一致性证明(b)——98% 切换在所有模型上复现，不是单模型的侥幸；预注册 + flat 随机奖励控制证明(c)——修复效应可归因于奖励信号本身。每一层都有独立于主张的证伪通道，这正是"指标真的证明了论点"与"指标好看"的区别。

六、效果优势的根源解释

6.1 为什么准确率对这类微调无信息（三个机制）

机制一：噪声地板吞掉处理效应。 微调语料对"答对率"的真实影响本来就小（模型已经会做题，只是用英语做），而 1000 题二项方差 ≈1.3 分的评测地板被训练随机性放大到 7.7 分。信号（<1 分）沉在噪声（7.7 分）下面，任何单次比较都是掷骰子。

机制二：答案格式效应扭曲。 “答对了但格式错"会被评分为错——SFT 后 24% 的格式违规会制造虚假的准确率下降；RLVR 把格式修好后准确率"回升"又是评分伪影的消除而非能力变化。准确率这台仪器把"能力"和"格式合规"搅在同一根指针上，而微调恰恰只动了后者。

机制三：标准检查漏掉的污染。 翻译基准的题目与英文原版数据集存在答案对齐关系，推理半合成语料恰好以这些英文数据集的问题为种子——常规 n-gram 去污染检查（在翻译文本上比对）抓不住这种跨语言污染，它进一步污染准确率作为仪器的可信度。

6.2 为什么行为维度稳定

因果链很直接：SFT 的目标函数就是行为分布的最大似然。在 59,107 行希腊语推理轨迹上做 next-token 预测，梯度方向就是"把希腊语思维链的概率质量推高”。这个位移是训练目标的直接产物而非副作用，所以效应量大（0→98%）、跨种子稳定（换种子不会把 98% 变回 0%——它是分布中心的移动，不是分布尾部的波动）、跨家族一致（三家架构都出现）。准确率则是这个分布位移在"答对率"上的投影，投影恰好近乎正交。

6.3 为什么 RLVR 能修 SFT 修不了的缺陷

SFT 的根本局限：联合目标干扰。 SFT 用一个统一的 next-token 损失同时学内容、语言、格式、通道纪律——这些目标在梯度上不可分离。你想要"别把答案泄漏进推理”，但训练数据里 96.5% 的轨迹本来就不泄漏，损失函数对这个稀有违规模式几乎无感；而格式类要求只是轨迹里少数几个 token 的模式，被海量"内容 token"的梯度稀释到听不见。

RLVR 的根本改变：奖励信号的针对性。 RLVR 的奖励是程序化谓词——“答案是否只出现在答案通道"“格式是否合规”。违规即零奖励，梯度只流向违规模式本身，与内容学习解耦。这解释了 24%→2.5% 与 3.5%→0.0% 的精准：不是 RL 更强，是 RL 的梯度带宽被约束在目标缺陷上。

两者不冲突的根源：RLVR 从 SFT 检查点出发，奖励不含语言信号，希腊语习惯处于奖励盲区（98.2% 保真）。于是形成清晰的分工——SFT 建习惯（分布中心的移动），RLVR 修缺陷（违规模式的定点清除）。

七、必要知识反推

假设让一个零基础的人重做这项工作，他最少需要掌握什么？

7.1 领域知识层

• MoE 架构与路由机制：不懂专家路由就无法设计 expert stride 3 的 LoRA 覆盖，也无法理解"固定激活参数=固定成本"的对照逻辑。
• PEFT/LoRA 实践：r=32/α=64 一轮训练的保守配置，是对"低资源社区单节点可复现"这一发布目标的直接服务。
• 希腊语语言学与语法评分：要度量"希腊语思维链质量”，需要可操作的语法评分工具，这要求对目标语言本身的工程熟悉度。
• Tokenizer 的语言效率差异：理解为什么同一家模型希腊语思考反而省 3 倍 token，需要知道英语词汇在多语言 tokenizer 中的压缩优势及推理绕道的开销。

7.2 方法论知识层

• 统计推断与方差分解：二项方差、种子方差、处理效应的层次关系是全文的骨架；不会算噪声地板就写不出"准确率≈噪声"的核心论证。
• 预注册制度：从医学/心理学临床试验借来的制度设计——先登记假设与门槛再跑实验。没有它，“用英语思考 +9.1pp 但不达标"这类结果必然被事后修饰。
• STaR 与 RLVR 训练谱系：答案门控的自举数据生成、可验证奖励的 RL，都是既有技术的低资源语言移植。
• 测量学思维（instrumentalism）：把"准确率"看作一台可失效的仪器而非真理本身——这是全文最深层的世界观，来自评测方法学谱系。

7.3 工程知识层

• 单节点 8×B200 训练运维：四模型多 arm 多种子的实验矩阵，全部在可复现的硬件约束内完成。
• 推理批处理伪影排查：六次仪器失效之一（单次贪心解码的假能力变化）要求作者懂批处理数值行为的工程细节。
• 轨迹分析管道：六维行为度量需要对每条思维链做语言识别、长度统计、泄漏检测、格式核查——一套独立的评测工程。

7.4 知识融合的关键节点

真正的创造性融合发生在两处。节点一：临床试验方法学 × LLM 微调——把预注册、对照组、拒绝门槛整套制度嫁接到后训练实验上，使"诚实"从美德变成流程。节点二：测量学 × 训练目标分析——从"SFT 是行为分布的最大似然"推出"微调的直接产物是行为位移而非答对率”，从而正确选择了被测对象。这两处融合没有发明任何新模型，却产出了比新模型更持久的知识。

八、论文中可以提取的通用性灵感

灵感一：null 结果是发现，不是失败

核心思想：当处理效应小于仪器噪声时，“没测出效果"本身构成对仪器的诊断信息。 论文证据：76.5 vs 77.2 的 null 与 7.7 分种子地板，推导出"翻译基准准确率对此类微调接近无信息"这一比任何正向结果都重要的结论。 推广场景：A/B 测试（转化率无差异时先查样本量与噪声再下结论）；药物临床试验（安慰剂组方差决定试验设计）；任何"改了变量没效果"的工程排查。

灵感二：先测噪声地板，再谈处理效应

核心思想：任何比较实验的第一步是测量仪器自身的方差——σ 不明，则 δ 不可言。 论文证据：团队花数周追噪声的教训，与"换种子比换语料影响更大"的量化结论。 推广场景：benchmark 跑分（先跑同 checkpoint 多次）；性能测试（先测同机器同 build 的抖动）；教育测评（先测平行卷方差）。

灵感三：预注册能进 LLM 实验，而且应该进

核心思想：在看到数据前书面承诺假设与门槛，是抵抗"事后编故事”（HARKing）的唯一结构性手段。 论文证据：“用英语思考”+9.1pp 被如实报告为"真实但未达预注册门槛”；六次仪器失效被主动公开。 推广场景：任何存在多重比较诱惑的分析场景（增长实验、量化回测、生物信息学）；agent 评测（先注册指标再跑 benchmark）。

灵感四：被测对象要选在处理直接作用的地方

核心思想：测微调就测行为分布的位移，别测它的远端投影——投影可能恰好与噪声正交。 论文证据：0→98% 语言切换（训练目标的直接产物）稳定巨大，准确率投影沉在 7.7 分噪声下。 推广场景：组织变革（测行为改变而非只测季度 KPI）；教育（测学习策略变化而非单次考试）；物理测量（选耦合最强的可观测量）。

灵感五：SFT 建习惯，RL 修缺陷——两阶段各有天性

核心思想：模仿学习适合搬运分布中心（建习惯），基于反馈的优化适合定点清除违规模式（修缺陷），且后者能在不拆前者的前提下工作。 论文证据：SFT 建立希腊语习惯但留下 24% 格式违规与 3.5% 泄漏；RLVR 定点修复（2.5%/0.0%）同时 98.2% 保真习惯。 推广场景：技能学习（先模仿整体范式，再靠纠错反馈打磨细节）；代码生成（先 SFT 风格，再 RL 修合规）；安全对齐（先价值观习惯，再 RL 修越狱漏洞）。

灵感六：每个"看起来有效"的干预都需要一个 flat 控制组

核心思想：跑一遍流程本身就有副作用，必须用"同样流程+无信息奖励/处理"的对照组把流程效应剥掉。 论文证据：flat 随机奖励控制组证明 RLVR 的修复来自真实奖励信号而非 RL 流程的任何副作用。 推广场景：新工具引入（对照"仅培训不使用"组）；算法上线（对照"随机排序"组）；医疗（安慰剂手术）。

灵感七：把失败清单当成果发布

核心思想：系统记录"我们曾相信了什么错误结论、哪个控制实验救了我们”，是最高价值的可复用知识。 论文证据：六次仪器失效自省，每一次都曾被当成真实现象（如批处理伪影制造的假能力变化）。 推广场景：事故复盘文化；实验科学的 negative results 期刊；agent 系统的 failure taxonomy。

灵感八：低资源场景的"单节点科学"

核心思想：把实验规模约束在社区可复现的硬件内，本身就是一种科学贡献——结论的可采用性取决于使用者的可得性。 论文证据：全部实验单节点 8×B200 DGX 可复现，LoRA 一轮训练，发布 5 个 checkpoint。 推广场景：小语种 NLP 社区；学术实验室的工业级问题研究；开源软件的可持续工程实践。

结语

这篇论文最反直觉的地方在于它的谦逊与傲慢的统一：谦逊的是，它承认自己的微调没有提升任何准确率，还公开了六次被自己的仪器欺骗的经历；傲慢的是，它宣称整个低资源语言微调领域盯着看的那个数字没有意义——并用七分七角的噪声地板、0 到 98% 的语言切换、24% 到 2.5% 的格式修复，把这句宣言钉进了证据里。

对低资源语言社区，这是"我们该怎么证明微调值得做"的直接答案；对更广的 LLM 研究者，这是一份测量学教材：在你报出下一个分数之前，先问三个问题——这台仪器的噪声地板是多少？这个指标与我的干预正交吗？我看到的效果，换个随机种子还在吗？

三个问题都答不上来的结论，不值得写进论文，也不值得写进你们的 OKR。