规则分数能识别算错吗?
FL-EXP-002 · 2026-10-15 · 实际执行160次生产函数测试。
观察结果
80对正确/错误算式得到相同分数和问题标签。朴素表述均为52分;加入步骤与限制措辞后,英文82分、中文91分,算错的回答也一样。
因此,当前规则分数不能验证算术真实性。它检查可见写作特征;分数高不代表事实正确,不能作为自动采纳阈值。
方法、范围与复现
11至20的加法,正确/错误配对,2种语言、4种措辞条件。所有160次运行均保留,未调用模型。没有真人参与,不是论文复现或独立双人评审,也不能推断其他错误类型的检测率。
完整输入、输出与源码哈希 · 实验协议与复现说明 · 运行脚本(需完整仓库)
在仓库根目录运行:
node docs/research-experiments/2026-10-15-rule-score-audit/run.mjs