把 AI 回答评估做成一个实验

冻结任务契约

写清用户目标、已提供上下文、约束、允许假设、预期输出和不可接受失败。所有被比较答案都使用完全相同的契约。

对独立维度分别评分

分别评估需求覆盖、事实支持、推理线索、可执行性、不确定性校准、隐私或安全风险，以及不必要的冗长。

• 不要一开始就凭直觉合成总分。
• 事实主张必须有证据。
• 对虚构约束和遗漏边界扣分。

尽量遮蔽表面信息

评审前移除模型名称并统一格式，同时归档原始回答。盲评不能消除所有偏差，但可以减少品牌和排版效应。

记录分歧和弃权

评审者可以标记证据不足、不适用或未解决。分歧通常意味着量表有歧义，或任务需要领域专家。

• 每个分数旁边保留评审理由。
• 平均分前先解决标准歧义。
• 高风险主张交给合格评审者。

选择动作，而不只是选赢家

结果可以是接受、修改、核验、合并或拒绝。最流畅的回答不一定是最好的产物，也可能两个答案都需要补证据才能使用。