先固定两人实际看到的内容
建议给样本保留问题原文、完整回答、采集时间、证据材料快照与判据版本。只保留网页地址不够：来源后来更新，两人可能在不同时间读到不同条件。测量环境的字段可参考AI 可见度测量环境与复测记录卡。
这套做法从两位人工审核人的独立判断开始。监测数据的可信度工程另有对自动判定与人工复核的讨论。
OpenAI 的评估指南在人工评估的挑战中列出：
Disagreement among human experts
Evaluation best practices
这是对分歧现象的提醒。下面的字段和处置方法是记录建议，并非该文档规定的统一格式。
两人可分别填表，提交后才汇合。填写时隐藏对方标签、评论和裁决草稿；“材料不足”应允许单独填写，避免审核人为交表而勉强二选一。发现附件缺失，先记异常，不私下补给其中一人。
原始标注和裁决各存一份
用样本标识连接记录，一条回答对应两份标注及后续裁决。原始记录提交后保留；填写有误时新增更正记录，说明更正对象与原因。
| 记录层 | 建议字段 | 保存要求 |
|---|---|---|
| 样本 | 样本标识、回答快照、材料版本、判据版本 | 两人看到的内容可回查 |
| 独立标注 | 审核人、提交时间、原标签、回答证据句及位置、材料对应句、理由 | 每人各一行，互不覆盖 |
| 分歧 | 两份标注标识、差异字段、分歧类型、待补材料 | 允许暂未解决 |
| 裁决 | 裁决人、时间、最终标签、适用条款、证据对应关系、是否补边界样例 | 新增记录并引用原标注 |
仅有“不同意”不能定位问题。把两人引用的回答句、材料句并排展示，再写清争议是漏读限制条件、用了不同材料，还是条款本身有两种理解。
用分歧原因决定下一步
可以先按以下顺序检查，允许一条记录同时包含多种原因，不把所有差异都归为审核人失误。
- 标准不明确：同一句话在现有判据下有两种合理解释。列出冲突条款，补充边界样例并发布新版本；若据此重新标注，另存结果及新版本，旧标注不改成新标准下的结论。
- 材料不足：回答或附件缺页，无法核对适用条件。记录缺失项、补充人和期限；补齐前标为暂不能裁决，不把“没找到证据”等同于“事实错误”。
- 执行偏差：现有条款已明确，但有人漏看证据、错读条件或填错标签。引用对应条款和原句，说明最终标签为何成立。
下面是虚构记录，不代表任何产品或实际测量。回答写“所有套餐都支持自动同步”，冻结材料写“自动同步仅限专业套餐”，判据第三版要求套餐条件一致。甲填“符合”，理由是看到了同步功能；乙填“不符合”，引用了套餐限制。裁决可记为“不符合／执行偏差”，同时保存甲、乙原标签、两句证据及适用条款。
若条款只写“功能描述准确”，却未说明套餐条件，则要先记录标准歧义。不能拿后来补充的条件要求，倒推原审核人违反了当时的规则。
一致性数字保留裁决前口径
统计使用首次独立提交的标签。裁决后的统一结果另存，不能替换原标签后再宣布两人完全一致。记录样本清单、抽样方式、判据版本、完整配对数、未完成数及各标签组合的数量。
例如，模拟小批记录从带限制条件的回答中定向选取二十条，均完成双人标注，十六条标签相同、四条不同，可写“本批原始标签一致率为八成”。这只描述该批配对；分歧原因仍需逐条阅读。定向选择的难例不能代表全题库，小批一致率也不能证明最终标签正确。
裁决结束时，把是否需要边界样例、样例负责人和版本去向写进记录。下次核对同类回答时，既能找到现行判据，也能解释过去为何出现分歧。
想先看你的品牌现在在 AI 搜索里被怎么说?
领取免费增长诊断