01 参考资料
选择可比集合
02 参考资料
连同总体与分母报告变化
算术示例,非研究结果:组织在一个时期的 10 个合格回答中出现 6 次,另一时期的 15 个中出现 9 次。次数增加,但比例仍为 60%。新增问题若针对不同需求,即使比例相同,也不能证明匹配总体中的定位稳定。
当次数、比率与覆盖分别回答必要问题时,应结合报告。说明时期数值是汇总合格观测,还是概括每次采集的比率。二者不可互换,尤其在采集规模或来源数量不同时。
有效回答中确认未出现、有效搜索采集中没有 AI 概览,以及采集失败,是不同状态。指标声明总体包含已确认空界面时,可将其记零;不可用数据不行。单独报告缺失,避免把采集覆盖变化误当呈现变化。
在解读报告中的变化之前,测量与不确定性要求明确符合条件的总体、缺失观测与分母。
03 参考资料
区分前后变化与干预效果
04 参考资料
让后续观测能够回答下一问题
05 参考资料
常见问题
- 修改后改善,能证明修改有效吗?
- 不能。可比观测可以显示时间变化,却未必能单独识别原因。
- 模型版本或查询改变了怎么办?
- 保留原方法标签,明确哪些观测仍可比较。不要追溯性地改标旧结果。