审慎比较 AI 模型、联网回答与搜索

研究可比较匹配条件下的已识别模型、同一系统有无联网辅助、不同联网系统，或跨时间的可比观测。对照须服从研究问题。比较简短搜索词与丰富助手提示，可能描述两种体验，却不能单独识别模型效应。

经校准的模型比较协议与搜索查询观测用途不同。输入完全相同，只控制一个维度，并不使接口、检索基础设施、工具选择或隐藏版本等价。重复观测可检验特定设计内的稳定性，但不证明所有消费者通常看到什么。

以下为示意，非结果：某服务商在非联网时被提及，而其网站仅在启用搜索时被链接。这一对照只涉及对应观测单元中的提及与来源呈现，不表明搜索创造了组织声誉，也不揭示模型如何学会该名称。

AAI 的研究方法将界面选择纳入研究设计，使比较由决策问题决定，而非由哪些系统最容易采集决定。

保留输入版本、采集方法、工具配置、已知模型身份、可见参考、失败和不完整采集。执行记录揭示检索时，保留其与回答的关系；未揭示时，不要仅从显示链接推断检索。

工具可用与工具使用是不同观测。某次运行启用联网工具，不代表实际调用。助手未显示引用，也不能证明未使用外部信息。这些未知限制比较，应紧邻结果说明。

使用与主张相关的匹配总体，并披露排除项。可比性参考解释如何跨时期保留这些信息。新配置不能追溯性地改标旧观测。

测量与不确定性解释，排除项和不可用观测如何影响结果。证据标准则将观测到的差异与拟议机制解释分别处理。