为什么不能用一张截图下结论?四件截图证明不了的事
截图是一种很有说服力的证据形态——它有画面、有平台 logo、看起来无可辩驳。但它证明的范围,比它给人的印象小得多。
截图能证明什么,不能证明什么
| 能证明 | 不能证明 |
|---|---|
| 这一刻、这个问题、这个平台上,回答长这样 | 这个品牌被提到的频率有多高 |
| 回答里出现了某个品牌名 | 这个品牌在这类问题里稳定被推荐 |
| 这次回答附带了哪些来源 | 引用率是多少、趋势是涨还是跌 |
| 回答的措辞与语气 | 换个入口、换个时间是否一样 |
四个具体问题
- 频率:一张截图是 n=1。它无法回答「这类问题里有多少条提到了我」。
- 趋势:两张截图之间的差异,可能只是随机波动。没有固定问题集与样本量,谈不上变化。
- 可比性:截图往往没有记录完整的问题原文、入口(网页端/手机端)、时间。缺任一项,两次结果就不可比。
- 可复核:截图不能被重新计算。判定是谁做的、按什么规则做的,事后无从查证。
截图在什么场合仍然有用
换句话说,截图适合引起注意,不适合支撑结论。把它当作线索,而不是证据。
- 向同事说明「AI 现在是这么说的」,作为沟通材料。
- 作为检测报告的入口:看到一条可疑回答,去系统里找到对应的原始记录核对。
- 记录平台的界面变化,供日后对照。
要得到结论,至少要补这三样
- 问题集:同一批问题,写清原文。
- 样本量:每个问题跑了多少次,成功多少条。
- 原始回答:可回看、可复核的完整文本与来源记录。
依据与出处
同一个问题、同一批提示词,隔一个月再问,被引用的域名就已经换掉一大半——这是 Profound 2025 年 7 月那份跨月对照的结论(境外厂商研究,海外平台,仅作参考):
We measured "citation drift" as the percentage of domains that appeared in July responses but weren't present in June responses for each prompt that appeared in both windows.
出处:Profound《AI Search Volatility》(2025-07,境外厂商研究,仅作参考)
边界
- 本页不是说截图不可信,而是说截图的信息量有上限。真假问题与样本问题是两件事。
- 本站的报告同样是由采样得出的,只是把样本量、失败量与原始回答一并留下来,供你自行判断。
常见追问
- 那我把十个平台都截图,是不是就够了?
- 比一张好,但仍然回答不了「频率」和「趋势」。十个截图仍然是 n=10,且每个截图来自不同问题的话,它们之间也无法合并。
- 让 AI 自己说「你被推荐了吗」行不行?
- 不行。模型的自我描述不是对自身输出的可靠统计,它会顺着问题给答案。判断必须基于回答文本本身,而且要由固定规则来做。
- 检测报告会不会也有同样的问题?
- 会有,如果没有写清分母、没有保留原始回答的话。判断一份报告是否可信,就看它有没有把这两样交出来。
这一页说明的是方法与口径,不构成效果承诺。需要看你自己的品牌在 AI 回答里的实际记录,可以注册后跑一次检测。