小样本比率为什么波动？三种噪声与一个判断阈值
一条回答只有「提到」和「没提到」两种结果，所以「提及率」本质上是在估一个概率。样本少的时候，估出来的数天然会跳。波动的来源有三种，处理方式各不相同。
三种噪声来源
| 来源 | 表现 | 怎么排除 |
|---|---|---|
| 模型随机性 | 同一问题同一平台，两次回答措辞不同 | 固定问题集重复采样，看分布不看单条 |
| 样本量太小 | 一条回答的变动让比率跳 5 到 10 个百分点 | 样本少于 30 条时不看比率 |
| 问题集构成变化 | 新增或删掉几道题，整体比率随之移动 | 冻结问题集，改题就开新批次 |
一个粗略但好用的判断阈值
两条经验规则，足够应付日常判断：样本少于 30 条时，不把百分比写进结论；两轮之间的差异小于 10 个百分点时，先当成噪声。
这两条不严谨，但它们防止的是一种很常见的错误：把一次随机波动讲成一次趋势，然后据此调整策略。
正确做法是先合并分子分母，再算比率
常见错误是「把每条问题的提及率取平均」。每条问题的样本很少，平均之后误差不会消失，反而会被掩盖。
正确做法是把所有问题的分子加起来、分母加起来，再做一次除法。这样得到的比率，权重自然按样本量分配。
什么时候波动本身就是结论
如果同一批问题在同样样本量下反复测，比率仍然在很大范围内摆动，那说明这个平台在这类问题上本身就没有稳定答案。
这本身就是一条有用的发现：它意味着任何单次检测的结论都不可靠，也意味着靠一次优化就想「锁定」AI 回答是不现实的。
依据与出处
这不是本站一家的观察。Profound 在 2025 年 7 月做过一次跨月对照：同一批提示词，6 月与 7 月两次采样，每个平台各约 8 万个提示词，结果是 OpenAI 系与 Google 系的域名级「引用漂移」在 40%–59% 之间（Google AI Overviews 59.3%、ChatGPT 54.1%、Copilot 53.4%、Perplexity 40.5%）。这是境外厂商的海外样本，只能当参考，但它说明一件事：AI 回答的引用本来就会大幅变动，单次结果不能当基准。
We measured "citation drift" as the percentage of domains that appeared in July responses but weren't present in June responses for each prompt that appeared in both windows.
出处：Profound《AI Search Volatility》（2025-07，境外厂商研究，仅作参考）
边界
- 本页给的是经验阈值，不是统计检验。需要严格结论时，应当用足够样本做区间估计，而不是套用 10 个百分点这条线。
- 波动大不等于工具失灵，也不等于平台不稳定；它首先说明「这批样本还不足以支撑一个精确数字」。
常见追问
- 为什么样本要 30 条以上？
- 30 是一个常用的经验下限，不是严格的分界线。它对应的直觉是：低于这个量级时，一两条回答的差异就足以让比率大幅移动，数字看起来精确但承载不了结论。本站把 30 条作为是否给出结论的门槛。
- 多测几次取平均可以降低波动吗？
- 可以，但代价是成本。更有效的做法通常是把问题集设计得更有针对性：问题越具体，回答越稳定，同样样本量下得到的信息更多。
- 同一个问题问三遍，回答完全不同，正常吗？
- 正常。生成式模型的输出带有随机性，这与你问的时间、平台当时的检索结果都有关。这也正是「不能用一张截图下结论」的原因。
这一页说明的是方法与口径，不构成效果承诺。需要看你自己的品牌在 AI 回答里的实际记录，可以注册后跑一次检测。