跳到主要内容
帮助中心/方法与结果

方法与结果

AI心智指数方法与指标说明

了解AI心智指数如何计算提及率、推荐率、首位推荐率、平均推荐位置和自然位置价值指数,并通过有效样本、方法版本和数据快照支持结果复核。

更新于 2026年8月19日
本页目录

AI心智指数是一套面向生成式AI问答场景的观察与相对量化评估体系。它通过标准化问题场景和AI回答样本,观察特定对象在指定时间、平台和检测范围内如何被识别、提及、推荐、比较和引用。

本方法把分散在AI回答中的表现整理为结构化、可追溯的数据和诊断线索。它不读取AI模型内部参数或训练数据,也不用于证明真实市场份额、销量、产品质量或消费者总体偏好。

一、基本原则:范围先于结果

任何正式结果都应先明确:

  • 检测对象及对象层级;
  • 品类和具体需求场景;
  • 有效比较对象类型;
  • 地区、人群、价格、服务方式等重要条件;
  • AI平台、模型、联网状态和客户端环境;
  • 问题集合、采样时间和方法版本。

关键范围发生变化时,可能形成新的检测任务。不同范围、方法版本、题库或采样周期下的结果,默认不能直接横向比较。

二、基本处理过程

确认对象与推荐范围
        ↓
建立或选择标准化问题集合
        ↓
在记录的AI平台环境中执行问答
        ↓
过滤技术失败和不可分析样本
        ↓
识别对象、推荐关系、位置、理由与来源
        ↓
统一合理的名称变体并计算指标
        ↓
冻结方法版本、结果和报告快照

正式结果中的关键指标应能够追溯到本次范围、问题、有效回答或冻结的数据快照。

三、总样本与有效样本

总样本

总样本用于描述本次计划或实际形成的问答观察数量。不同页面可能同时展示计划总量、已完成数量和取得回答数量,三者含义不同。

在心智搜索中,逻辑检测矩阵按照“30道冻结题目 × 所选AI平台环境”建立。技术重试会形成额外执行记录,但不会把同一道题重复计入逻辑总量。

有效样本

有效样本是可以进入正式分析的回答。以下情况通常不能作为正式有效样本:

  • 平台调用发生技术失败;
  • 没有取得可分析的回答;
  • 回答与问题完全无关;
  • 回答未通过当前方法规定的有效性校验。

“没有推荐目标对象”不等于无效。只要回答对问题给出了可分析判断,它仍可以作为有效样本,并如实记录未推荐结果。

当有效样本不足以支持正式结论时,应显示“样本不足”或相应说明,不能用0替代未知状态,也不应输出过度确定的总体判断。

四、常用指标

不同产品可以使用不同指标组合。以下为通用概念,具体分母、识别规则和适用范围以对应页面或报告标注的方法版本为准。

提及率

观察目标对象在有效AI回答中被明确提及的情况。背景性提及不必然构成推荐。

自然推荐率/有效推荐率

观察目标对象在有效回答中进入主要推荐或条件推荐候选的情况。它反映本次问题样本中的推荐表现,不是消费者购买概率。

首位推荐率

观察目标对象在全部有效回答中,处于自然推荐名单第1位的频率:

首位推荐率 = 自然推荐位置为1的有效回答数 ÷ 全部有效回答数

未推荐目标对象的有效回答计入分母、但不计入分子。因此,首位推荐率不是“目标被推荐以后排第一的比例”,也不是AI明确宣布目标为第一名的比例。

平均推荐位置

观察目标对象进入推荐名单时,通常出现在第几位:

平均推荐位置 = 可识别自然位置之和 ÷ 自然位置样本数

它只计算“目标已进入推荐名单且位置可以识别”的回答,数值越低表示出现位置越靠前。未被推荐的回答不进入这个平均数,因此平均推荐位置不能单独表示整体推荐表现,必须同时查看自然推荐率以及位置样本数或位置覆盖率。

自然位置价值指数

用于同时观察“进入推荐名单的频率”和“进入后的位置”。单条有效回答的位置价值采用对数折损:

目标未被推荐                 → 位置价值 = 0
目标自然推荐位置为 position  → 位置价值 = 1 / log2(position + 1)

自然位置价值指数 = 全部有效回答的位置价值之和 ÷ 全部有效回答数

指数范围为0—1,前端可以按百分比展示,数值越高表示目标在本次有效样本中更经常进入推荐名单,并且自然出现位置整体更靠前。它不是市场份额、购买概率或AI明确排名。

只有目标推荐样本的位置覆盖完整时,正式报告才输出该指数;位置数据不完整时应显示“暂无完整位置数据”,不能用0代替。

高位推荐率

观察目标对象是否处于预先定义的靠前位置。“高位”的具体范围必须在对应方法中说明,例如当前方法中的自然推荐前3率以自然位置不大于3为条件,分母为全部有效回答。没有稳定的候选顺序或位置证据时,结果应为空或显示覆盖不足,不能写成“确定没有进入前三”。

推荐份额

观察目标对象在本次有效推荐候选集合中的相对份额。它不是市场份额,也不表示真实曝光人数或回答篇幅占比。

明确排名与自然位置

  • 明确排名只在回答明确表达第一、首选或有序推荐时成立;
  • 自然位置反映对象在可识别推荐名单中的出现次序;
  • 两者应分开记录和解释;
  • 排名证据不足时应保留空值,不能自行推算。

上述首位推荐率、平均推荐位置和自然位置价值指数均基于自然位置。回答明确表达“第一”“首选”或有序优先级时形成的明确排名,使用另一套独立指标,不与自然位置指标混算。

三个位置指标示例

假设本次有10条有效回答,目标对象在其中4条进入推荐名单,自然位置依次为第1、2、3、1位,其余6条未推荐目标:

自然推荐率 = 4 ÷ 10 = 40%
首位推荐率 = 2 ÷ 10 = 20%
平均推荐位置 = (1 + 2 + 3 + 1) ÷ 4 = 1.75位
自然位置价值指数
  = [1 + 1/log2(3) + 1/log2(4) + 1] ÷ 10
  ≈ 31.31%

这个例子说明:平均推荐位置只描述目标进入名单后的靠前程度;首位推荐率和自然位置价值指数则保留了目标在其余有效回答中没有被推荐的信息。

引用与参考来源

搜索返回、模型实际参考和回答正文明确引用是不同状态。只有能够确认的状态才可以展示;平台没有提供可核验信息时,应标记为未知或不适用,不能依据来源数量自行推断“已引用”。

综合得分

综合得分用于汇总多个观察维度,只有在权重、分母、适用范围和方法版本已经冻结并公开时才使用。

当前生效的AI榜单评分版本按提及率35%和推荐率65%汇总综合得分。该权重只适用于标注了对应评分版本的AI榜单快照,不是品牌洞察、心智搜索或全部历史报告永久共用的“AI心智指数总公式”。

五、AI榜单如何排序

当前生效的AI榜单方法版本采用以下规则:

  • 综合榜:综合得分从高到低;同分时依次比较推荐率、提及率和标准名称;
  • 提及榜:提及率从高到低;同值时依次比较提及命中数和标准名称;
  • 推荐榜:推荐率从高到低;同值时依次比较推荐命中数、可用的明确排名信息和标准名称;
  • 平台榜:在对应平台的有效样本内使用同类规则。

每个公开榜单维度最多展示前10名。页面以已经发布的冻结快照为准,不把不同方法版本的结果混合排序。

六、实体名称与对象归属

系统保留回答中的原始名称,同时将同一对象的合理名称变体归入标准实体。名称归一不表示可以任意合并相关对象:

  • 品牌、产品线和具体型号属于不同层级;
  • 平台、门店、机构、个人和团队不能仅因名称相近就视为同一对象;
  • 旗下产品是否计入上级品牌表现,应结合本次对象层级、品类和范围判断;
  • 归属判断不应抹去回答中实际出现的对象名称。

如发现名称误识别或主体归属错误,可以提交纠错材料。经核验的更正应留下版本和时间记录。

七、如何比较不同AI平台

不同平台的模型、联网能力、生成策略和来源展示方式存在差异。跨平台观察遵循以下原则:

  • 尽量在同一问题框架下分别执行和计算;
  • 分别披露各平台的有效样本;
  • 不把技术失败或缺失排名当成平台表现为0;
  • 不把平台之间的结果分歧解释为平台能力优劣;
  • 平台名称、模型、联网和思考模式以执行时记录为准。

统一观察框架有助于比较,但不能消除平台差异,也不保证不同平台产生相同回答。

八、题库、方法版本与快照

为了让结果可追溯,每次正式结果至少应记录:

  • 检测时间;
  • 检测范围版本;
  • 题库或问题集合版本;
  • AI平台与实际环境;
  • 方法或解析版本;
  • 总样本和有效样本;
  • 报告或榜单快照版本。

心智搜索使用冻结的30题标准题库,包括5题基础入围、20题决策因素和5题最终决策。AI榜单和品牌洞察可以使用适合各自产品的方法与问题集合,不能把“30题”写成整个AI心智指数产品体系的统一题数。

方法更新后应生成新版本并说明可比性,不应静默重算或覆盖已经发布的历史结果。

九、复测和变化应该如何解释

复测适合观察同一或可比范围随时间发生的变化。开展前后比较时,应尽量保持对象、场景、题库、平台、环境和方法一致,并披露无法保持一致的部分。

没有对照设计或其他因果验证时,只能表述为:

  • “本次复测观察到指标变化”;
  • “该变化与相关工作在时间上同期发生”;
  • “结果提供进一步核验的线索”。

不能据此证明某一篇内容、某次发布或某项GEO工作必然造成了结果变化。

十、公开透明与结果边界

公开页面或报告应提供足以理解结果的信息,包括对象与比较范围、采样日期、实际平台环境、问题与样本数量、有效样本规则、核心指标、方法版本、局限性和更正入口。

为保护用户权益和第三方合法权益,公开方法说明不会包含未经授权的企业资料、个人数据、受版权或合同限制的原始内容,以及可能影响系统安全的受限技术信息。公开页面提供理解和复核结果所需的范围、样本、指标、版本与局限信息。

十一、结果边界

AI心智指数结果仅反映指定时间、问题集合、平台和检测环境下的生成式AI回答样本。它不代表消费者真实购买偏好、市场份额、销量、产品质量、品牌商业价值或长期不变的AI结论,也不构成消费、医疗、法律、投资或其他专业决策建议。

常见问题

AI心智指数是在读取AI的“内心”或训练数据吗?

不是。系统分析可观察的AI回答、推荐关系和可核验来源,不读取第三方模型的内部参数、隐藏推理或训练数据。

为什么不能把无数据直接记为0?

0表示在明确分母和有效样本下观察到零次命中;无数据可能来自样本不足、技术失败、平台未提供证据或该指标不适用,两者含义不同。

不同报告中的综合分可以直接比较吗?

不一定。只有检测范围、题库、平台、采样周期和方法版本相同或明确可比时,分数才适合比较。

“平台存在分歧”表示某个平台更差吗?

不是。它只表示在同一问题框架下,各平台给出的推荐结果出现实质差异。

方法能证明GEO带来了指标提升吗?

单次前后测通常只能观察变化和时间相关性。要作出因果结论,需要额外的实验设计、对照和证据。

相关链接