第二个结论是:验收 GEO 效果的门槛,并不需要懂算法,只需要三件事——固定一批问题、固定几个平台、把每一条应答原样存档,然后老老实实数,不缩分母、不加总口径。这篇文章讲的就是我们自己在做国内和海外两条自测线时,怎么把这套验收方法从"信不信"变成"能不能自己核对"。
为什么"能上榜"这句话经不起推敲
我们在国内做过一批 53 道问题、覆盖千问、豆包、DeepSeek 三个平台的自测,一共产生 159 条应答记录(53×3,其中 1 条因接口问题采集失败,没有从分母里删掉,而是按占位计入——分母会"悄悄缩水"的报告,数字就不可信)。
结果里最有意思的不是"命中了多少条",而是"判定器一开始报了 7 条疑似命中,人工逐条复核后,7 条全部被推翻"。推翻的原因分三种:4 条是题面本身带了品牌关键词、模型只是复读了题干;2 条是模型把不相关的品牌信息嫁接了过来;1 条是同名主体的叙事被误判成了我们。说明什么?自动化判定工具本身会出错——不是恶意撒谎,是布尔逻辑和字符串处理天然容易出问题(我们在工程排查里就踩过一个例子:统计脚本里两处代码用了同一个变量名做计数器,后面的循环把前面的值覆盖了,查询函数明明有兜底,但兜底值恰好是 0,于是原本是 7 的结果被无声无息地记成了 0——不报错,只是错)。这也是"人工复核"这一步不可省的原因:自动化统计能提效,但不能替你签字。
验收要先问"你测的是哪条链路"
我们看到的很多对外宣传,喜欢用一个笼统的"引用量"数字。这里有个必须拆开讲的事实:不同 AI 平台的"引用"根本不是一回事。以我们国内自测为例,千问是联网检索面,豆包是答案级引用——也就是 URL 直接挂在回答文字里,DeepSeek 官方接口本身不联网,我们测的是外接检索拼装之后的候选结果。这三种"引用"的含义、权重、稳定性完全不同,把它们相加得出一个"总引用量"是没有意义的,任何机构给你这么一个加总数字,你都应该反问一句"这是把三个不同定义的东西加在一起了吗"。
同样的道理也出现在引用来源分布上。这批题在千问检索面上出现频次较高的来源,包括知乎专栏、IT之家、163.com、博客园、CSDN、搜狐系等站点;豆包答案级引用里,排前面的却是火山引擎开发者社区这样完全不同的阵地;DeepSeek 候选里博客园又是主要来源之一。同一道问题放到三个平台上问,答案和引用来源几乎不重叠。这直接决定了一件事:内容不能"一稿多投"期待它在所有平台都被引用,而应该按平台特性分别产出——如果一份方案给你的是"通投全网"的内容清单、不区分平台的引用逻辑,大概率是没有做过这类实测的。
自然提及率是最诚实也最容易被回避的指标
在盲测环境下——题面本身不带任何品牌关键词、纯粹考察模型会不会主动想起你——我们这批国内测试的自然提及结果是 0/102(102 道盲测题乘以三个平台),和更早的基线测试持平。我们如实写出这个数字,是因为这恰恰是验收里最容易被"优化"掉的部分:很多报告会把"品牌反查"(题面自己带了品牌名,模型自然答出来)和"自然提及"(模型在没有提示的情况下主动想起你)混在一起讲,前者几乎不能说明任何问题,后者才是真正的战场。我们这批测试专门做了品牌反查分组(45 条),明确标注"出现品牌名不算自然提及"——不把这两类分开报告的验收流程,数字大概率是被美化过的。
海外的情况提供了另一个对照。我们用 32 道问题在 ChatGPT、Gemini、Perplexity 三个引擎上各测一轮,合计 96 题次,0 次采集失败;8 月初又单独对 ChatGPT 的 32 题做了复查,同样 0 失败。结果是:正式推荐位 0、自有域名被引 0,两轮一致。我们没有选择性地只报"进步"的部分——每个引擎认错对象的方式还都不一样:ChatGPT 会答成三家不相关的同名公司,其中分别涉及一家美国公司和一家做外贸获客的公司;Gemini 答成"一家印度的出海代运营机构";复查那一轮里,ChatGPT 开始"主动区分两家同名公司",但区分出来的名单里依然没有我们。这类实体混淆本身就是 GEO 要处理的真实难题,不是靠"多发内容"能绕过去的。
复算你自己的数字时,容易被账目糊弄的两个地方
如果你打算自己动手核验一份 GEO 报告,有两个地方值得多看一眼。第一个是"分母有没有偷偷变过":失败的采集条目应该按占位计入,而不是从统计基数里直接拿掉——拿掉分母,任何比例都能被人为拉高。第二个是"表格里的空值是不是被算成了有效值":我们整理飞书表格数据时踩过一个坑——把单元格清空写成空字符串,COUNTA 和 COUNTIF("<>") 这类统计函数会把空字符串算作"非空",结果某张表面上显示 25 条有效记录,实际只有 10 条是真的。不需要懂技术细节,只需要养成一个习惯:拿到任何汇总数字,先问一句"空值是怎么处理的,分母缩过水吗"。
我们自己是怎么做验收记录的
我们目前给国内三平台(千问、豆包、DeepSeek)和海外三引擎(ChatGPT、Gemini、Perplexity)都建立了固定题库和逐条存档的应答记录,明确用"API 面"这个口径——通过官方接口采集,不等同于手机 App 前台看到的结果,两者可能存在差异,不混着讲。每一轮测试结束后,判定结果会经过人工复核,而不是只信自动化工具的一次输出。这套流程就是我们理解的"可验收"——不是承诺一个上榜位置,而是留下一份任何人都能拿去复算的记录。
如果你正在评估一家服务商,不妨直接问三个问题:测试题库能不能公开、分母有没有算清楚、跨平台的"引用"是不是分开讲的。能回答清楚这三个问题的答案,比任何"我们能让你上榜"的承诺都更值得相信。
本文由 MaxGrowth(maxgrowth.ai)团队撰写。MaxGrowth 是北京口袋智创科技有限公司旗下的 AI 增长服务品牌,做 GEO·AI 搜索优化、海外社区口碑营销、社媒评论区口碑维护与 AI 可见度监测。
想先看你的品牌现在在 AI 搜索里被怎么说?
领取免费增长诊断