如今,仅仅说一个网站“好”已经不够了。人们通过两条途径获取信息:一是搜索引擎,二是 ChatGPT、Gemini、Perplexity 等人工智能助手。两者都会阅读你的网站,但关注的东西各不相同。
本文介绍从三个角度衡量网站的方法:传统 SEO、GEO(在 AI 助手中的可见度)以及整体质量。对每一项标准,我们都提出两个问题:为什么重要?如何检查?
先说概念:SEO 与 GEO
SEO 是让网站能在搜索结果中被找到。GEO(Generative Engine Optimization,生成式引擎优化)则是指助手在回答问题时,把你的网站列为信息来源。
两者并非竞争关系。许多助手同样会抓取网页、依赖索引并阅读页面。Google 表示,AI 功能并没有单独的“窍门”,SEO 的基本规则在这里同样适用(Google Search Central: AI features)。也就是说,打好扎实的基础,对两方面都有益。
1. 爬虫访问:它们能读取你的网站吗?
为什么重要:如果爬虫无法进入你的页面,它既不会将其编入索引,也不会引用它。有些网站在不知情的情况下屏蔽了助手的爬虫:有时是因为防火墙,有时是因为 robots.txt 里的一行旧规则。
如何检查:
- 打开
yoursite.com/robots.txt文件,看看允许了哪些爬虫(Google:robots.txt 简介)。 - 各家助手公司都会公布其爬虫名称:OpenAI 的爬虫见 OpenAI 爬虫文档,Perplexity 的见 Perplexity 爬虫文档,Google 的爬虫(包括 Google-Extended)见 Google 爬虫列表。
- 一个重要区别:有些爬虫是为训练模型而来,有些则是为即时回答用户的问题而来。你可以屏蔽其中一种、放行另一种。请在知情的前提下做出决定。
- 如果你使用 CDN 或防火墙,也要检查其中的爬虫拦截设置。即使 robots.txt 允许访问,防火墙也可能把门关上。
2. 索引与 IndexNow
为什么重要:页面发布后并不会马上被找到,搜索引擎需要先发现它。如果更新迟迟未被察觉,过时的信息就会继续流传。
如何检查:
- 在 Google Search Console 和 Bing Webmaster Tools 中查看索引报告。“已发现 - 尚未编入索引”之类的状态会提供线索。
- 检查你的站点地图(sitemap.xml)是否为最新。
- IndexNow 是一项开放协议,可在页面新增或变更时,通知支持该协议的搜索引擎。请检查你的网站上是否有密钥文件,以及变更是否已提交通知。注意:并非所有搜索引擎都使用 IndexNow,支持情况请在该协议自己的页面上核实。
3. llms.txt:给助手的路线图
为什么重要:网页是为人而做的。菜单、广告、脚本层层叠加,核心信息可能被淹没。llms.txt 是一个放在网站根目录或某个子路径下的简短 Markdown 文件,它为助手指路:“重要信息在这里”。
坦白说一句:llms.txt 不是正式标准,而是一项提案,它自己的页面也是这样定义的(llmstxt.org)。同一页面称,已有数千个网站发布了该文件,一些工具也会对其进行检查。但哪个助手在使用它、使用到什么程度,并非每家公司都有明确的文档说明。因此,请把 llms.txt 看作“无害、也许有用的补充”,而不是一把万能钥匙。
如何检查:
yoursite.com/llms.txt这个地址能打开吗?- 文件中是否有一个 H1 标题(这是格式唯一的硬性要求)、一段简短摘要,以及指向重要页面的链接?格式规则见 llmstxt.org。
- 链接都有效吗?其中的信息与网站上的最新信息一致吗?
4. 结构化数据(schema)
为什么重要:结构化数据明确地告诉机器页面讲的是什么,比如“这是一个组织”“这是一篇文章”“作者是这个人”。搜索引擎利用它生成富媒体搜索结果。对助手而言,它也能降低误读页面的风险。
如何检查:
- 所用的类型应能在 schema.org 词汇表中找到对应项。
- 用 Google 富媒体搜索结果测试和 Schema Markup Validator 测试页面。
- 最常见的问题不是错误,而是矛盾。如果结构化数据里写的是一个地址,页面上写的却是另一个,机器就无从判断该相信哪一个。请在各页面之间比对电话、地址、营业时间、价格等信息。
5. 来源层:你的说法有什么依据?
为什么重要:助手在作答时可能更青睐看起来可信的来源。Google 也强调内容应当“有用、可靠、为人而写”(Google:创建有用的内容)。没有来源的数字或说法,会同时削弱读者和机器的信任。
如何检查:
- 页面上每个重要的数字或说法旁边,是否都附有指向原始来源的链接?(不是新闻报道,而是原始报告、机构或法律。)
- 作者和更新日期是否清晰可见?
- 同一信息在不同页面上的写法是否不一致?
6. 如何衡量你在助手中的可见度?
为什么重要:GEO 的成果,就是你的名字和链接出现在助手的回答中。这需要通过实际测试来确认,而不是靠猜测。
如何检查:
- 写下客户可能会问的 10-20 个真实问题。
- 在 ChatGPT、Gemini 和 Perplexity 中提出这些问题,记录回答中是否把你的网站列为来源。
- 回答可能因人、因地、因时而异,因此一次性的测试并不是定论。请定期重复同样的问题,观察趋势。
- 在服务器日志(log)中跟踪助手爬虫的访问,并在分析工具中跟踪来自这些来源的流量。
7. 速度:核心网页指标(Core Web Vitals)
为什么重要:速度慢的网站会让读者和爬虫都疲于应付。Google 用三项核心指标来定义用户体验:LCP(主要内容的加载)、INP(对点击的响应)和 CLS(页面的位移)。建议的阈值是:LCP 为 2.5 秒,INP 为 200 毫秒,CLS 为 0.1(web.dev: Web Vitals)。
如何检查:
- 用 PageSpeed Insights 同时测量移动端和桌面端。
- “现场数据”(真实用户)与“实验室数据”(单次测试)是不同的。做决定时应优先参考现场数据。
- 查看服务器的首次响应时间、页面大小,以及每个页面都重复出现的厚重模板部分。
8. 无障碍
为什么重要:无障碍的网站面向所有人:视障读者、老旧手机、信号较弱的网络连接。此外,标记良好的页面,机器读起来也更容易。
如何检查:
- 国际参考标准是 W3C WCAG 2.2 指南。
- 图片是否有有意义的替代文本?
- 标题层级是否规范(H1、H2、H3)?
- 文字与背景之间的对比度是否足够?
- 仅用键盘能否浏览整个网站?
- 自动化工具(如 Lighthouse)是很好的起点,但并不能发现所有问题。也请亲手试一试。
9. 基本标签
为什么重要:页面标题和描述是人们在搜索结果中最先看到的内容。如果缺失,或每个页面都一样,页面之间就无法区分。
如何检查:
- 每个页面是否都有自己独特的
<title>和 meta 描述? - 规范(canonical)标签是否指向正确的地址?
- 用于分享的 Open Graph 标签是否已填写?
10. KVKK 与健康内容的边界
为什么重要:想要被看见,就必须遵守规则。在土耳其,个人数据的处理受 KVKK(《个人数据保护法》)约束(土耳其个人数据保护局)。在医疗健康等敏感领域,宣传和广告还另有行业规则。违反规则的内容,即使排名靠前,也是一种风险。
如何检查:
- 是否有隐私告知文本和 Cookie 说明,且容易找到?
- 表单收集哪些数据、为什么收集?是否索取了超出必要的信息?
- 健康内容中是否有保证效果的承诺、“前后对比”式的说法,或没有来源的治疗许诺?
- 网站是否通过 HTTPS 打开,是否设置了安全标头?
- 关于你所在行业的最新规定,请咨询法律顾问。本文不构成法律意见。
简短检查清单
- robots.txt 和防火墙是否对你希望的爬虫开放?
- 页面是否已编入索引,变更是否已提交通知?
- 是否有 llms.txt,内容是否最新?(是提案,不是标准。)
- 结构化数据是否有效,是否与页面内容矛盾?
- 各项说法是否有原始来源?
- 你是否在向助手提出真实问题,并定期做记录?
- 你是否处在 Core Web Vitals 的阈值之内?
- 网站是否人人都能使用?
- 每个页面的标题和描述是否都独一无二?
- 是否满足 KVKK 和行业规则的要求?
这篇文章的背后是什么?
这些标准我们不只是写了出来,还把它们做成了一个工具。我们开发了一款名为 Atlas Analiz 的网站分析引擎及其移动应用。
我们做了什么?该引擎会把一个网站的多个页面放在一起读取,检查 10 项 SEO 标准和 8 项 GEO 标准:爬虫访问、llms.txt、结构化数据、页面间的一致性、来源、速度、KVKK 以及健康宣传的边界。它会针对每个页面,从读者的视角提出一个问题,并写下一行结论。建议分三部分给出:我们看到了什么、为什么重要、该怎么做。最终结果是一份简短的 8 行摘要。(标准数量和行数均来自我们自己的引擎。)
我们是怎么做的?在一块共享的工作看板上,与几个人工智能代理协同完成。规划、代码、界面语言和审核分别交给不同的代理;各项工作都在看板上留有记录地推进。本文在发布前也经过了 Reaper 的来源审核。
证据在哪里?方法与标准的摘要见 atlasmaster.app 证据页面。
Atlas Analiz 应用即将推出。