你在 ChatGPT 里问「国内做 AI 搜索可见度监测的公司有哪些」,答案里出现了三家同行,唯独没有你。回到站内自查:内容在更新、sitemap 干净、robots 也没挡谁。问题往往出在更前面一步——AI 代理第一次访问你的站点时,读到的是导航栏、Cookie 提示和一堆 JavaScript,而不是一段能直接看懂的自我介绍。
llms.txt 就是为这一步准备的文件。下面把规范原文拆成可执行的动作:它到底是什么、和 robots.txt 怎么分工、四层结构怎么写、八个常见错误、以及怎么验证它真的起了作用。模板可直接复制。
llms.txt 是什么:给 AI 代理的一份站点导读
llms.txt 是放在站点根目录(或任一子路径)的 Markdown 文件,用固定结构说明「这个站点是什么、关键内容在哪」,让 AI 代理不必先解析完整 HTML 就能找到入口。
它由 Answer.AI 的 Jeremy Howard 在 2024 年 9 月提出,2026 年发布 v2 版本(依据 llmstxt.org 规范页)。需要说清楚:它是提案,不是 W3C 或搜索引擎的官方标准,也没有任何平台公开承诺「一定读」。但生态侧的动作值得注意——OpenAI、Anthropic、Google Gemini 的开发者文档站都自己发布了 llms.txt,Chrome Lighthouse 也把 llms.txt 检查纳入 agentic browsing 审计项。
可引用的结论:llms.txt 不控制排名,它的作用是降低 AI 理解你站点的成本;成本越低,被正确引用和推荐的概率越高。
和 robots.txt、sitemap.xml 的分工
三者回答三个不同问题:robots.txt 管「能不能来」,sitemap.xml 管「有哪些页面」,llms.txt 管「先看哪些、怎么理解」。混用会同时削弱三者。
| 文件 | 回答的问题 | 面向对象 | 典型误用 |
|---|---|---|---|
| robots.txt | 哪些路径允许抓取 | 所有爬虫 | 用 Disallow 挡住 AI 爬虫,同时也挡掉被引用的机会 |
| sitemap.xml | 全站可索引页面清单 | 搜索引擎 | 直接改名当成 llms.txt |
| llms.txt | 站点是什么、关键入口在哪 | AI 代理与模型 | 写成营销文案,没有链接和说明 |
一个具体差别:sitemap 追求「全」,动辄几千条 URL,塞不进上下文窗口;llms.txt 追求「精」,通常只列十几到几十个关键链接,每条带一句说明。规范里写明了这个分工——sitemap 不是 llms.txt 的替代品。如果 GEO 与 SEO 的边界还没理清,建议先读什么是 GEO,再决定这份文件该列什么。
规范要求的四层结构
合规的 llms.txt 只有四层,顺序固定:H1 站名(唯一必需)、引用块摘要、补充说明、H2 分组的链接列表。少一层也能跑,但代理拿到的信息会明显变少。
| 层 | 写法 | 作用 | 是否必需 |
|---|---|---|---|
| 1 | # 站点名 | 声明这是谁,唯一必需项 | 必需 |
| 2 | > 一句话摘要 | 让代理三秒内知道你是谁、服务谁 | 建议 |
| 3 | 普通段落 | 补充口径、版本、使用约束 | 可选 |
| 4 | ## 分组 + [名称](URL): 说明 | 可被程序稳定解析的入口清单 | 建议 |
# AiVisible
> AI 搜索可见度监测与 GEO 优化平台,覆盖 DeepSeek、ChatGPT、Perplexity、文心一言等平台。
## 核心页面
- [免费检测](/research): 输入品牌名,输出各平台可见度分数
- [什么是 GEO](/blog/what-is-geo): 概念、边界与常见误解
## Optional
- [定价](/#pricing): 套餐与配额说明
两个容易忽略的细节:链接必须写成 Markdown 链接 [名称](URL),后面可跟冒号和说明,这种格式才能被正则与解析器稳定处理;约定俗成的 ## Optional 段放可以跳过的次要信息,上下文紧张时它们会被优先丢弃。
规范还建议给关键页面提供同 URL 的 Markdown 版本(page.html.md 或 page.md),并用 rel="alternate" type="text/markdown" 声明;llms.txt 自身则通过 rel="describedby" 被页面引用。这一步决定了代理点进链接后拿到的是干净文本,还是又一个 HTML 外壳。
五步写出你自己的 llms.txt
从零到上线五个动作,熟练后一小时能做完;难点不在写文件,而在选对要列哪些页面。
- 选页面:先列 10 到 20 个「代理必须知道」的页面——首页、产品与服务页、定价、核心概念、常见问题、联系方式。不要按栏目结构列,按「用户会问什么」列。
- 写摘要:引用块里一句话说清「你是谁、服务谁、覆盖什么」。品牌名和定位要与全站一致,这是模型建立实体认知的基础。
- 分组:按用途分 H2,例如「核心页面」「文档」「案例」。每组 3 到 8 条,超过就再拆一层。
- 每条加说明:链接后补 10 到 20 字,写清「点进去能拿到什么」。没有说明的链接,代理无法判断优先级。
- 挂 Markdown 版本并自测:给核心页提供 .md 版本,再用规范建议的方法验证——只把 llms.txt 交给一个代理,问它「这家公司做什么、有哪些产品」,看回答是否准确。
八个常见错误
下面八条覆盖了绝大多数「写了但没效果」的情况,逐条对照比重新写一遍更快。
- 只列链接不写说明:代理拿到一串 URL,等于拿到一份目录,仍然不知道哪个重要。
- 把 sitemap 改名当 llms.txt:几千条 URL 塞不进上下文,而且没有摘要。
- 写成营销文案:「行业领先」这类词对模型没有信息量,还会稀释事实。
- 摘要与站内不一致:品牌名、定位在不同页面写法不同,实体无法归并。
- 链接指向 HTML 壳:没有 .md 版本,代理还得再解析一遍导航和脚本。
- 只写一次不维护:新增产品页不更新,代理读到的是过期结构。
- 当成收录开关:它不控制抓取,也不保证被读取;能不能来是 robots.txt 的事。
- 用它替代结构化数据:两者互补,Schema 描述页面实体,llms.txt 描述站点结构。
怎么验证它起作用了
llms.txt 的效果不能靠感觉判断,三个可观测信号足够说明问题:代理提问的准确率、AI 爬虫的请求日志、各平台可见度分数的变化。
第一步建基线。用 AiVisible 免费检测做一次全平台扫描,记录 DeepSeek、ChatGPT、Perplexity、文心一言等平台的分数与引用来源;上线 llms.txt 后每两周复测一次,重点看「引用来源里有没有出现你自己的页面」。没有基线,任何变化都无从归因。
第二步看日志。在服务器访问日志里筛 GPTBot、ClaudeBot、PerplexityBot 等 UA,确认它们是否请求过 /llms.txt,以及请求后是否顺着链接抓了 .md 版本。这是最硬的证据,也最容易被人跳过。
第三步做代理自测。新开一个会话,只提供 llms.txt,问三个问题:公司做什么、有哪些产品、怎么联系。回答出现错误或遗漏,说明摘要或分组需要改。这个方法和规范给出的验收思路一致——文件好不好,交给代理来判断。
想更系统地做这件事,可以参考AI 可见度体检的完整流程,把 llms.txt 放进整体的可见度工作里,而不是单独当一个文件来维护。
一个可直接对照的实例
拿我们自己的站点当样本最省事:aivisible.top 的 /llms.txt 就是一个按规范写的极简版,可以直接打开对照。
它的第一行是 # AiVisible,紧跟一句引用块摘要,说明平台覆盖 DeepSeek、ChatGPT、Perplexity、Kimi、通义千问与文心一言;之后是五个 H2 分组——核心产品能力、GEO 的定义、关键页面、公司主体、联系方式,整份文件只有 31 行。关键页面那组用 Markdown 链接加说明,把首页、免费检测入口、中英文博客的路径一次交代清楚。
值得注意的取舍是:它没有罗列全部 30 多篇博客,只给到博客索引页。理由是 llms.txt 的职责是「导航到入口」,具体文章应该由代理顺着索引再走一步,而不是把整站目录塞进文件里。这种「只给入口、不给全量」的写法,正是它和 sitemap 最本质的区别。
你可以照着这个结构改写自己的文件:先把 H1 和摘要写对,再决定分几组、每组放几条,最后给每条补一句说明。格式对了,剩下的是内容判断。
什么情况下可以不写
llms.txt 不是所有站点都值得投入:内容少于十个页面、或业务完全依赖站内成交的站点,优先级应排在结构化数据和内容质量之后。
原因很直接:它优化的是「代理理解站点的成本」。如果站点本身没有值得被引用的内容,降低理解成本也不会带来推荐。这类站点先把每个产品页写清楚、把常见问题补齐、把 Schema 挂上,收益更确定。llms.txt 是放大器,不是发动机。
反过来,如果你的内容已经在被 AI 引用,只是引用时常常张冠李戴——把产品功能说错、把公司归属搞混——那么 llms.txt 的边际收益会很高,因为它解决的正是「实体与结构」这一类错误。配合面向 AI 的内容写法,效果比单独做一项更稳。
常见问题(FAQ)
llms.txt 是官方标准吗?
不是。它由 Jeremy Howard 与 Answer.AI 在 2024 年提出,目前是一份公开提案,规范与讨论托管在 llmstxt.org 及对应 GitHub 仓库。搜索引擎和 AI 平台没有强制要求,但 OpenAI、Anthropic、Google Gemini 的开发者文档站已经自行发布。
放了 llms.txt,AI 就会推荐我的品牌吗?
不会。它只降低代理理解站点的成本,不决定推荐结果。推荐取决于内容质量、实体一致性、第三方提及和平台自身的检索策略。它是基础工作之一,不是效果开关。
llms.txt 和 robots.txt 会冲突吗?
不冲突,分工不同。robots.txt 声明允许与禁止抓取的范围,llms.txt 提供站点导读。需要注意的是,用 robots.txt 屏蔽 GPTBot、ClaudeBot 这类 UA,会同时失去被这些平台引用的机会。
需要给每个页面都写 Markdown 版本吗?
不必全站铺开。优先给 llms.txt 里列出的核心页面提供 .md 版本,并在 HTML 页用 rel 属性声明,其余页面按访问量逐步补。链接指向没有 .md 版本的页面,代理只能重新解析 HTML。
一个站点可以有多个 llms.txt 吗?
可以。文件放在哪个路径就覆盖该路径下的页面,例如 /docs/llms.txt 只管 /docs/ 下的内容。多个文件同时适用时,代理应使用最具体的那一个。