你在 ChatGPT 里问「国内做 AI 搜索可见度监测的公司有哪些」,答案里出现了三家同行,唯独没有你。回到站内自查:内容在更新、sitemap 干净、robots 也没挡谁。问题往往出在更前面一步——AI 代理第一次访问你的站点时,读到的是导航栏、Cookie 提示和一堆 JavaScript,而不是一段能直接看懂的自我介绍。

llms.txt 就是为这一步准备的文件。下面把规范原文拆成可执行的动作:它到底是什么、和 robots.txt 怎么分工、四层结构怎么写、八个常见错误、以及怎么验证它真的起了作用。模板可直接复制。

llms.txt 是什么:给 AI 代理的一份站点导读

llms.txt 是放在站点根目录(或任一子路径)的 Markdown 文件,用固定结构说明「这个站点是什么、关键内容在哪」,让 AI 代理不必先解析完整 HTML 就能找到入口。

它由 Answer.AI 的 Jeremy Howard 在 2024 年 9 月提出,2026 年发布 v2 版本(依据 llmstxt.org 规范页)。需要说清楚:它是提案,不是 W3C 或搜索引擎的官方标准,也没有任何平台公开承诺「一定读」。但生态侧的动作值得注意——OpenAI、Anthropic、Google Gemini 的开发者文档站都自己发布了 llms.txt,Chrome Lighthouse 也把 llms.txt 检查纳入 agentic browsing 审计项。

可引用的结论:llms.txt 不控制排名,它的作用是降低 AI 理解你站点的成本;成本越低,被正确引用和推荐的概率越高。

和 robots.txt、sitemap.xml 的分工

三者回答三个不同问题:robots.txt 管「能不能来」,sitemap.xml 管「有哪些页面」,llms.txt 管「先看哪些、怎么理解」。混用会同时削弱三者。

文件回答的问题面向对象典型误用
robots.txt哪些路径允许抓取所有爬虫用 Disallow 挡住 AI 爬虫,同时也挡掉被引用的机会
sitemap.xml全站可索引页面清单搜索引擎直接改名当成 llms.txt
llms.txt站点是什么、关键入口在哪AI 代理与模型写成营销文案,没有链接和说明

一个具体差别:sitemap 追求「全」,动辄几千条 URL,塞不进上下文窗口;llms.txt 追求「精」,通常只列十几到几十个关键链接,每条带一句说明。规范里写明了这个分工——sitemap 不是 llms.txt 的替代品。如果 GEO 与 SEO 的边界还没理清,建议先读什么是 GEO,再决定这份文件该列什么。

规范要求的四层结构

合规的 llms.txt 只有四层,顺序固定:H1 站名(唯一必需)、引用块摘要、补充说明、H2 分组的链接列表。少一层也能跑,但代理拿到的信息会明显变少。

层写法作用是否必需
1# 站点名声明这是谁,唯一必需项必需
2> 一句话摘要让代理三秒内知道你是谁、服务谁建议
3普通段落补充口径、版本、使用约束可选
4## 分组 + [名称](URL): 说明可被程序稳定解析的入口清单建议

# AiVisible

> AI 搜索可见度监测与 GEO 优化平台,覆盖 DeepSeek、ChatGPT、Perplexity、文心一言等平台。

## 核心页面

- [免费检测](/research): 输入品牌名,输出各平台可见度分数

- [什么是 GEO](/blog/what-is-geo): 概念、边界与常见误解

## Optional

- [定价](/#pricing): 套餐与配额说明

两个容易忽略的细节:链接必须写成 Markdown 链接 [名称](URL),后面可跟冒号和说明,这种格式才能被正则与解析器稳定处理;约定俗成的 ## Optional 段放可以跳过的次要信息,上下文紧张时它们会被优先丢弃。

规范还建议给关键页面提供同 URL 的 Markdown 版本(page.html.md 或 page.md),并用 rel="alternate" type="text/markdown" 声明;llms.txt 自身则通过 rel="describedby" 被页面引用。这一步决定了代理点进链接后拿到的是干净文本,还是又一个 HTML 外壳。

五步写出你自己的 llms.txt

从零到上线五个动作,熟练后一小时能做完;难点不在写文件,而在选对要列哪些页面。

  1. 选页面:先列 10 到 20 个「代理必须知道」的页面——首页、产品与服务页、定价、核心概念、常见问题、联系方式。不要按栏目结构列,按「用户会问什么」列。
  2. 写摘要:引用块里一句话说清「你是谁、服务谁、覆盖什么」。品牌名和定位要与全站一致,这是模型建立实体认知的基础。
  3. 分组:按用途分 H2,例如「核心页面」「文档」「案例」。每组 3 到 8 条,超过就再拆一层。
  4. 每条加说明:链接后补 10 到 20 字,写清「点进去能拿到什么」。没有说明的链接,代理无法判断优先级。
  5. 挂 Markdown 版本并自测:给核心页提供 .md 版本,再用规范建议的方法验证——只把 llms.txt 交给一个代理,问它「这家公司做什么、有哪些产品」,看回答是否准确。

八个常见错误

下面八条覆盖了绝大多数「写了但没效果」的情况,逐条对照比重新写一遍更快。

怎么验证它起作用了

llms.txt 的效果不能靠感觉判断,三个可观测信号足够说明问题:代理提问的准确率、AI 爬虫的请求日志、各平台可见度分数的变化。

第一步建基线。用 AiVisible 免费检测做一次全平台扫描,记录 DeepSeek、ChatGPT、Perplexity、文心一言等平台的分数与引用来源;上线 llms.txt 后每两周复测一次,重点看「引用来源里有没有出现你自己的页面」。没有基线,任何变化都无从归因。

第二步看日志。在服务器访问日志里筛 GPTBot、ClaudeBot、PerplexityBot 等 UA,确认它们是否请求过 /llms.txt,以及请求后是否顺着链接抓了 .md 版本。这是最硬的证据,也最容易被人跳过。

第三步做代理自测。新开一个会话,只提供 llms.txt,问三个问题:公司做什么、有哪些产品、怎么联系。回答出现错误或遗漏,说明摘要或分组需要改。这个方法和规范给出的验收思路一致——文件好不好,交给代理来判断。

想更系统地做这件事,可以参考AI 可见度体检的完整流程,把 llms.txt 放进整体的可见度工作里,而不是单独当一个文件来维护。

一个可直接对照的实例

拿我们自己的站点当样本最省事:aivisible.top 的 /llms.txt 就是一个按规范写的极简版,可以直接打开对照。

它的第一行是 # AiVisible,紧跟一句引用块摘要,说明平台覆盖 DeepSeek、ChatGPT、Perplexity、Kimi、通义千问与文心一言;之后是五个 H2 分组——核心产品能力、GEO 的定义、关键页面、公司主体、联系方式,整份文件只有 31 行。关键页面那组用 Markdown 链接加说明,把首页、免费检测入口、中英文博客的路径一次交代清楚。

值得注意的取舍是:它没有罗列全部 30 多篇博客,只给到博客索引页。理由是 llms.txt 的职责是「导航到入口」,具体文章应该由代理顺着索引再走一步,而不是把整站目录塞进文件里。这种「只给入口、不给全量」的写法,正是它和 sitemap 最本质的区别。

你可以照着这个结构改写自己的文件:先把 H1 和摘要写对,再决定分几组、每组放几条,最后给每条补一句说明。格式对了,剩下的是内容判断。

什么情况下可以不写

llms.txt 不是所有站点都值得投入:内容少于十个页面、或业务完全依赖站内成交的站点,优先级应排在结构化数据和内容质量之后。

原因很直接:它优化的是「代理理解站点的成本」。如果站点本身没有值得被引用的内容,降低理解成本也不会带来推荐。这类站点先把每个产品页写清楚、把常见问题补齐、把 Schema 挂上,收益更确定。llms.txt 是放大器,不是发动机。

反过来,如果你的内容已经在被 AI 引用,只是引用时常常张冠李戴——把产品功能说错、把公司归属搞混——那么 llms.txt 的边际收益会很高,因为它解决的正是「实体与结构」这一类错误。配合面向 AI 的内容写法,效果比单独做一项更稳。

常见问题(FAQ)

llms.txt 是官方标准吗?

不是。它由 Jeremy Howard 与 Answer.AI 在 2024 年提出,目前是一份公开提案,规范与讨论托管在 llmstxt.org 及对应 GitHub 仓库。搜索引擎和 AI 平台没有强制要求,但 OpenAI、Anthropic、Google Gemini 的开发者文档站已经自行发布。

放了 llms.txt,AI 就会推荐我的品牌吗?

不会。它只降低代理理解站点的成本,不决定推荐结果。推荐取决于内容质量、实体一致性、第三方提及和平台自身的检索策略。它是基础工作之一,不是效果开关。

llms.txt 和 robots.txt 会冲突吗?

不冲突,分工不同。robots.txt 声明允许与禁止抓取的范围,llms.txt 提供站点导读。需要注意的是,用 robots.txt 屏蔽 GPTBot、ClaudeBot 这类 UA,会同时失去被这些平台引用的机会。

需要给每个页面都写 Markdown 版本吗?

不必全站铺开。优先给 llms.txt 里列出的核心页面提供 .md 版本,并在 HTML 页用 rel 属性声明,其余页面按访问量逐步补。链接指向没有 .md 版本的页面,代理只能重新解析 HTML。

一个站点可以有多个 llms.txt 吗?

可以。文件放在哪个路径就覆盖该路径下的页面,例如 /docs/llms.txt 只管 /docs/ 下的内容。多个文件同时适用时,代理应使用最具体的那一个。

延伸阅读