AI 数据通道：JSON·Markdown

两个收录目录 #

llms.txt 是 Jeremy Howard（Answer.AI）提出的网站约定，在根路径放一个 /llms.txt 文件，为 LLM 提供 Markdown 格式的内容入口。目前有两个第三方目录站收录这些文件，都独立于标准官方运营：

  • directory.llmstxt.cloud：由 @ifox 和 @joyceverheije 创建，有审核团队，收录标准偏向有影响力的公司/产品，质量较高，收录了 Anthropic、Cursor、Cloudflare、Next.js 等一线品牌，分类统计 849 个 Websites、447 个 Products、358 个 Developer tools、187 个 AI、167 个 Finance。
  • llmstxt.site：独立运营，收录门槛低、量大（1600+ 站点），但 SEO/营销型站点占比高。

本文从 llmstxt.site 的 1600+ 站点中筛选出有趣的，按类别介绍。

AI 平台与 LLM 工具 #

Anthropic #

  • 站点：anthropic.com
  • llms.txt：8K tokens / llms-full.txt：481K tokens

Claude 的母公司，AI 安全实验室。作为 llms.txt 标准最早的一批采纳者，Anthropic 的 llms.txt 提供了公司理念、研究方向和 Claude 模型信息的结构化入口。有趣的是，它和 Cursor、Cloudflare 一起构成了”AI 公司自己用 llms.txt 服务 AI”的闭环——AI 公司最懂 AI 需要什么。

Fireworks AI #

  • 站点：fireworks.ai
  • llms.txt：4K tokens / llms-full.txt：88K tokens

Serverless LLM 推理平台，主打”以 1/10 成本跑开源模型”。它的 llms.txt 是标准的 API 文档入口风格，帮助 LLM 快速定位模型列表、定价、推理端点。

Langbase #

可组合 AI pipes / LLM 开发平台。367K tokens 的 llms.txt 在 AI 类里算巨无霸，说明它把大量文档内容直接塞进了入口文件——这对一次性读取全站的 AI Agent 很友好，但也意味着每次请求都要消耗大量 token。

AgentDock #

AI Agent 构建框架。293K tokens 的体量同样偏大，推测是把完整的框架文档、API 参考和示例都合并进了 llms.txt。

ZenML #

  • 站点：zenml.io
  • llms.txt：98K tokens / llms-full.txt：575K tokens

开源 ML pipeline 框架，定位类似”ML 工程界的 Terraform”。它同时提供了 llms.txt（精简入口）和 llms-full.txt（完整文档合并），是标准规范的最佳实践样本——让 AI 先读精简版定位，再按需读完整版。

Maxim AI #

  • 站点：getmaxim.ai
  • llms.txt：46K tokens / llms-full.txt：410K tokens

LLM 评估与可观测性平台。作为”给 AI 做监控”的公司，用 llms.txt 给 AI 提供自己的文档，有”监控 AI 的工具被 AI 监控”的递归意味。

deepset #

Haystack 框架厂商，做 RAG 和搜索。1.6K tokens 的极简 llms.txt 是另一种风格——只提供导航入口，让 AI 按需去读具体页面，不把所有内容塞进一个文件。

开发者工具与 SaaS #

Sourcegraph #

代码搜索与导航平台。1.2M tokens 是整个目录里语料最大的之一，说明 Sourcegraph 把完整的 API 文档、使用指南全部铺进了 llms.txt。对于被 Cursor / Copilot 这类代码 AI 调用的场景，这是最直接的内容投喂。

Cloudflare Docs #

Cloudflare 边缘平台文档。3.8M tokens 的 llms-full.txt 是目录里最大的文件之一，覆盖了 Workers、Pages、R2、D1、KV 等全部产品文档。Cloudflare 是少数同时提供精简版和超大全文版的厂商——让 AI 根据上下文窗口灵活选择。

Retool #

  • 站点：docs.retool.com
  • llms.txt：32K tokens / llms-full.txt：399K tokens

内部应用构建器平台。Retool 的 llms.txt 实现比较规范，同时提供精简入口和完整文档。

Better Auth #

开源认证框架。作为一个独立开源项目，174K tokens 的 llms.txt 体量不小，说明作者认真对待 AI 可读性——认证库的文档被 AI 正确理解，直接影响 AI 生成代码的安全性。

CircleCI #

CI/CD 平台。CircleCI 选择了极简路线，1.2K tokens 只够放一个导航入口。这适合”让 AI 知道 CircleCI 文档在哪”的场景，但要深入配置细节仍需 AI 去爬具体页面。

Apify #

爬虫与自动化平台。Apify 做爬虫工具，自己用 llms.txt 给 AI 提供文档——“爬虫公司被 AI 爬”。

Axiom #

  • 站点：axiom.co
  • llms.txt：10K tokens / llms-full.txt：398K tokens

日志与可观测性平台，和 Datadog / Grafana 同赛道。llms.txt 实现规范，同时提供精简和完整版。

Activepieces #

开源 Zapier 替代品。作为自动化工具，它的 llms.txt 帮助 AI 理解如何配置各种集成节点——AI 写自动化流程时直接读取文档。

Terminal Trove #

CLI/TUI 工具精选目录。整个目录里最极简的实现之一，360 tokens 只够放一句介绍和几个分类链接。但 Terminal Trove 本身就是工具导航站，llms.txt 极简反而合理——它的价值是”让 AI 知道有哪些 CLI 工具存在”。

Bun #

  • 站点：bun.sh
  • 站点：JS 运行时（Node.js 替代品）

Bun 在 llmstxt.site 目录的文件末尾，是最后一个条目。作为新兴 JS 运行时，Bun 的文档本身就很受 AI 关注——大量开发者在用 AI 写 Bun 代码时需要准确的 API 参考。

开源框架与文档 #

Next.js #

  • 站点：nextjs.org/docs
  • llms.txt：14K tokens / llms-full.txt：676K tokens

React 框架文档。Next.js 是 llms.txt 最常被引用的案例之一——前端开发者大量使用 AI 辅助编码，App Router 的配置复杂度高，准确的 Markdown 文档直接提升 AI 生成代码质量。

Svelte #

  • 站点：svelte.dev
  • llms.txt：281 tokens / llms-full.txt：226K tokens

Svelte UI 框架。281 tokens 是整个目录里最极简的 llms.txt 之一，但它是官方框架文档入口，足够让 LLM 知道去哪找。这证明 llms.txt 不需要大才有价值——它的核心作用是精确的导航入口，而非内容仓库。

Angular #

  • 站点：angular.dev
  • llms.txt：1.5K tokens / llms-full.txt：152K tokens

Angular 框架文档。Google 出品，文档规范度高。

Astro #

  • 站点：astro.build
  • llms.txt：556 tokens / llms-full.txt：591K tokens

内容导向 Web 框架，做博客和文档站很流行。Astro 自己用 llms.txt 服务 AI，形成”做博客框架的博客被 AI 读取”的循环。

Hugging Face Transformers #

Transformers 库文档。809K tokens 是整个目录里语料最大的之一，覆盖了完整的模型 API、训练指南、推理示例。Hugging Face 同时为 Transformers、Diffusers、Accelerate、Hub Python Library 四个项目分别提供 llms.txt，是标准的多项目实践。

Meilisearch #

  • 站点：meilisearch.com
  • llms.txt：331 tokens / llms-full.txt：298K tokens

开源搜索引擎。331 tokens 的极简 llms.txt 和 Svelte 一样走”只做导航”路线。作为搜索引擎项目，用 llms.txt 给 AI 提供搜索入口，有”搜索引擎被 AI 搜索”的意味。

Stripe #

Stripe 支付 API 文档。支付 API 的准确性要求极高，AI 生成 Stripe 集成代码时必须读准确文档——Stripe 提供 llms.txt 直接解决了”AI 从 HTML 里提取 API 参数容易出错”的问题。

NVIDIA Developer #

NVIDIA 开发平台。作为 GPU 厂商，NVIDIA 的 llms.txt 帮助 AI 定位 CUDA、cuDNN、TensorRT 等开发文档。

金融与加密 #

Bitcoin.com #

加密新闻、钱包和交易所。722K tokens 的 llms.txt 体量惊人，说明 Bitcoin.com 把大量新闻内容塞进了入口文件——这更像一个”内容投喂”策略，让 AI 一次读取就能覆盖大量加密资讯。

Chainspect #

区块链分析平台。938K tokens 在金融类里最大，推测包含完整的链上数据分析方法和 API 参考。

Mangopay #

  • 站点：mangopay.com
  • llms.txt：11K tokens / llms-full.txt：1.7M tokens

嵌入式支付平台。1.7M tokens 的 llms-full.txt 是目录里最大的文件之一，覆盖完整的支付 API、合规流程、沙箱测试指南。

FinFeedAPI #

  • 站点：finfeedapi.com
  • llms.txt：8K tokens / llms-full.txt：1.1M tokens

金融市场数据 API。1.1M tokens 的完整文档，涵盖股票、期货、外汇等市场数据接口。金融数据 API 对准确性要求极高，llms.txt 让 AI 获取准确的接口定义而非猜测。

KuCoin API #

  • llms.txt：15K tokens

加密交易所 API。交易所 API 的参数复杂（签名、时间戳、限频），AI 生成交易代码时必须读准确文档。

MCP 生态 #

MCP Server Space #

  • 站点：mcpserver.space
  • llms.txt：1.2K tokens / llms-full.txt：1.2K tokens

MCP 服务器目录站。本身就是为 AI Agent 服务的目录，用 llms.txt 给 AI 提供目录索引——“给 AI 看的 AI 工具目录”。

uminai MCP Directory #

另一个 MCP 服务器目录。MCP 目录站出现在 llms.txt 收录中，说明 MCP 生态与 llms.txt 标准正在交汇——AI Agent 既可以通过 llms.txt 发现网站内容，也可以通过 MCP 目录找到可调用的工具。

个人与小众站点 #

Huberman Lab #

斯坦福神经科学家 Andrew Huberman 的播客站。名人站使用 llms.txt 比较少见，14K tokens 覆盖了播客集数和主题索引。这让 AI 在被问”Huberman 说过什么关于睡眠的”时能准确定位到具体集数。

Readwise #

稍后读与笔记应用。96K tokens 的 llms.txt 体量不小，覆盖完整的产品文档。作为”帮人读东西”的工具，用 llms.txt 帮 AI 读自己的文档。

Listen Notes #

播客搜索引擎。1K tokens 的极简入口，让 AI 知道”有一个播客搜索引擎，API 在这里”。

Light Pollution Map #

光污染地图。一个非技术类的数据可视化工具用 llms.txt 比较少见，说明 llms.txt 正在从开发者文档扩展到更广泛的”让 AI 理解我的数据服务”场景。

Rasul Kireev #

知名开发者个人站。127K tokens 的个人站 llms.txt 是目录里少见的”独立开发者深度实现”——大部分个人站要么不做 llms.txt，要么随便写几行，但这位把博客、项目、笔记都结构化塞了进去。

几个观察 #

Token 数量两极分化 #

整个目录的 token 分布呈现明显的双峰：

  • 巨无霸派：Sourcegraph 1.2M、HF Transformers 809K、Bitcoin.com 722K、Cloudflare full 3.8M——这些是文档站，llms.txt 只是冰山一角
  • 极简派：Svelte 281、Terminal Trove 360、Meilisearch 331、Light Pollution Map 544——只做导航入口

两种策略各有道理。巨无霸派适合”一次性读取全站”的 AI Agent，极简派适合”按需深入”的交互式查询。关键是和自己的内容形态匹配——文档站可以做大，工具站适合做小。

中间地带缺失 #

整个目录里，真正的”中小技术博客”很少。要么是 Anthropic / Cloudflare / Next.js 这类一线品牌的深度实现，要么是”填个表蹭热度”的营销页。独立开发者博客、技术笔记站、个人知识库是缺失的那层——这正是本站 PDC 协议想要补的空缺。

AI 公司自己用 llms.txt #

一个有趣的现象：AI 公司（Anthropic、Cursor、Fireworks AI、Hugging Face）是最早采纳 llms.txt 的群体。因为他们最清楚 AI 读 HTML 有多痛苦。这形成了一个信号：一个网站是否有 llms.txt，某种程度上反映了它的技术团队是否理解 AI 的工作方式。

本站的实践 #

本站基于 llms.txt 标准，通过 PDC（Parallel Data Channel）协议做了扩展实现，覆盖了标准未涉及的三个空白：

  1. 加密文章保护：加密文章在 API 中返回 encrypted: true + 空内容，不泄露正文
  2. 分类聚合端点：自动生成 /api/categories/<slug>.json 和 .md，按分类聚合全文
  3. MCP 适配层：生成 /api/mcp.json 清单，可通过薄适配器接入 Claude Desktop、Cursor 等

如果你也在做类似的事情，欢迎加入 PDC 采用者网络。完整规范文档位于 /pdc-protocol.md。