构建Agent-Native网站:实战指南
如何让网站对AI Agent友好——从理论到实践,结合真实案例。
问题:Web是为人类设计的,不是为Agent
现代Web对AI Agent来说是一场噩梦。要读取一篇博客文章,Agent必须:
- 获取HTML页面(通常500KB+)
- 解析DOM,剥离广告、导航和脚本
- 从嵌套的div中提取实际内容
- 祈祷页面结构没有变化
这是低效、脆弱且浪费的。 Agent不需要CSS动画,不需要Cookie弹窗,更不需要解析React SPA来找到一段文字。
解决方案是Agent-Native Web:设计同时为人类和Agent提供服务的网站。
什么是Agent-Native Web?
Agent-Native Web是一种设计理念,网站提供并行接口:
- 人类接口:HTML + CSS + JavaScript(你熟悉的Web)
- Agent接口:Agent可直接消费的结构化JSON API
关键洞察不是替换HTML,而是增强它。人类获得精美的页面;Agent获得所需数据,无需解析开销。
核心组件
Agent-Native网站有三层架构:
1. 发现层 — Agent如何找到你
Agent需要知道网站支持它们。标准发现文件包括:
llms.txt — 根目录下的纯文本文件,描述站点结构和可用端点。可以理解为Agent版的robots.txt——不是"不要爬取这个",而是"这是高效使用我站点的"。
agent-manifest.json — 结构化JSON文件,定义:
- 站点元数据(名称、描述、语言)
- 可用API端点及数据格式
- 速率限制和错误处理
- 导航结构
agent.md — Agent使用指南,包含使用示例和最佳实践。
2. API层 — 结构化数据端点
Agent不解析HTML,而是消费JSON端点:
博客索引(/api/agent/blog-index.json):
{
"total_posts": 23,
"posts": [
{
"slug": "2026-05-19-qwen3-6-27b-fp8-4090-48gb",
"title": "Qwen3.6-27B-FP8 on RTX 4090",
"date": "2026-05-19",
"summary": "Deploying 256K context on 48GB GPU",
"tags": ["vLLM", "Qwen3.6", "FP8"],
"content_url": "/api/agent/content/2026-05-19-qwen3-6-27b-fp8-4090-48gb.json",
"html_url": "/blog/en/2026-05-19-qwen3-6-27b-fp8-4090-48gb.html"
}
]
}
文章内容(/api/agent/content/{slug}.json):
{
"slug": "2026-05-19-qwen3-6-27b-fp8-4090-48gb",
"title": "Qwen3.6-27B-FP8 on RTX 4090",
"sections": [
{
"id": "experiment-setup",
"heading": "Experiment Setup",
"content": "We tested Qwen3.6-27B-FP8 on a single RTX 4090..."
},
{
"id": "results",
"heading": "Results",
"content": "With gpu_mem=0.85, we achieved 261,856 tokens..."
}
]
}
搜索索引(/api/agent/search.json):
静态索引,包含用于客户端关键词过滤的标准化文本。Agent下载一次后本地过滤——无需服务器端查询处理。
3. 集成层 — 在HTML中嵌入提示
即使Agent不读取发现文件,也应该在HTML中找到提示:
<head>中的Meta标签:
<meta name="agent-manifest" content="https://qevos.ai/agent-manifest.json">
<meta name="llms-txt" content="https://qevos.ai/llms.txt">
HTML注释中的API链接:
<!-- Agent API Endpoints:
- Blog Index: /api/agent/blog-index.json
- Search: /api/agent/search.json
- Content: /api/agent/content/{slug}.json
-->
实战案例:QevosAgent网站
QevosAgent网站(qevos.ai)是Agent-Native Web的实际案例。以下是实现过程:
第一步:发现文件
根目录下三个文件:
llms.txt— 站点概述和端点文档agent-manifest.json— 结构化元数据(v1.2)agent.md— 使用指南和代码示例
第二步:自动化API生成
Python脚本(scripts/generate_agent_api.py)读取博客清单和Markdown源文件,生成:
blog-index.json— 完整文章索引和元数据search.json— 可搜索索引和标准化文本content/{slug}.json— 结构化文章内容,包含章节
章节从Markdown的##标题解析,让Agent无需解析HTML即可结构化地查看每篇文章。
第三步:发布流程集成
Agent-Native API生成已集成到博客发布流程中:
撰写Markdown → 生成HTML → 生成Agent API → 更新Sitemap → Git推送 → 部署
确保每篇新博客文章同时对人类和Agent可用。
第四步:诚实文档
一个关键教训:文档应该描述实际支持的功能,而不是计划支持的功能。
agent-manifest.json经历了多次迭代:
- v1.0:声明了未实现的功能
- v1.1:添加响应格式,文档化限制
- v1.2:移除误导性参数声明(如静态端点上的
limit参数)
核心规则:如果端点不支持某个参数,完全不要提及——即使说"不支持"也会误导Agent认为该参数存在。
为什么这很重要
对网站所有者
- 更好的AI搜索引擎优化:搜索引擎越来越多地使用AI Agent。Agent-Native站点更容易被索引。
- 面向未来:随着AI Agent成为主流,结构化API将成为必需品。
- 低成本:静态JSON文件几乎不需要托管成本。
对AI Agent
- 更快:JSON比HTML更小、解析更快
- 更可靠:结构化数据不会因为CSS变化而失效
- 更高效:Agent精确获取所需数据
对Web生态系统
Agent-Native Web创建了一个双接口Web,人类和Agent在其中高效共存。不是替换可视化Web——而是让Web为所有人工作。
开始行动:你的实施计划
第一阶段:发现文件(1小时)
- 在站点根目录创建
llms.txt - 创建
agent-manifest.json,描述站点结构 - 在HTML
<head>中添加meta标签
第二阶段:基础API(1天)
- 生成博客索引JSON文件
- 为现有文章创建内容JSON
- 用AI Agent测试(试试QevosAgent或Claude)
第三阶段:自动化(1周)
- 将API生成集成到构建流程中
- 自动化从Markdown解析章节
- 添加搜索索引生成
第四阶段:优化(持续)
- 监控Agent流量模式
- 优化JSON大小和结构
- 根据Agent反馈添加新端点
总结
Agent-Native Web不是激进的重新设计——它是一种增强。通过在现有HTML旁边添加结构化JSON端点,你让网站对新一代AI用户开放。
QevosAgent网站证明了这是实用且可实现的,只需最少的努力。从llms.txt开始,添加博客索引,然后逐步迭代。
2026年的Web属于人类和Agent。确保你的网站会说两种语言。
本文是Agent-Native Web系列的一部分,聚焦于实战实现。
作者:Dr. Qiu & QevosAgent 日期:2026年5月20日