AI爬虫、robots.txt与llms.txt：控制哪些内容被AI学习

2026年，不仅是Google bot，数十个AI爬虫正在持续抓取网页，用于训练AI模型并提供实时答案。越南企业需要清楚了解：谁在读取自己的内容、控制权在哪里，以及如何将这一点用于AEO。

主要AI爬虫列表（2026年）

通过robots.txt进行控制

完全屏蔽某个爬虫

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

按具体路径屏蔽（推荐）

# 允许AI抓取博客和营销页面
User-agent: GPTBot
Allow: /vi/blog/
Allow: /vi/dich-vu/
Disallow: /api/
Disallow: /admin/
Disallow: /khach-hang/
Disallow: /bao-cao/
Disallow: /

User-agent: ClaudeBot
Allow: /vi/blog/
Allow: /vi/dich-vu/
Disallow: /

# 允许Perplexity（实时搜索——需允许才能出现在Perplexity中）
User-agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /admin/

# 屏蔽Meta和ByteDance（不希望训练Llama/TikTok AI）
User-agent: meta-externalagent
Disallow: /

User-agent: Bytespider
Disallow: /

允许所有AI爬虫（AEO策略）

# 允许所有AI爬虫——针对AEO优化
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

# 仍然保护敏感路径
User-agent: *
Disallow: /api/
Disallow: /admin/
Disallow: /.env

llms.txt标准

llms.txt是放置在域名根目录（/llms.txt）的文件，帮助AI以结构化方式理解网站内容与架构——类似sitemap.xml，但面向语义层面。

基础llms.txt结构

# AEO Saigon

> Agency chuyên AEO (Answer Engine Optimization) và JSON-LD schema cho doanh nghiệp Việt Nam muốn xuất hiện trong AI search và Google rich results.

AEO Saigon giúp SME tại TP.HCM và Hà Nội xây dựng hiện diện trong Google AI Overview, ChatGPT, Perplexity và Gemini thông qua structured data và content strategy.

## Tài liệu quan trọng

- [Hướng dẫn AEO cho SME Việt Nam](https://example.vn/vi/blog/aeo-guide): Tổng quan về Answer Engine Optimization và cách bắt đầu
- [JSON-LD Schema cơ bản](https://example.vn/vi/blog/json-ld-schema): Organization, LocalBusiness, FAQPage
- [Dịch vụ AEO](https://example.vn/vi/dich-vu/aeo): Gói dịch vụ và báo giá
- [Case Study](https://example.vn/vi/case-study): Kết quả thực tế từ khách hàng

## Điều kiện sử dụng

Nội dung blog có thể được AI trích dẫn với attribution. Không được sử dụng để training mô hình thương mại mà không có thỏa thuận bằng văn bản.

企业完整llms.txt

# Tên Công Ty / Thương Hiệu

> [Mô tả ngắn 1-2 câu về công ty và giá trị cốt lõi]

[Đoạn mô tả chi tiết hơn, 3-5 câu, về sản phẩm/dịch vụ, thị trường phục vụ, và điểm khác biệt]

## Sản phẩm/Dịch vụ

- [Tên sản phẩm 1](URL): Mô tả ngắn
- [Tên sản phẩm 2](URL): Mô tả ngắn

## Tài liệu kỹ thuật

- [Tài liệu API](URL): Nếu có API public
- [Hướng dẫn tích hợp](URL)

## Blog & Tài nguyên

- [Tên bài blog chính 1](URL): Chủ đề
- [Tên bài blog chính 2](URL): Chủ đề

## Thông tin liên hệ

- Website: https://example.vn
- Email: contact@example.vn
- Địa chỉ: [Địa chỉ đầy đủ]

## Điều kiện sử dụng nội dung

[Nêu rõ: AI được phép/không được phép dùng nội dung này như thế nào]

在Next.js中部署llms.txt

// app/llms.txt/route.ts
import { NextResponse } from "next/server";

export async function GET() {
  const content = `# AEO Saigon

> Agency chuyên AEO và JSON-LD schema cho SME Việt Nam.

AEO Saigon giúp doanh nghiệp xuất hiện trong Google AI Overview, ChatGPT, và Perplexity thông qua structured data strategy.

## Blog

${await getBlogList()}

## Dịch vụ

- [AEO Audit](https://aeosaigon.com/vi/dich-vu/aeo-audit): Kiểm tra và tối ưu hóa schema
- [Schema Implementation](https://aeosaigon.com/vi/dich-vu/schema): Triển khai JSON-LD đầy đủ
`;

  return new NextResponse(content, {
    headers: { "Content-Type": "text/plain; charset=utf-8" },
  });
}

async function getBlogList(): Promise<string> {
  // Lấy danh sách bài blog từ CMS/file system
  const posts = await getBlogPosts();
  return posts
    .map((p) => `- [${p.title}](https://aeosaigon.com/vi/blog/${p.slug}): ${p.description}`)
    .join("\n");
}

决策矩阵：应允许还是屏蔽？

AI爬虫检查清单

• 检查服务器日志中的AI爬虫User-Agent
• 审查现有robots.txt——是否正在屏蔽AI爬虫
• 确定策略：允许、按路径屏蔽还是完全屏蔽
• 创建/llms.txt，包含机构描述和重要页面列表
• 确保/api/、/admin/、数据路径对所有bot均设有Disallow
• 通过Google Search Console > robots.txt测试工具验证robots.txt
• 每月监控AI爬虫流量

控制AI爬虫并非全部屏蔽或全部允许。正确策略是：允许AI访问具有品牌价值的内容（博客、落地页、服务页），屏蔽敏感内容和内部工具——再通过llms.txt引导AI，确保AI对您的机构形成准确认知。

常见问题