AI Crawlers, robots.txt cho AI và llms.txt: Kiểm Soát Nội Dung Nào Được AI Học

Năm 2026, không chỉ Google bot mà hàng chục AI crawler đang crawl web liên tục để huấn luyện mô hình AI và cung cấp câu trả lời real-time. Doanh nghiệp Việt Nam cần hiểu rõ: ai đang đọc nội dung của mình, quyền kiểm soát ở đâu, và cách tận dụng điều này cho AEO.

Danh sách AI crawlers chính (2026)

Kiểm soát bằng robots.txt

Chặn hoàn toàn một crawler

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Chặn theo path cụ thể (khuyến nghị)

# Cho phép AI crawl blog và trang marketing
User-agent: GPTBot
Allow: /vi/blog/
Allow: /vi/dich-vu/
Disallow: /api/
Disallow: /admin/
Disallow: /khach-hang/
Disallow: /bao-cao/
Disallow: /

User-agent: ClaudeBot
Allow: /vi/blog/
Allow: /vi/dich-vu/
Disallow: /

# Cho phép Perplexity (real-time search — cần để xuất hiện trong Perplexity)
User-agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /admin/

# Chặn Meta và ByteDance (không muốn training Llama/TikTok AI)
User-agent: meta-externalagent
Disallow: /

User-agent: Bytespider
Disallow: /

Cho phép tất cả AI crawlers (chiến lược AEO)

# Cho phép toàn bộ AI crawlers — tối ưu cho AEO
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

# Vẫn bảo vệ các path nhạy cảm
User-agent: *
Disallow: /api/
Disallow: /admin/
Disallow: /.env

Tiêu chuẩn llms.txt

llms.txt là file đặt tại root của domain (/llms.txt), giúp AI hiểu cấu trúc và nội dung website theo cách có cấu trúc — giống sitemap.xml nhưng dành cho ngữ nghĩa.

Cấu trúc llms.txt cơ bản

# AEO Saigon

> Agency chuyên AEO (Answer Engine Optimization) và JSON-LD schema cho doanh nghiệp Việt Nam muốn xuất hiện trong AI search và Google rich results.

AEO Saigon giúp SME tại TP.HCM và Hà Nội xây dựng hiện diện trong Google AI Overview, ChatGPT, Perplexity và Gemini thông qua structured data và content strategy.

## Tài liệu quan trọng

- [Hướng dẫn AEO cho SME Việt Nam](https://example.vn/vi/blog/aeo-guide): Tổng quan về Answer Engine Optimization và cách bắt đầu
- [JSON-LD Schema cơ bản](https://example.vn/vi/blog/json-ld-schema): Organization, LocalBusiness, FAQPage
- [Dịch vụ AEO](https://example.vn/vi/dich-vu/aeo): Gói dịch vụ và báo giá
- [Case Study](https://example.vn/vi/case-study): Kết quả thực tế từ khách hàng

## Điều kiện sử dụng

Nội dung blog có thể được AI trích dẫn với attribution. Không được sử dụng để training mô hình thương mại mà không có thỏa thuận bằng văn bản.

llms.txt đầy đủ cho doanh nghiệp

# Tên Công Ty / Thương Hiệu

> [Mô tả ngắn 1-2 câu về công ty và giá trị cốt lõi]

[Đoạn mô tả chi tiết hơn, 3-5 câu, về sản phẩm/dịch vụ, thị trường phục vụ, và điểm khác biệt]

## Sản phẩm/Dịch vụ

- [Tên sản phẩm 1](URL): Mô tả ngắn
- [Tên sản phẩm 2](URL): Mô tả ngắn

## Tài liệu kỹ thuật

- [Tài liệu API](URL): Nếu có API public
- [Hướng dẫn tích hợp](URL)

## Blog & Tài nguyên

- [Tên bài blog chính 1](URL): Chủ đề
- [Tên bài blog chính 2](URL): Chủ đề

## Thông tin liên hệ

- Website: https://example.vn
- Email: contact@example.vn
- Địa chỉ: [Địa chỉ đầy đủ]

## Điều kiện sử dụng nội dung

[Nêu rõ: AI được phép/không được phép dùng nội dung này như thế nào]

Triển khai llms.txt trong Next.js

// app/llms.txt/route.ts
import { NextResponse } from "next/server";

export async function GET() {
  const content = `# AEO Saigon

> Agency chuyên AEO và JSON-LD schema cho SME Việt Nam.

AEO Saigon giúp doanh nghiệp xuất hiện trong Google AI Overview, ChatGPT, và Perplexity thông qua structured data strategy.

## Blog

${await getBlogList()}

## Dịch vụ

- [AEO Audit](https://aeosaigon.com/vi/dich-vu/aeo-audit): Kiểm tra và tối ưu hóa schema
- [Schema Implementation](https://aeosaigon.com/vi/dich-vu/schema): Triển khai JSON-LD đầy đủ
`;

  return new NextResponse(content, {
    headers: { "Content-Type": "text/plain; charset=utf-8" },
  });
}

async function getBlogList(): Promise<string> {
  // Lấy danh sách bài blog từ CMS/file system
  const posts = await getBlogPosts();
  return posts
    .map((p) => `- [${p.title}](https://aeosaigon.com/vi/blog/${p.slug}): ${p.description}`)
    .join("\n");
}

Ma trận quyết định: Nên cho phép hay chặn?

Checklist kiểm tra AI crawlers

• Kiểm tra server logs cho các User-Agent AI crawlers
• Review robots.txt hiện tại — có đang chặn AI crawlers không
• Quyết định chiến lược: cho phép, chặn theo path, hay chặn toàn bộ
• Tạo /llms.txt với mô tả tổ chức và danh sách trang quan trọng
• Đảm bảo /api/, /admin/, data path đều có Disallow cho tất cả bots
• Verify robots.txt với Google Search Console > robots.txt Tester
• Theo dõi traffic từ AI crawlers hàng tháng

Kiểm soát AI crawlers không phải là chặn tất cả hay cho phép tất cả. Chiến lược đúng là: cho phép AI truy cập nội dung mang giá trị thương hiệu (blog, landing page, dịch vụ), chặn nội dung nhạy cảm và internal tools — rồi hướng dẫn AI qua llms.txt để đảm bảo AI hiểu đúng về tổ chức của bạn.

Câu hỏi thường gặp