AI Crawlers, robots.txt for AI, and llms.txt: Controlling Which Content AI Learns

In 2026, not just Googlebot but dozens of AI crawlers are continuously crawling the web to train AI models and provide real-time answers. Vietnamese businesses need to understand clearly: who is reading their content, where the control lies, and how to leverage this for AEO.

Major AI crawlers (2026)

Controlling access with robots.txt

Blocking a crawler entirely

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Blocking by specific path (recommended)

# Cho phép AI crawl blog và trang marketing
User-agent: GPTBot
Allow: /vi/blog/
Allow: /vi/dich-vu/
Disallow: /api/
Disallow: /admin/
Disallow: /khach-hang/
Disallow: /bao-cao/
Disallow: /

User-agent: ClaudeBot
Allow: /vi/blog/
Allow: /vi/dich-vu/
Disallow: /

# Cho phép Perplexity (real-time search — cần để xuất hiện trong Perplexity)
User-agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /admin/

# Chặn Meta và ByteDance (không muốn training Llama/TikTok AI)
User-agent: meta-externalagent
Disallow: /

User-agent: Bytespider
Disallow: /

Allowing all AI crawlers (AEO strategy)

# Cho phép toàn bộ AI crawlers — tối ưu cho AEO
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

# Vẫn bảo vệ các path nhạy cảm
User-agent: *
Disallow: /api/
Disallow: /admin/
Disallow: /.env

The llms.txt standard

llms.txt is a file placed at the root of the domain (/llms.txt), helping AI understand the website's structure and content in a structured way — like sitemap.xml but for semantics.

Basic llms.txt structure

# AEO Saigon

> Agency chuyên AEO (Answer Engine Optimization) và JSON-LD schema cho doanh nghiệp Việt Nam muốn xuất hiện trong AI search và Google rich results.

AEO Saigon giúp SME tại TP.HCM và Hà Nội xây dựng hiện diện trong Google AI Overview, ChatGPT, Perplexity và Gemini thông qua structured data và content strategy.

## Tài liệu quan trọng

- [Hướng dẫn AEO cho SME Việt Nam](https://example.vn/vi/blog/aeo-guide): Tổng quan về Answer Engine Optimization và cách bắt đầu
- [JSON-LD Schema cơ bản](https://example.vn/vi/blog/json-ld-schema): Organization, LocalBusiness, FAQPage
- [Dịch vụ AEO](https://example.vn/vi/dich-vu/aeo): Gói dịch vụ và báo giá
- [Case Study](https://example.vn/vi/case-study): Kết quả thực tế từ khách hàng

## Điều kiện sử dụng

Nội dung blog có thể được AI trích dẫn với attribution. Không được sử dụng để training mô hình thương mại mà không có thỏa thuận bằng văn bản.

Complete llms.txt for businesses

# Tên Công Ty / Thương Hiệu

> [Mô tả ngắn 1-2 câu về công ty và giá trị cốt lõi]

[Đoạn mô tả chi tiết hơn, 3-5 câu, về sản phẩm/dịch vụ, thị trường phục vụ, và điểm khác biệt]

## Sản phẩm/Dịch vụ

- [Tên sản phẩm 1](URL): Mô tả ngắn
- [Tên sản phẩm 2](URL): Mô tả ngắn

## Tài liệu kỹ thuật

- [Tài liệu API](URL): Nếu có API public
- [Hướng dẫn tích hợp](URL)

## Blog & Tài nguyên

- [Tên bài blog chính 1](URL): Chủ đề
- [Tên bài blog chính 2](URL): Chủ đề

## Thông tin liên hệ

- Website: https://example.vn
- Email: contact@example.vn
- Địa chỉ: [Địa chỉ đầy đủ]

## Điều kiện sử dụng nội dung

[Nêu rõ: AI được phép/không được phép dùng nội dung này như thế nào]

Deploying llms.txt in Next.js

// app/llms.txt/route.ts
import { NextResponse } from "next/server";

export async function GET() {
  const content = `# AEO Saigon

> Agency chuyên AEO và JSON-LD schema cho SME Việt Nam.

AEO Saigon giúp doanh nghiệp xuất hiện trong Google AI Overview, ChatGPT, và Perplexity thông qua structured data strategy.

## Blog

${await getBlogList()}

## Dịch vụ

- [AEO Audit](https://aeosaigon.com/vi/dich-vu/aeo-audit): Kiểm tra và tối ưu hóa schema
- [Schema Implementation](https://aeosaigon.com/vi/dich-vu/schema): Triển khai JSON-LD đầy đủ
`;

  return new NextResponse(content, {
    headers: { "Content-Type": "text/plain; charset=utf-8" },
  });
}

async function getBlogList(): Promise<string> {
  // Lấy danh sách bài blog từ CMS/file system
  const posts = await getBlogPosts();
  return posts
    .map((p) => `- [${p.title}](https://aeosaigon.com/vi/blog/${p.slug}): ${p.description}`)
    .join("\n");
}

Decision matrix: Allow or block?

AI crawler checklist

• Check server logs for AI crawler User-Agents
• Review current robots.txt — are AI crawlers currently being blocked?
• Decide on a strategy: allow, block by path, or block entirely
• Create /llms.txt with an organization description and list of important pages
• Ensure /api/, /admin/, and data paths all have Disallow for all bots
• Verify robots.txt with Google Search Console > robots.txt Tester
• Monitor traffic from AI crawlers monthly

Controlling AI crawlers is not about blocking everything or allowing everything. The right strategy is: allow AI access to content that carries brand value (blog, landing pages, service pages), block sensitive content and internal tools — then guide AI through llms.txt to ensure AI accurately understands your organization.

Frequently asked questions