Chặn bot AI cào nội dung website: robots.txt, thẻ meta, điều khoản sử dụng và giới hạn pháp lý của từng cách

Bạn có thể giảm đáng kể việc nội dung bị bot AI thu thập, nhưng không thể chặn tuyệt đối. Robots.txt chỉ là lời đề nghị mà bot tuân thủ thì nghe; thẻ meta chỉ tác dụng với dịch vụ đọc nó; chặn ở máy chủ thì bị qua mặt bằng cách đổi danh tính; điều khoản sử dụng chỉ có giá trị khi bạn tìm được và kiện được bên vi phạm. Cách làm hợp lý là dựng nhiều lớp, hiểu giới hạn từng lớp, và lưu bằng chứng việc mình đã dựng chúng.

Từ ngày 09/04/2026, việc dựng các lớp này còn có thêm ý nghĩa pháp lý: Điều 37b Nghị định 17/2023 (bổ sung bởi Nghị định 134/2026) cho chủ tác phẩm quyền bảo lưu, không cho dùng tác phẩm để huấn luyện AI, với điều kiện bảo lưu được thể hiện ở dạng máy đọc được và công khai.

Lớp 1: robots.txt

Robots.txt là tệp văn bản đặt ở địa chỉ gốc của website (ví dụ tenmien.vn/robots.txt), cho các bộ thu thập tự động biết phần nào được vào, phần nào không. Tiêu chuẩn hiện hành là RFC 9309. Mỗi nhóm quy tắc bắt đầu bằng dòng User-agent (tên bot), theo sau là các dòng Allow, Disallow.

Mẫu chặn một số bot đã công bố mã định danh

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Ý nghĩa từng mã theo tài liệu chính thức mà bài viết đã kiểm:

Mã	Bên công bố	Dùng để làm gì	Ghi chú
GPTBot	OpenAI	Thu thập nội dung có thể được dùng huấn luyện các mô hình nền tảng	OpenAI hướng dẫn thêm Disallow: / để báo nội dung không được dùng huấn luyện (nguồn)
OAI-SearchBot	OpenAI	Đưa website vào kết quả tìm kiếm trong ChatGPT	Chặn mã này thì trang không xuất hiện trong câu trả lời tìm kiếm của ChatGPT
ChatGPT-User	OpenAI	Truy cập trang khi người dùng ChatGPT yêu cầu	OpenAI viết: do hành động do người dùng khởi tạo, quy tắc robots.txt có thể không áp dụng
Google-Extended	Google	Quản lý việc nội dung có được dùng huấn luyện và làm căn cứ cho mô hình Gemini	Không ảnh hưởng tới Google Tìm kiếm, không phải tín hiệu xếp hạng; không có chuỗi nhận diện riêng trong yêu cầu truy cập (nguồn)
CCBot	Common Crawl	Thu thập dữ liệu web cho kho dữ liệu mở của Common Crawl; kho mở thì bên thứ ba có thể tải về dùng lại	Common Crawl hướng dẫn chặn bằng Disallow: / (nguồn)

Danh sách bot thay đổi liên tục. Đừng chép một danh sách dài từ diễn đàn rồi quên; hãy định kỳ đối chiếu với trang tài liệu của từng bên và với nhật ký máy chủ của chính bạn.

Giới hạn của robots.txt

• RFC 9309 viết rõ: các quy tắc này "không phải là một hình thức cấp quyền truy cập", và giao thức "không thay thế cho các biện pháp bảo mật nội dung hợp lệ" (RFC 9309).
• Liệt kê đường dẫn trong robots.txt làm lộ đường dẫn đó cho bất kỳ ai đọc tệp. Đừng dùng robots.txt để "giấu" thư mục nhạy cảm.
• Robots.txt chặn thu thập, không chặn lập chỉ mục. Tài liệu của Google về thẻ meta robots nói trang bị chặn bằng robots.txt thì các quy tắc lập chỉ mục trên trang sẽ không được đọc và bị bỏ qua.
• Chỉ tác dụng với trang của bạn. Bài đã bị trang khác đăng lại thì bot vẫn lấy được ở đó.

Lớp 2: thẻ meta và thuộc tính trong trang

Thẻ meta robots đặt trong phần đầu trang. Với Google, thẻ nosnippet ngăn hiển thị đoạn trích trong kết quả tìm kiếm và theo tài liệu của Google, ngăn nội dung được dùng làm đầu vào trực tiếp cho AI Overviews và AI Mode (nguồn). Cái giá là trang mất đoạn trích trên kết quả tìm kiếm, có thể giảm lượt bấm. Thuộc tính data-nosnippet cho phép đánh dấu từng phần của trang không dùng làm đoạn trích; tài liệu của Google không nói rõ thuộc tính này có tác dụng với tính năng AI hay không.

Bạn sẽ gặp trên mạng nhiều thẻ meta tự đặt kiểu "noai", "noimageai". Chúng không phải tiêu chuẩn chung; chỉ dịch vụ nào tuyên bố đọc chúng mới tôn trọng. Có thể thêm vào như một lớp tuyên bố, nhưng đừng coi là chặn được.

Lớp 3: chặn ở máy chủ và mạng phân phối nội dung

Đây là lớp duy nhất thực sự từ chối yêu cầu thay vì chỉ "đề nghị". Các cách thường dùng:

1. Từ chối yêu cầu có chuỗi nhận diện của bot AI đã biết, trả mã lỗi 403.
2. Giới hạn tốc độ: một địa chỉ tải hàng trăm trang mỗi phút gần như chắc chắn là bot.
3. Đặt nội dung giá trị cao (bài chuyên sâu, tài liệu tải về, khóa học) sau đăng nhập.
4. Dùng tính năng quản lý bot của dịch vụ mạng phân phối nội dung (CDN) nếu có.

Giới hạn: chuỗi nhận diện có thể bị giả; bot có thể đổi địa chỉ liên tục; chặn quá tay làm hỏng việc xem trước liên kết trên mạng xã hội hoặc chặn nhầm bot công cụ tìm kiếm. Nên chạy chế độ ghi nhật ký vài tuần, xem bot nào thực sự vào trang, rồi mới bật chặn.

Ý nghĩa pháp lý của lớp này

Khoản 2 Điều 61 Nghị định 17/2023 coi "ứng dụng kiểm soát truy cập" là một dạng biện pháp công nghệ hữu hiệu. Khoản 4 Điều 28 Luật Sở hữu trí tuệ coi cố ý hủy bỏ hoặc làm vô hiệu biện pháp công nghệ hữu hiệu để thực hiện hành vi xâm phạm là xâm phạm quyền tác giả; khoản 3 Điều 61 Nghị định 17/2023 giải thích "vô hiệu hóa" bao gồm cả né tránh, bỏ qua, vượt qua. Điểm c khoản 1 Điều 37a cũng loại khỏi ngoại lệ huấn luyện mọi trường hợp làm vô hiệu biện pháp công nghệ bảo vệ. Nói cách khác, bot vượt đăng nhập hoặc giả danh để qua bộ lọc của bạn không thể viện dẫn ngoại lệ đó.

Lớp 4: điều khoản sử dụng và tuyên bố bảo lưu

Một trang điều khoản sử dụng nên có điều khoản riêng về AI, ví dụ:

"Nội dung trên website này không được thu thập tự động, sao chép hoặc sử dụng để huấn luyện, tinh chỉnh, thử nghiệm hệ thống trí tuệ nhân tạo khi chưa có thỏa thuận bằng văn bản với chủ sở hữu. Chủ sở hữu bảo lưu quyền theo Điều 37b Nghị định 17/2023/NĐ-CP (được bổ sung bởi Nghị định 134/2026/NĐ-CP)."

Giới hạn: bot không "đọc và đồng ý" điều khoản như người. Giá trị ràng buộc hợp đồng với bên thu thập tự động là vấn đề còn tranh luận, và khi bên kia ở nước ngoài thì việc thực thi tốn kém. Dù vậy, điều khoản này có ích ở hai chỗ: thể hiện ý chí bảo lưu công khai, rõ ràng; và làm căn cứ khi bạn thương lượng hoặc khiếu nại với một bên cụ thể.

Lớp nào đáp ứng yêu cầu "máy đọc được" của Điều 37b

Khoản 2 Điều 37b yêu cầu bảo lưu thể hiện "trong siêu dữ liệu, các biện pháp công nghệ bảo vệ quyền hoặc thông tin quản lý quyền mà máy đọc được", công bố công khai, rõ ràng, bảo đảm bên sử dụng có khả năng nhận biết. Đối chiếu:

Lớp	Máy đọc được	Công khai	Đánh giá
robots.txt	Có	Có	Lập luận tốt để coi là phù hợp; nghị định không chỉ định cụ thể
Thẻ meta trong trang	Có	Có	Phù hợp nếu thẻ thể hiện rõ ý bảo lưu và được dịch vụ đọc
Chặn ở máy chủ, đăng nhập	Là biện pháp công nghệ	Không cần công khai nội dung	Thuộc nhóm biện pháp công nghệ bảo vệ quyền
Siêu dữ liệu trong tệp ảnh, video	Có	Đi theo tệp	Mạnh nhất khi tệp bị đăng lại nơi khác
Điều khoản sử dụng bằng chữ	Hạn chế	Có	Nên có, nhưng không nên là lớp duy nhất

Đây là đánh giá thực tiễn, chưa có hướng dẫn chính thức. Cách an toàn là làm ít nhất robots.txt cộng siêu dữ liệu cộng điều khoản.

Lưu bằng chứng việc đã chặn

Nếu sau này tranh chấp, câu hỏi đầu tiên sẽ là: bạn bảo lưu từ khi nào? Hãy:

• Lưu lịch sử thay đổi tệp robots.txt (dùng hệ thống quản lý phiên bản hoặc chụp màn hình có ngày);
• Lưu bản lưu trữ công khai của trang điều khoản sử dụng sau mỗi lần sửa;
• Giữ nhật ký máy chủ ít nhất vài tháng, đặc biệt các lượt truy cập từ bot bị chặn mà vẫn vào;
• Ghi chép ngày bật quy tắc chặn trên máy chủ hoặc CDN.

Điều không nên hứa với bản thân

Không có cấu hình nào làm nội dung công khai trở nên "không thể bị AI học". Nội dung đã công khai thì người đọc có thể sao chép thủ công, trang khác có thể đăng lại, và có bot không tuân thủ. Mục tiêu thực tế là: giảm lượng bị thu thập từ các bên lớn có tuân thủ, thể hiện rõ ý chí bảo lưu theo đúng hình thức pháp luật yêu cầu, và có bằng chứng để đòi quyền khi phát hiện bên nào vượt qua. Ba mục tiêu đó đạt được nếu bạn dựng đủ bốn lớp và duy trì chúng.