Chuyển tới nội dung chính

Tạo file robots.txt & .htaccess chuẩn SEO

Sinh tệp robots.txt chuẩn IETF RFC 9309 kèm trình giả lập kiểm tra quy tắc cho Googlebot / AI crawlers, đồng thời hỗ trợ tạo file cấu hình Apache .htaccess chuyển hướng 301, HTTPS và nén Gzip.

Giới thiệu & Mục đích sử dụng

Tệp robots.txt đặt ở thư mục gốc website (ví dụ https://n1a.vn/robots.txt) là điểm tiếp xúc đầu tiên giữa bọ tìm kiếm (như Googlebot, Bingbot) hoặc bot thu thập dữ liệu AI (GPTBot, ClaudeBot) với toàn bộ cấu trúc website của bạn. Một dòng Disallow: / cấu hình nhầm trên môi trường production có thể khiến hàng nghìn bài viết biến mất khỏi Google chỉ trong vài ngày, trong khi bỏ trống khiến bot cào nát trang tìm kiếm nội bộ và lãng phí ngân sách thu thập dữ liệu (Crawl Budget).

Công cụ Tạo File robots.txt & .htaccess trên N1A giúp bạn khởi tạo nhanh cấu hình chuẩn cho Ghost CMS, WordPress, Next.js/Go SSR hoặc Staging, kiểm thử trực tiếp bất kỳ đường dẫn URL nào theo đúng thuật toán IETF RFC 9309, và đi kèm tab sinh mã .htaccess Apache/LiteSpeed bảo mật thư mục, ép buộc HTTPS cũng như chuyển hướng 301.

Cách dùng từng bước

  1. Chọn mẫu nền tảng (Ghost CMS, WordPress, Next.js/Go hoặc Staging)
    Chọn mẫu gần nhất với mã nguồn website để điền sẵn các thư mục hệ thống cần chặn như /ghost/, /wp-admin/ hay /api/internal/.
  2. Khai báo Sitemap XML và tùy chọn chặn bot huấn luyện AI
    Nhập đầy đủ URL Sitemap bắt đầu bằng https:// (mỗi dòng một sitemap) và bật nút chặn GPTBot, ClaudeBot, CCBot nếu bạn muốn bảo vệ bản quyền nội dung báo chí.
  3. Chạy kiểm thử đường dẫn URL ngay ở khung bên phải
    Chọn User-agent (ví dụ Googlebot hoặc GPTBot), nhập một đường dẫn cụ thể như /ghost/settings hay /cong-cu/tao-ma-qr để xem ngay trạng thái CHO PHÉP hay BỊ CHẶN và dòng quy tắc nào thắng cuộc.
  4. Tải tệp robots.txt hoặc chuyển tab tạo .htaccess
    Tải thẳng tệp robots.txt đưa lên thư mục gốc web root, hoặc dùng tab .htaccess để xuất quy tắc Rewrite 301 HTTPS/non-www và nén Gzip cho máy chủ Apache.

Công thức & Phương pháp tính

Từ tháng 9/2022, IETF chính thức chuẩn hóa giao thức loại trừ bot thành tiêu chuẩn internet RFC 9309, được Google, Bing và các công cụ tìm kiếm lớn áp dụng thống nhất theo 3 nguyên tắc xử lý quan trọng:

  1. Chọn nhóm User-agent đặc hiệu trước nhóm tổng quát: Nếu trong tệp có cả khối User-agent: GPTBot lẫn khối User-agent: *, trình thu thập mang tên GPTBot chỉ đọc các quy tắc bên trong khối của riêng nó và hoàn toàn bỏ qua khối *.
  2. Quy tắc có mẫu khớp dài hơn sẽ thắng (Longest-Match): Giả sử khối * vừa có Disallow: /ghost/ (dài 7 ký tự) vừa có Allow: /ghost/public/ (dài 14 ký tự), đường dẫn /ghost/public/page khớp cả hai mẫu nhưng sẽ được phép truy cập vì mẫu Allow dài hơn.
  3. Khi hòa độ dài thì Allow ưu tiên hơn Disallow: Trường hợp trùng khớp cùng độ dài ký tự, chuẩn RFC 9309 quy định cho phép (Allow) thắng lệnh cấm.
Chỉ thịÝ nghĩa kỹ thuật chuẩn RFC 9309Lưu ý thực tế với Googlebot
Disallow: /duong-dan/Không cho phép bot thu thập URL bắt đầu bằng tiền tố nàyNếu URL bị trang khác trỏ link tới, Google vẫn có thể lập chỉ mục URL dạng trơn (không mô tả); muốn ẩn hoàn toàn khỏi Google phải dùng thẻ noindex.
Allow: /duong-dan/conMở ngoại lệ cho phép vào nhánh con nằm trong thư mục cha đang bị DisallowHữu ích để mở tài nguyên CSS/JS hoặc endpoint AJAX cho bot render giao diện.
Sitemap: https://...Chỉ vị trí tệp Sitemap XML đầy đủ đường dẫn tuyệt đốiCó thể khai báo nhiều dòng Sitemap: cuối tệp.
Crawl-delay: 10Yêu cầu giãn cách giây giữa các lượt gọiĐược Bing/Yandex tôn trọng nhưng Googlebot bỏ qua (cần chỉnh trong Search Console nếu cần).
Quy tắc ưu tiên RFC 9309: Nhóm User-agent khớp đích danh thắng (*); trong cùng nhóm, mẫu khớp dài nhất thắng và khi cùng độ dài thì Allow thắng Disallow.

Ví dụ minh họa

Ví dụ 1 — Chặn tệp PDF nhưng giữ quyền đọc bài viết: Khai báo Disallow: /*.pdf$ sử dụng ký tự đại diện * (khớp chuỗi bất kỳ) kết hợp dấu neo cuối chuỗi $. Lúc này đường dẫn /tai-lieu/bao-cao.pdf sẽ bị chặn, còn bài viết chứa từ pdf giữa URL như /cong-cu/chuyen-doi-pdf vẫn được Googlebot thu thập bình thường.

Ví dụ 2 — Dùng .htaccess chuẩn hóa non-www về HTTPS một bước nhảy: Bật đồng thời ép buộc HTTPS và chuyển www. về tên miền gốc không www giúp máy chủ Apache trả mã 301 Moved Permanently, gom toàn bộ sức mạnh liên kết SEO về một địa chỉ duy nhất và khóa truy cập trực tiếp vào các file nhạy cảm như .env hoặc thư mục .git.

Lưu ý quan trọng

Cảnh báo bảo mật quan trọng: Tệp robots.txt hoàn toàn công khai cho bất kỳ ai mở trình duyệt gõ /robots.txt. Không bao giờ liệt kê đường dẫn bí mật như /admin-bi-mat-2026/ vào robots.txt vì kẻ xấu có thể đọc ngay danh sách đó. Để chặn truy cập trang quản trị, phải sử dụng xác thực đăng nhập trên máy chủ và khóa truy cập bằng firewall hoặc thẻ X-Robots-Tag: noindex.

Câu hỏi thường gặp

Dùng Disallow trong robots.txt có xóa bài viết đang có sẵn khỏi Google Search không?

Không hoàn toàn. Disallow chỉ ngăn Googlebot tải nội dung trang đó; nếu có trang khác trỏ link về, URL vẫn có thể xuất hiện trên kết quả tìm kiếm kèm dòng thông báo không có mô tả. Để xóa hẳn khỏi Google, phải bỏ Disallow để bot vào đọc được thẻ meta robots noindex (hoặc header X-Robots-Tag: noindex).

Khi có cả khối User-agent riêng cho một bot và khối User-agent: * thì quy tắc nào được áp dụng?

Theo RFC 9309, bot sẽ chỉ tuân theo duy nhất khối User-agent khớp chính xác tên của nó và bỏ qua toàn bộ khối *. Do đó nếu bạn tạo khối User-agent: Googlebot mà quên chép lại các dòng Disallow chung, Googlebot sẽ không bị ràng buộc bởi khối * nữa.

Ký tự $ ở cuối quy tắc trong robots.txt có tác dụng gì?

Dấu $ đánh dấu kết thúc chính xác của URL. Ví dụ Disallow: /*.pdf$ chặn đúng các URL kết thúc bằng .pdf nhưng không chặn URL có đuôi tham số hoặc đường dẫn con phía sau nếu không kết thúc bằng .pdf.

Chặn GPTBot và ClaudeBot có làm website bị mất thứ hạng trên Google Search không?

Không. GPTBot (OpenAI) và ClaudeBot (Anthropic) là bot thu thập dữ liệu huấn luyện AI; việc chặn chúng không ảnh hưởng gì tới Googlebot lập chỉ mục tìm kiếm Google. Nếu muốn kiểm soát luôn quyền dùng dữ liệu cho AI của Google, bạn có thể chặn riêng Google-Extended mà vẫn giữ Googlebot.

Website dùng Nginx, Caddy hoặc Traefik có sử dụng được file .htaccess không?

Không. Tệp .htaccess chỉ được đọc bởi máy chủ web Apache hoặc LiteSpeed. Với Nginx, Caddy hay Traefik, các quy tắc chuyển hướng 301 và nén Gzip cần được khai báo trong tệp cấu hình chính của reverse proxy.

Kích thước tối đa cho phép của tệp robots.txt theo chuẩn Google là bao nhiêu?

Theo tài liệu Google Search Central và RFC 9309, Google giới hạn đọc tối đa 500 KiB (512.000 byte) đầu tiên của tệp robots.txt và lưu cache khoảng 24 giờ.

Căn cứ pháp lý & Nguồn tham khảo

Thông số và quy định cập nhật đến: 2026-11-14