Giới thiệu & Mục đích sử dụng
Hiệu năng tải trang và hạ tầng lập chỉ mục (technical SEO) là hai trụ cột quyết định trải nghiệm người dùng lẫn khả năng xếp hạng của website trên Google Search. Khi một trang web tải chậm, có nhiều mã JavaScript chặn hiển thị hoặc cấu hình nhầm tệp robots.txt và sitemap.xml, công cụ tìm kiếm sẽ tốn ngân sách thu thập (crawl budget) hoặc thậm chí bỏ qua toàn bộ nội dung quan trọng.
Công cụ Kiểm tra Tốc độ Website & SEO Kỹ thuật trên n1a.vn hợp nhất bốn tác vụ chẩn đoán trong cùng một giao diện: đo thời gian phản hồi máy chủ (TTFB) cùng các chỉ số Core Web Vitals trên thiết bị di động và máy tính; kiểm thử từng đường dẫn với tệp robots.txt theo chuẩn IETF RFC 9309; tạo hoặc kiểm tra tính hợp lệ của sitemap.xml chuẩn Sitemaps.org 0.9; và rà soát các liên kết, hình ảnh gãy mã lỗi 404/5xx trên trang.
Cách dùng từng bước
-
Đo tốc độ tải trang & Core Web VitalsTại tab Tốc độ & Core Web Vitals, nhập địa chỉ URL đầy đủ, chọn Di động (Mobile) hoặc Máy tính (Desktop) rồi bấm Đo PageSpeed & CWV. Bạn cũng có thể nhập trực tiếp số liệu LCP, INP, CLS từ Chrome DevTools để đối chiếu ngưỡng P75 và nhận khuyến nghị sửa lỗi.
-
Kiểm thử & tạo tệp robots.txt chuẩn RFC 9309Chuyển sang tab Robots.txt, bấm Tải /robots.txt từ web để lấy cấu hình thực tế hoặc chọn mẫu CMS có sẵn (WordPress, Ghost, Next.js, Thương mại điện tử). Nhập đường dẫn cần thử nghiệm và chọn Bot (Googlebot, GPTBot, Bingbot...) để xem quy tắc nào đang thắng.
-
Tạo hoặc kiểm tra Sitemap XML 0.9Ở tab Sitemap XML, dán danh sách URL mỗi dòng một địa chỉ hoặc nạp từ URL sitemap hiện có. Hệ thống tự động loại bỏ URL trùng lặp, mã hóa an toàn các ký tự XML đặc biệt (&, <, >, ", ') và cho phép tải ngay tệp sitemap.xml.
-
Quét liên kết gãy (Broken Links) trên trangMở tab Liên kết gãy, nhập URL trang đích và bấm Quét liên kết gãy để kiểm tra mã HTTP (2xx, 3xx, 404/5xx) của tối đa 30 liên kết và hình ảnh đầu tiên trên trang.
Công thức & Phương pháp tính
1. Ngưỡng đánh giá Core Web Vitals (chuẩn Google Web.dev P75):
- LCP (Largest Contentful Paint) — Thời gian hiển thị phần tử nội dung lớn nhất trong khung nhìn đầu tiên: Tốt ≤ 2.500 ms; Cần cải thiện từ 2.501–4.000 ms; Kém > 4.000 ms.
- INP (Interaction to Next Paint) — Độ phản hồi giao diện sau thao tác chạm/nhấp chuột (thay thế FID từ tháng 3/2024): Tốt ≤ 200 ms; Cần cải thiện 201–500 ms; Kém > 500 ms.
- CLS (Cumulative Layout Shift) — Tổng mức độ xê dịch bố cục bất ngờ: Tốt ≤ 0,1; Cần cải thiện 0,101–0,25; Kém > 0,25.
- TTFB (Time to First Byte) — Thời gian nhận byte đầu tiên từ máy chủ: Tốt ≤ 800 ms; Kém > 1.800 ms.
2. Thuật toán so khớp ưu tiên trong robots.txt (RFC 9309 §2.2.2):
Khi một Bot như Googlebot kiểm tra quyền truy cập vào đường dẫn, hệ thống ưu tiên nhóm User-agent khớp cụ thể nhất (nếu không có sẽ dùng nhóm *). Bên trong nhóm đó, mọi chỉ thị Allow và Disallow có mẫu khớp đầu đường dẫn được so sánh theo độ dài byte UTF-8 của mẫu: mẫu dài hơn (chi tiết hơn) sẽ thắng. Trường hợp một quy tắc Allow và một quy tắc Disallow có độ dài bằng nhau, RFC 9309 quy định Allow luôn thắng để hạn chế chặn nhầm nội dung.
3. Quy chuẩn Sitemap XML 0.9: Mỗi tệp sitemap chứa tối đa 50.000 URL và dung lượng chưa nén không quá 50 MB (52.428.800 bytes). Mọi địa chỉ trong thẻ <loc> phải dùng URL tuyệt đối kèm giao thức https:// hoặc http:// và escape 5 thực thể XML bắt buộc (đặc biệt dấu & thành &).
Ví dụ minh họa
Ví dụ 1 — Đọc quy tắc chồng lấn trong robots.txt: Giả sử tệp robots.txt khai báo đồng thời Disallow: /admin/ (độ dài 7 byte) và Allow: /admin/public/ (độ dài 14 byte). Khi kiểm tra đường dẫn /admin/public/tai-lieu.html, cả hai quy tắc đều khớp tiền tố nhưng mẫu /admin/public/ dài 14 byte lớn hơn 7 byte nên Bot vẫn được phép thu thập; trong khi /admin/users chỉ khớp /admin/ nên bị chặn.
Ví dụ 2 — Escape tham số truy vấn trong Sitemap XML: Một URL bài viết có tham số https://n1a.vn/tra-cuu?nhom=thue&nam=2026 nếu đặt nguyên dấu & vào XML sẽ làm trình phân tích của Google Search Console báo lỗi cú pháp. Bộ tạo Sitemap trên N1A tự động chuyển thành https://n1a.vn/tra-cuu?nhom=thue&nam=2026 và loại bỏ các dòng trùng lặp.
Lưu ý quan trọng
Lưu ý giới hạn kỹ thuật:
- Khi không cấu hình khóa API Google PageSpeed Insights, công cụ tự động chuyển sang chế độ đo HTTP & DOM trực tiếp từ máy chủ N1A (đo TTFB thật, kích thước HTML, số script chặn hiển thị và ảnh thiếu kích thước cố định
width/heightgây lỗi CLS). - Tác vụ quét liên kết gãy giới hạn 30 liên kết đầu tiên trên trang (timeout 4 giây/link) nhằm tránh quá tải máy chủ đích; một số hệ thống tường lửa WAF (Cloudflare, Akamai) có thể trả mã 403 đối với bot kiểm tra tự động.
- Hệ thống backend áp dụng lớp kiểm tra chống SSRF nghiêm ngặt, chỉ cho phép truy vấn tới tên miền/IP công khai hợp lệ qua HTTP/HTTPS.
Câu hỏi thường gặp
Chỉ số INP trong Core Web Vitals là gì và khác gì với FID trước đây?
INP (Interaction to Next Paint) đo độ trễ phản hồi cho toàn bộ các tương tác (nhấp chuột, gõ phím, chạm màn hình) trong suốt phiên truy cập trang, thay thế chính thức cho FID từ tháng 3/2024. Mức Tốt là ≤ 200 ms ở phân vị 75% lượt truy cập thực tế.
Vì sao cùng một đường dẫn có cả Disallow và Allow mà Googlebot vẫn index?
Theo chuẩn IETF RFC 9309, robot tìm kiếm áp dụng quy tắc có mẫu đường dẫn cụ thể (dài) nhất, không phụ thuộc thứ tự dòng trước hay sau. Nếu Allow và Disallow dài bằng nhau thì Allow luôn được ưu tiên.
Tôi có nên thêm chỉ thị Crawl-delay vào robots.txt để giảm tải máy chủ?
Không nên kỳ vọng vào Crawl-delay với Google Search vì chuẩn RFC 9309 đã loại bỏ chỉ thị này và Googlebot bỏ qua hoàn toàn. Để điều chỉnh tốc độ thu thập của Google, hãy dùng phần cài đặt Crawl Rate hoặc tối ưu cache phản hồi HTTP.
Khi website có hơn 50.000 URL thì tạo Sitemap XML thế nào?
Theo giao thức Sitemaps.org 0.9, bạn cần chia nhỏ thành nhiều tệp sitemap con (mỗi tệp ≤ 50.000 URL và ≤ 50 MB trước khi nén gzip), sau đó liệt kê tất cả tệp con trong một tệp mẹ gọi là Sitemap Index (<sitemapindex>).
Chặn bot AI (GPTBot, ClaudeBot) trong robots.txt có làm tụt hạng tìm kiếm Google không?
Không ảnh hưởng tới kết quả tìm kiếm Google Search truyền thống nếu bạn chỉ chặn riêng User-agent: GPTBot, ClaudeBot hoặc Google-Extended mà vẫn giữ quyền thu thập cho Googlebot.
Tại sao kết quả quét Broken Links lại hiển thị mã 403 cho một số link vẫn mở được bằng tay?
Một số website (như trang thương mại điện tử lớn hoặc mạng xã hội) bật tường lửa chống bot chặn các yêu cầu HEAD/GET không kèm cookie trình duyệt, trả về HTTP 403 hoặc 429 dù trang vẫn tồn tại bình thường với người dùng thật.
Căn cứ pháp lý & Nguồn tham khảo
- Google Web.dev — Core Web Vitals Thresholds (LCP, INP, CLS) (Ngưỡng phân vị P75 chính thức của Google)
- IETF RFC 9309 — Robots Exclusion Protocol (Chuẩn phân tích cú pháp và quy tắc ưu tiên robots.txt)
- Sitemaps.org Protocol 0.9 Specification (Quy chuẩn cấu trúc XML Sitemap và giới hạn 50.000 URL)