Chuyển tới nội dung chính

Lọc bỏ dòng trùng lặp

Làm sạch danh sách từ khóa SEO, email, mã sản phẩm hoặc dữ liệu hành chính bị lặp dòng, tự động cắt khoảng trắng, thống kê tần suất xuất hiện và sắp xếp A–Z theo chuẩn bảng chữ cái tiếng Việt.

Giới thiệu & Mục đích sử dụng

Khi tổng hợp danh sách email khách hàng từ nhiều nguồn, xuất bộ từ khóa SEO từ nhiều công cụ nghiên cứu, gom mã SKU kho hàng hoặc hợp nhất danh bạ liên hệ, dữ liệu thường bị dính nhiều dòng trùng lặp, lẫn dấu cách thừa ở cuối dòng khiến Excel không nhận ra trùng nhau hoặc xen kẽ các dòng trống gây gián đoạn quá trình nhập liệu.

Công cụ Lọc Bỏ Dòng Trùng Lặp trên N1A xử lý hàng nghìn dòng ngay trên trình duyệt với độ phức tạp tuyến tính O(n). Không chỉ xóa dòng trùng đơn thuần, công cụ còn giải quyết 2 điểm yếu của các tiện ích phổ thông: nhận biết chính xác sắp xếp A→Z chuẩn bảng chữ cái tiếng Việt (đặt chữ D trước chữ Đ thay vì đẩy chữ Đ xuống tận cuối bảng mã ASCII!) và cung cấp chế độ trích xuất riêng các dòng bị lặp để kiểm toán đối soát dữ liệu.

Cách dùng từng bước

  1. Dán danh sách dữ liệu (mỗi giá trị nằm trên 1 dòng)
    Hỗ trợ danh sách email, từ khóa, tên nhân sự, mã chứng khoán, số điện thoại hoặc đường dẫn URL.
  2. Chọn quy tắc so khớp trùng lặp và chuẩn hóa khoảng trắng
    Bật cắt khoảng trắng đầu/cuối dòng và tắt phân biệt HOA/thường để xem '[email protected]' và ' [email protected] ' là một bản ghi.
  3. Chọn chế độ lọc và cách sắp xếp danh sách đầu ra
    Giữ bản ghi đầu, giữ bản ghi cuối, chỉ trích lọc các dòng bị lặp nhiều lần, hoặc sắp xếp theo A–Z tiếng Việt / Z–A / tần suất / độ dài.
  4. Thêm đánh số hoặc xuất bảng thống kê tần suất CSV
    Tùy chọn đánh số thứ tự đầu dòng, thêm dấu phẩy cuối dòng hoặc tải bảng CSV tần suất xuất hiện của từng giá trị.

Công thức & Phương pháp tính

Quy trình xử lý dữ liệu danh sách được chuẩn hóa thành 4 công đoạn chính xác:

  1. Tiền xử lý dòng (Line Normalization): Tách dữ liệu theo ký tự xuống dòng \r\n hoặc \n. Khi bật tùy chọn cắt khoảng trắng, hệ thống loại bỏ dấu cách và ký tự Tab vô hình hai đầu mỗi dòng rồi đếm riêng số dòng trống bị lược bỏ.
  2. Tạo khóa đối chiếu trong bảng băm Map: Nếu tắt phân biệt HOA/thường, khóa so khớp được đưa về toLocaleLowerCase('vi-VN') nhưng giá trị hiển thị vẫn giữ định dạng nguyên bản (của lần xuất hiện đầu tiên hoặc cuối cùng tùy chế độ).
  3. Phân loại & Lọc nhóm: Tùy nhu cầu đối soát, người dùng có thể xuất tập hợp duy nhất (Unique set), chỉ những dòng xuất hiện từ 2 lần trở lên (Only duplicates — dùng để tìm mã đơn hàng bị nhập đúp), hoặc chỉ những dòng xuất hiện đúng 1 lần.
  4. Sắp xếp bản địa hóa bằng Intl.Collator('vi', { numeric: true }): Đảm bảo thứ tự chữ cái tiếng Việt tự nhiên (Dũng → Đạt chứ không xếp Đạt sau Z như hàm Array.sort() mặc định) và sắp số tự nhiên (Mục 2 trước Mục 10).
Chế độ lọc bản ghiÝ nghĩa nghiệp vụVí dụ áp dụng thực tế
Giữ lần đầu tiênMỗi giá trị chỉ giữ lại dòng xuất hiện sớm nhấtLàm sạch list gửi Email Marketing, bộ từ khóa SEO
Chỉ lấy dòng bị trùng (≥ 2 lần)Xuất riêng các dòng có bản saoTìm hóa đơn thanh toán 2 lần, kiểm tra trùng CCCD/SĐT
Chỉ lấy dòng xuất hiện đúng 1 lầnLoại bỏ hoàn toàn mọi phần tử có bản lặpTách các giao dịch chưa đối khớp giữa hai bảng kê
Chuẩn hóa khóa so khớp O(n) qua Map (tùy chọn Trim & bỏ phân biệt HOA/thường) kết hợp bộ sắp xếp Intl.Collator('vi') chuẩn thứ tự chữ cái Việt Nam.

Ví dụ minh họa

Ví dụ 1 — Làm sạch danh sách mã cổ phiếu và tên nhân sự lẫn khoảng trắng: Cho đầu vào 8 dòng: FPT, vcb, FPT, VCB , (dòng trống), ACB, Đạt, Dũng. Với cấu hình chuẩn hóa Trim + Không phân biệt HOA/thường + Sắp xếp A–Z Tiếng Việt, hệ thống báo cáo đã bỏ 1 dòng trống và gộp 2 dòng trùng (FPT lặp, VCB trùng vcb), cho ra danh sách 5 dòng sạch: ACB, Dũng, Đạt, FPT, vcb (Dũng đứng trước Đạt chuẩn chính tả Việt Nam).

Ví dụ 2 — Đối soát danh sách email đăng ký sự kiện bị trùng lặp: Khi bật chế độ Chỉ xuất dòng bị trùng trên tệp 500 email, công cụ tự động nhặt ra đúng các địa chỉ email đăng ký từ 2 lần trở lên và xếp theo bảng tần suất giảm dần, giúp ban tổ chức gửi thông báo xác nhận chính xác trong vài giây.

Lưu ý quan trọng

Khi làm việc với danh sách số điện thoại hoặc mã định danh có chứa chữ số 0 ở đầu (như 0912... hoặc mã bưu chính), việc xuất tệp CSV từ N1A giữ nguyên định dạng chuỗi có ký tự BOM UTF-8 để khi mở trên Microsoft Excel không bị lỗi font tiếng Việt. Dữ liệu danh sách khách hàng, email hay mã số cá nhân của bạn chỉ được xử lý trong bộ nhớ trình duyệt, tuyệt đối không tải lên máy chủ.

Câu hỏi thường gặp

Tại sao khi dùng hàm sắp xếp thông thường chữ 'Đạt' lại bị đẩy xuống sau chữ 'Z'?

Vì trong bảng mã Unicode, chữ 'Z' có mã U+005A còn chữ 'Đ' nằm ở nhóm Latin Mở rộng mã U+0110 nên hàm sort() mặc định xếp sai thứ tự. Công cụ trên N1A dùng Intl.Collator('vi') nên tự động xếp Đ đúng vị trí ngay sau chữ D.

Hai dòng giống nhau nhưng 1 dòng viết HOA, 1 dòng viết thường có được coi là trùng không?

Có, nếu bạn tắt công tắc 'Phân biệt chữ HOA và chữ thường' (mặc định được tắt để xử lý email/từ khóa). Nếu cần giữ phân biệt chữ HOA/thường cho mật khẩu hoặc mã case-sensitive, bạn chỉ cần bật công tắc này lên.

Làm sao tìm riêng những giá trị bị trùng trong danh sách thay vì xóa chúng đi?

Trong mục 'Chế độ lọc bản ghi', bạn chọn 'Chỉ xuất các dòng bị trùng (lặp >= 2 lần)'. Công cụ sẽ lọc ra chính xác những mục xuất hiện nhiều hơn 1 lần kèm bảng đếm số lần lặp chi tiết.

Vì sao nhìn hai dòng giống hệt nhau nhưng công cụ khác vẫn không xóa trùng được?

Nguyên nhân phổ biến nhất là do một dòng bị dính thêm dấu cách hoặc phím Tab vô hình ở cuối dòng. Hãy giữ nguyên tùy chọn 'Cắt khoảng trắng thừa đầu/cuối mỗi dòng' trên N1A để xử lý sạch lỗi này.

Tôi muốn thêm dấu phẩy cuối mỗi dòng hoặc bọc câu lệnh SQL thì làm thế nào?

Bạn có thể nhập ký tự vào ô 'Tiền tố mỗi dòng' và 'Hậu tố mỗi dòng' (ví dụ nhập tiền tố ' và hậu tố ',) hoặc bật tùy chọn đánh số thứ tự tự động ở đầu mỗi dòng.

Số lượng dòng tối đa có thể lọc trên trình duyệt là bao nhiêu?

Nhờ dùng cấu trúc Map độ phức tạp tuyến tính O(n), công cụ xử lý mượt mà hàng chục nghìn dòng văn bản chỉ trong vài chục mili-giây ngay trên trình duyệt mà không cần gửi file lên máy chủ.

Căn cứ pháp lý & Nguồn tham khảo

Thông số và quy định cập nhật đến: 2026-11-14