Robots.txt là gì? Cách Tạo File Robots.txt Chuẩn SEO

Chắc hẳn khi làm SEO, có những lúc bạn muốn ngăn công cụ tìm kiếm truy cập và hiển thị một trang nào đó cho người dùng, hoặc tìm cách để các bot lập chỉ mục website nhanh hơn.

Hãy tạo ngay file robots.txt cho WordPress! Đây chính là giải pháp giúp bạn kiểm soát việc thu thập dữ liệu một cách hiệu quả.

File robots.txt là gì?

File robots.txt đóng vai trò như một hướng dẫn cho các công cụ tìm kiếm về cách thu thập dữ liệu, lập chỉ mục nội dung và hiển thị website của bạn cho người dùng.

Dưới đây là mẫu file robots.txt chuẩn cho WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /
Sitemap: https://tenmiencuawebsite.com/sitemap_index.xml

Tệp này cho phép tất cả các công cụ tìm kiếm thu thập và lập chỉ mục toàn bộ dữ liệu trên website, ngoại trừ trang quản trị /wp-admin/. Bạn có thể tùy chỉnh file này để phù hợp với nhu cầu của website mình.

>> Tìm hiểu thêm: Google Index là gì? Cách giúp website index trên Google hiệu quả

Tại sao bạn nên tạo file robots.txt cho WordPress?

Bạn nên hạn chế hoặc ngăn chặn Googlebot thu thập dữ liệu hoặc lập chỉ mục website trong một số trường hợp sau:

1. Nội dung không có giá trị hoặc bị trùng lặp

Trên website có thể chứa nhiều tập tin hệ thống, plugin WordPress hoặc nội dung không hữu ích với người dùng. Nếu vẫn để các công cụ tìm kiếm lập chỉ mục những nội dung này, website có thể bị loãng, ảnh hưởng đến chất lượng tổng thể.

2. Trang con có vai trò thiết lập và thử nghiệm website

Nếu website chưa hoàn thiện hoặc đang trong giai đoạn thử nghiệm, bạn nên sử dụng file robots.txt để ngăn công cụ tìm kiếm lập chỉ mục.

Ngoài ra, nếu trang web có các trang con dùng để kiểm tra tính năng hoặc giao diện, việc để người dùng truy cập vào những trang này có thể ảnh hưởng đến hình ảnh và sự chuyên nghiệp của doanh nghiệp.

3. Website có lượng nội dung lớn

Mỗi bot có giới hạn khi thu thập dữ liệu trong một lần truy cập. Nếu website có quá nhiều nội dung, bot sẽ mất nhiều thời gian hơn để index, khiến một số nội dung bị trì hoãn đến lần quét tiếp theo.

4. Giúp công cụ tìm kiếm dẽ phân tích website hơn

Nếu không có file robots.txt, bot có thể thu thập tất cả nội dung liên tục, làm giảm tốc độ tải trang, ảnh hưởng đến trải nghiệm người dùng. Điều này có thể dẫn đến giảm lượt truy cập và tăng tỷ lệ thoát trang.

Việc tạo file robots.txt cho WordPress giúp công cụ tìm kiếm hoạt động hiệu quả hơn, góp phần cải thiện SEO cho website.

Hãy cùng tìm hiểu thêm về SEO là gì? Làm SEO như thế nào? để xem bạn đã nắm được bao nhiêu yếu tố quan trọng nhé!

File robots.txt thường nằm ở đâu?

WordPress tự động tạo một file robots.txt ảo trong thư mục gốc (public_html) của website. Bạn có thể kiểm tra file này bằng cách truy cập: tenmiencuaban.com/robots.txt.

Tuy nhiên, do đây là file mặc định và không thể chỉnh sửa trực tiếp, bạn cần tạo một file robots.txt tùy chỉnh để thay thế và kiểm soát tốt hơn cách công cụ tìm kiếm thu thập dữ liệu trên website.

Tìm hiểu các chỉ lệnh của file robots.txt

Mỗi file robots.txt bao gồm nhiều chỉ lệnh, mỗi chỉ lệnh được viết trên một dòng riêng. Dưới đây là các thành phần chính của file robots.txt:

1. User-agent (Tác nhân người dùng)

• Đây là chỉ lệnh bắt buộc, giúp xác định bot nào sẽ tuân theo các quy tắc trong file.
• User-agent là trình thu thập dữ liệu (crawler), ví dụ: Googlebot, Bingbot, Yahoo bot…
• Dấu * đại diện cho tất cả các trình thu thập dữ liệu.

2. Disallow (Không cho phép)

• Lệnh này chặn các bot thu thập dữ liệu từ các trang hoặc thư mục được chỉ định.
• Đường dẫn trong lệnh Disallow phải được viết đầy đủ như trên trình duyệt hoặc kết thúc bằng dấu / nếu là thư mục.
• Dấu / nghĩa là cấm thu thập dữ liệu toàn bộ website.
• Dấu * đại diện cho một phần hoặc toàn bộ chuỗi đường dẫn.

3. Allow (Cho phép)

• Lệnh này cho phép bot thu thập dữ liệu từ các trang hoặc thư mục cụ thể.
• Allow thường được dùng để cấp quyền truy cập cho một số trang con trong thư mục bị chặn bởi Disallow.
• Cách viết đường dẫn tương tự như lệnh Disallow.
• Dấu / cho phép thu thập toàn bộ nội dung trên website.
• Dấu * đại diện cho một phần hoặc toàn bộ chuỗi đường dẫn.

Ví dụ:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php/

File robots.txt này chặn tất cả bot truy cập thư mục /wp-admin/, nhưng vẫn cho phép quét /admin-ajax.php/ để hỗ trợ một số plugin hoạt động.

Lưu ý: Mỗi User-agent cần ít nhất một chỉ lệnh Allow hoặc Disallow.

4. Noindex (Không lập chỉ mục)

• Google đôi khi vẫn lập chỉ mục các trang bị Disallow, vì vậy cần dùng Noindex để ngăn việc này.
• Các trang không nên lập chỉ mục bao gồm: landing page, trang thử nghiệm, trang cảm ơn…
• Lệnh Noindex đảm bảo bot không lập chỉ mục trang chỉ định.
• Đường dẫn cần đầy đủ hoặc kết thúc bằng / nếu là thư mục.

5. Sitemap (Sơ đồ trang web)

• Đây không phải là chỉ lệnh bắt buộc, nhưng giúp bot thu thập dữ liệu tốt hơn.
• Sitemap cung cấp danh sách các trang quan trọng để bot quét, từ đó cải thiện kết quả SEO.

Ví dụ:

User-agent: *
Disallow: /trang-cam-on/
Noindex: /trang-cam-on/
Sitemap: https://tenmiencuaban.com/sitemap.xml

File này chặn bot truy cập và lập chỉ mục trang cảm ơn, đồng thời cung cấp sitemap để hỗ trợ SEO website.

Cách tạo file robots.txt cho WordPress chi tiết nhất

1. Tạo file robots.txt cho WordPress bằng Yoast SEO

• Truy cập Dashboard → Chọn SEO → Tools (hoặc Dashboard → Tools → Yoast SEO tùy vào phiên bản WordPress).
• Trong trang quản trị Yoast SEO, nhấn vào File Editor.
• Click Create robots.txt file để tạo mới hoặc chỉnh sửa file robots.txt hiện có.
• Sau khi thêm hoặc xóa quy tắc, nhấn Save changes to robots.txt để lưu lại thay đổi.

2. Tạo file robots.txt cho WordPress qua bộ plugin Rank Math SEO

Dù nhẹ hơn, nhưng Rank Math vẫn tích hợp đầy đủ các tính năng như Yoast SEO. Để tạo file robots.txt, hãy làm theo các bước sau:

• Truy cập Dashboard → Chọn Rank Math SEO → General Settings.
• Tìm mục Edit Robots.txt. Nếu chưa có file, Rank Math sẽ tự động tạo mới, hoặc bạn có thể thêm hoặc xóa các quy tắc tùy chỉnh theo nhu cầu.
• Sau khi chỉnh sửa, nhấn Save Changes để lưu file robots.txt mới.

Với Rank Math, bạn có thể dễ dàng quản lý file robots.txt ngay trong WordPress mà không cần truy cập vào thư mục gốc của website.

3. Sử dụng Text Editor để tạo file robots.txt cho WordPress

Bạn có thể tự tạo file robots.txt mà không cần plugin bằng cách sử dụng trình soạn thảo văn bản đơn giản như Notepad (Windows) hoặc TextEdit (Mac).

Sau khi tạo xong, tải file lên thư mục gốc của website (public_html) thông qua FTP hoặc trình quản lý tệp của hosting.

Làm cách nào kiểm tra file robots.txt?

Bạn có thể kiểm tra file robots.txt bằng Google Search Console theo các bước sau:

• Đăng nhập vào Google Search Console.
• Chọn “Go to old version” để quay lại giao diện cũ dễ thao tác hơn.
• Truy cập Crawl → Nhấn vào “robots.txt Tester”.
• Nhập các quy tắc đã thiết lập, sau đó nhấn “Submit”.
• Kiểm tra kết quả, xem có Errors (Lỗi) hoặc Warnings (Cảnh báo) nào không và chỉnh sửa nếu cần.
• Tải file robots.txt mới lên thư mục gốc của website bằng cách chọn “Download updated code”.
• Cập nhật tự động bằng cách nhấn “Ask Google to Update”.

Đến đây chắc các bạn đã nắm được phần nào các thông tin khái quát về cách tạo file robots.txt cho WordPress khi tối ưu SEO rồi đúng không?

Khi được thiết lập đúng cách, file robots.txt giúp website và công cụ tìm kiếm tương tác hiệu quả hơn. Điều này không chỉ tối ưu SEO mà còn đảm bảo trang web của bạn được thu thập dữ liệu và cập nhật chính xác.

Đừng quên để lại bình luận nếu có bất kỳ thắc mắc nào nhé!

Sử Mai Thư

Hơn 7 năm kinh nghiệm trong lĩnh vực SEO nói riêng và  Digital Marketing nói chung. Tư vấn và trực tiếp triển khai hơn 100 dự án SEO của SEORankLead.

seoranklead.com/author/su-mai-thu