Robots.txt là một loại tệp đặc biệt không phải là HTML hay bất kỳ vật dụng gì tương tự. Mục đích của tệp robots.txt là để đưa cho các công cụ search biết nội dung nào trên trang web của bạn có lẽ được các bot thu thập và lập chỉ mục.
Sitemap robots txt
Sitemap txt
Mục đích của file Robots.txt là gì? Khi các công cụ tìm search thông tin về website của bạn, tệp Robots.txt khả năng cao là nơi đầu tiên họ search. Tệp này tặng các công cụ search biết những gì cần phải lập chỉ mục và những gì không cần phải lập chỉ mục. Bạn cũng thường xuyên cung cấp vị trí website của mình trong sơ đồ trang web XML. công cụ tìm gửi “chương trình”, “rô-bốt” hoặc “trình thu thập dữ liệu” để tìm nạp dữ liệu web site của bạn, theo hướng dẫn cụ thể trong tệp Robots.txt (nếu tệp “rô-bốt” không được gửi, công cụ tìm sẽ không gửi ). .txt chỉ ra rằng điều này không thể lập chỉ mục). 
Sitemap robot
File Robots.txt nằm ở đâu? Tệp sơ đồ website robots.txt có lẽ nằm trong thư mục gốc. Bạn khả năng cao dễ dàng tạo một tệp trống và đặt tên là Robots.txt. Điều này sẽ Giúp cho bạn giảm thiểu các lỗi web và hoàn thành toàn bộ công việc của mình. phương tiện search thu thập dữ liệu các trang website đẹp. Ví dụ web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt File Robots mặc định của wordpress:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/
Hoặc Bạn thường tham khảo lập trình này
User-agent: * Disallow: /wp-admin/ User-agent: * Allow: / Disallow: /*?* Disallow: /*/?* Sitemap: https://web.sieutocviet.com/sitemap.xml
