File Robots.txt mặc định của Wp:
User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/
Hoặc Bạn có lẽ tham khảo code này
User-agent: * Disallow: /wp-admin/ User-agent: * Allow: / Disallow: /*?* Disallow: /*/?* Sitemap: https://web.sieutocviet.com/sitemap.xml
MỘT SỐ VÍ DỤ KHÁC VỀ ROBOTS.TXT
Chặn bot không tặng chỉ mục đa số website Bạn có câu lệnh giống như sau: User-agent:* Disallow: / Lệnh này có ý nghĩa: “Không tặng phép các bot của dụng cụ search log in và đánh chỉ mục trên toàn bộ tài nguyên nắm tới trên web site của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này sở hữu nghĩa: “Cho phép bot lập chỉ mục hầu hết dữ liệu trừ 2 thư mục /wp-admin/ và /wp-includes/ là không đưa cho phép.” Chặn một trang hay đường dẫn đến nội dung bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này sở hữu nghĩa: “Cho phép bot đánh chỉ mục đa số các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này có nghĩa: “Chặn một hình ảnh nào đó từ trang web của bạn, ngăn không đưa cho các bot tìm và lập chỉ mục tặng hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này nắm tới nghĩa: “Chặn botspam đăng nhập tất cả data trên website của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn mọi các dữ liệu trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này sở hữu nghĩa: “Chặn bot tìm mọi dữ liệu trong thư mục /thumucbichan/ nhưng cho phép lập chỉ mục file /filekhongbichan.html”
Lê Trương Tấn Lộc (sieutocviet.vip)
Trải qua 5 năm thực chiến Python, PHP 8 năm kinh nghiệm trong quản trị website tư vấn giải pháp SEO từ khóa, Digital marketing tối ưu nhất cho tập đoàn quốc tế.
Hiện là giám đốc kinh doanh tại Siêu Tốc Việt.