Robots.txt là dạng tập tin đặc trưng không phải là HTML hay một loại nào khác. Mục đích của việc nắm tới file robots.txt là khai báo tặng dụng cụ tìm kiếm biết rằng những content nào trên web của bạn được tặng phép các bot tìm và lập chỉ mục.
MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?
Khi sở hữu một dụng cụ search tin tức web site của bạn, điều đầu tiên mà nó search mọi là file Robots.txt . File này sẽ nói với dụng cụ search những gì cần phải và không tốt nhất nên lập chỉ mục. Nó cũng có thể chỉ ra vị trí trang web của bạn trên XML Sitemap. Sau đó các dụng cụ search sẽ gửi “bot”, “robot” hoặc “spider” để thu thập thông báo website của bạn theo như có các hướng dẫn của file Robots.txt (các công cụ tìm kiếm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục). 
FILE ROBOTS.TXT NẰM Ở ĐÂU?
File Robots.txt có lẽ nằm ở thư mục gốc của bạn, bạn có lẽ lợi ích tạo một file trống và đặt tên là Robots.txt, điều này giúp bạn tránh được các lỗi đưa cho web site cùng lúc đưa cho phép tất cả các dụng cụ tìm thu thập tin tức về web site của bạn. Ví dụ web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt
Lê Trương Tấn Lộc (sieutocviet.vip)
Với hơn 5 năm kinh nghiệm Drupal 6 năm kinh nghiệm trong quản lý website tư vấn giải pháp Seo google, Digital marketing tối ưu nhất cho công ty.
Hiện giữ chức vụ trưởng phòng kinh doanh tại Siêu Tốc Việt.