Robots.txt là dạng tập tin đặc trưng không phải là HTML hay một loại nào khác. Mục đích của việc có file robots.txt là khai báo tặng công cụ tìm kiếm biết rằng những content nào trên web của bạn được cho phép các bot search và lập chỉ mục.
MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?
Khi nắm tới một công cụ tìm kiếm tin tức web site của bạn, điều đầu tiên mà nó tìm kiếm toàn bộ là file Robots.txt . File này sẽ nói với dụng cụ tìm kiếm những gì cần phải và không cần lập chỉ mục. Nó cũng khả năng cao chỉ ra vị trí web của bạn trên XML Sitemap. Sau đó các phương tiện search sẽ gửi “bot”, “robot” hoặc “spider” để thu thập thông tin website của bạn theo như hướng dẫn của file Robots.txt (các dụng cụ search sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục). 
FILE ROBOTS.TXT NẰM Ở ĐÂU?
File Robots.txt thường xuyên nằm ở thư mục gốc của bạn, bạn thường thuận tiện tạo một file trống và đặt tên là Robots.txt, điều này hỗ trợ bạn tránh được các lỗi cho trang web cùng lúc cho phép tất cả các dụng cụ tìm thu thập thông tin về web site của bạn. Ví dụ web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt
