и мы с вами свяжемся!
Robots.txt— файл в формате текста, в котором прописываются инструкции для роботов поисковиков.
Файл расположен в корневой папке сайта. Специальный файл позволяет прописать правила для роботов поисковиков и скрыть от индексации некоторые страницы, определить интервал между скачиваниями документов с сайта и т.д.
Робот любого поисковика при попадании на сайт в первую очередь уточняет наличие robots.txt и следует прописанным в нем указаниям.
Заполните форму ниже и наш менеджер с вами свяжется!