В файле robots.txt прописываются инструкции для поисковых роботов-пауков. 

Когда поисковой робот заходит к вам на сайт, то он первым делом обращается к данному файлу.

Часто на многих форумах я вижу вопросы подобного рода "как составить robots.txt". И сегодня я попытаюсь ответить на этот вопрос. 

Robots.txt — текстовый файл, расположенный на сайте, который который содержит инструкции для поисковых пауков. 

Возможности файла robots.txt:

1. Указываются параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

2.  Закрывает от индексации служебные страницы сайта, и позволяет решить проблемы с зеркалами сайта (url'ы с www и без).

3. Правильно составленный robots.txt закроет от индексации служебные страницы сайта.

Каждый из вышеперечисленных параметров крайне значим в продвижении вашего сайта.

Как создать robots.txt

Создаем данный файл в блокноте и заливаем в корень вашего сайта. Помните, что для каждого сайта используется только один файл robots.txt В самом файле прописываем директивы: 

User-agent: - определяет для робота паука какой поисковой системы будет заданы инструкции
Disallow: - указывает, какую директорию закрыть от индексации

Прописав User-agent: * вы задаете одинаковые инструкции для всех поисковых систем.

пример файла robots.txt:

User-agent: *
Disallow: /eurows.htm
Disallow: /files/

Где, * - указание для всех поисковых систем

Disallow: /eurows.htm – запрещает индексацию файла eurows.htm

Disallow: /files/* - запрещает индексацию всех файлов из папки "files"
Если вам не надо закрывать страницы от поисковиков, то правильный robots.txt должен выглядеть так:

User-agent: *
Disallow: 

Только паук Яндекса распознает директиву host, поэтому, я вам рекомендую разделять директивы.Содержание файла robots.txt будет примерно таким:

User-agent: Yandex
Disallow: /files
Host: site.ru

User-agent: *
Disallow: /files