Файл robots.txt предназначен для управления индексированием вашего сайта поисковыми системами. Первое, что делает приличный поисковый робот заходя на сайт - спрашивает файл robots.txt, из которого узнаёт, какие файлы и директории запрещены ему к индексации. Причем синтаксис robots.txt позволяет запретить разным поисковым роботам просматривать разные файлы.

robots.txt - может быть только обычным текстовым файлом, с расширением .txt, должен иметь имя именно robots.txt, без заглавных букв и прочего и располагаться в корневой папке сайта. Он должен быть доступен по адресу http://site.ru/robots.txt - поисковые боты проверяют наличие robots.txt только по этому адресу!

Итак, из чег-же состоит robots.txt?

User-agent - определяет робота, для которого перечислены инструкции. Имена поисковых ботов зачастую не совпадают с названиями поисковых систем, вот некоторые из них: Яндекс - Yandex; Google - Googlebot; Рамблер - StackRambler; Для указания всем роботам, для которых нет индивидуального User-agent, используется *

Следующая инструкция - Disallow: после двоеточия идет директория или имя файл, которые мы хотим запретить к индексации, относительно корня сайта. В одной строке может быть только одна директория/файл.

Пример файла robots.txt
User-agent: *
Disallow: /admin

Данный файл запрещает всем роботам индексировать страницы сайта, имя которых начинается с admin (от корня сайта), например - /admin.php; /admin/index.php; admines.php
для запрета только директории admin нам следовало использовать строку Disallow: /admin/

Ещё один нюанс - для того, чтоб инструкция Disallow: запрещала к индексированию, она должна начинаться с /   иначе она разрешает!

Пример:
User-agent: *
Disallow: /

User-agent: Yandex
Disallow:

Такая инструкция запрещает всем роботам индексировать сайт, кроме указанного индивидуально, робота Яндекса. Тут следует отметить - пустая строка в файле robots.txt является разделителем инструкций для разных роботов.

Количество запрещающих инструкций Disallow: не ограничено, а вот разрешающих нет. Синтаксис файла robots.txt допускает наличие комментариев, так всё, что находиться после # и до конца строки считается комментарием и не учитывается поисковым ботом.

Полезное:
Официальный сайт файла robots.txt - http://www.robotstxt.org/
Посмотреть, как видит ваш файл robots.txt Яндекс - можно здесь