Недавно в результате, видимо, ошибки Google включил в свой поисковый индекс файлы robots.txt от различных сайтов. robots.txt – служебный файл, который содержит в себе инструкции для поисковых машин о том, как правильно индексировать сайт, по мнению владельца сайта. Данный файл является рекомендательным. Хороший поисковик должен слушаться таких инструкций. Вредный поисковик – игнорирует. В целом, в файле нет ничего секретного, он доступен любому пользователю. Однако перфекционистам может не понравиться, что в индексе Гугла находится то, что для индексации не предназначено.
Как избавиться от robots.txt, если уж он попал в индекс.
1) Запретить индексацию инструкцией же в самом robots.txt;
Disallow: /robots.txt
2) Удалить файл из панели вебмастера Гугла.
