Поисковые роботы основных поисковых систем сейчас могут индексировать не только HTML страницы, но и много других форматов документов, таких как doc, pdf и т.д. Наступило время, когда нужно оптимизировать и эти форматы, но разрешайте роботам индексировать только те файлы, которые действительно могут быть интересны пользователям, а разного рода "технические данные" или что-нибудь подобное, что явно не нужно вашим посетителям, просто не разрешайте индексировать через robots.txt...