Vasia » 28 дек 2010, 14:34
Если у Вас CMS, то надо использовать, т.к. иногда возникают дубли. За дубли поисковики могут наказать. Да и техническую часть сайта, поисковому роботу, показывать не нужно. Если сайт - набор хтмл-страничек, то robots.txt не нужен.