WebSiteProfit.Ru

Уважаемые сайтостроители, нужно ли создавать в корневом каталоге сайта, файл robots.txt? Поможет ли его наличие поисковым роботам просканировать сайт? Спасибо за вашу активность

Создавать не обязательно, но желательно. Его наличие не помогает поисковикам индексировать сайт. В нем вы можете прописать для гугла и яндекса запрет на индексацию ботом раздела, рубрики или страницы сайта.

Если у Вас CMS, то надо использовать, т.к. иногда возникают дубли. За дубли поисковики могут наказать. Да и техническую часть сайта, поисковому роботу, показывать не нужно. Если сайт - набор хтмл-страничек, то robots.txt не нужен.