Страница 1 из 1
Нужно ли создавать файл?
Добавлено:
25 дек 2010, 21:38
5Sasha5
Уважаемые сайтостроители, нужно ли создавать в корневом каталоге сайта, файл robots.txt? Поможет ли его наличие поисковым роботам просканировать сайт? Спасибо за вашу активность
Re: Нужно ли создавать файл?
Добавлено:
25 дек 2010, 22:15
arlik
Создавать не обязательно, но желательно. Его наличие не помогает поисковикам индексировать сайт. В нем вы можете прописать для гугла и яндекса запрет на индексацию ботом раздела, рубрики или страницы сайта.
Re: Нужно ли создавать файл?
Добавлено:
28 дек 2010, 14:34
Vasia
Если у Вас CMS, то надо использовать, т.к. иногда возникают дубли. За дубли поисковики могут наказать. Да и техническую часть сайта, поисковому роботу, показывать не нужно. Если сайт - набор хтмл-страничек, то robots.txt не нужен.