Нужно ли создавать файл?

Как именно вы можете создать сайт с технической стороны.

Нужно ли создавать файл?

Сообщение 5Sasha5 » 25 дек 2010, 21:38

Уважаемые сайтостроители, нужно ли создавать в корневом каталоге сайта, файл robots.txt? Поможет ли его наличие поисковым роботам просканировать сайт? Спасибо за вашу активность
5Sasha5
 
Сообщений: 22
Зарегистрирован: 27 ноя 2010, 22:38

Re: Нужно ли создавать файл?

Сообщение arlik » 25 дек 2010, 22:15

Создавать не обязательно, но желательно. Его наличие не помогает поисковикам индексировать сайт. В нем вы можете прописать для гугла и яндекса запрет на индексацию ботом раздела, рубрики или страницы сайта.
На пути к миллиону...
arlik
 
Сообщений: 249
Зарегистрирован: 27 ноя 2010, 20:32

Re: Нужно ли создавать файл?

Сообщение Vasia » 28 дек 2010, 14:34

Если у Вас CMS, то надо использовать, т.к. иногда возникают дубли. За дубли поисковики могут наказать. Да и техническую часть сайта, поисковому роботу, показывать не нужно. Если сайт - набор хтмл-страничек, то robots.txt не нужен.
Vasia
 
Сообщений: 57
Зарегистрирован: 26 ноя 2010, 09:09


Вернуться в Технические Вопросы Создания Сайта

Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

web hosting
cron