robots.txt для Битрикс

Исторический материал из архива сайта. Указанные услуги и контакты относятся ко времени публикации и не являются действующим предложением.

robots.txt для Битрикс

robots.txt для Битрикс

0
01.07.201322:021 Июля 2013 22:02
При установке чистой версии Битрикса не происходит установки некоторых важных файлов, сейчас я имею ввиду файл robots.txt.
Типовой файл robots.txt содержит следующую информацию:
Код
User-agent: *
Disallow: /bitrix/
Disallow: /upload/ 
Disallow: /*index.php$
Host: site.com
Sitemap: http://site.com/sitemap.xml
При чем следует помнить, что если в Яндексе или других поисковых системах сайт уже проиндексирован по домену www.site.com, то указанный выше параметр Host выведет из индекса все проиндексированные страницы.
Ваше имя*
 
E-mail
Тема

Добавить файлы
#name#
#size#
 
#name#
Файлы:
Перетащите один или несколько файлов в эту область
или выберите файл на компьютере
Файлы:
Загрузить файлы
Код подтверждения (символы на картинке)*
Отправить