ROBOTS.TXT

Аватар пользователя mirta
Не в сети
Последнее посещение: 2 года 28 недель назад
Зарегистрирован: 2014-06-26
Сообщения:

В файле robots.txt можно ограничить индексацию страниц, которые не должны попасть в выдачу поисковых систем (например, дубли или страницы поиска по сайту).

С помощью файла robots.txt можно указать основное зеркало сайта, скорость сканирования страниц, указать путь к карте сайта в формате xml.

Если проводится внутренняя оптимизация нового сайта, то, скорее всего, придется создать robots.txt с нуля и разместить его в корневой директории. Сделать это легко – достаточно открыть блокнот и внести в него необходимые директивы. После чего файл необходимо сохранить и закачать в корневую директорию сайта.

http://seo.artox-media.ru/wiki/vnutrennyaya-optimizaciya-saita.html

Аватар пользователя igorstrong
Не в сети
Последнее посещение: 29 недель 13 часов назад
Зарегистрирован: 2015-04-27
Сообщения:
Ограничивать повторы страниц

Ограничивать повторы страниц при индексации в искомом файле целесообразно во время проведения переклиновки страниц. Также можно прописать код, который будет способствовать исключению всех повторяющихся фрагментов при индексации на каждом уровне карты сайта.

Аватар пользователя tornado5
Не в сети
Последнее посещение: 5 недель 1 день назад
Зарегистрирован: 2014-06-24
Сообщения:
Да, файл robots.txt очень

Да, файл robots.txt очень важен в работе сайта, и я всегда его возможности активно использую. С помощью него от поисковиков можно закрывать не только дубли страниц или технические страницы, но и различную конфиденциальную информацию. Но с этим файлом нужно обращаться очень осторожно, и если в нем не разбираетесь, лучше вообще не лезть, так как можно фактически угробить весь сайт, закрыв его полностью для поисковиков.

Аватар пользователя Mefidze
Не в сети
Последнее посещение: 5 недель 5 дней назад
Зарегистрирован: 2014-06-03
Сообщения:
С помощью этого служебного

С помощью этого служебного файла можно закрывать от индексации определенные страницы или разделы на сайте. Впрочем как и сайт целиком. Также можно закрывать от индексации определенным поисковым роботом. Также данный файл служит для определения одного зеркала сайта. Например, в www версии делают 301 редирект на не www. Ну или наоборот.