Robots.txt как закрыть доступ к папке боту?

Аватар пользователя SkyNetGroup
Не в сети
Последнее посещение: 2 года 5 недель назад
Зарегистрирован: 2014-06-17
Сообщения:
Всем привет. На сайте в корне находится одна HTML страница и папка со скриптом форума. Подскажите как сделать так чтобы боты индексировали только страницу в корне, а форум не трогали?
Аватар пользователя ingwarua53
Не в сети
Последнее посещение: 2 года 17 недель назад
Зарегистрирован: 2014-06-24
Сообщения:
Грядущим правилом написания

Грядущим правилом написания верного файла robots считается не допущение попадания в индекс, а в последствии и поисковую выдачу, этих страничек, которые дублируют ведущее оглавление, что наиболее снижая уникальность контента в границах 1-го домена.

Аватар пользователя tornado5
Не в сети
Последнее посещение: 4 часа 25 мин. назад
Зарегистрирован: 2014-06-24
Сообщения:
Баллы: 25.80
Приветствую. Это сделать

Приветствую. Это сделать проще простого. Нужно в файле Robots.txt, который тоже должен лежать в корне сайта, сделать запись Disallow: /название_папки/. И тогда поисковые роботы не будут индексировать данную папку. Надеюсь, мой совет будет полезен для вас.

Аватар пользователя 8fank77
Не в сети
Последнее посещение: 2 года 9 недель назад
Зарегистрирован: 2014-06-30
Сообщения:
Индекс.
Приветствую всех добрых и отзывчивых посетителей данного форума. Автор, а какого типа у вас сайт? Ну ладно, сейчас это особо роли не играет. Если честно, то сделать так, чтобы файл, указанный вами выше, не индексировался вам нужно прописать тег, который указал вам человек, который прокомментировал тему раньше меня. Удачи вам во всем.

Реклама