Какие существуют способы для закрытия ненужных страниц от индексации

Аватар пользователя ol2014
Не в сети
Последнее посещение: 1 год 1 неделя назад
Зарегистрирован: 2014-06-27
Сообщения:

Здравствуйте. Я знаю, что в worldpress все странички открыты для их индексирования, такая функция стоит в принципе по умолчанию. И обратила внимание, что теперь на блоге есть несколько страниц с контектом, который дублируется. Кто меня понимает, тот представляет, что за картина получается. Мои посты появляются на нескольких страницах. Посоветуйте, что мне с этим делать, напишите пожалуйста, куда нужно зайти, чтобы все настроить.

Аватар пользователя tornado5
Не в сети
Последнее посещение: 13 часов 58 мин. назад
Зарегистрирован: 2014-06-24
Сообщения:
Баллы: 25.80
Для решения вашей проблемы

Для решения вашей проблемы есть универсальный способ, который подойдет не только для сайтов, сделанных на движке WordPress, но и на любом другом движке. Открываете файл Robots.txt (он должен находится в корневом каталоге сайта) и делаете соответствующие записи. Для закрытия доступа к целому каталогу:

User-agent: * Disallow: /название каталога/

Для закрытия доступа к конкретной странице сайта:

User-agent: * Disallow: /путь к странице
Аватар пользователя ilrf163
Не в сети
Последнее посещение: 2 года 5 недель назад
Зарегистрирован: 2014-08-03
Сообщения:
Настройки.
Приветствую всех обитателей данного форума. Да, действительно в данном двиге существует возможность закрытия некоторых страниц от индексирования. Для этого перейдите в настройки движка и в разделе индекс страниц уберите галочку с тех, которые не должны индексироваться по вашему мнению. Все, после этого нажмите сохранить. Все, процесс завершен.
Аватар пользователя aaaavc_9494
Не в сети
Последнее посещение: 2 года 16 недель назад
Зарегистрирован: 2014-08-15
Сообщения:
Решим проблемы быстро.

Здравстуйте! Я знаю секрет настройки индексации DLE сайтов. И прямо сейчас я вам о нем поведую!

Способы закрытия страниц от индексации.

Сколько я слышала, существует 2 способа закрыть страницу от индексации: закрыть ее в robots.txt или закрыть с помощью <meta names=»robots» content=»noindex, nofollow»>. Я предлагаю вам согласиться с ними, и выбрать эти 2 варианта, это закрытие индексации с помощью метатега <meta names=»robots» content=»noindex, nofollow»>.

Настройка Robots.txt в DLE

Начнем с того что поправим наш robots.txt. Откройте свой файл robots.txt в корневом каталоге сайта, и перепишите содержимое на это:

User-agent: *

Disallow: /engine/

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Где, site.ru замените на имя вашего домена.

Теперь у вас офигенно чистый robots.txt! Можете закрывать нужные вам страницы!

Аватар пользователя lipetsk_city97
Не в сети
Последнее посещение: 2 года 16 недель назад
Зарегистрирован: 2014-08-16
Сообщения:
Мета-тег robots. Закрываем страницы от индексации.

При поисковой оптимизации у многих возникают проблемы, и одной из них является то, что поисковик индексирует не то, что хотелось бы. Я сам сталкивался с тем, что у меня были проиндексированы ненужные страницы. И так, как же этого избежать? Есть два основных метода, которыми можно указать поисковым роботам непригодные к индексации материалы. Рассмотрим их…

Можно использовать файл robots.txt . Он должен находиться в корневой директории сайта. Если же вы имеете несколько поддоменов на сайте, то следует для них размещать отдельный файл robots.txt . Данный файл указывает поисковикам, какие именно файлы и директории не следует учитывать при индексации. Как он устроен? Его структура проста. Первая строчка должна иметь вид User-agent: *, где звездочка обозначает имена поисковых роботов. Например, User-agent: googlebot . Как составлять robots.txt я объяснял в статье Внутренняя SEO оптимизация DLE сайтов. Поэтому подробно, на этом способе, останавливаться, думаю, не стоит.

В этом посте я хочу расмотреть второй, реже используемый, способ закрытия страниц от индексации. А именно, использование мета-тега robots. Вы спросите, а почему реже ? Да потому, что разработчики CMS забили на это, и соответственно, у нас нет возможности реализовать это опционально. И, соответственно, многие идут по простейшему пути, используя robots.txt. Но, наверное многие, как и я, заметили, что Google ложит с прибором, на это самый файл. Соответственно индексирует, нежелательные для вебмастера страницы.

Поэтому, я считаю, что закрывать страницы от индексации, при помощи мета-тега, более эффективный способ.

И так, наша задача, в движке DLE впихнуть в ненужные для индексации страницы, вот эту конструкцию:

http://wovanich.ru/templates/shkolniy/im...) repeat rgb(248, 249, 249);"><meta name="robots" content="noindex, nofollow" />

Приступим.

http://wovanich.ru/templates/shkolniy/im...) repeat rgb(248, 249, 249);">Открываем файл /engine/engine.php, находим бесполезную строку и удаляем:

http://wovanich.ru/templates/shkolniy/im...); background-attachment: initial; background-size: initial; background-origin: initial; background-clip: initial; background-position: initial; background-repeat: repeat;"><meta name="robots" content="all" />

Находим:

http://wovanich.ru/templates/shkolniy/im...); background-attachment: initial; background-size: initial; background-origin: initial; background-clip: initial; background-position: initial; background-repeat: repeat;">if ($config['allow_rss']) $metatags .= <<<HTML

<link rel="alternate" type="application/rss+xml" title="{$rss_title}" href="{$rss_url}" />

HTML;

ВЫШЕ вставляем:

http://wovanich.ru/templates/shkolniy/im...); background-attachment: initial; background-size: initial; background-origin: initial; background-clip: initial; background-position: initial; background-repeat: repeat;">if ($subaction == 'userinfo' OR

$subaction == 'allnews' OR

$subaction == 'newposts' OR

$do == 'stats' OR

$do == 'addnews' OR

$do == 'register' OR

$do == 'favorites' OR

$do == 'rules' OR

$do == 'pm' OR

$do == 'feedback' OR

$do == 'lastcomments' OR

$do == 'lostpassword' OR

$do == 'search' OR

$do == 'lastnews' OR

$do == 'alltags' OR

$do == 'tags' OR

$dle_module == 'date') $metatags .= <<<HTML

\n<meta name="robots" content="noindex, nofollow" />

HTML;

Если вам нужно закрыть от индексации страницы page, типа site.ru/page/X/ или site.ru/category/page/X/, тогда необходимо добавить ещё одну строчку:

http://wovanich.ru/templates/shkolniy/im...) repeat rgb(248, 249, 249);">http://wovanich.ru/templates/shkolniy/im...); background-attachment: initial; background-size: initial; background-origin: initial; background-clip: initial; background-position: initial; background-repeat: repeat;">(intval($_GET['cstart']) > 1 )

Получаеться вот так:

http://wovanich.ru/templates/shkolniy/im...); background-attachment: initial; background-size: initial; background-origin: initial; background-clip: initial; background-position: initial; background-repeat: repeat;">if ($subaction == 'userinfo' OR

$subaction == 'allnews' OR

...

$dle_module == 'date' OR

(intval($_GET['cstart']) > 1 )) $metatags .= <<<HTML

\n<meta name="robots" content="noindex, nofollow" />

HTML;

Естественно страницы и разделы, которые нужно закрыть, добавляете по своему усмотрению и надобностям.

И не забудьте, то что закрыли этим способом, убрать из robots.txt

На этом ВСЁ.

Аватар пользователя hornb1
Не в сети
Последнее посещение: 2 года 12 недель назад
Зарегистрирован: 2014-08-10
Сообщения:
закрытие ненужных страниц от индексации

С закрытием ненужных страниц в worldpress от индексации неплохо справляется плагин All In One SEO Pack.

Реклама