Как закрыть ссылку от индексации? Тег noindex и атрибут nofollow. Nofollow - закрытие внешних ссылок от индексации и тонкие моменты использования в верстке шаблона Nofollow зачем закрывают от индексации

Здравствуйте, уважаемые читатели блога сайт. Сегодня я хочу затронуть проблему понимания того, можно ли сейчас использовать и noindex для того, чтобы закрыть ссылку от индексации поисковыми системами Яндекс и Google, ибо за последние полгода или год произошло кардинальное изменение алгоритма работы nofollow.

Проблема здесь заключается в том, что Google изменил принцип расчета статического веса при его использовании rel nofollow и изменение это давно и горячо обсуждается на разных тематических форумах по продвижению и оптимизации сайтов.

Какое влияние оказывают rel nofollow и тег noindex

Да и Яндекс тоже не отстал от своего самого большого конкурента на рынке поиска рунета и изменил, начиная с 2010 года, свое отношение к nofollow (он стал его учитывать).

Раньше зеркало рунета его игнорировало, но теперь, как видно из скриншота снятого на этой странице хелпа, данный атрибут работает и учитывается.

Тег же noindex, который Яндекс ввел в оборот единолично и который до некоторых пор являлся единственной альтернативой нофоллоу, сейчас никак не влияет на учет закрытой им ссылки.

Но с помощью него по-прежнему можно закрывать от индексации отдельные фрагменты вебстраницы. Этот тэг является парным и учитываться поиском не будет все, что попало между его открывающим и закрывающим элементом.

Т.к. ноиндекс был чисто нашим местечковым изобретением, то, естественно, что он не был включен в реестр разрешенных тегов текущей версии языка Html 4.01 и валидатор на него по-прежнему ругается.

Во избежании этого можно использовать его в качестве , как это было показано на скриншоте выше. В этом случае , естественно, ругаться не будет, ибо в комментариях можно писать все, что угодно.

текст, индексирование которого нужно запретить

Яндекс пишет на своей странице хелпа, что noindex и nofollow следует интерпретировать точно так же, как и аналогичные значения, которые используются в .

Т.е. нофоллоу запрещает переход роботу поиска по данной ссылке, а ноиндекс запрещает добавлять заключенный в нем фрагмент текста в индекс.

Google так вообще никогда не учитывал noindex и, естественно, его с успехом игнорирует, равно как и любой другой поисковик кроме Яндекса. Изменилось отношение к подсчету статического веса на страницах, где находятся . Раньше их можно было вообще не учитывать, однако сейчас все стало немного сложнее и печальнее.

Но рассказать обо всем в двух словах — это не наш метод. Поэтому я сейчас немного подпущу «воды», как выражаются некоторые господа в комментариях, и попробую на пальцах и абстрактных примерах показать сложившееся положение. Да, сразу оговорюсь, что мое мнение ни в коей мере не является абсолютной истиной, ибо оно лишь выражает мою точку зрения на данную проблему. Заранее спасибо всем комментаторам, ибо в споре рождается истина.

Итак, давайте сначала вернемся немного в прошлое и посмотрим, как можно было с помощью тегов nofollow и noindex закрыть от индексации гиперссылки для поисковых систем (чаще всего все же пытаются закрыть от индексации внешние бэклинки, ибо они способствуют утеканию статического веса, но об этом поговорим чуть позже).

Так вот, тексты ссылок, которые называют еще анкорами, позволяют Яндексу и Гуглу проводить так называемое ссылочное ранжирование, существенно влияющее на положение ресурса в поисковой выдаче. Именно по этой причине для продвижения сайта по какому-либо запросу ( вам в помощь) оптимизаторы стараются закупить как можно больше бэклинков с текстами (анкорами), содержащими из того запроса, по которому продвигается данная страница.

В свое время ряд энтузиастов сделали так, что по запросу «жалкий неудачник» открывался ресурс тогдашнего президента Америки Буша младшего. Что примечательно, на самом ресурсе вообще не встречались данные ключевые слова, но зато на него была проставлена гигантская ссылочная масса с этим текстом (анкором), в результате чего вышел такой казус.

Сейчас уже такой фокус не пройдет, ибо ссылочное ранжирование не имеет такого колоссального влияния на ранжирование и нужно, чтобы и на самом портале Буша встречалась эта фраза, что маловероятно.

Но на этом роль ссылок в поисковом продвижении не заканчивается, ибо алгоритмы поиска в обязательном порядке для каждой страницы каждого отдельно взятого ресурса рассчитывают так называемый статический вес . Возможно, что разные системы рассчитывают его чуть по разному, но суть остается не измененной — статвес передается странице только по гиперссылке и при этом не учитывается ее анкор.

Правда, любая страница (документ, как их именуют поисковики) сразу после своего появления (индексации) имеет изначальный минимальный статический вес (), который может быть неограниченно увеличен за счет входящих внешних и внутренних ссылок на эту страницу. Тут ключевым моментом является то, что он передается не только внешними, но и внутренними ссылками.

Причем документ, ссылаясь на другие внешние или внутренние страницы, вовсе не теряет свой статический вес (pr для Google или для Яндекса), который целиком и полностью зависит только от количества и весомости входящих на нее гиперссылок. Под последним я подразумеваю собственный статвес страниц доноров (доноры — те, откуда проставлены беклинки на ваш документ, который в этом случае выступает акцептором).

Как закрыть от индексации внешние ссылки

Помните, в школе когда-то были популярны задачки про бассейн с несколькими входящими и исходящими трубами? Там еще нужно было рассчитать то ли время наполнения бассейна, то ли уровень воды в нем. Но не суть важно. Просто я хочу взять в качестве абстрактного примера для пущей наглядности именно такой бассейн, да не простой, а с рядом допущений.

Каждый документ на сайте можно будет представить как отдельный бассейн, в который будет подводиться вода по ряду труб разного диаметра (наши входящие внутренние и внешние гиперссылки из документов с разным статическим весом), а так же будет ряд труб, по которым вода побежит на другие документы вашего же или же какого-либо другого ресурса (исходящие внутренние и внешние линки).

Уровень же воды в бассейне будет эквивалентен статическому весу, набранному данным документом (вебстраницей вашего ресурса). Допущение же будет состоять в том, что вода, утекая по трубам исходящих ссылок, не будет уменьшать уровень воды в бассейне (статический вес документа).

Теперь смотрите внимательно. Допусти, что у нас с одного документа проставлено 4 внутренних ссылки и одна внешняя (в аналогии с бассейном это будет эквивалентно пяти исходящим трубам одинакового сечения). В результате максимальный статвес, который может передать этот документ (вебстраница), будет поделен ровно на 5 частей и лишь одна пятая этого веса передастся на каждую из 4 внутренних документов, а одна пятая уйдет по внешней.

А теперь представьте, что вы имеете возможность попросить поисковые системы Яндекс и Google не индексировать эту самую одну внешнюю ссылку (закрыть ее или в аналогии с бассейном — перекрыть вентиль на трубе, ведущей не на ваш проект).

Тогда максимальный вес документа, который он может передать, нужно будет делить уже не на 5 частей, а только на 4, что позволит внутренним ссылкам документа получить по одной четверти, а не по одной пятой максимального веса, что способна отдать данная вебстраница.

Вроде бы пустяк, но если у вашего ресурса тысяча страниц, а вы закроете от индексации несколько сквозных внешних ссылок (которые будут присутствовать на всех документа, например, со ), то суммарный прирост статвеса будет ощутимым. А он ведь напрямую влияет на положение вашего ресурса в выдаче Яндекса и Гугла при ранжировании (естественно, при прочих равных условиях оптимизации).

Думаю, что с вопросом, зачем закрывать внешние гиперссылки от индексации, мы разобрались и теперь осталось только выяснить, а как это сделать? Раньше было все просто — заключаете ненужную вам гиперссылку в открывающий и закрывающий тег noindex для того, чтобы ее не учитывал Яндекс, а в Html тег ссылки A прописываете атрибут (для Google), например, так:

Внешний ресурс

В WordPress для автоматизации процесса закрытия от индексации всех внешних ссылок можно использовать, например, . При его использовании, если в тег гиперссылки прописать специальный класс, она останется открытой для индексации поисковыми системами. Это может понадобиться, например, при проставлении линка в постовом или рекламном обзоре.

Статический вес не передавался по закрытой таким образом гиперссылке и внутренние страницы вашего сайта, в результате, получали несколько большее его значение, чем в случае с открытой внешней ссылкой. Но так было раньше, а сейчас все стало очень и очень проблемно.

Это касается только удержания статвеса на сайте. Тут важно понимать, что, например, в комментариях просто необходимо закрывать линки от индексации, ибо большое количество ссылок на спамные ресурсы (вы в состоянии проверить все ресурсы комментаторов?) сделает ваш проект тоже спамным в глазах поисковых систем.

Итак, вернемся к тому, что Google изменил алгоритм работы — теперь по ссылке, в которую вставлен этот атрибут, статический вес на документ передаваться не будет, но в то же время это не увеличит долю веса , передаваемого на внутренние страницы, по проставленным с данного документа внутренним гиперссылкам.

Если вернуться к нашему примеру с бассейном и трубами, то ситуация с , которая была до нововведения, может быть представлена как перекрывание вентиля на трубе, ведущей на другой ресурс. И при этом больше воды (статического веса) перетекало по оставшимся трубам (внутренним).

А вот текущая ситуация выглядит, как выдирание трубы внешней с корнем — ссылочный вес уже не потечет на внешний ресурс, но и у нас в бассейне останется дырка, а следовательно, внутренние страницы вашего ресурса по прежнему будут недополучать статического веса .

Как Яндекс учитывает rel nofollow и noindex

Это мы все говорили за Гугл, а как обстоит ситуация с использованием для Яндекса, ведь это наш незабвенный лидер поиска в рунете. Тут все много туманнее, ибо однозначных суждений нет по этому вопросу.

Но похоже, что зеркало рунета, после того как стало учитывать rel nofollow в тегах гиперссылок, снял с noindex всякое влияние на запрет индексации ссылок.

Теперь noindex служит одной единственно цели — закрывать от индексации в Яндексе и Рамблере некоторые фрагменты текста. И если использовать его для ссылок, то он просто запретит этим поисковикам индексировать текст (анкор), а вот сама гиперссылка и передаваемый по ней статвес по-прежнему будут учитываться и браться в расчет.

Другой вопрос, как Яндекс учитывает rel nofollow? Копирует ли он схему работы у старого Google или же сразу взял на вооружение переделанный алгоритм расчета? Лично я затрудняюсь ответить на этот вопрос, но полагаю, что стоит рассчитывать именно на худший вариант.

Тогда получается, что у нас с вами уже не осталось инструментария, позволяющего полноценно закрыть от индексации ссылки, да так, чтобы не было утечки веса с сайта в пустоту.

По-прежнему мы можем закрыть от индексации целые страницы или гиперссылки на них с помощью мета тега Robots, назначение которого описано в статье приведенной в начале публикации, но вот с отдельно взятыми ссылками возникают сложности и rel nofollow перестал являться удачным решением для этой проблемы.

Можно, конечно же, проставлять внешние гиперссылки через редиректы или джаву, но Google их уже научился учитывать, а Яндекс, если еще и не научился, скоро обязательно научится. В связи с этим вообще не понятно как быть с бэклинками из комментариев и счетчиков посещений. Они по любому получается будут сосать статический вес с сайта в пустоту (при закрытии их в нофоллоу), либо на ресурсы комментаторов или счетчиков (в случае отказа от его использования).

Некоторые вебмастера, кстати, используют в комментариях external nofollow , хотя это тут вовсе не подразумевает закрытие внешних гиперссылок, а обозначает открытие страницы во внешнем окне (аналог атрибута target="_blank", который в XHTML стал не валидным, т.е. не соответствующим стандартам), но этот external работать будет только в связке еще и со специально написанным скриптом на javascript. В общем, это уже совсем из другой темы и к закрытию от индексации никакого отношения не имеет.

Собственно, я решил попробовать вообще убрать беклинки из комментариев и посмотреть как это повлияет на общее положение моего блога как в Гугле, так и в Яндексе. Если изменений в лучшую сторону не будет, то верну все как и было. Эксперимент получится, наверное, репрезентативным, ибо комментариев у меня около 6 000 и большинство из них имеют беклинк на ресурс комментатора.

Если кому-то интересно, то убрать ссылки из комментариев WordPress довольно просто. Вам нужно будет с помощью ftp клиента (менеджера) FileZilla подключиться по FTP и открыть на редактирование файл comments.php из папки с используемой вами темы Вордпресс. В нем вам нужно найти место, где прописан следующий кусочек кода:

и заменить его на чуть измененный вариант:

А так же для того, чтобы убрать из формы добавления нового комментария строчку для ввода URL, вам нужно будет удалить подобный участок кода:

URI"); ?>

Если приведенная мною теория насчет текущего положения с rel nofollow и noindex окажется правдивой, то должно произойти постепенное увеличение накопленного на блоге статического веса, что не преминет сказаться на позициях сайта в поисковой выдаче. В общем, поглядим.

P.S. Сейчас наиболее действенным способом закрытия ссылок и контента от индексации поисковиками является убирание их в Аякс . Об этом я писал в статье про (пункт номер 6 под вторым подзаголовком).

Удачи вам! До скорых встреч на страницах блога сайт

Вам может быть интересно

Как работают поисковые системы - сниппеты, алгоритм обратного поиска, индексация страниц и особенности работы Яндекса
Учет морфология языка и другие проблемы решаемые поисковыми системами, а так же отличие ВЧ, СЧ и НЧ запросов
Онлайн сервисы для вебмастеров - все, что нужно для написания статей, их поисковой оптимизации и анализа ее успешности
Анкор - что это такое и насколько они важны в продвижении сайта
Способы оптимизации контента и учет тематики сайта при ссылочном продвижении для сведения затрат к минимуму
Как добавить сайт в аддурилки (add url) Яндекса, Google и других поисковиков, регистрация в панелях для вебмастеров и каталогах
Статистика поисковых запросов Яндекса, Google и Рамблера, как и зачем работать с Вордстатом
Траст сайта - что это такое, как его измерить в XTools, что на него влияет и как увеличить авторитетности своего сайта Аудит сайта - чек-лист 20 проверок на ошибки для попадания в ТОП
СЕО терминология, сокращения и жаргон
Яндекс Вордстат и семантическое ядро - подбор ключевых слов для сайта с помощью статистики онлайн-сервиса Wordstat.Yandex.ru

В данном посте я решил написать о том, как закрыть внешние ссылки от индексации поисковыми системами и зачем все это дело нужно делать.

Статья предназначена в основном для начинающих вебмастеров, которые только недавно начали заниматься продвижением своего сайта. Данную тему, считаю, архиважной при продвижении блога или статьи блога в Топ.

Поэтому я решил осветить несколько вопросов по данной теме:

• Для чего нужно закрывать внешние ссылки от индексации.

• Закрытие внешних ссылок вручную тегами noindex и rel=”nofollow”.

• Автоматическое закрытие внешних ссылок плагином WP-NoExternalLinks.

• Сервис для проверки исходящих ссылок.

Разберемся с первым вопросом. Закрывать чужие ссылки со своего сайта следует для того, чтобы не предавать вес вашей страницы другим ресурсам, на которые ссылаетесь. Каждая страница сайта имеет свой вес. Чем больше сайтов на нее ссылаются, тем больше ее вес в глазах поисковых систем.

Практически все вебмастера, занимающиеся продвижением, закрывают внешние ссылки для того, чтобы не дарить авторитет своих вебстраниц чужим ресурсам.

Так же это во многом влияет и на траст сайта. Траст сайта – это некий уровень доверия со стороны поисковых систем к сайту. Вот поэтому нужно следить за исходящими ссылками, дабы попросту не разбазаривать авторитет страниц вашего блога. И впоследствии все это положительно скажется на такие показатели как ТИЦ и PR.

Но это вовсе не говорит о том, что абсолютно все внешние ссылки нужно закрывать. Например, если сайт авторитетный и высокотрастовый почему бы на него не сослаться.

В сети есть такое мнение, что если с сайта не исходит ни одной ссылки, то значит поисковые системы считают его мертвым.

Не знаю, правда это или нет, поэтому спорить не буду. Но то, что огромное количество открытых внешних ссылок молодому блогу в продвижении не поможет – это факт. Кстати, траст своего сайта вы можете проверить на этом сервисе.

Закрываем внешние ссылки тегами noindex и nofollow.

В любом случае, когда никогда придется сослаться на другой вебресурс. Что же делать, чтобы поисковые роботы таких интернет гигантов как Google и Яндекс не индексировали внешние ссылки?

Данный атрибут можно использовать только для ссылок, т.е. в теге и не где больше. Закрытая ссылка будет выглядеть вот так:

Заработок в интернете

После закрытия она выглядит так:

Заработок в интернете

Все, поисковые системы Яши и Гугла не будут ее индексировать. Данный атрибут надо вставлять в статью при ее написании в текстовом редакторе.

Некоторые вебмастера до сих пор используют тег noindex для ссылок, т.е. вот так:

Заработок в интернете< /noindex >

http://wpnew.ru">Текст ссылки
А вот с noindex от Яндекса:

http://wpnew.ru">Текст ссылки
Вот пример того, где я использую noindex (на примере кода для вывода баннера от Rotaban):

Учтите, что тег noindex нужно ставить правильно. Если он стоит, например, ПЕРЕД

Проверка

Чтобы узнать, все ли ненужные ссылки у Вас закрыты в nofollow, Вы можете использовать SEObar для Opera. А также рекомендую проверить свой блог с помощью http://be1.ru/stat/ . Там показано количество исходящих внешних ссылок, а те ссылки, которые взяты в nofollow отмечены красным восклицательным знаком. Таким образом, Вы сможете найти ссылки, которые не закрыты с помощью rel=”nofollow”. Также данный сервис покажет ошибки при использовании noindex.

Поступил такой вопрос: почему после обновления WordPress (4.5.2) перестали закрываться nofollow ссылки рубрик и тегов на страничках сайта?

Действительно, хотя я и не первым обратил на это внимание, но, разобравшись, увидел подобный бажОк и на некоторых своих блогах… Разбираться глубоко не стал: нет времени. Да и проблема эта решается парой кликов.

А посему, для тех, которые используют скрытие ссылок-меток/рубрик нофолоу как метод seo,

давайте разберёмся:

как закрыть nofollow ссылки рубрик в метаполях

Вероятно, у некоторых админов (которые использовали прежний код, или какой-то иной) перестали закрываться и ссылки рубрик в метаполе. На фотке зачёркнуто (ссылка закрыта нофолоу).

Обратите внимание на строку 2 в коде выше — теперь же нужно поменять тег wp_list_categories на the_category и готово дело!

Вот новый пример (в комментариях пояснения)

/*** закрываем рубрики nofollow ПЕРЕД СТАТЬЁЙ МЕТА ***/ function add_rel_nofollow_to_the_category($a) { return str_replace("

А вообще, для порядка, стоит посмотреть каким макором выводятся ссылки рубрик в вашем шаблоне: откройте файлы, к примеру, post.php или post-single.php и взгляните… и уж на практическом основании совершите правку.

/*** закрываем метки В ВИДЖЕТЕ ***/ add_filter("wp_tag_cloud", "add_rel_nofollow_to_wp_tag_cloud"); function add_rel_nofollow_to_wp_tag_cloud($a) { return str_replace("

Ну вот и всё…

Первое, как понятие вообще отсутствует, ибо nofollow - это не тег, а атрибут, который прописывается внутри тега ссылки: тут текст ссылки.

Последнее же понятие (мета-тег) правильное и существует, хотя имеет немного другое определение. Это не совсем мета-тег, а лишь значения мета-тега robots. Его работа заключается в полном запрете всех ссылок на странице. Прописываться он так: .

Если же мы говорим о работе атрибута, то существует много мнений на счет его работы. Кто-то говорит, что он полностью закрывает ссылки от индексации, то есть переходи по ссылкам не происходят и вес с таких ссылок не утекает.

Кто-то твердит, что переходы все таки происходят и вес утекает, но не передается сайту, на который мы сослались.

Яндекс же говорит, что атрибут nofollow служит для полного запрета ссылок от индексации, а значит вес никуда не девается, а сохранятся на нашей странице, что помогает ей в продвижении.

В google также много мнений:

• Кто-то говорит, что это лишь некое указание google, чтобы не переходить по ссылке, которое он смело может игнорировать;
• Кто-то склоняется к мнению полной работоспособности атрибута nofollow.

Проанализировав сильно раскрученные ресурсы (например, jlady.ru, igitarist.ru) можно увидеть, что на них данный атрибут очень активно используется. Из этого можно сделать вывод, что все таки nofollow работает и его необходимо применять.

К его применению мы и переходим.

Использование

Итак, зачем же его нужно применять и в каких случаях?

• Во-первых, если в статьях ссылаетесь на какие-то ресурсы, то такие ссылки нужно закрывать атрибутом. Но не всегда, так как качественная работа с внешними ссылками можем дать свои плоды при продвижении страницы;
• Во-вторых, nofollow нужно использовать в верстке шаблона для сайта, чтобы обеспечить правильную реализацию распределения веса, которая очень важна при продвижении сайта. Особенно сильно это играет роль при покупке вечных ссылок на страницы.

При помощь атрибута обеспечивается такая схема, когда на нижнем уровне вложенности, то есть на страницах статей, закрыты все другие ссылки сайта (меню, рубрики и так далее), чтобы вес никуда с этой страницы не уходил. Таким образом, покупая ссылку на страницу, ее вес полностью остается в нужном месте и никуда не передается. Эффект при такой схеме очень мощный. Об этом будет подробная статья в ближайшее время.

Теперь практическая часть. Как я уже показывал выше, то nofollow прописывается внутри ссылочного тега .