noindex в HTML


Содержание

HTML тег

Элемент (от англ. «no index» ‒ «не индексировать») устанавливает запрет на индексирование текста расположенного внутри данного элемента.

Этот тег работает так же, как и мета-тег , но только запрещает индексацию не всей страницы, а только её части.

Примечание: Действие тега распространяется только на текст. Ссылки, а так же такие объекты как видео, аудио, изображения и прочее попав внутрь данного элемента, индексируются, как и прежде.

Совет: Если вам нужно закрыть ссылку для поисковиков, добавьте к ней атрибут rel со значением nofollow :
Ссылка не индексируется

Совет: Элемент поддерживается только поисковыми системами Яндекс и Рамблер. Он отсутствует в официальной спецификации HTML, поэтому его наличие приведет к невалидному коду. Браузеры его тоже не поддерживают. Поэтому, если вы беспокоитесь о валидации ваших страниц, то используйте тег в виде комментариев.

Полное руководство по Robots.txt и метатегу Noindex

Файл Robots.txt и мета-тег Noindex важны для SEO-продвижения. Они информируют Google, какие именно страницы необходимо сканировать, а какие – индексировать (отображать в результатах поиска).

С помощью этих средств можно ограничить содержимое сайта, доступное для индексации.

Что такое файл Robots.txt?

Robots.txt – это файл, который указывает поисковым роботам (например, Googlebot и Bingbot), какие страницы сайта не должны сканироваться.

Чем полезен файл Robots.txt?

Файл robots.txt сообщает роботам системам, какие страницы могут быть просканированы. Но не может контролировать их поведение и скорость сканирования сайта. Этот файл, по сути, представляет собой набор инструкций для поисковых роботов о том, к каким частям сайта доступ ограничен.

Но не все поисковые системы выполняют директивы файла robots.txt. Если у вас остались вопросы насчет robots.txt, ознакомьтесь с часто задаваемыми вопросами о роботах .

Как создать файл Robots.txt?

По умолчанию файл robots.txt выглядит следующим образом:

Можно создать свой собственный файл robots.txt в любом редакторе, который поддерживает формат .txt. С его помощью можно заблокировать второстепенные веб-страницы сайта. Файл robots.txt – это способ сэкономить лимиты, которые могут пойти на сканирование других разделов сайта.

Директивы для сканирования поисковыми системами

User-Agent: определяет поискового робота, для которого будут применяться ограничения в сканировании URL-адресов. Например, Googlebot, Bingbot, Ask, Yahoo.

Disallow: определяет адреса страниц, которые запрещены для сканирования.

Allow: только Googlebot придерживается этой директивы. Она разрешает анализировать страницу, несмотря на то, что сканирование родительской веб-страницы запрещено.

Sitemap: указывает путь к файлу sitemap сайта.

Правильное использование универсальных символов

В файле robots.txt символ (*) используется для обозначения любой последовательности символов.

Директива для всех типов поисковых роботов:

Также символ * можно использовать, чтобы запретить все URL-адреса кроме родительской страницы.

Это означает, что все URL-адреса дочерних страниц авторов и страниц категорий заблокированы за исключением главных страниц этих разделов.

Ниже приведен пример правильного файла robots.txt:

После того, как отредактируете файл robots.txt, разместите его в корневой директории сайта . Благодаря этому поисковый робот увидит файл robots.txt сразу после захода на сайт.

Что такое Noindex?


Noindex – это метатег, который запрещает поисковым системам индексировать страницу.

Как применять метатег Noindex?

Существует три способа добавления Noindex на страницы:

Метатег «robots»

Разместите приведенный ниже код в раздел страницы:

Он сообщает всем типам поисковых роботов об условиях индексации страницы. Если нужно запретить индексацию страницы только для определенного робота, поместите его название в значение атрибута name.

Чтобы запретить индексацию страницы для Googlebot:

Чтобы запретить индексацию страницы для Bingbot:

Также можно разрешить или запретить роботам переход по ссылкам, размещенным на странице.

Чтобы разрешить переход по ссылкам на странице:

Чтобы запретить поисковым роботам сканировать ссылки на странице:

X-Robots-Tag

x-robots-tag позволяет управлять индексацией страницы через HTTP-заголовок. Этот тег также указывает поисковым системам не отображать определенные типы файлов в результатах поиска. Например, изображения и другие медиа-файлы.

Для этого у вас должен быть доступ к файлу .htaccess. Директивы в метатеге «robots» также применимы к x-robots-tag.

Блокировка индексации через YoastSEO

Плагин YoastSEO в WordPress автоматически генерирует приведенный выше код. Для этого на странице записи перейдите в интерфейсе YoastSEO в настройки публикации, щелкнув по значку шестеренки. Затем в опции «Разрешить поисковым системам показывать эту публикацию в результатах поиска?» выберите «Нет».

Также можно задать тег noindex для страниц категорий. Для этого зайдите в плагин Yoast, в «Вид поиска». Если в разделе «Показать категории в результатах поиска» выбрать «Нет», тег noindex будет размещен на всех страницах категорий.

Тег noindex

Тег (англ. no index — нет индекса) — тег-контейнер, запрещает индексацию текста в поисковых системах Яндекс и Рамблер.
Как правило, в тег заключаются коды счетчиков, ссылки на внешние сайты (с целью исключить передачу рейтинга сайту на который ведет ссылка), информация, которая обновляется настолько часто, что индексировать ее нет смысла.

HTML: 3.2 | 4 / XHTML: 1.0 | 1.1

Синтаксис

Пример

Запрещаем индексацию текста:

Закрываем от индексации ссылку:

Твой код:
Результат:

Следует заметить, что ссылки будут индексироваться внутри данного тега. Чтобы и ссылки не индексировались, добавлем им атрибут rel=»nofollow» (из ответов Палатона).

Google и Yahoo тег игнорируют. В этих поисковиках запретить индексацию ссылок можно используя значение nofollow атрибута rel (rel=»nofollow») тега .

Тег отсутствует в спецификациях W3C (не пройдет валидацию).


Дополнительно некоторые ответы можно найти на официальном форуме Яндекс.

update 7.06.10 Можно попробовать сделать noindex валидным:

update: 29.06.10 Яндекс ввел поддержку валидного noindex:

Тег и атрибут rel=»nofollow»

В этой статье мы рассмотрим важный тег и атрибут rel=»nofollow» . Их значение очень велико для внутренней SEO-оптимизации сайта. Помимо этого расскажем про мета теги, в которых также могут участвовать эти параметры.

Значения «noindex» и «nofollow» могут встретиться в мета тегах или же в html-коде контента. Рассмотрим каждый случай в отдельности.

Значения noindex, nofollow в мета тегах

Заголовочные метатеги содержат важную информацию для поисковых систем о странице сайта. Рассмотрим мета тег robots:

В данном примере значение мета тега robots содержит значение nofollow и noindex, что означает запрет на индексирование страницы, а также запрет на переход по ссылкам на этой странице. Эти параметры могут быть записаны как вместе, так и раздельно. Например, один параметр может быть включен, другой выключен. По умолчанию оба они включены.

Илон Маск рекомендует:  animation-delay в CSS

Например, разрешим индексацию, но запретим переходить поисковому роботу по ссылкам на конкретной странице

Отмечу тот факт, что для Яндекса и Google этот мета тег оказывает решающее значение при обходе сайта. Например, если указать в файле robots.txt страницы, которые не требуется индексировать, то поисковая система может проигнорировать их. В случае мета тегов это будет являться уже жестким требованием.

Данный подход позволяет эффективно и точечно бороться с дублями страниц на сайте.

Чтобы указать действие для конкретного поисковика можно вместо name=»robots» написать имя поисковой машины. Например, для Яндекса:

Для гугл надо написать: name=»google».

HTML тег

HTML тег используется только в Яндексе. Позволяет частично или полностью закрывать фрагменты контента от индексации.

Этот тег часто используют для закрытия индексации всего ненужного на странице: рекламы, счетчиков, скриптов, каких-то цитат, фрагментов неуникального контента.

В стандарте HTML отсутствует тег , поэтому для того, чтобы код проходил тест на валидность используют модифицированную версию в виде комментария html:

Такой вариант также работает в Яндексе.

Как к noindex относится Google

Google и все остальные поисковики (кроме Яндекса) никак не идентифицирует этот тег.

Атрибут rel=»nofollow» в ссылках

Этот атрибут можно прописать к любой ссылке html в теге .

По такой ссылке поисковые роботы не будут переходить. Причем как Яндекс, так и Google.

Какие преимущества дает атрибут rel=»nofollow»

  • Не будет передаваться статичный вес с сайта для внешних ссылок
  • Поисковая машина при обходе большого сайта не будет переходить по этим ссылкам. Тем самым быстрее переиндексируя другие более ценные страницы сайта. Не секрет, что для каждого сайта отводиться на один обход лишь ограниченное число обращений робота.

Поисковые системы не учитывают в ранжировании влияние ссылок с атрибутом rel=»nofollow». Если на сайте много внешних ссылок (например, в комментариях часто по нику можно перейти на сторонний сайт), то естественно по таким ссылкам с сайта может перетечь много ценного «ссылочного веса». Так что всем рекомендуется использовать этот атрибут.

Для внутренних страниц сайта нет смысла задавать атрибут ссылкам rel=»nofollow». Используйте его только для внешних ссылок.


Применение тега Noindex

Тег noindex служит для обозначения фрагментов текста, запрещенных для индексирования поисковой системой Яндекс.
Тег введен в оборот системой яндекс и используется только ей и, возможно, Рамблер.
Google его не понимает и никак не учитывает.

Первоначально, чтобы закрыть часть текста от индексации, нужно было обернуть его, как указано ниже:

Поскольку тег не является частью утвержденных стандартов, возникают проблемы валидации страницы при ее проверке в любом сервисе проверки валидностью кода html.

Из-за этого яндекс ввел другую версию тега вида неиндексируемый текст . При таком использовании страница нормально проходит проверку. Первый вариант также до сих пор работает, но более правильно использовать второй вариант.

Применять данный тег можно, например, чтобы закрыть счетчики, комментарии. Но нет смысла закрывать, например, меню в целях перераспределения ссылочного веса на сайте.

Передача веса закрытой ссылке

Тег закрывает от индексации только текст, заключенный в него, но не влияет на индексирование ссылок внутри этого текста и передачу веса по ним. Для закрытия ссылки нужно использовать атрибут rel=”nofollow”, как писал здесь.

Метатег noindex

Метатег в коде страницы вида:

запрещает от индексации содержимое всей страницы (за это отвечает noindex), а также индексацию ссылок на этой страницы (за это отвечает nofollow).

Для массового проставления данного метатега, например, для архивов и других таксономий в wordpress можно использовать плагин Yoast SEO. В нем можно прописать метатеги в том числе и для отдельных страниц.

В robots.txt тег noindex не работает и не используется.

Сообщение – url запрещен к индексированию тегом noindex

В некоторых случаев вебмастер яндекс выдает сообщение, что адрес страницы, например, главной запрещен от индексации. Это значит, что на странице появился обнаружен этот метатег. Чаще всего такое бывает в двух случаях. Когда создавали сайт, то указали настройку “Попросить поисковые системы не индексировать сайт” на время разработки. Теперь нужно просто убрать эту пометку и отправить сайт в вебмастере на перепроверку. Или второй вариант – у вас стоит SEO плагин вроде Yoast Seo, в настройках которого вы указали запрет индексации, соответственно теперь его нужно убрать.

Noindex

Noindex – метатег, с помощью которого вы можете управлять индексацией поискового робота. Если вы выделите отдельный текстовый фрагмент и закроете его тегом noindex, то он не проиндексируется поисковой системой. Соответственно, он не будет находиться в его кеше.

Первый раз этот инструмент предложили специалисты «Яндекса», чтобы веб-мастеры могли быстро и с минимальными усилиями отделить часть текстового контента, не несущую смысловой нагрузки и нежелательную для оценки страницы.

Другая функция метатега noindex, не менее важная, заключается в блокировании индексации отдельных страниц ресурса, на которых публикуется контент пользователей. Как правило, это страницы, на которых размещены отзывы, комментарии, сообщения и др. В этом случае с помощью noindex можно использовать не самый жесткий режим модерации сообщений пользователей и избежать популяризации нежелательной информации.

Метатег noindex учитывается только «Яндексом». Для Google его наличие не играет роли. Поисковик проводит полную индексацию текстового контента страницы. Чтобы заблокировать индексацию для всех поисковиков, нужно прописать соответствующий метатег для всего сайта или отдельных страниц в файле robots.txt. Этот способ имеет очевидный недостаток: у вас не будет индексироваться целая страница, а не только отдельный текстовый фрагмент.

Когда скрыта второстепенная информация, можно увеличить плотность ключевых слов и повысить релевантность индексируемой страницы.

Метатег noindex позволяет скрыть контент сквозных блоков, дублирующихся на нескольких страницах и негативно влияющих на позиции сайта в выдаче «Яндекса».

С помощью этого метатега можно скрыть нежелательную или служебную информацию, которая иногда попадает в сниппет.

Noindex может располагаться в любом месте HTML-кода. Уровень вложенности не имеет значения. Чтобы сохранить валидность кода, тег нужно использовать в таком формате:

[!—noindex—] текст, спрятанный от индексации[!—/noindex—].

Несмотря на то, что noindex изначально предложили разработчики Yandex, применение этого инструмента может расцениваться как серый метод оптимизации. Причиной являются недобросовестные веб-мастеры, которые не всегда применяют его по прямому назначению и прячут от робота контент с низкой уникальностью или текст без ключевых фраз, рассчитанный на прочтение посетителями ресурса. Вместе с ним поисковику предлагается текст с обилием ключей, тяжелый для восприятия обычным человеком.

«Яндекс» борется с серыми методами оптимизации, поэтому выполняет анализ текста, закрытого метатегом noindex, проводит его индексацию, а затем отфильтровывает скрытое содержимое. После изучения контента поисковик может наложить санкции на сайт, если решит, что его владелец пользуется неправомерными способами влияния на поисковую выдачу.

Синонимы: нет
Все термины на букву «N»
Все термины в глоссарии

в HTML


Отличия в том, что нет такого тега в стандартах html, поэтому валидаторы на него будут ругаться. Да и другие поисковики кроме яндекса его не признают.

При использовании конструкции текст код будет проходить валидацию, т.к. это будет восприниматься как закомментированный текст.

Для яндекса все равно, какой вариант вы будете использовать. Он понимает оба.

Первый вариант — комментарий, второй — рабочее закрывание от индексации.
Т.е. по-вашему первый вариант не сработает? :)

———- Добавлено в 17:06 ———- Предыдущее сообщение было в 17:05 ———-

обычно ставлю ***text***
Тега вообще не существует и он никаким образом не работает :D

Т.е. по-вашему первый вариант не сработает? :)

———- Добавлено в 17:06 ———- Предыдущее сообщение было в 17:05 ———-

Тега вообще не существует и он никаким образом не работает :D

Вот блин(
А как от гугла закрывать?

Более валидный для чего?

Для тех, кто в танке.
http://help.yandex.ru/webmaster/? >
Тег

Для запрета индексирования служебных участков текста вы можете использовать тег . Тег работает аналогично мета-тегу noindex, но распространяется только на контент, заключенный внутри тега в формате:

текст, индексирование которого нужно запретить

Тег noindex не чувствителен к вложенности (может находиться в любом месте html-кода страницы). При необходимости сделать код сайта валидным возможно использование тега в следующем формате:

текст, индексирование которого нужно запретить

Т.е. по-вашему первый вариант не сработает?
А как по вашему, комментарии влияют на индексацию сайта поисковыми системами?

UPD. Яндекс удивил )))

А как по вашему, комментарии влияют на индексацию сайта поисковыми системами?

Данный комментарий влияет, потому что он аналогичен коду

обычно ставлю ***text***

А разве нофоллоу это тэг, а не атрибут ссылки (rel=»nofollow»)?

господа, что-то вы уже такие основы основ обсуждаете. мы так и до тега докатимся, куда его вставлять и валидный ли это тег?))

г-н Костный мозг, я не ставил вопрос, а поправлял г-на softer в своей типичной манере! Вы просто этого не поняли. Возможно, если б я поставил смайлик ;) или :confused:, или даже :dont:, то это не вызвало у вас такой реакции.

Noindex — тег для закрытия содержимого от индексации и особенности применения

Здравствуйте, дорогие посетители!

Если вы попали на данную страницу, то вероятнее всего, что где-то вам посоветовали использовать тег noindex для закрытия какого-либо содержимого от индексации.

В этой статьи я вкратце расскажу, зачем он нужен и особенности его применения. Также покажу, где его применяю я на своем ресурсе.

Общие сведения


Как и в случае с атрибутом nofollow, с которым я рекомендую ознакомиться, noindex имеет значения, как в случае обычного тега, так и мета-тега.

  • Тег noindex закрывает от индексации только те части, которые заключены внутри него;
  • Мета-тег noindex — закрывает всю страницу от индексирования.

В первом случае, тегом оборачиваются необходимые части текста на страницах, которые не нужно индексировать. Это могут быть служебные участки текста или же какая-то конфиденциальная информация.

Тег можно использовать, как в общепринятом варианте, так и валидном, чтобы сделать код страницы валидным и убрать ошибки за счет тега. Снизу даю 2 строки, первая из которых обычный вариант, а вторая — валидный.

Какой вариант использовать, решайте сами. Я же пришел ко второму.

В случае же с мета-тегом, noindex добавляется в шапку сайта, что запрещает всю страницу от индексации. Необходим в том же случае (служебные страницы и так далее), только уже для полной страницы.

В данном случае noindex является значением мета-тега robots (см. ниже).

Теперь по поводу использования данного тега.

Применение

Как я уже я писал выше, применять его стоит в том случае, если на странице имеется какая-то служебная информация. Также это имеет место, когда имеются неуникальные куски текста, которые пагубно влияют на продвижения страницы. Их также можно закрывать тегом noindex.

Если же взять мета-тег, который применяется ко всей странице и содержится внутри мета-тега robots (скриншот выше), то данный случай стоит применять для закрытия целых страниц от индексации. Это могут быть целые служебные страницы, не несущие никакой пользы сайту и посетителям. Например, страницы контактов, карты сайта и так далее.

Также имеет место закрытие страниц пагинации, то есть тех страниц, которые разбиваются на списки. Например, в постраничной навигации на сайте можно закрыть все страницы, кроме первой, чтобы обезопасить себя от появления дублированного контента.

Хотя, в последнее время я перестал закрывать страницы мета-тегом noindex. Связано это с произведенным мной анализом других популярных сайтов. Я увидел, что никто из гигантов не использует такое закрытие. Исходя из этого, я также убрал. Хотя раньше я добавлял noindex на такие страницы и все работало на ура. Поэтому, если у вас мета-тег добавляется на страницы пагинации, то можете не переживать.

Главное, чтобы сами контентные страницы были полностью открыти и на них не было мета-тега noindex.

Посмотреть его наличие можно в исходном коде страницы, нажав комбинацию клавиш ctrl+u.

Касаемо моего сайта, то я применяю тег и довольно часто, но не в самих статьях, а в самой верстке шаблона. Я закрываю все части, которые не несут смысловой нагрузки сайту:

  • социальные кнопки;
  • формы подписки;
  • на страницах рубрик, архивов и поиска закрываю текст краткого анонса, чтобы не дублировать контент, ведь он доступен и в полной версии статьи.

Проверить закрытые части данным тегом можно с помощью дополнения к браузеру RDS bar .

Вот, как выглядит закрытие формы подписки и социальных кнопок при активном RDS баре (закрытые области подсвечиваются коричневым).

А вот закрытый кусок текста на страницах рубрик, архивов и поиска.

Таким образом можно закрыть очень много ненужного в своем шаблоне.

На этом можно заканчивать данный материал. Больше о данном теге ничего толкового и не скажешь. В окончание хочу сказать, что если вы хотите закрывать внешние ссылки в noindex, то закроется только содержимое ссылки, то есть ее анкор.

Сама же ссылка работать будет и вес также будет передаваться акцептору. Для закрытия внешних ссылок, нужно использовать атрибут nofollow.

Если у вас остались какие-то вопросы по поводу тега noindex, то пишите их в комментариях под блоком похожих записей, которые также можете почитать. Уверяю вас, будет интересно.

Nofollow и noindex

Тег noindex введен поисковой системой Яндекс. Он предназначен для закрытия от индексации роботами ссылки или части html кода на странице. Имеет следующую структуру:

ссылка или часть кода, которые необходимо скрыть,


Данный тег не чувствителен к вложенности и может быть размещен в любой части кода. Поисковые машины, кроме Яндекса, воспринимают команду в качестве невалидной. Если валидность кода важна, тег оформляется следующим образом:

Тег noindex позволяет:

  • повысить релевантность страницы поисковым запросам за счет уменьшения доли второстепенной информации и увеличения плотности ключевых слов,
  • скрыть дублирующийся контент, за использование которого может последовать пессимизация сайта в выдаче Яндекса,
  • сохранять статический вес страниц и управлять его передачей, так как закрытие одних ссылок пропорционально увеличивает вИЦ оставшихся,
  • улучшить сниппет. Если в ходе раскрутки сайта в его текстовое описание в выдаче попадает ненужная информация со страницы, ее закрывают от индексации,
  • скрыть от роботов лишние данные (коды счетчиков, ссылки на сайты с постоянно изменяющейся информацией и т.д.).

Nofollow

Атрибут nofollow используют для ссылок на все сайты, которым не требуется передавать TrustRank ресурса-донора. Для внутренней перелинковки прием не применяется.

Noindex и nofollow позволяют закрыть от индексацию не только отдельную ссылку, но и всю страницу (прописываются внутри нее или в файле robots.txt):

Заголовок данной страницы

Nofollow и noindex могут использоваться совместно:

В таком случае поисковый робот Google ссылку проигнорирует, а Яндекса не увидит.

Noindex и Nofollow: как, зачем и для чего используют в SEO

В первую очередь давайте начнем с того, что существует несколько принципиально разных понятий: тег , атрибут rel=”nofollow” и мета-тег . В этой статье мы подробно разберемся с их определениями и предназначениями.

Что такое тег

. – тег, который предложили использовать поисковые системы для запрета индексации заключенного в него контента. Данный тег не входит в официальную спецификацию гипертекстовой разметки веб-страниц формата html.

Важно: распознается он лишь поисковыми системами Яндекс и Рамблер. Google не относится к числу поисковых систем, понимающих данный html тег.

Что такое атрибут rel=”nofollow”

rel=”nofollow” – значение, запрещающее поисковым системам переходить по ссылке, в которой используется данный атрибут.

Ниже будут рассмотрены все примеры использования тега и атрибута rel=”nofollow”.

Тег noindex и атрибут rel=“nofollow”

Тег для ссылок

Данный тег можно использовать для закрытия ссылок от индексации. Вот так это будет выглядеть в коде страницы:

Тег для контента

Данный тег можно использовать и для закрытия контента от индексации. Существует два способа. В коде страницы это будет выглядеть так:

Но стоит помнить, что данный тег понимают только поисковые системы Яндекс и Рамблер. Его свойства не распространяются на Google. Поэтому, если на вашем сайте есть некачественный контент, закрыть его таким способом можно только от роботов Яндекса и Рамблера.

rel=”nofollow” для ссылок

Данный атрибут, чаще всего, используется оптимизаторами в том случае, если они хотят, чтобы поисковые системы не учитывали наличие исходящей ссылки, как фактор передачи веса, но ссылка всё равно будет изучена роботом. Вот как это выглядит в коде:

Обычно, это уместно тогда, когда ссылки проставляются автоматически, например, в комментариях. Если вы не можете или не хотите поручиться за содержание страниц, на которые ведут ссылки с вашего сайта, следует вставлять в теги таких ссылок rel=»nofollow». Такой атрибут понимают и Google-боты и Яндекс-боты, а в своих справках поисковые системы пишут следующее:

Передает ли nofollow-ссылка вес

Если вы внимательно прочитали информацию по указанным выше ссылкам, теперь вы знаете, что вес по nofollow-ссылке не передается. Но из практики, мы можем смело сказать, что наличие таких ссылок в ссылочном профиле – очень полезный и достаточно естественный фактор в глазах поисковых систем. Но иметь много исходящих ссылок на своем сайте может быть негативным фактором, даже если они закрыты через данный атрибут.


Нужно ли использовать rel=”nofollow” для внутренних ссылок

Для того, чтобы сквозные ссылки, например на страницу регистрации или входа в личный кабинет не отнимали вес у других страниц, и не передавали его бесполезно, можно использовать rel=”nofollow”.

Как использовать совместно тег и rel=”nofollow”

Вот пример кода, когда оптимизаторы используют тег и атрибут rel=”nofollow” одновременно:

Но этот метод полноценно работает только для роботов Яндекса. Google понимает только лишь rel=»nofollow»>.

Мета-тег

Этот мета-тег устанавливается в секцию на той странице, которая не должна индексироваться и выглядит это следующим образом:

Суть значений noindex и nofollow в мета-теге остается та же:

Noindex – запрещает индексацию на уровне страницы (весь контент, который на ней есть), но не запрещает поисковым роботам посещать ее и переходить по ссылкам, которые используются в контенте.

Nofollow – запрещает поисковым роботам переходить по ссылкам на уровне страницы (и по внешним, и по внутренним).

Комбинации

Есть несколько случаев, когда используют данный мета-тег на практике. Под эти случаи есть разные решения:

  1. нужно использовать в случае, если вы не хотите, чтобы страница была проиндексирована поисковыми системами, но роботы смогли бы перейти по ссылкам с этой страницы на другие. Например, это может быть вторая страница пагинации на сайте типа site.com/category/?page=2, на которой есть ссылки на следующие товары и вы не хотите, чтобы эта страница была проиндексирована поисковой системой.
  2. выполняет то же самое. В данном случае вы запретите поисковой системе индексировать страницу, но просматривать ее и ходить по ссылкам роботы смогут.
  3. – запрещает индексировать контент на соответствующей странице, а также запрещает роботам переходить по ссылкам.
  4. – разрешает роботам индексировать страницу и ходить по ссылкам. Такой мета-тег не имеет смысла использовать, так как по умолчанию, и без него поисковикам разрешено выполнять те же действия. Но если на вашем сайте он установлен и вы не собираетесь ограничивать работу робота, специально удалять его нет смысла.
  5. — разрешает индексировать страницу, но по ссылкам, которые в ней содержатся, робот переходить не будет.
  6. — делает то же самое — разрешает индексировать страницу, но по ссылкам, которые в ней содержатся, робот переходить не будет.

Данный мета-тег можно использовать как для Google, так и для Яндекс отдельно

Если вам необходимо закрыть от индексации страницы только для Google, можно использовать . Так говорит справка Google.

Если закрыть от индексации только для Яндекса – . Об этом также очень подробно написано в справке Яндекс.

Как сочетать meta name=»robots» с robots.txt и в чем принципиальная разница

Некоторые оптимизаторы не понимают разницу между мета-тегом и закрытием соответствующей страницы в файле robots.txt. Оба способа запрещают поисковым роботам индексировать страницу сайта, но отличие все же есть:

Первый – разрешает роботам зайти на эту страницу, увидеть мета-тег и исключить ее из индекса или не индексировать.

Второй – запрещает зайти на страницу, и если вдруг она ранее уже была проиндексирована, она может долго находится в индексе поисковых систем, даже если вы ее закроете в файле robots.txt, без права на переиндексацию, впоследствии вы можете видеть ее в поиске так:

Поэтому для непроиндексированных страниц можно использовать любой из вариантов.

Если же страница уже была проиндексирована, рекомендуется установить в секцию мета-тег . Это исключит ее из индекса и предотвратит последующее попадение в него.

Если ваш сайт создан на WordPress, правильно настроить данные мета-теги поможет бесплатный плагин Yoast SEO. Примерно вот так это выглядит:

Помочь проанализировать наличие всех этих элементов (и мета-тегов и тегов и атрибутов) в коде страниц сайта может расширение для браузера RDS-бар:

Правильно настроив его, вы сможете видеть контент, завернутый в тег (будет подсвечиваться):

Ссылки с rel=»nofollow» (ссылка будет перечеркнутой, а в данном случае она еще и завернута в тег ):

И использование мета-тега :

Теперь вы знаете как с помощью данных методов настроить правильную индексацию сайта, что может повлиять в лучшую сторону на его продвижение в целом.

Понравилась статья? Поделиться с друзьями:
Кодинг, CSS и SQL