Cnsearch использование meta тегов robots

Содержание

Правильное использование метатега ROBOTS для поисковых систем

Гугл разъяснил вопросы о том, как поисковый бот трактует метатег ROBOTS.

Множественные значения content-параметра

Рекомендуется заключать все значения параметра content в один метатег. Это сделает его более удобным для чтения и уменьшит вероятность противоречий. Например:

Если страница содержит несколько метатегов одного типа, то Гугл-бот объединит их, т.е., например,

будет распознано точно так же, как

Если значения противоречат друг другу, во внимание будет принят наиболее строгий. Так, если страница содержит метатеги

то бот подчинится значению NOINDEX.

Излишние значения content-параметра

По умолчанию Гугл-бот будет индексировать страницу и все ссылки на ней. Поэтому нет никакой необходимости помечать страницы значениями content-параметра INDEX или FOLLOW.

Нацеливание метатега ROBOTS непосредственно на Google-бота

Чтобы предоставить инструкции для всех поисковых систем, установите название метатега как “ROBOTS”. Чтобы указать инструкции только для Гугл-бота назовите метатег как “GOOGLEBOT”. Если Вы хотите создать разные инструкции для разных поисковых систем, то лучше использовать специальные метатеги для каждой поисковой системы, а не общий метатег ROBOTS в сочетании со специфическими для конкретной поисковой машины.

Google-бот понимает любую комбинацию верхнего и нижнего регистров. Поэтому каждый из следующих метатегов интерпретируется им одинаково:

Если у Вас есть несколько значений content-параметра, то между ними нужно поставить запятую, но при этом неважно, добавите Вы также пробелы или нет. Поэтому следующие метатеги интерпретируются одинаково:

Если вы используете и файл robots.txt, и метатеги ROBOTS

Если между параметрами файла robots.txt и метатегом есть противоречия, то Гугл-бот последует наиболее строгим из них. Если более конкретно, то:

  • Если Вы блокируете страницы через robots.txt, Google-бот никогда не будет сканировать их и никогда не будет читать метатеги этих страниц.
  • Если страница не запрещена к индексации в robots.txt, но заблокирована с помощью метатега, Google-бот откроет ее, прочитает метатеги, и впоследствии не станет индексировать.

Валидные значения параметра content метатега ROBOTS

  • NOINDEX – запрещает индексацию страницы.
  • NOFOLLOW – запрещает Google-боту следовать по любым ссылкам на странице. (Заметьте, что это отличается от параметра NOFOLLOW, применяемого для ссылок, который запрещает Google-боту проходить по отдельным ссылкам.)
  • NOARCHIVE – предотвращает кэширование копии страницы для ее исключения из результатов поиска.
  • NOSNIPPET – запрещает появления описания страницы в результатах поиска, так же как предотвращает ее кэширование.
  • NOODP – блокирует использование описания страницы, которое берется из dmoz.org для отображения в результатах поиска.
  • NONE – эквивалентно “NOINDEX, NOFOLLOW”.

Несколько слов о значении “NONE”

Как определено в robotstxt.org, следующее означает NOINDEX, NOFOLLOW:

Однако, некоторые веб-мастера используют этот тег для указания ботам отсутствия каких-либо ограничений и тем самым непреднамеренно блокируют содержание страниц для всех поисковых систем.

Разумное вложение в ваше имущество, а также гармония дизайна и надежность конструкции — все это автоматические гаражные ворота мансардные от компании «ELITVOROTA». Также предлагаются автоматические шлагбаумы и рольставни с дистанционным управлением.

Мета-теги

Правильная настройка мета-тегов очень важна для SEO. Работы по заполнению, прописыванию, корректировке мета-тегов всегда выполняются при запуске проекта, сразу после того, как собрано семантическое ядро. И продолжаются по мере необходимости в течение всего периода продвижения сайта. Иногда достаточно лишь небольших изменений в метатегах, чтобы сайт вышел в ТОП10. Особенно это актуально для низкочастотных запросов, а также в тех случаях, когда сайт уже находится достаточно высоко по данному запросу (например, 11-15-я позиция в поисковой выдаче), и нужно совсем немного, чтобы выдвинуть его в ТОП. Зачастую под SEO-тегами подразумеваются Title, Description и Keywords. Однако тегов намного больше. И в этой статье мы постараемся охватить этот вопрос максимально полно.

Содержание

Что такое мета-теги

Если быть предельно точным, то под мета-тегами следует понимать (X)HTML-теги , с помощью которых можно указать служебную информацию о странице. Такая информация размещается внутри контейнера … и не выводится на экран.

К тегам мета относятся:

  • description — описание веб-страницы,
  • keywords — ключевые слова,
  • http-equiv — тип отправляемого документа и кодировка (charset),
  • generator — CMS сайта,
  • author — автор,
  • copyright — авторские права,
  • robots — правила индексирования страницы для роботов,
  • viewport — данные о настройке области просмотра
  • и другие.

Подробнее можно прочитать в справке по HTML или Википедии.

На хабрахабр приводится такое определение: meta-теги — это необязательные атрибуты, размещенные в заголовке страницы, которые могут содержать ее описание, ключевые слова к ней, информацию об авторе, управляющие команды для браузера и поисковых роботов, и прочую служебную информацию, не предназначенную для посетителей.

В этой статье мы не будем точны с технической точки зрения и к мета-тегам отнесем те служебные теги, которые 1) важны в SEO и 2) используются в любом месте веб-документа, т.е. не обязательно привязаны к контейнеру . В связи с этим, приведем такое определение.

Мета-теги (англ. meta tags, досл. служебные ярлыки) — это служебные слова, которые содержат важную информацию о веб-документе для поисковых систем. К таким словам (тегам) относятся теги Title, Description, Hx, Robots, Canonical.

Правильные SEO мета-теги для Яндекса и Google

Рассмотрим, как правильно написать мета-теги для сайта, как их добавить и разместить в коде. Нас будет интересовать:

  • синтаксис — то, как правильно должен быть прописан мета-тег в HTML-коде сайта;
  • требования поисковых систем к тегам;
  • примеры правильного и неправильного заполнения тегов.

Следует отметить, что в большинстве CMS (систем администрирования сайта), есть специальные поля для заполнения мета-тегов, и вам не нужно прописывать их непосредственно в HTML-коде. От вас потребуется только вписать содержание тега (Title, Description, Keywords, H1, Canonical) или выбрать подходящее значение (Index/NoIndex, Follow/NoFollow). Однако следует проверять, корректно ли размещаются теги: 1) в правильных местах, 2) правильный синтаксис, 3) значения в тегах соответствуют вашим настройкам. Причем следует проверить не только на главной странице, но и на различных внутренних страницах. Например, у нас сайт интернет-магазин. В этом случае обязательно нужно проверить, корректно ли размещаются мета-теги на главной странице, внутренних информационных, страницах категорий и товаров, поскольку веб-документы каждого из этих типов могут формироваться по своему отдельному шаблону.

Теперь подробнее о каждом из тегов.

Мета-тег Title

Это самый главный тег, который больше других влияет на продвижение сайта по ключевым словам. В большинстве случаев именно этот текст используется в заголовке сниппета, как показано в примере ниже. (Но не всегда, в заголовок так же может быть выведено содержание тега H1 или даже H2, H3).

Синтаксис

Тег должен находиться внутри контейнера … в любом месте.

Требования SEO

  • Заголовок должен быть уникальным на всех страницах сайта, а также не повторять Title на страницах других сайтов (для этого в конце Title можно добавить название организации).
  • Тайтл должен отражать суть страницы, должен быть информативным и кратким.
  • Должны присутствовать запросы, по которым продвигается данная страница, самые важные размещаем в начале тега, заголовок должен обязательно содержать 1-3 ключевых слова.
  • Не включайте в Title слишком много ключевых слов
  • Содержимое тегов Title и H1 должно быть разным — у них разные цели: Title заголовок для сниппета, H1 заголовок веб-страницы.
  • Не используйте специальных символов, пока не убедитесь, что они поддерживаются.
  • Не используйте спецсимволы (= / \ + _ ), знаки препинания и стоп-символы (точка, двоеточие, восклицательный и вопросительный знак) — помните, это знаки, которые разбивают пассажи в Title, что снижает взаимосвязь ключей по разные стороны от стоп-знака.
  • Составляйте тег Title для людей по всем правилам русского языка, заголовок по возможности нужно делать цепляющим и привлекательным.
  • Оптимальная длина Title – от 30 до 65 символов. Google ориентируется на длину в пикселях, рекомендуемая длина — от 200 до 571 пикселей. Если длина Title больше, то в сниппете появляется многоточие, которое также занимает дополнительное место в заголовке. Оно может появиться как в конце заголовка сниппета, так и в начале. Короткие Тайтл тоже плохо, поскольку в него помещается мало ключей. НО: при этом нет смысла придерживаться оптимальных значений длины заголовка для служебных страниц на сайте, которые НЕ продвигаются по ключевым словам.

Примеры правильного заполнения тегов

  • Купить сантехнику в Москве, интернет-магазин Куписантехнику.Ру
  • Окна REHAU в Москве, официальный сайт партнера — Пластиковые окна недорого
  • Мета-теги для сайта, Title и Description в примерах — SEOgio
  • Элемент пола Кнауф — купить в Москве по цене 310 pуб | KNAUF
  • Новости — Компания Ромашка

Ошибки и неудачные примеры мета-тегов

  • Евроремонт, ремонт дома, ремонт квартир в Смоленске, ремонт в Смоленске | Ремонт квартир, cтроительство Смоленск ( простое перечисление ключевых слов )
  • Главная – ООО Ромашка , подарки оптом, подарки сотрудникам, рекламные сувениры, корпоративные подарки. ( вначале должны быть самые главные ключевые слова )
  • Ремонт ( слишком короткий Title )
  • «Автомоечный комплекс №1»: автомойка, шиномонтаж, кафе, сауна, комната отдыха . ( название компании вначале, двоеточие, слова, по которым не будет продвигаться сайт )
  • Новости о юридических услугах и бухгалтерском обслуживании в компании Ромашка ( использование ключевых слов в заголовке страницы, которая по этим словам НЕ продвигается, это может только мешать )

Мета-тег Description

Так же один из важных тегов для продвижения страницы по ключевым словам. Описание может использоваться в сниппете.

Однако текст в сниппет может быть подставлен и из контентной части страницы, если поисковик решит, что это предпочтительнее. При этом, независимо от того, выводится в сниппет описание из тега description или из текста, то, как составлен метатег описания, оказывает влияние на ранжирование страницы в поиске.

Пример, когда description в мета и в сниппете отличаются:

Синтаксис

Тег должен находиться внутри контейнера … в любом месте.

Требования SEO

  • Должен отражать суть страницы, написан в виде согласованного текста. Может быть несколько предложений.
  • Должен быть уникальным для всех страниц сайта, не дублировать аналогичные теги на других сайтах (для этого используем название компании в тексте мета-тега).
  • В теге нужно использовать запросы, по которым продвигается данная страница, однако делать это необходимо так, чтобы они были использованы естественным образом, в нужной морфологии. Также не следует просто перечислять запросы через запятую.
  • Содержание тега не должно повторять Title.
  • Длина description должна быть не менее 70 и более 150-200 символов. Google определяет длину в пикселях, рекомендуемая длина от 400 до 930 пикселей.
  • В description желательно отразить основные преимущества компании, товара, услуги.
  • Наиболее важную информацию и фразы лучше разместить в начале мета-описания.
Илон Маск рекомендует:  Что такое код hw_objrec2array

Примеры правильного заполнения тегов (полужирным выделены ключевые слова)

Ошибки и неудачные примеры мета-тегов

  • ( короткий, мало ключевых слов )
  • ( сгенерирован автоматически, просто вырезано начало контента на странице )
  • ( перечисление ключевых слов через запятую, неестественное мета-описание )

Мета-тег H1

Еще один очень важный тег. В нем лучше всего размещать главный, максимально частотный запрос, по которому продвигается данная страница. Заголовок страницы чаще всего должен содержать 1-3 слова. Исключение — страницы статей, товаров, проектов и т.п. То есть страницы, продвигаемые под более специфические, менее частотные запросы.
Синтаксис

Управляем индексацией с помощью Noindex Nofollow и других примочек

Когда нужно запретить индексацию целой категории или ряда страниц, это легче сделать с помощью правильного robots.txt. Но как быть, если требуется закрыть от индексации одну страницу либо вообще часть текста на странице? Поговорим сейчас об элементах, которые призваны решать именно эту проблему.

Что такое мета тег Robots

Сначала уясним, что есть мета тег Robots, а есть файл Robots.txt, и путать их не будем. Метатег имеет отношение только к одной html странице (на которой он указан), в то время, как файл txt может содержать директивы не только к странице, но к целым каталогам.

При помощи мета тега Robots можно запрещать индексировать содержимое всей страницы. На страницах моего блога он выглядит так:

Это означает, что метатег роботс не запрещает индексировать страницу. Noodp тут означает, что он запрещает Google брать в сниппеты описание для страниц из каталога DMOZ — это одна из стандартных настроек плагина Yoast SEO, которым я пользуюсь.

А вот как выглядит метатег Robots, который запрещает индексацию страницы:

Как прописать

Дедовский способ — вручную прописать для страницы. Способ подходит для сайтов на чистом HTML.

Для сайтов на CMS рекомендую использовать SEO-плагины. Я, например, для WordPress использую плагин Yoast SEO, и там под каждой записью в режиме редактирования есть такая опция:

То есть проставить нужное значение можно парой щелчков.

Как использовать noindex и nofollow в meta robots

Посмотрим на возможные значения атрибута content:

  • noindex, nofollow – запрещена к индексации вся страница и переходы по ссылкам на ней; кстати, идентичной будет значение при записи:
  • noindex, follow – страница не индексируется, но поисковик может переходить по ссылкам;
  • index, nofollow – страница индексируется, но переход по ссылкам запрещен;
  • index, follow – разрешены к индексированию как страница, так и ссылки на ней;
  • noarchive – работает как в yandex, так и в google – не показывает страницу на сохраненную копию;
  • noyaca – работает только в Яндексе, если сайт зарегистрирован в каталоге YACA – запрещает использовать описание в результатах поиска, которое берется из Яндекс.Каталога; выглядит так:
  • noodp – работает и в Яндексе, и в Google – запрещает использовать в результатах описания, которые взяты из Каталога ДМОЗ (разумеется, если сайт там зарегистрирован).

Поговорим чуть больше о noodp

Иногда Гугл может добавлять в сниппет описание из DMOZ. Именно для этого и используется атрибут noodp. Кстати, его можно использовать вместе с тегом nofollow. Выглядит это так:

Мета тег robots, примеры использования

Посредством мета-заголовков мы можем помогать поисковым роботам с корректной индексацией сайта. Одним из значимых на мой взгляд тегов для поисковых систем является robots. Назначение данного тега в том, что он в зависимости от присвоенного значения может сообщать поисковым роботам, такую к примеру информацию: нужно ли индексировать данную страницу, либо в этом нет необходимости. На самом деле список значений достаточно велик. Так же запрет может так же выполняться посредством файла robots.txt. Это может быть полезно, к примеру, в случаях с файлами, когда необходимо запретить индексацию. В самих файл таким образом сообщить поисковой системе об этом мы естественно не можем.

Использование мета тега robots

Файл robots.txt в этом случае располагается в корне сайта. В самом документе мета тег помещается в самом заголовке документа, между тегами head. Говоря простым языков, поисковый робот читает файл robots.txt, если в нём нет информации об индексации целевой страницы (к примеру запрет), он переходит на саму страницу, после чего пытается считать заголовок robots. И в зависимости от значения может принимать дальнейшие решения по индексации.

Варианты значений для robots

В атрибут content помещается значение параметра robots. Вариантов значений этого параметра целое множество. Давайте рассмотрим варианты значений, посредством которых мы сообщаем поисковому роботу:

  • index – индексировать страницу можно;
  • noindex – индексировать страницу не нужно;
  • follow – можно так же индексировать ссылки на странице;
  • nofollow – индексировать ссылки на странице не нужно;
  • all – обозначает комбинацию значений index и follow;
  • none – обозначает комбинацию значений noindex и nofollow;
  • noimageindex – индексировать изображения на странице не нужно;
  • noarchive – не сохранять копию в поисковой выдаче;
  • noyaca – для робота Yandex, не использовать описание из Яндекс.Каталога в результатах поисковой выдачи;
  • noodp – не использовать описание из каталога DMOZ в результатах поисковой выдачи;
  • notranslate – не переводить контент данной страницы (для Google в частности);
  • nosnippet – запретить вывод описания страницы в результатах поиска, так же применяется значение noarchive;

Примеры использования мета тега robots

Давайте теперь рассмотрим примеры использования тега robots. Первым простым примером будет запрет на индексацию страницы:

В этом случае, если в качестве значения name стоит robots, то правило будет актуально для всех поисковых роботов. Однако возможна ситуация, когда следует указать отдельное правило, для отдельных поисковых роботов.

Запрет индексации страницы для yandex

Давайте попробуем поисковому роботу yandex сообщить, что индексировать страницу не нужно, как и ссылки на странице.

В качестве значения атрибута content мы передали два параметра noindex, nofollow. Это обозначает, что вы можете сообщать несколько значений разделяя их запятой.

Запрет индексации изображений для google

По аналогии с предыдущем примером, можно указать отдельное правило для поисковых роботов google. Для разнообразия, давайте сделаем запрет для индексации изображений в базу данных google.

В этом случае разрешения на индексацию изображений будут иметь все поисковые роботы кроме google.

Запрет на сохранения копии страницы

Как мы знаем, после того как страница была проиндексирована и попала в поисковую выдачу, то по умолчанию её копия так же может храниться в кэше. Висеть «снимок страницы» в кэше может значительное время, даже после кардинального её изменения. Мы можем запретить поисковым роботам показывать страницы из кэша.

В этом случае запрет на сохранение копии будет действовать для всех поисковых машин. Как вы уже знаете из примеров выше, можно выполнить запрет для отдельных поисковых систем.

Запрет показа сниппета в поисковой выдаче

Сниппетом называют текст, который служит описанием для страницы в результатах поисковой выдачи. Как правило он размещается непосредственно под заголовком. В некоторых случаях может потребоваться убрать данное описание. Делается это аналогичным образом:

Подобным образом запреты применяются для всей страницы. Существуют и другие методы, позволяющие регулировать индексацию страницы.

Запрет на индексацию отдельных элементов

Можно сделать запрет на индексации для отдельных элементов на странице. Это может быть какая-либо информация которая не должна участвовать в поиске.
В случае с яндексом, то можно использовать специальную разметку «noindex»:

Что касается поисковой системы google, то там к примеру, можно задать похожие параметры посредством атрибута rel.

Тег meta может так же приминать и другие значения параметров, которые так же способны сообщать поисковым роботам служебную информацию. Вероятно, в будущем будет об этом, и здесь появится ссылка на страницу.

Мета-тег против robots.txt

Лучше ли использовать метатеги * или файл robots.txt для информирования пауков / сканеров о включении или исключении страницы?

Есть ли какие-либо Проблемы при использовании как метатегов, так и файла robots.txt?

10 ответов

Опция метатега говорит ботам не индексировать отдельные файлы, тогда как Robots.txt может использоваться для ограничения доступа ко всем каталогам.

Конечно, используйте метатег, если у вас есть нечетная страница в проиндексированных папках, которую вы хотите пропустить, но в целом я бы порекомендовал вам большую часть вашего неиндексированного контента в одной или нескольких папках и используйте robots.txt для пропуска много.

Нет, нет проблем в использовании обоих — если есть столкновение, в общих чертах, отрицание отменяет разрешение .

Существует огромная разница между meta robot и robots.txt.

В robots.txt мы спрашиваем сканеры, какую страницу вы должны сканировать, а какую — исключить, но мы не просим сканер не индексировать эти исключенные страницы из сканирования.

Но если мы используем мета-теги роботов, мы можем попросить сканеры поисковых систем не индексировать эту страницу. Для этого нужно использовать тег:

Во втором метатеге я попросил робота следовать этому URL, но не индексировать в поисковой системе.

Есть одно существенное отличие. Согласно Google они по-прежнему будут индексировать страницу за robots.txt DENY, если страница связана с другим сайтом.

Однако, они не увидят метатег:

Хотя Google не будет сканировать или индексировать контент, заблокированный robots.txt, мы все равно можем найти и проиндексировать запрещенный URL из других мест в Интернете. В результате URL-адрес и, возможно, другая общедоступная информация, такая как якорный текст в ссылках на сайт, все еще могут появляться в результатах поиска Google. Вы можете полностью запретить отображение своего URL в результатах поиска Google с помощью других методов блокировки URL, таких как защита паролем файлов на вашем сервере или с помощью метатега noindex или заголовка ответа .

Оба поддерживаются всеми сканерами, которые уважают пожелания веб-мастеров. Не все делают, но против них ни техника не достаточна.

Вы можете использовать правила robots.txt для общих целей, например запретить целые разделы вашего сайта. Если вы говорите Disallow: /family , то все ссылки, начинающиеся с /family , не индексируются сканером.

Метатег можно использовать для запрета одной страницы. Страницы, запрещенные метатегами, не влияют на подстраницы в иерархии страниц. Если у вас есть мета-тег запрещения /work , это не мешает сканеру получить доступ к /work/my-publications , если на разрешенной странице есть ссылка на него.

Я бы, вероятно, использовал robots.txt поверх тега meta . Robots.txt существует дольше и может быть более широко поддержан (но я не уверен на 100% в этом).

Что касается второй части, я думаю, что большинство пауков примут любой наиболее ограничивающий параметр для страницы — если есть несоответствие между robots.txt и метатегом.

Разница между ними заключается в следующем:

  • Мета-робот может блокировать одну страницу с помощью некоторого фрагмента кода, вставленного в заголовок веб-сайта. Используя метатег, мы сообщаем поисковику, для какой функции мы используем метатег.
  • В файле Robots.txt вы можете заблокировать весь сайт.
Илон Маск рекомендует:  Как в PowerPoint пронумеровать слайды

Вот пример мета-робота:

Вот пример файла Robots.txt:

Разрешить сканерам сканировать все веб-сайты

Запретить сканерам сканировать все веб-сайты

Что такое meta name robots?

Время чтения: 7 минут Нет времени читать?

Индексация страниц с точки зрения SEO имеет огромное значение и необходимо владеть базовыми техническими знаниями в SEO. Поэтому сегодня я расскажу вам про мета-тег robots, про который не знают многие оптимизаторы.

Что такое meta name robots?

Прошу не путать с robots.txt, так как это совершенно разные файлы. Meta robots необходим, а Robots.txt призван для того чтобы создавать правила индексирования страниц для поисковых роботов.

Чтоб было нагляднее давайте разберем на примере:

Это пример файла robots.txt

Кстати, совсем недавно написал полноценную статью про правильную настройку robots.txt

Вот это пример мета-тега robots с атрибутами name и content

Как вы видете синтаксис довольно прост + параметры данного тега нечувствительны к регистру. Можно написать и в таком формате

В принципе синтаксис мы уже увидели. Данный тег должен располагаться в разделе тут и нигде больше! Но использовать данный тег можно несколько раз на странице.

Список параметров мета-тега name robots:

Для всех поисковых систем

index – позволяет индексировать текст страницы

noindex – не индексировать текст страницы

follow – индексировать ссылки на этой странице

nofollow – не индексировать ссылки на этой странице

all – индексировать текст и ссылки на странице

none — не индексировать текст и ссылки на странице

noarchive – не показывает ссылку на сохраненную копию на странице поисковой системы

Только для Яндекса:

noyaca – не использовать описание Яндекс Каталога в результатах выдачи Яндекса

Только для Google:

nosnippet – не использует фрагмент содержания в результах поиска Google

noodp – не использует описание из каталогов ODP/DMOZ в результатах поиска Google

unavailable_after:[date]: — возможность указать точную дату и время, когда необходимо прекратить индексирование страницы

noimageindex – не использует картинки сайта в качестве источника ссылки, которая отображается в поисковой системе Google

Если тег meta name robots отсутствует на страницы, то мы автоматически разрешаем роботу индексировать текст и ссылки на странице.

Итак, разберем каждый пример отдельно

Этот пример позволит закрыть от индексации текст страницы, но будет учитывать все ссылки на сайте и соответственно проиндексирует их. Та же ситуация произойдет если, мы добавим follow

Разницы нет, писать можно так и так.

Если мы хотим полностью закрыть страницу от индексации через тег meta name, то есть два способа:

(Также можно использовать на странице тег noindex и и атрибут nofollow)

Оба варианта позволят роботу не учитывать текст и ссылки на странице.

Этот тег учитывает все ссылки и текст

Далее я расскажу в каких случаях использовать.

Использование meta name robots

Когда нужен robots.txt, а когда meta name robots?

Плюсы meta name robots.txt

Данный файл мы можем указывать, когда необходимо закрыть целые разделы, несколько страниц от индексации поисковых роботов. Причем, чтобы запретить раздел, мы прописываем это только одной строкой и если мы хотим разрешить индексирование одной страницы, то добавляем дополнительно строку.

В принципе более подробно про robots.txt я рассказал здесь.

Мета-тег name robots в этом случае проигрывает, потому что невозможно указать данный тег на весь раздел (придется выставлять отдельно на каждой странице, что очень неудобно и затратно).

Ну в целом и все. Главное, что мы выигрываем время.

Теперь разберем, когда лучше всего использовать meta name robots.

1. Страница в разработке.

Допустим, вы не до конца доделали страницу и в дальнейшем планируете его закончить, тогда вы можете внести ее на сайт, но попросить поисковую систему не индексировать эту страницу. В дальнейшем, когда страница будет готова, вы удалите этот тег.

Тег будет выглядеть так:

Если вы не знаете, то архивы, ярлыки создают дублирование контента. Но закрывать эти страницы от индексации полностью необязательно. Достаточно, тег meta name robots с запретом индексации текста, но индексацию ссылок не трогать.

Ответы на вопросы

Что будет, если использовать одновременно meta name robots и robots.txt ?

Поисковой системе без разницы что вы используете для управления индексацией (файлом robots.txt или мета тегом robots). Важно чтобы эти элементы не противоречили друг другу. Поэтому будьте внимательны.

Яндекс про meta robots.txt

Прочитал у Яндекса интересную заметку в справке:

“Если мета-теги не указаны, робот считает, что они имеют положительное значение (index, follow, archive). Если робот обнаруживает конфликт между тегами, выбирается именно положительное значение.

Исключение — атрибут all не влияет на noarchive:

Google про мета-тег robots

Интересную информацию я нашел в справочнике Гугла:

Чтобы заблокировать большую часть поисковых роботов, добавьте следующий метатег в раздел веб-страницы:

Если вы хотите закрыть доступ к странице только роботам Google, используйте такой код:

Другие поисковые системы могут иначе интерпретировать атрибут noindex на странице и показывать ее в результатах поиска.

По поводу ноуиндекс ничего нового мы не узнали, но зато я увидел вот что! В атрибуте name указано значение googlebot, а это говорит о том, что можно использовать различных поисковых ботов. Это я увидел в англоязычном справочнике Гугла.

Странно здесь одно, что в справочнике Яндекса никакой информации про это я не увидел.

Заключение

Конечно, не стоит закрывать все ссылки на сайте, обязательно ссылайтесь на полезные ресурсы для посетителя и никаких nofollow, noindex вам не понадобится. Потому что роль данных тегов важна с точки зрения индексации, но не с точки зрения продвижения вашего сайта. Ну к примеру, я не использовал данный тег и мои сайты ранжировались нормально. Это скорее некая дополнительная фича к robots.txt.

Не злоупотребляйте спамными техниками и прочими черными методами продвижения сайтов и старайтесь не слушать биржи о покупке ссылок и волшебном продвижении в ТОП 10, и ничего за это вам не будет. Поймите – их цель продать вам продукт и они будут вливать вам как можно больше воды. Можно продвигать сайт без них, есть конкретные кейсы и примеры (точнее без покупки ссылок), ну а в сегодняшней статье всё.

Оставляйте вопросы в комментариях, а пока у меня к вам несколько вопросов:

Как вы используете meta-robots name?

Используете ли вы различных ботов (googlebot, googlebotnews) для запрета индексации той или иной страницы?

Что такое мета-тег Robots (meta name robots)? 7 основных вариантов + варианты для GoogleBot

Указания поисковому роботу

При проведении SEO-оптимизации страниц сайта, иногда нужно изменить поведение поискового робота на конкретной странице. Например, запретить ему индексировать её содержание. Или же индексацию разрешить, но не позволять ему переходить по ссылкам. Сделать это можно при помощи специального мета-тега meta name robots.

«Способ применения» данного тега несколько отличается от использования файла Robots.txt — в данном файле можно дать указания поисковому роботу сразу для всего сайта, используя специальные регулярные выражения.

Но если вы хотите скрыть от поисковиков определённую страницу и не прописывать её в Robots.txt ( чтобы вообще никто о ней не знал ), то лучше прописать на самой странице данный мета-тег.

Что такое мета-тег Robots и как его использовать?

Это один из многочисленных тегов, используемых для сообщения роботам и/или браузерам т.н. метаданных (т.е. информации об информации). Среди самых известных и часто используемых:

Что прописывать в тег robots?

Выглядит он так:

Вместо многоточия может быть 7 основных вариантов. Каждый вариант — это комбинации специальных указаний index/noindex и follow/nofollow, а также archive/noarchive :

  1. index, follow . Это сообщает поисковикам о том, что нужно произвести индексацию данной страницы (index), а также следовать (follow) по ссылкам, которые есть на странице.
  2. all . Аналогично предыдущему пункту.
  3. noindex,follow или просто noindex . Запрещает индексировать данную страницу, но разрешает роботу переходить по ссылкам, расположенным на ней.
  4. index,nofollow или просто nofollow . Запрещает переходить по ссылкам, но разрешает индексировать страницу — т.е. содержимое страницы будет отправлено в поисковый индекс, но другие страницы, на которые стоят ссылки, в индекс не попадут (при условии, что робот иными способами до них не доберётся).
  5. noindex, nofollow . Указание не индексировать документ и не переходить по ссылкам, содержащимся в нём.
  6. none . Аналогично предыдущему пункту.
  7. noarchive . Данное указание запрещает показывать ссылку на сохранённую копию страницы в результатах выдачи:

Ссылка на сохранённую копию страницы в Яндексе

Если мета-тег Robots не указан, то принимается значение по умолчанию:

То же самое происходит, если на странице указано несколько этих тегов.

Все вышеперечисленные варианты понимаются большинством поисковых систем и, в частности, Яндексом. Google тоже хорошо распознаёт эти комбинации, но также вводит кое что ещё:

  • Вместо name=robots можно указать name=googlebot — «обращение» конкретно к роботу Google.
  • content=nosnippet (запрещает показывать сниппеты в поисковой выдаче) и content=noodp (запрещает брать содержимое сниппетов из описания сайта в каталоге DMOZ).
  • content=noimageindex . При поиске по картинкам запрещает отображение ссылки на источник картинки.
  • content=unavailable_after:[date] . В качестве date следует указать дату и время, после которой Гугл перестанет индексировать эту страницу. Едва ли это когда-нибудь пригодится

В общем, Google несколько расширяет содержимое мета-тега Robots.

Куда прописывать meta name robots?

Традиционно, все мета-теги прописываются между «head» и «/head» в HTML-коде страницы.

В WordPress они легко выставляются при помощи популярного плагина All in One Seo Pack:

Мета Robots в All in One Seo Pack

Таким образом, если вам необходимо «спрятать» определённую страницу от поисковых роботов — используйте данный мета-тег.

X-Robots-Tag в HTTP заголовках: всё, что вам нужно знать

Существует несколько типов директив, которые сообщают поисковым роботам, какие страницы они могут сканировать. Наиболее часто упоминаемыми являются файл robots.txt и тег meta robots.

Файл robots.txt говорит поисковым системам сканировать определенную часть вашего сайта, будь то страница, подпапка и т.д.

Это помогает оптимизировать сканирование, сообщая роботам, какие части сайта являются недостаточно важными, чтобы быть в приоритете сканирования.

Имейте в виду, что роботы поисковых систем не обязаны следовать этому файлу.

Другая часто применяемая директива – это тег meta robots. Он позволяет контролировать индексацию на уровне страницы.

Метатег robots может иметь следующие значения:

  • Index: позволяет поисковым системам добавлять страницу в свой индекс.
  • Noindex: запрещает поисковым системам добавлять страницу в свой индекс и запрещает ей появляться в результатах поиска для этой конкретной поисковой системы.
  • Follow: указывает роботам переходить по ссылкам на странице, чтобы те могли найти другие страницы.
  • Nofollow: указывает поисковым системам не переходить по ссылкам на странице.
  • None: это сокращение для noindex, nofollow.
  • All: это сокращение для index, follow.
  • Noimageindex: запрещает поисковым системам индексировать изображения на странице (изображения все еще могут индексироваться с помощью мета-тега robots, если они связаны с другим сайтом).
  • Noarchive: говорит поисковым системам не показывать кэшированную версию страницы.
  • Nocache: это то же самое, что и тег noarchive, но относится только к Bingbot / MSNbot.
  • Nosnippet: указывает поисковым системам не отображать текстовые или видео сниппеты.
  • Notranslate: говорит поисковым системам не показывать переводы страниц в поисковой выдаче.
  • Unavailable_after: сообщает поисковым системам конкретный день и время, когда они не должны отображать результат в своем индексе.
  • Noyaca: указывает поисковым роботам Яндекса не использовать мета-описания страниц в результатах поиска.

Тем не менее, есть еще один тег, который позволяет указывать директивы noindex и nofollow.

Тег X-Robots отличается от файла robots.txt и метатега robots тем, что он является частью HTTP заголовка, который управляет индексацией страницы в целом, в дополнение к определённым элементам на странице.

Google: Любая директива, которая может использоваться в метатеге robots, может быть указана как X-Robots-Tag.

Хотя вы можете установить директивы, связанные с robots.txt, в HTTP заголовок как с помощью метатега robots, так и с помощью тега X-Robots, существуют определенные ситуации, когда вы захотите использовать именно тег X-Robots.

Например, если вы хотите заблокировать определенное изображение или видео, вы можете использовать метод блокировки c HTTP.

Cила тега X-Robots заключается в том, что он гораздо более гибкий, чем метатег robots.

Также можно использовать регулярные выражения, прописывая директивы сканирования для файлов, отличных от HTML, а также изменяя параметры на глобальном уровне. Чтобы объяснить разницу между всеми этими директивами, нужно классифицировать их по типам, к которым они относятся.

Директивы поискового робота Директивы индексатора
Robots.txt использует директивы user agent, allow, disallow и sitemap для указания того, каким поисковым роботам разрешено или запрещено сканировать те или иные части сайта. Метатег Robots позволяет указать и запретить поисковым системам показывать определенные страницы сайта в результатах поиска. Nofollow позволяет указывать ссылки, которые не должны передавать PageRank. Тег X-Robots позволяет вам контролировать то, как индексируются определенные типы файлов.

Реальные примеры использования X-Robots-Tag

Чтобы заблокировать определенные типы файлов, идеальным решением было бы добавить тег X-Robots в конфигурацию Apache или файл .htaccess.

X-Robots-Tag можно добавить к HTTP-ответам сайта в конфигурации сервера Apache через файл .htaccess.

Допустим, мы хотим, чтобы поисковые системы не индексировали тип файла .pdf. Эта конфигурация на серверах Apache будет выглядеть примерно так:

В Nginx это будет выглядеть так:

Или, допустим, мы хотим использовать X-Robots-Tag для блокировки индексации изображений, таких как .jpg, .gif, .png и т.д. Это будет выглядеть следующим образом:

Понимание сочетания этих директив и их влияния друг на друга имеет огромное значение.

Предположим, что когда поисковые роботы изучают URL, там присутствует как X-Robots-Tag, так и Meta Robots.

Если этот URL заблокирован из robots.txt, то определенные директивы индексирования не могут быть обнаружены и не будут выполняться.

Если директивы должны выполняться, то страницы, которые их содержат, не должны быть закрыты от сканирования.

Проверьте наличие X-Robots-Tag

Есть несколько разных методов, которые можно использовать для проверки наличия X-Robots-Tag на сайте. Один из методов – использовать Screaming Frog.

После проверки сайта с помощью Screaming Frog, вы можете перейти на вкладку «Директивы», найти столбец «X-Robots-Tag» и посмотреть, какие разделы сайта используют этот тег и какие именно директивы.

Существует несколько различных плагинов, таких как Web Developer, которые позволяют вам определить, используется ли тег X-Robots.

Нажав на плагин в вашем браузере, а затем перейдя в «Просмотр заголовков», вы можете увидеть различные используемые HTTP заголовки.

Итоги

Есть несколько способов проинструктировать роботов поисковых систем не сканировать определенные разделы или определенные ресурсы на странице.

Понимание каждого из них и того, как они влияют друг на друга, крайне важно, так как позволяет избежать серьезных ошибок в SEO при использовании директив.

Понравилась статья?

Изучите большой мануал по SEO продвижению сайтов своими руками и другие публикации:

Узнайте больше о том, как улучшить SEO или PPC вашего сайта, подписавшись на наш блог!

Мета-тег robots и его роль в правильной индексации сайта

Мета-тег robots поможет найти общий язык с поисковыми роботами

Даже не зная, зачем нужен мета-тег robots, только исходя из его названия, уже можно сделать выводы о том, что он имеет какое-то отношение к роботам поисковых систем. И это действительно так.

Внедрение мета-тега robots в код веб-страницы дает возможность указать поисковым ботам свои пожелания по поводу индексирования ее содержимого и ссылок, расположенных на ней.

Это может пригодится в многих ситуациях. Например, при наличии на сайте дублирования контента или для предотвращения передачи веса страничек по ссылкам, расположенным на них.

Как воспользоваться возможностями мета-тега robots

Страница, к которой нужно применить желаемые условия индексирования, должна содержать внутри тега своего html-кода правильно оформленный мета-тег robots.

Структура его довольно проста:

Чтобы он был правильно воспринят ботами поисковиков, в данной конструкции содержимое атрибута content (‘’ххххххххх’’) должно состоять из одной или нескольких (через запятую) стандартных директив:

  1. index/noindex – указывает на необходимость индексации/игнорирования содержимого страницы.
  2. follow/nofollow – анализировать/игнорировать ссылки в пределах веб-страницы.
  3. all/none – индексировать/игнорировать страницу полностью.
  4. noimageindex – запрет индексации присутствующих на странице изображений.
  5. noarchive – запрет на вывод в результатах поиска ссылки «Сохраненная копия», которая дает возможность просматривать сохраненную в кэше поисковика копию страницы (даже если она временно недоступна или удалена с сайта).
  6. nosnippet – запрет на вывод в поисковой выдаче под названием страницы фрагмента текста (сниппета), описывающего ее содержание.
  7. noodp – директива, которая сообщает Google-боту о запрете использования в качестве сниппета страницы, описания из каталога Open Directory Project (он же DMOZ).

Особенности использования мета-тега robots

Некоторые поддерживаемый этим мета-тегом комбинации директив взаимозаменяемы (тождественны). Например, если нужно запретить индексирование содержимого странички и всех ссылок на ней, можно использовать в мета-теге robots ‘’noindex, nofollow’’ или же директиву ‘’none’’.

В обратном случае, когда нужно индексировать всё (в параметре content мета-тега robots – ‘’index, follow’’ или ‘’all’’), появляется еще и третий вариант – вообще не внедрять этот тег в код страницы.

Бывают и частные случаи, в которых указания по поводу индексирования нужно сообщить только роботу какой-нибудь одной поисковой системы. Для этого нужно вместо ‘’robots’’ указать имя бота, которого касаются содержащиеся в мета-теге директивы. Например, если Google должен внести в свой индекс содержимое странички, но при этом не анализировать ссылки на ней:

Важно, чтобы в содержимом атрибута content не было повторений или присутствия противоречащих друг другу директив, поскольку в этом случае мета-тег может быть проигнорирован поисковым ботом.

Еще один момент, на почве которого довольно часто спорят веб-мастера – регистр, в котором прописывается содержимое мета-тега. Одни считают, что правильно использовать только прописные, другие – только строчные. Но на самом деле приемлемы оба варианта, поскольку мета-тег нечувствителен к регистру.

Зачем нужен мета-тег robots, если есть файл robots.txt?

Да, действительно на первый взгляд может показаться, что применение этого мета-тега предоставляет те же возможности, что и настройка файла robots.txt. Но несколько отличий все же есть. И они вполне могут быть причинами, чтобы отдать предпочтение использованию мета-тега:

    Мета-тег robots используется для более тонкой настройки индексации – можно закрыть контент, но оставить открытыми ссылки (в параметре content мета-тега robots – ‘’noindex, follow’’) и наоборот. В robots.txt такой возможности нет.

  • В ситуациях, когда нет возможности получить доступ к корневой директории веб-сайта, редактировать robots.txt не представляется возможным. Вот тогда-то и приходит на помощь одноименный мета-тег.
  • В robots.txt можно закрыть от индексации целый каталог, чтобы запретить доступ ботов ко всем, содержащимся в нем страницам, тогда как мета-тег придется использовать для каждой из них. Получается, что в таком случае удобнее произвести настройки в файле. Но если некоторые страницы внутри каталога все же нужно оставить открытыми, удобнее использовать мета-тег.
  • Для управления индексацией страниц веб-сайта допустимо одновременно использовать мета-тег robots и файл robots.txt. Они могут отвечать за указания поисковым ботам по поводу разных веб-страниц или же дублировать команды друг друга.

    А вот если в них будут присутствовать противоречащие директивы по поводу одних и тех же страниц, роботы поисковиков будут принимать не всегда верное решение – по умолчанию выбирается более строгое указание. Получается, что страницы (или ссылки на них), по поводу которых между robots.txt и мета-тегом robots имеются разногласия, индексироваться не будут.

    Возможность управления индексацией веб-сайта – очень полезный инструмент для SEO-продвижения. Главное, научиться правильно определять, в какой ситуации эффективнее использовать тот или иной из теперь известных Вам способов.

    Правильное использование метатега ROBOTS для поисковых систем

    Гугл разъяснил вопросы о том, как поисковый бот трактует метатег ROBOTS.

    Множественные значения content-параметра

    Рекомендуется заключать все значения параметра content в один метатег. Это сделает его более удобным для чтения и уменьшит вероятность противоречий. Например:

    Если страница содержит несколько метатегов одного типа, то Гугл-бот объединит их, т.е., например,

    будет распознано точно так же, как

    Если значения противоречат друг другу, во внимание будет принят наиболее строгий. Так, если страница содержит метатеги

    то бот подчинится значению NOINDEX.

    Излишние значения content-параметра

    По умолчанию Гугл-бот будет индексировать страницу и все ссылки на ней. Поэтому нет никакой необходимости помечать страницы значениями content-параметра INDEX или FOLLOW.

    Нацеливание метатега ROBOTS непосредственно на Google-бота

    Чтобы предоставить инструкции для всех поисковых систем, установите название метатега как “ROBOTS”. Чтобы указать инструкции только для Гугл-бота назовите метатег как “GOOGLEBOT”. Если Вы хотите создать разные инструкции для разных поисковых систем, то лучше использовать специальные метатеги для каждой поисковой системы, а не общий метатег ROBOTS в сочетании со специфическими для конкретной поисковой машины.

    Google-бот понимает любую комбинацию верхнего и нижнего регистров. Поэтому каждый из следующих метатегов интерпретируется им одинаково:

    Если у Вас есть несколько значений content-параметра, то между ними нужно поставить запятую, но при этом неважно, добавите Вы также пробелы или нет. Поэтому следующие метатеги интерпретируются одинаково:

    Если вы используете и файл robots.txt, и метатеги ROBOTS

    Если между параметрами файла robots.txt и метатегом есть противоречия, то Гугл-бот последует наиболее строгим из них. Если более конкретно, то:

    • Если Вы блокируете страницы через robots.txt, Google-бот никогда не будет сканировать их и никогда не будет читать метатеги этих страниц.
    • Если страница не запрещена к индексации в robots.txt, но заблокирована с помощью метатега, Google-бот откроет ее, прочитает метатеги, и впоследствии не станет индексировать.

    Валидные значения параметра content метатега ROBOTS

    • NOINDEX – запрещает индексацию страницы.
    • NOFOLLOW – запрещает Google-боту следовать по любым ссылкам на странице. (Заметьте, что это отличается от параметра NOFOLLOW, применяемого для ссылок, который запрещает Google-боту проходить по отдельным ссылкам.)
    • NOARCHIVE – предотвращает кэширование копии страницы для ее исключения из результатов поиска.
    • NOSNIPPET – запрещает появления описания страницы в результатах поиска, так же как предотвращает ее кэширование.
    • NOODP – блокирует использование описания страницы, которое берется из dmoz.org для отображения в результатах поиска.
    • NONE – эквивалентно “NOINDEX, NOFOLLOW”.

    Несколько слов о значении “NONE”

    Как определено в robotstxt.org, следующее означает NOINDEX, NOFOLLOW:

    Однако, некоторые веб-мастера используют этот тег для указания ботам отсутствия каких-либо ограничений и тем самым непреднамеренно блокируют содержание страниц для всех поисковых систем.

    Разумное вложение в ваше имущество, а также гармония дизайна и надежность конструкции — все это автоматические гаражные ворота мансардные от компании «ELITVOROTA». Также предлагаются автоматические шлагбаумы и рольставни с дистанционным управлением.

    Илон Маск рекомендует:  Тестирование приложения
    Понравилась статья? Поделиться с друзьями:
    Кодинг, CSS и SQL