Разбор XML на примере Sitemap.xml


Содержание

Правильный файл sitemap.xml или как создать карту сайта своими руками | Карта сайта для Joomla + VirtueMart с помощью компонента Xmap

Здравствуйте уважаемые читатели блога Site on! Сегодня я хочу продолжить тему «создания своими руками» и если в прошлый раз мы говорили о создании ЧПУ (SEF) ссылок, то сегодня речь пойдёт о составлении собственной XML карты сайта.

Что такое карта сайта?

Карта сайта – это древовидный (упорядоченный) список всех разделов и/или страниц сайта, который состоит из ссылок на эти страницы. Карты сайта бывают двух видов: для посетителей сайта (HTML версия) и для поисковых роботов (XML версия).

Зачем нужна карта сайта?

HTML карта сайта служит навигацией для ваших посетителей, благодаря ей они должны быстро сориентироваться в структуре вашего сайта и перейти в нужный им раздел.

XML карта сайта помогает найти поисковым роботам страницы вашего сайта, которые нужно проиндексировать. В случае большого количества страниц и уровней вложенности на сайте, XML карта даёт нам гарантию, что поисковые системы не пропустят страницы, которые должны быть проиндексированы. Также это показывает ваше желание помочь поисковым роботам, что повысит их доверие к вашему сайту.

Ещё одно различие обычной (HTML) карты сайта от XML версии помимо всего прочего заключается в том, что в XML нам не нужно строить упорядоченный, древовидный список (чтобы было красиво и понятно), мы можем указывать URL вразброс, так как важен сам факт их наличия, а не наглядность или последовательность.

Я считаю, что, если наличие HTML версии нужно далеко не всегда, то XML я использую даже для трёхстраничных сайтов, как минимум ради «галочки» в кабинете поисковых систем и мизерного повышения траста к своим сайтам. Делать её всего пару минут, а лишней она точно не будет.

Положительные стороны наличия XML карты сайта:

  • Более быстрая индексация новых страниц.
  • Гарантия, что робот найдёт нужные страницы.
  • Возможность распределения приоритетов при индексировании.
  • Возможность указания частоты обновления информации на каждой странице.
  • Возможность указания даты последнего обновления страницы.
  • Капля в сосуд доверия к вашему сайту.

Для файлов Sitemap должна использоваться кодировка UTF-8.

Размер XML карты сайта не должен превышать 10 MB и не должен содержать больше 50000 URL. Если ваша карта превышает данные показатели, вы можете разбить её на несколько файлов и создать файл индекса sitemap. Подробнее об этом дальше.

В XML версии все ссылки должны быть абсолютными! То есть начинаться с
http://имя_домена/

Как создать sitemap.xml своими руками?

Вначале вы должны создать файл с произвольным именем и расширением .xml, либо .txt или RSS канал, но XML формат даёт больше возможностей и более привычен. Также рекомендуется размещать его именно в корне вашего сайта и называть sitemap.xml, но опять-таки повторюсь, вы можете пренебречь этими рекомендациями и назвать файл как хотите, а также положить его куда угодно. Лично я за классику, поэтому для этого блога сделал всё как рекомендуется:

Далее открываем файл на редактирование, например, с помощью редактора кода Sublime Text 2 или phpDesigner 8 и первой строчкой, без пробелов и табуляций пишем xml-пролог, в котором мы указываем кодировку:

После этого идёт обязательный корневой XML-тег:

Он должен содержать стандарт текущего протокола:

Затем мы перечисляем всё ссылки и их параметры, для того чтобы начать описание новой ссылки мы должны написать обязательный тег

В дочерних тегах которого будет адрес ссылки и её параметры. Чтобы указать URL адрес страницы мы должны записать его абсолютный путь внутри тега

Который, как я уже писал, будет вложен в тег . В конце последнего не забываем закрыть корневой элемент . Итого минимальная карта сайта будет иметь вид:

Ещё раз повторю, что все теги, написанные здесь обязательны — без них ваша карта сайта не будет работать вообще, так как XML не допускает ошибок! А теперь давайте поговорим о необязательных тегах, благодаря которым мы можем указывать дополнительную информацию о каждом конкретном URL, они, как и обязательный тег loc пишутся внутри тега url.

Тег lastmod

Предназначен для указания даты последнего изменения страницы, дата должна быть записана по стандарту W3C Datetime. Например:

Можно опустить точное время и записывать lastmod в более привычном виде:

Тег changefreq

Позволяет указать приблизительную частоту изменений страницы. Его допустимые значения:

В данном примере мы указали частоту обновления главной страницы: раз в неделю. Обращаю ваше внимание, что как и в случае с директивами robots.txt – тег changefreq носит лишь рекомендательный характер, поэтому если вы укажите частоту обновления страницы раз в год, то это ещё не значит что роботы будут посещать её всего лишь 1 раз в год, они могут наведываться хоть каждую неделю, если посчитают нужным.

Тег priority

И последним тегом, которым вы можете пользоваться при составлении своего файла sitemap.xml является:

Он показывает, какие страницы нужно проиндексировать как можно скорее, а какие можно и потом, то есть данный тег расставляет приоритет важности (очередь на сканирование). Значение задаётся от 0.0 до 1.0, значение для всех URL по умолчанию равно 0.5.

Priority – это относительная величина, поэтому нет смысла писать для всех страниц (с целью накрутки) приоритет – 1.0, это действие бессмысленно.

Priority – не влияет на позиции страниц в поисковой выдаче! Его значение влияет только на очередь индексирования между страницами вашего сайта.

В каждом URL вашей карты сайта вы можете использовать разные сочетания необязательных тегов (атрибутов):

Маскирование символов

По стандарту, в sitemap.xml все нижеприведённые символы должны быть замаскированы с помощью соответствующих им значений в таблице:

Вам необязательно маскировать символы вручную, вы можете воспользоваться этим сервисом: www.accessify.com

Создание файла индекса Sitemap для использования нескольких sitemap.xml

По стандарту, если у вас несколько файлов sitemap.xml, то они должны быть перечислены в файле индекса – это, как бы парадоксально не звучало, карта ваших карт сайта. То есть в файле индекса содержится перечень всех ваших файлов sitemap, в нём вы также можете пользоваться необязательным атрибутом lastmod.

Структура файла индекса полностью идентична структуре обычной карты сайта, поэтому чтобы не растягивать статью просто приведу вам пример:

Вся вышеприведённая информация взята с официального источника: www.sitemaps.org

Как создать правильную карту сайта для Joomla

Если ваш сайт имеет пару десятков страниц и не собирается увеличивать их количество, то вы, конечно же, можете создать карту сайта вручную. Между прочим, я считаю такой способ более предпочтительным по ряду причин:

  • Вам не нужно устанавливать дополнительные компоненты и плагины;
  • Они в свою очередь могут иметь изъяны безопасности;
  • Карта сайта будет быстрее загружаться, так как не будет отрисовываться на лету.

Однако если количество страниц вашего сайта давно перевалило за 20 и постоянно растёт, то составление карты сайта своими руками теряет свою целесообразность на фоне всех неудобств и затрат времени. Поэтому ребята из Guillermo Vargas решили создать замечательный компонент для Joomla под названием XMAP, который помимо самой Джумлы имеет поддержку большинства популярных компонентов (VirtueMart, Zoo, K2 и др.).

Благодаря этому компоненту вы всего за пару минут создадите правильную карту (HTML и XML) для сайта любого объёма!

Компонент для создания карты сайта на Joomla + VirtueMart – XMAP

Актуальная версия Joomla на момент написания статьи: 2.5.11, актуальная версия XMAP: 2.3.3. Итак, скачиваем бесплатный компонент XMAP с официального сайта разработчиков, этот компонент доступен для любой версии Joomla и VirtueMart, не забудьте выбрать именно вашу версию:

Далее устанавливаем его стандартным способом с помощью «Менеджера расширений», затем заходим в административную панель Джумла: Компоненты/Xmap и сразу зайдём во вкладку «Расширения», чтобы включить нужные нам плагины:

Обычно это Content, WebLinks и VirtueMart для интернет-магазинов. После чего возвращаемся на предыдущую страницу и нажимаем красивую жёлтую кнопочку «Создать» вверху справа:

Теперь вы должны поставить галочки для меню, страницы которых будут автоматически появляться в вашей карте сайта, также здесь вы можете выставить необязательные атрибуты (приоритет и частота обновления), о которых мы уже говорили.

В остальном вам должно быть всё понятно, разве что я рекомендую отключить опцию «Украшать XML», так как она вовсе не к чему:

После всех настроек не забываем поставить состояние «опубликовано» и нажать «сохранить и закрыть»:

Теперь нам остаётся лишь нажать на ссылку «XML Sitemap» и скопировать URL карты сайта в robots.txt и кабинеты Яндекса и Гугл:

Чтобы в вашей карте сайта появились товары из VirtueMart, вы должны создать отдельный пункт меню для категорий VirtueMart и проследить, чтобы в настройках XMAP стояла галочка напротив этого меню.

Если что-то осталось непонятным или вы с чем-то не согласны – оставляйте свои комментарии, я обязательно отвечу.

Всем спасибо за внимание, вы можете подписаться на выход новых статей, используя форму ниже или с помощью кнопок в самом вверху (или справа) страницы. Всем удачного дня и до встречи в новых статьях!

Безошибочный сайтмап для сайта

Вы просто кретин, если в свое время не уделили сайтмапу нужное внимание. Достаточно один раз разобраться в вопросе и в будущем избежать большого количества ошибок, что давайте сейчас и сделаем.

Ваш покорный слуга в годы младые также был таким кретином, когда только начал продвигать сайты в одной конторе. Попался мне в то время один сайтец на продвижение, который, следует сказать, был просто гавном. И у этого гавна были проблемы с индексацией. Естественно, будь сайт достаточно качественным, его бы оба поисковика индексировали несмотря ни на какие проблемы, но владельцы жались на нормальных дизайнера, верстальщика и программиста, а в этом случае сеошнику остается только, так сказать, открывать бутылку при помощи ножниц. Я перепробовал на нем все — и настройку last-modified, и ускорение индексации модным в то время фастботом, и покупку ссылок. И только потом оказалось, что дело было в том, что там не обновлялся автоматически сайтмап! Когда я его обновил — все страницы влетели в индекс.

Что такое sitemap и зачем он нужен

Что такое sitemap? Это файл с информацией о страницах сайта, которые нужно индексировать. Обычно sitemap создают для Яндекса и Гугла, чтобы оповестить поисковых роботов о страницах, которые нужно внести в индекс. Ещё при помощи сайтмапа осуществляется проверка того, как часто происходят обновления, и индексация каких веб-документов является наиболее важной. В целом очень хорошо о нем рассказали на Вебмастерской Яндекса:

Влияет ли наличие sitemap на продвижение

Если у вас отсутствует сайтмап, это не означает, что поисковики не станут индексировать ресурс. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои, из-за которых порой удается отыскать не все веб-документы. Основными причинами являются:

  1. Разделы сайта, в которые можно попасть, только совершив длинную цепочку переходов;
  2. Динамические URL-адреса.


Так вот, создание sitemap.xml во многом помогает решить эту проблему. Этот файл влияет на SEO лишь постольку, поскольку облегчает/ускоряет индексацию страниц. Также возрастает шанс того, что веб-страницы проиндексируются до того, как ваши конкуренты смогут скопировать контент, опубликовав его у себя на сайте.

В каком еще формате бывает карта сайта и почему её делают в формате XML

Зачем нужна карта сайта, мы разобрались. Теперь давайте рассмотрим, в каких форматах её можно сделать:

  1. В формате html. Создается в виде обыкновенной страницы с адресами, ведущими на главные разделы ресурса. Такой тип карты помогает быстро сориентироваться, и рассчитан в большей степени на людей, чем на поисковых роботов. В HTML sitemap можно поместить ограниченное число ссылок (не более 100), ведь если их окажется больше, то не все они попадут в индекс. Или же поисковые роботы могут и вовсе исключить такую страницу из поиска за чрезмерное число URLов, пусть даже и внутренних.
  2. Создание xml-файла sitemap. Здесь нет слишком критичных ограничений по количеству ссылок, а поисковики лучше его индексируют, ведь файл sitemap xml-формата содержит полную информацию в понятном для робота виде. Особенно он важен для проектов, где имеются сотни и тысячи документов одинаковой важности, и размещение всех ссылок на них необходимо. В сайтмап такого типа есть возможность разместить до 50 тысяч URLов и помимо этого можно выставить частоту обновлений и приблизительный приоритет (priority), чего не скажешь о карте в формате HTML. Именно по этим причинам сайтмап почти всегда создают в xml.

Вот еще инфа об этом файле:

Как сделать правильный sitemap

Рассмотрим, как сделать правильную xml-карту. Здесь должны быть соблюдены следующие требования:

Все о Sitemap и чем он может помочь вашему сайту?

Подробное описание формата Sitemap.xml и способов его генерации

Многие из вас слышали про необходимость наличия у сайта карты Sitemap (он же «сайтмап»), однако не все до конца понимают важность его присутствия на сайте. В данной статье мы проведем обзор файла формата Sitemap.xml, а также опишем варианты его генерации для различных типов сайтов.

Для чего нужна карта сайта Sitemap.xml

Карта сайта Sitemap – это файл XML либо текстового формата (TXT), содержащий в себе все URL сайта (ссылки на страницы либо изображения) и предназначенный для сообщения поисковым роботам информации о новых страницах на вашем ресурсе. В результате обхода по всем URL в сайтмап, поисковая система перейдет по всем актуальным страницам вашего сайта.

Конечно, поисковые системы проиндексируют ваш сайт и без сайтмапа, и зачастую сделают это не менее качественно, однако в некоторых случаях у поисковиков могут возникнуть сложности с индексацией страниц. Основными причинами неиндексации могут быть такие факторы, как:

  • сайт имеет большую вложенность страниц (характерно для крупных веб-ресурсов)
  • сайт имеет страницы без навигационных ссылок (на страницы невозможно перейти по внутренней навигации сайта)
  • на сайте присутствуют динамические URL

Для подобных страниц из вышеописанных вариантов робот может не добраться никогда, так как в первом случае из-за глубокой вложенности он просто не дойдет до конечного URL, исчерпав краулинговые лимиты сайта, а во втором он физически их не увидит, так как не сможет на них перейти по ссылкам на сайте (например, это может быть вариант, когда ссылка есть, но проставлена при помощи JavaScript, CSS-стилем либо просто зашифрована, из-за чего в исходном коде страницы поисковый робот ее просто не увидит).

Однако, имея информацию о наличии файла Sitemap.xml, поисковый робот будет периодически его обходить и индексировать новые страницы сайта в нужном вам порядке, с необходимым приоритетом и именно по тем страницам, которые вам наиболее важны в данный момент.

Описание формата Sitemap

Sitemap может быть двух типов: текстового формата (TXT) и формата XML.

Текстовый формат представляет собой простой текстовый файл кодировки UTF-8 и содержащий в себе URL сайта в виде наборов строк (каждая ссылка с новой строки). Пример карты сайта текстового формата:

Формат XML является расширенным форматом текстового варианта и позволяет передавать поисковым ботам дополнительную информацию. Пример файла Sitemap.xml:

Описание элементов XML, на которые необходимо обратить внимание:

  • url (обязательный параметр) – содержит все сведения о конкретном URL
    • loc (обязательный параметр) – URL страницы. Для URL с параметрами необходимо маскирование
    • lastmod – дата и время последнего изменения страницы в формате Datetime. При необходимости допускается опустить сегмент времени и использовать формат ГГГГ-ММ-ДД
    • changefreq – указание рекомендательной частоты изменения страницы. Может принимать значения: always, hourly, daily, weekly, monthly, yearly, never
    • priority – значимость страницы относительно других URL сайта. Допустимый диапазон значений 0.0 до 1.0. Чем страница важнее, тем приоритет больше. У главной страницы приоритет всегда равен 1, по умолчанию приоритет 0.5

Примечание: стоит упомянуть, что содержимое карты сайта является лишь рекомендацией поисковым роботам по обходу страниц (если установить периодичность обхода страниц раз в неделю, то робот может их обходить гораздо чаще, и наоборот, если установить частоту обхода ежечасно, то это не значит, что поисковики будут индексировать страницу каждый час).

Прочие форматы XML карты сайта:

  • Файл Sitemap для изображений
    • Отдельный сайтмап для изображений будет полезен, если изображения не доступны боту напрямую (например, если они загружаются с помощью JavaScript). Однако, зачастую, для этого можно использовать обычный Sitemap.xml и указывать в нем ссылки на изображения вместе с обычными URL. Подробнее о сайтмап для изображений в справке Google
  • Файл Sitemap для новостей
    • Используется для быстрой индексации новостных материалов вашего сайта, при этом ваш ресурс должен быть включен в каталог Google Новости. Требования к Sitemap: должен содержать не более 1000 URL, должен содержать URL новостей, опубликованных за последние два дня. Подробнее о сайтмап для новостей в справке Google

Маскирование

Маскирование в Sitemap.xml используется для URL-адресов и предназначено для интерпретации обычных символов в их псевдокоды в формате HTML:

  • Амперсанд: & -> &
  • Одинарные кавычки: ‘ -> ‘
  • Двойные кавычки: » -> «
  • Больше: > -> >
  • Меньше: , обрамленный тегом , и содержащий ссылки на дочерние Sitemap.xml (названия дочерних сайтмап можно указывать произвольно).

Пример индексного файла XML Sitemap:

Формат дочерних файлов карт сайта XML-формата аналогичен стандартным Sitemap.xml.

Местоположение Sitemap.xml и его индексация

Стандартным вариантом размещения сайтмап является корень сайта, пример:

При размещении «sitemap.xml» необходимо учитывать тот факт, что набор URL-адресов, которые можно включить в Sitemap определяется именно расположением на сайте, то есть при размещении карты сайта по адресу http://site.ru/news/sitemap.xml она может включать только URL-адреса, начинающиеся с http://site.ru/news/, но не должен включать адреса, начинающиеся с http://site.ru/pages/. Примеры допустимых URL для http://site.ru/news/sitemap.xml:

К недопустимым URL-адресам в файле http://site.ru/news/sitemap.xml относятся:

Таким образом, во избежание проблем с некорректной индексацией, настоятельно рекомендуется размещать Sitemap.xml в корне сайта.

Индексация Sitemap

Поисковые роботы по умолчанию сканируют корневую директорию сайта, поэтому со временем они найдут ваш сайтмап и перейдут по всем его ссылкам.

Однако, для ускорения посещения файла Sitemap поисковыми ботами необходимо выполнить несколько шагов:

  • разместить ссылку на карту сайта в файле «robots.txt»
  • добавить ссылку на «sitemap.xml» в панели вебмастера Яндекс и Google

Ссылка на сайтмап в «robots.txt»

Добавление сайтмап в панели вебмастера Яндекс и Google

Использование кириллических адресов

Для корректной интерпретации URL различными поисковыми системами рекомендуется все кириллические URL кодировать в формат Punycode (бесплатный конвертер) и использовать маскирование для кириллических адресов страниц.

То есть, вместо адреса:

Необходимо использовать кодированный URL:

Вопрос необходимости карты сайта

Бесспорно, что присутствие карты сайта желательно на любом сайте. Но, с одной стороны, в сайтмапе нет острой необходимости, так как со временем поисковый робот перейдет на ваш сайт и по ссылкам просканирует все доступные ему страницы. С другой стороны, для сайтов, у которых контент обновляется часто и которым важен порядок и приоритет обхода страниц (СМИ, новостные агентства, etc.), данный файл будет жизненно необходим, так как с помощью него они смогут указать поисковым роботам какие страницы индексировать в первую очередь, а какие после.

Поэтому, возникает справедливый вопрос: а так ли необходим Sitemap.xml конкретно для вашего сайта? Давайте разбираться.

Безусловно, данный файл будет актуален для сайтов объемом от 1000 страниц, а также для тех сайтов, объем страниц которых растет быстро и контент на которых нуждается в частой переиндексации, поэтому за счет данного файла поисковая система будет иметь под рукой всегда актуальный список страниц вашего сайта и с помощью него же будет своевременно индексировать все изменения. Таким образом, актуален данный файл для сайтов, контент на которых меняется часто и большими объемами (добавилось 50 страниц, удалилось 40, обновилось 175 и т.д.):

  • СМИ, новостные порталы
  • интернет-порталы
  • каталоги товаров, агрегаторы
  • интернет магазины
  • форумы, отзовики, сайты вопросов-ответов

Для подобных сайтов данный файл необходимо иметь в первую очередь, так как от него зависит актуальность представляемой информации в выдаче поисковых систем.

Пример индексации через сайтмап при добавлении на сайт большого числа страниц:

Примечание: файлы Sitemap в таком случае необходимо генерировать на стороне сервера. Генерация карты сайта онлайн при помощи сервисов либо программ для ПК бессмысленна за счет низкой скорости и трудоемкости работ по выкладыванию данных файл на сервер (для крупных порталов, каталогов и интернет-магазинов подобные файлы должны обновляться чуть ли не каждый час (например, обновление цен в интернет-магазине)).

Вторая категория сайтов, для которых также необходим данный файл – это сайты от 100 до 1000 страниц и представляющие услуги бизнеса, а также просто информационные странички:

  • сайты по продаже товаров и услуг
  • сайты компаний и представительств
  • блоги

На подобных сайтах обычно приток новых страниц происходит плавно, удаление страниц и разделов случается еще реже. Поэтому само собой подобные сайты должны иметь файлы Sitemap XML, однако в данном случае данный файл больше важен для первичной индексации сайта (чтобы за один обход файла поисковый робот узнал про все страницы сайта и оперативно их проиндексировал). Далее, новые страницы в виду их единичного добавления можно отсылать на переиндексацию даже через панель вебмастера Яндекса или Google и таким образом поддерживать актуальность страниц для поисковых систем. Файлы Sitemap для подобного рода сайтов можно генерировать специальными программами и сервисами, о которых будет написано ниже.


Третья категория сайтов – сайты с числом страниц до 100. К ним относятся:

  • лендинги (одностраничные сайты для продажи конкретного товара либо услуги)
  • промо-сайты (например, сайты коттеджных поселков)
  • сайты-визитки
  • домашние странички

Все эти сайты зачастую содержат небольшое число страниц о какой-то одной услуге, товаре, событии. Для подобного рода сайтов в наличии Sitemap нет какой-то жизненно важной необходимости. Так как контент на них обновляется достаточно редко и новые страницы добавляются с низкой интенсивностью, поисковые роботы такие сайты обходят не часто в виду малого числа страниц на них, поэтому для данных сайтов вполне подойдет как использование Sitemap.xml, так и его предшественника HTML карты сайта – это обычная HTML-страница стилизованная под дизайн сайта, на которой размещены все ссылки на внутренние страницы сайта в иерархическом виде (обычно в виде дерева). Таким образом, поисковый робот, посетив эту страницу, может обойти все страницы сайта и проиндексировать их либо обновить о них информацию. Пример такой страницы:

Примечание: на текущий момент создание подобных страниц перестало быть актуальным в виду перехода на формат XML, который не нужно создавать руками, а можно сгенерировать специальными программами либо сервисами (их примеры представлены ниже).

Таким образом, из всех вышеизложенных заключений можно сделать простой вывод, что чем больше объем страниц вашего сайта и чем чаще он обновляется, тем острее необходимость наличия на нем карты сайта Sitemap.xml, который в идеале должен генерироваться на сервере автоматически, без участия человека.

Важно!
Сайтмап должен включать в себя только актуальные страницы сайта необходимые для индексации и отдающие код ответа сервера 200. Все прочие служебные, технические либо страницы, запрещенные к индексации, не должны присутствовать в карте сайта.

Варианты генерации Sitemap.xml

Существует несколько методов генерации, перечислим их:

1. Генерация карты сайта при помощи онлайн-генератора (стоит учесть, что зачастую подобные генераторы платные)

В сети достаточно сервисов для генерации карты сайта, однако у них есть некоторые ограничения:

  • обычно в подобных сервисах бесплатно можно сгенерировать не более 500 страниц
  • для больших сайтов (от 5000 страниц) генерация может занять продолжительное время
  • генерация сайтмап для крупных порталов может и вовсе произойти с ошибкой из-за нехватки ресурсов сервера, на котором расположен данный сервис

Примечание: Недостаток данного метода состоит в том, что при каждом обновлении сайта необходимо вручную генерировать сайтмап и заливать на сервер.

2. Автоматическая генерация Sitemap.xml средствами CMS (например в Bitrix, WordPress, Opencart и прочих системах управления сайтом доступна такая функция)

Наиболее приоритетный вариант, который позволяет настроить частоту обновления Sitemap средствами системы управления сайтом и избавляет вебмастера от ручного размещений сайтмап на сайте.

Пример модуля генерации Sitemap.xml для CMS Opencart:

3. Генерация карты сайта при помощи программы для ПК

Данный вариант подойдет для сайтов небольших и средних размеров, контент на которых обновляется периодически.

Недостатки подобного метода:

  • после генерации сайтмап необходимо заливать его на сервер вручную
  • большинство подобных программ-краулеров для ПК платные

Пример генерации Sitemap.xml при помощи бесплатной программы SiteAnalyzer:

  • скачиваем дистрибутив программы
  • после запуска программы вводим URL сайта и запускаем сканирование
  • после сканирования в главном меню выбираем пункт Проекты -> Генерировать Sitemap
  • в результате получаем карту сайта (одним файлом либо из нескольких файлов, если число страниц превышает 50 000)
  • заливаем сайтмап в корень вашего сайта по FTP протоколу

4. Ручное создание сайтмап

Ручное создание возможно для сайтов с числом страниц до 10, однако для ускорения процесса проще воспользоваться любым онлайн-генератором либо программой для ПК.

Резюмируя все вышеописанное можно выделить основные моменты, на которые нужно обратить внимание при генерации карты сайта:

  • для ресурсов с часто обновляемым контентом карта сайта должна генерироваться на стороне сервера
  • sitemap.xml должен содержать только актуальные страницы сайта, отдающие код ответа сервера 200 и разрешенные к индексации
  • для качественной индексации ресурса карта сайта должна обновляться каждый раз при обновлении контента на сайте

На этом все!
Благодарю за внимание и до новых встреч! :-)

Полезное

Сервисы для проверки корректности карты сайта:

Как создать и настроить карту сайта sitemap.xml

Время чтения: 10 минут Нет времени читать? Нет времени?

Из этой статьи вы узнаете, что такое sitemap.xml, как создать и настроить карту сайта.

Что такое карта сайта и зачем она нужна

В этом руководстве будем говорить преимущественно о картах сайта для поисковых систем. Это XML-документы, которые содержат служебную информацию. Они помогают поисковым роботам ориентироваться на сайтах и эффективно их индексировать.

Также существуют карты сайта для живых посетителей. Их еще называют HTML-картами. По сути они представляют собой каталог страниц сайта с отображением иерархии. HTML-карта помогает посетителям путешествовать по сайту и искать нужные страницы.

XML и HTML – языки разметки.

HTML-карты – устаревший и не очень удобный элемент навигации, поэтому уделим им совсем немного внимания в конце статьи. А пока сосредоточимся на XML-картах, которые важны для корректной индексации ресурсов.

Зачем нужна карта сайта sitemap.xml

Подробно об этом можно прочитать в справочниках для вебмастеров Google и «Яндекс». Краткая суть: в sitemap.xml содержится важная для поисковых роботов информация. Это:

  • Список URL страниц сайта и их иерархия.
  • Тип опубликованного контента, например, изображения или видео.
  • Информация об изображениях и видео, которые поисковики используют для индексирования сайта и формирования выдачи.
  • Сведения о частоте обновления и последнем обновлении страницы.
  • Сведения о приоритетности страницы.
  • Данные об альтернативных версиях страницы.

Те есть карта сайта – навигатор для поисковых систем.

Можно ли обойтись без sitemap.xml

Можно. Поисковые системы считают XML-карту сайта рекомендованным инструментом. Например, если на сайте нет sitemap.xml, «Яндекс» отметит это в списке возможных, а не критичных или фатальных проблем.

Роботы – не дураки, они проиндексируют сайт и без sitemap.xml. Но в некоторых ситуациях отсутствие XML-карты приводит к проблемам с индексированием. Вот примеры:

  • На сайте есть страницы, на которые нет ссылок с других страниц сайта.
  • Сайт очень большой, у него сложная структура.
  • Новый сайт.
  • Многие страницы сайта регулярно обновляются.
  • На сайте есть более и менее важные страницы.

Рекомендация: если у вас коммерческий сайт, от посещаемости которого зависит успех бизнеса, создайте и подключите sitemap.xml. Ниже подробно описано, как это сделать.

Как создать и подключить файл sitemap.xml

Создать карту сайта можно двумя способами. Первый – сделать sitemap.xml можно с помощью внешнего онлайн-генератора. Второй – понадобится модуль или внутренний генератор для конкретной CMS. Рассмотрим оба способа.

Как создать карту сайта онлайн с помощью генератора

Этот способ хорош тем, что вы не привязываетесь к конкретному движку. С помощью онлайн-генераторов можно сделать sitemap.xml для сайта на любой CMS или для статичного сайта на HTML.

У этого способа есть недостаток. Он подходит для сайтов с ограниченным количеством страниц, например, для сайтов-визиток. Если на сайте пять страниц, а новые создавать вы не планируете, сделайте sitemap.xml один раз с помощью бесплатного внешнего сервиса. Примеры будут дальше.

Если на сайте постоянно появляются новые страницы, бесплатные внешние генераторы не подходят. Они не включают в карту сайта новые URL, поэтому sitemap.xml теряет актуальность.

Вот несколько генераторов карты сайта:

Чтобы создать sitemap.xml с помощью XML-Sitemaps, укажите URL сайта и нажмите кнопку Start.

Генератор создаст карту сайта в течение нескольких минут. Скачайте файл sitemap.xml на жесткий диск ПК.

Теперь загрузите sitemap.xml в корневую директорию на сайте. Это можно сделать с помощью FTP-клиента, например, FileZilla. У нас есть руководство по работе с этой программой.

Если не знаете, где находится корневой каталог сайта, найдите файл index.html.

Как создать карту сайта с помощью дополнительных модулей для CMS

Этот способ создания карты сайта более удобный по сравнению с бесплатными онлайн-генераторами. Он обеспечивает дополнительную гибкость: вебмастер может управлять параметрами sitemap.xml. Кроме того, надстройки автоматически обновляют карту сайта после создания новых страниц и уведомляют об этом поисковые системы.


Если ваш сайт работает на WordPress, обратите внимание на плагин Google XML Sitemaps. Установите и активируйте модуль. Перейдите на страницу настроек. В базовых параметрах включите уведомления для Google, добавьте URL карты сайта в robots.txt и включите сжатие файла sitemap.xml.

В разделе «Приоритет статьи» отключите автоматический расчет приоритета публикаций. Позже вы укажете приоритеты страниц вручную.

Уделите внимание разделу «Содержание карты сайта». Включите в sitemap.xml только те типы страниц, которые нужны вам в индексе поисковых систем.

Например, если у вас интернет-магазин, имеет смысл включить в карту сайта страницы категорий и меток. В этом случае поисковики будут показывать пользователям страницы каталога, например, рубрику «Смартфоны» или страницу каталога с товарами, помеченными тегом «детский». Если страницы меток и категорий в выдаче не нужны, не включайте их в карту сайта.

Обязательно отметьте галочкой опцию Include the last modification time. В этом случае плагин укажет в карте сайта дату последнего обновления публикации. Эта информация нужна роботам, чтобы планировать повторное сканирование страниц.

В разделе Excluded Items при необходимости исключите из карты сайта отдельные категории или страницы.

В разделе Change Frequencies можно попросить поисковые системы индексировать те или иные типы страниц с определенной периодичностью. Поисковики скорее всего проигнорируют параметр changefreq в sitemap.xml, так как они сами планируют краулинговый бюджет сайта. Тем не менее плагин дает возможность указать эти настройки в карте сайта.

В разделе «Приоритеты» укажите приоритетность страниц сайта. Допустимы значения от 0,1 до 1,0. По умолчанию страница имеет приоритет 0,5. Присвойте высокий приоритет страницам, которые считаете важными по сравнению с остальными страницами сайта. Например, если на главной появляются анонсы новостей или новых товаров, она может считаться самой приоритетной страницей.

Обратите внимание, время последнего обновления, желаемая частота индексации и приоритетность страниц – необязательная информация. Поисковые системы могут ее учитывать, а могут и не учитывать. Вы ничего не потеряете, если оставите в этих разделах дефолтные значения.

Сохраните изменения. После этого о плагине Google XML Sitemaps можно навсегда забыть, так как он работает в фоновом режиме, автоматически обновляется и сам актуализирует карту сайта. Вам останется только добавить sitemap.xml в кабинеты для вебмастеров Google и «Яндекс».

Google XML Sitemaps – не единственный плагин для WordPress, с помощью которого можно создать карту сайта. Например, в комбайне All in One SEO Pack есть модуль «XML карта сайта». После активации модуля можно создать карту сайта и настроить ее параметры.

Если вы публикуете на сайте видео и хотите, чтобы они ранжировались в поиске, можно создать карту сайта для видео. Для этого можно воспользоваться отдельным генератором, например, WP Video SEO.

Вот генераторы sitemap.xml для других движков:

После создания карты сайта добавьте ее в кабинеты вебмастеров поисковых систем.

Как добавить карту сайта в кабинеты вебмастеров

Чтобы добавить карту сайта в Search Console, выберите раздел «Файлы Sitemap». Добавьте URL карты и нажмите кнопку «Отправить». Обычно карта сайта доступна по адресу типа vash-site.ru/sitemap.xml.

Поисковику понадобится какое-то время, чтобы проиндексировать карту сайта. После индексации появится статус «Успешно» или сообщение об ошибках. Чтобы просмотреть отчет об индексировании карты сайта в новом интерфейсе Search Console, нажмите на отмеченную на иллюстрации пиктограмму.

В отчете можно увидеть данные об индексировании sitemap.xml. Например, если на сайте есть закрытые от индексирования страницы, уведомление об этом появится в отчете.

Чтобы добавить sitemap.xml в «Вебмастер», выберите раздел «Индексирование – Файлы Sitemap». Укажите URL карты сайта в соответствующем поле и нажмите кнопку «Добавить».

В «Вебмастере» уведомление о проблемах с картой сайта появляется в разделе «Диагностика сайта». Также корректность файла можно проверить с помощью специального инструмента.

Как создать HTML-карту сайта

Как отмечалось выше, HTML-карта – элемент навигации для живых пользователей. Если у сайта логичная структура и удобное меню, HTML-карта не нужна. Если сайт большой, а пользователи жалуются на запутанность структуры, попробуйте решить проблему с помощью карты сайта.

Когда искал пример HTML-карты сайта, почему-то сразу подумал про сайты государственных пенсионных фондов. И не ошибся. Видимо, пожилым пользователям сложно ориентироваться на сайте с помощью меню. Учитывайте это, когда будете решать целесообразность добавления карты сайта в формате HTML.

Создать карту сайта в формате HTML на WordPress можно с помощью плагина Hierarchical HTML Sitemap или аналогичных решений. Достаточно установить и активировать надстройку, а затем вставить предложенный шорткод на страницу, где нужна карта сайта.

Вот решения для других CMS:

В OpenCart карта сайта в формате HTML создается автоматически.

sitemaps.org

В этом документе приведено описание XML-схемы протокола Sitemap.

Формат протокола Sitemap состоит из XML-тегов. Для всех значений данных в файле Sitemap должно использоваться маскирование. В файле необходимо использовать кодировку UTF-8.

  • В начале поставьте открывающий тег , а в конце поставьте закрывающий тег .
  • Укажите область имен (стандарт протокола) в теге .
  • Включите запись для каждого URL-адреса как родительский тег XML.
  • Включите дочернюю запись для каждого родительского тега .

Все теги необязательны. Поддержка необязательных тегов может отличаться в зависимости от поискового сервера. Чтобы получить более подробную информацию, обратитесь к документации поискового сервера.

Также все URL-адреса в файле Sitemap должны быть с одного узла, например www.example.com или store.example.com. Дополнительные сведения см. в разделе Расположение файла Sitemap

Пример XML-файла Sitemap

Ниже приведен пример файла Sitemap, в котором содержится только один URL-адрес и использованы все необязательные теги. Необязательные теги выделены курсивом.

Определения XML-тегов

Ниже описаны доступные XML-теги.

Инкапсулирует этот файл и указывает стандарт текущего протокола.

Родительский тег для каждой записи URL-адреса. Остальные теги являются дочерними для этого тега.

URL-адрес страницы. Этот URL-адрес должен начинаться с префикса (например, HTTP) и заканчиваться косой чертой, если Ваш веб-сервер требует этого. Длина этого значения не должна превышать 2048 символов.

Дата последнего изменения файла. Эта дата должна быть в формате W3C Datetime. Этот формат позволяет при необходимости опустить сегмент времени и использовать формат ГГГГ-ММ-ДД.

Обратите внимание, что этот тег не имеет отношения к заголовку «If-Modified-Since (304)», который может вернуть сервер, поэтому поисковые системы могут по-разному использовать информацию из этих двух источников.

Вероятная частота изменения этой страницы. Это значение предоставляет общую информацию для поисковых систем и может не соответствовать точно частоте сканирования этой страницы. Допустимые значения:

Значение»всегда» должно использоваться для описания документов, которые изменяются при каждом доступе к этим документам. Значение «никогда» должно использоваться для описания архивных URL-адресов.

Имейте в виду, что значение для этого тега рассматривается как подсказка, а не как команда. Несмотря на то, что сканеры поисковой системы учитывают эту информацию при принятии решений, они могут сканировать страницы с пометкой «ежечасно» менее часто, чем указано, а страницы с пометкой «ежегодно» – более часто, чем указано. Сканеры могут периодически сканировать страницы с пометкой «никогда», чтобы отслеживать неожиданные изменения на этих страницах.

Приоритетность URL относительно других URL на Вашем сайте. Допустимый диапазон значений — от 0,0 до 1,0. Это значение не влияет на процедуру сравнения Ваших страниц со страницами на других сайтах — оно только позволяет указать поисковым системам, какие страницы, по Вашему мнению, более важны для сканеров.

Приоритет страницы по умолчанию — 0,5.

Следует учитывать, что приоритет, который Вы назначили странице, не влияет на положение Ваших URL на страницах результатов той или иной поисковой системы. Поисковые системы используют эту информацию при обработке URL, которые относятся к одному и тому же сайту, поэтому можно использовать этот тег для увеличения вероятности присутствия в поисковом индексе Ваших самых важных страниц.

Кроме того, следует учитывать, что назначение высокого приоритета всем URL на Вашем сайте не имеет смысла. Поскольку приоритетность – величина относительная, этот параметр используется для того, чтобы определить очередность обработки URL в пределах сайта.

Маскирование символов

В файле Sitemap должна использоваться кодировка UTF-8 (обычно ее можно выбрать при сохранении данного файла). В XML-файлах для всех значений данных (включая URL-адреса) должно использоваться маскирование символов, перечисленных ниже в таблице.

Атрибут Описание
обязательный
обязательный
обязательный
необязательно
необязательно необязательно
Символ Маскирование
Амперсанд & &
Одинарные кавычки
Двойные кавычки « «
Больше > >
Меньше

Кроме того, для всех URL (включая URL из вашего файла Sitemap) должны использоваться маскирование и кодировка для удобочитаемости веб-сервером, на котором они размещаются. Однако, если для создания своих URL Вы используете какой-либо вид скрипта, инструментального средства или журнала (любой способ кроме ввода их вручную), то маскировка и кодировка применяются автоматически. Убедитесь в том, что все URL-адреса соответствуют стандарту RFC-3986 для URI, стандарту RFC-3987 для IRI и XML-стандарту.

Ниже приведен пример URL-адреса, в котором используется символ, отличный от ASCI ( ü ), а также символ, для которого необходимо маскирование ( & ):

Ниже этот же URL-адрес приведен в кодировке ISO-8859-1 (для размещения на сервере, который использует эту кодировку) с маскированием:

Ниже этот же URL-адрес приведен в кодировке UTF-8 (для размещения на сервере, который использует эту кодировку) и с использованием маскирования:

Ниже приведен тот же URL-адрес, но с использованием маскирования:

Пример XML-файла Sitemap

В следующем примере показан файл Sitemap в XML-формате. Sitemap в этом примере содержит небольшое число URL-адресов, каждый из которых использует разное сочетание необязательных параметров.

Использование файлов индекса Sitemap (для создания группы из нескольких файлов Sitemap)

Можно предоставить несколько файлов Sitemap, однако в каждом из этих файлов должно быть не более 50000 URL, а размер каждого из этих файлов не должен превышать 50 МБ. При необходимости файл Sitemap можно сжать с помощью архиватора gzip, чтобы уменьшить требования к пропускной способности канала. Однако размер файла sitemap без сжатия не должен превышать 50 МБ. Если необходимо перечислить более 50000 URL-адресов, следует создать несколько файлов Sitemap.

Если требуется передать несколько файлов Sitemap, необходимо перечислить каждый из этих файлов в файле индекса Sitemap. В файле индекса Sitemap может быть перечислено не более 50000 файлов Sitemap. Размер этого файла не должен превышать 50 МБ (52 428 800 байт) и может быть сжат. У вас может быть несколько файлов Sitemap. Формат XML-файла индекса Sitemap очень похож на формат XML-файла Sitemap.


Файл индекса Sitemap должен:

  • В начале поставьте открывающий тег , а затем поставьте закрывающий тег .
  • Добавьте запись для каждого файла Sitemap как родительский XML-тег.
  • Включите дочернюю запись для каждого родительского тега .

Необязательный тег также доступен для файлов индекса Sitemap.

Примечание. Файл индекса Sitemap может указывать только файлы Sitemap, которые находятся на том же сайте, что и файл индекса Sitemap. Например, файл индекса http://www.vashsait.ru/sitemap_index.xml может включать файлы Sitemap, размещенные на сайте http://www.vashsait.ru, но не на сайте http://www.primer.ru или http://vashkhost.vashsait.ru. Для файла индекса Sitemap, как и для файлов Sitemap, необходимо использовать кодировку UTF-8.

Пример индекса XML Sitemap

В следующем примере показан файл индекса Sitemap, который содержит два файла Sitemaps.

Примечание: для URL-адресов Sitemap, как и для всех значений в XML-файлах, должно использоваться маскирование .

Определения XML-тегов индекса Sitemap

Указывает местоположение файла Sitemap.

Этим местоположением может быть файл Sitemap, файл Atom, файл RSS или простой текстовый файл.

Указывает время изменения соответствующего файла Sitemap. Не соответствует времени изменения ни одной из страниц в этом файле Sitemap. Значение тега «lastmod» должно быть представлено в формате W3C Datetime.

Предоставляя отметку времени последнего изменения, Вы позволяете сканерам поисковой системы извлекать только часть файлов Sitemap в индексе, то есть сканер может извлекать только те файлы Sitemap, которые были изменены после определенной даты. Этот механизм частичного извлечения файлов Sitemap позволяет быстро обнаруживать новые URL на сайтах больших размеров.

Другие форматы файла Sitemap

Протокол Sitemap дает возможность обеспечить поисковые системы подробной информацией о страницах, и мы рекомендуем его использовать, поскольку при этом можно указать дополнительные сведения о страницах сайта, а не только их URL. Помимо протокола XML мы также поддерживаем каналы RSS и текстовые файлы, которые предоставляют более ограниченную информацию.

Канал синдикации

Вы можете предоставить канал RSS 2.0, Atom 0.3 или 1.0. Как правило, этот формат используется только в том случае, если на сайте уже есть канал синдикации. Обратите внимание, что в этом случае поисковые системы, возможно, не получат информацию обо всех URL на вашем сайте, поскольку данный канал предоставляет информацию только по последним URL. Однако поисковые системы могут использовать эту информацию, чтобы обнаружить другие страницы сайта, переходя по ссылкам на страницах канала в процессе обычного сканирования. Убедитесь, что канал расположен в каталоге самого высокого уровня, который должен сканироваться поисковой системой. Поисковые системы извлекают информацию из канала следующим образом.

  • поле – указывает URL
  • поле даты изменения (поле

для каналов RSS и дата для каналов Atom) – указывает, когда каждый URL был изменен в последний раз. Использовать поле даты изменения необязательно.

Текстовый файл

Вы можете предоставить простой текстовый файл, содержащий один URL в строке. Этот текстовый файл должен соответствовать следующим требованиям.

  • В этом текстовом файле в каждой строке должен быть только один URL. Эти URL не могут содержать новые внедренные строки.
  • Необходимо указать URL полностью, включая префикс http.
  • Каждый текстовый файл может содержать не более 50 000 URL, и его размер не должен превышать 50 МБ (52 428 800 байт). Если сайт включает более 50000 URL, можно разделить этот список на несколько текстовых файлов и передать каждый файл отдельно.
  • Для этого текстового файла необходимо использовать кодировку UTF-8. Ее можно задать при сохранении файла (например, в программе «Блокнот» она указана в меню «Кодировка» диалогового окна «Сохранить как»).
  • Этот текстовый файл не должен включать никаких других данных, кроме списка URL.
  • Этот текстовый файл не должен содержать данных заголовка или нижнего колонтитула.
  • При необходимости файл Sitemap можно сжать с помощью архиватора gzip, чтобы уменьшить требования к пропускной способности канала.
  • Этому текстовому файлу можно присвоить любое имя. Убедитесь, что ваши URL-адреса соответствуют стандарту RFC-3986 для URI-адресов и стандарту RFC-3987 для файлов IRI.
  • Загрузите этот текстовый файл в каталог самого высокого уровня, который должен сканироваться поисковой системой, и убедитесь, что в файл не внесены адреса URL, находящиеся в каталоге более высокого уровня.

Ниже приведен пример строк текстового файла.

Местоположение файла Sitemap

Местоположение файла Sitemap определяет набор URL-адресов, которые можно включить в этот Sitemap. Файл Sitemap, расположенный в каталоге http://primer.ru/catalog/sitemap.xml, может включать любые URL-адреса, начинающиеся с http://primer.ru/catalog/, но не должен включать URL-адреса, начинающиеся с http://primer.ru/images/.

Если у Вас есть разрешение на изменение файла http://primer.org/path/sitemap.xml, можно предположить, что у Вас также имеется разрешение на предоставление информации для URL с префиксом http://primer.org/path/. Примеры допустимых URL в http://primer.ru/catalog/sitemap.xml включают:

К недопустимым URL-адресам в файле http://primer.ru/catalog/sitemap.xml относятся следующие:

Это значит, что все URL-адреса, перечисленные в файле Sitemap, должны использовать один и тот же протокол (в данном случае — HTTP) и должны быть размещены на том же хосте, что и файл Sitemap. Например, если файл Sitemap расположен по адресу http://www.primer.ru/sitemap.xml, в нем могут быть указаны URL-адреса из субдомена http://subdomen.primer.ru.

URL-адреса, которые считаются недопустимыми, исключаются из дальнейшего рассмотрения. Настоятельно рекомендуется поместить файл Sitemap в корневой каталог Вашего веб-сервера. Например, если адрес Вашего сервера — primer.ru, Ваш файл индекса Sitemap должен быть размещен по адресу http://primer.ru/sitemap.xml. Возможно, в некоторых случаях нужно будет создать различные файлы Sitemap для различных путей на Вашем сайте (например, если полномочия доступа в Вашей организации установлены таким образом, что доступ с правом записи к различным каталогам предоставляется отдельно).

Если при передаче файла Sitemap используется путь, содержащий номер порта, необходимо включить этот номер порта в путь в каждом URL, перечисленном в файле Sitemap. Например, если Ваш файл Sitemap находится в http://www.primer.ru:100/sitemap.xml, то каждый URL, перечисленный в файле Sitemap, должен начинаться с http://www.primer.ru:100.

Файлы Sitemap и перекрестная отправка

Чтобы отправить файлы Sitemap на несколько узлов с одного, необходимо «подтвердить» владение узлом(-ами) для которого URL-адреса отправляются в файле Sitemap. Ниже приведен пример. Допустим, необходимо отправить файлы Sitemap на 3 узла:

Более того, необходимо разместить все три файла Sitemap на одном узле: www.sitemaphost.com. Таким образом, URL-адреса Sitemaps будут следующими:

По умолчанию это приведет к ошибке «перекрестная отправка», так как была произведена попытка отправить URL-адреса для узла www.host1.com через файл Sitemap, который расположен на узле www.sitemaphost.com (то же самое и для двух других узлов). Первый способ избежать этой ошибки — это доказать свое владение (например право изменять файлы) узлом www.host1.com. Это можно сделать, изменив файл robots.txt на узле www.host1.com, чтобы указать на файл Sitemap на узле www.sitemaphost.com.

В этом примере файл robots.txt на узле http://www.host1.com/robots.txt содержал бы строку «Sitemap: http://www.sitemaphost.com/sitemap-host1.xml». Изменив файл robots.txt на узле www.host1.com с указанием на файл Sitemap на узле www.sitemaphost.com, вы косвенно доказали, что являетесь владельцем узла www.host1.com. Другими словами, кто бы не управлял файлом robots.txt на узле www.host1.com, он доверяет файлу Sitemap на узле http://www.sitemaphost.com/sitemap-host1.xml на предмет содержания URL-адресов для узла www.host1.com. Эту же процедуру можно повторить для двух других узлов.

Теперь можно отправлять файлы Sitemap на узел www.sitemaphost.com.

Если в файле robots.txt указан определенный узел, например http://www.host1.com/robots.txt, это указывает на файл Sitemap или файл индекса Sitemap на другом узле. Скорее всего это означает, что для каждого конечного файла Sitemap, например http://www.sitemaphost.com/sitemap-host1.xml, все URL-адреса принадлежат узлу, который на них указывает. Это происходит потому, что, как было указано ранее, ожидается, что файл Sitemap будет содержать URL-адреса только с одного узла.

Проверка файла Sitemap

Для определения элементов и атрибутов, которые могут появляться в Вашем файле Sitemap, используются следующие XML-схемы. Эту схему можно загрузить с помощью приведенных ниже ссылок.

Ряд инструментов может помочь при проверке структуры файла Sitemap на основе этой схемы. Вы можете найти список инструментов для работы с XML-файлами в каждом из следующих местоположений:

Для проверки Вашего файла Sitemap или файла индекса Sitemap по этой схеме в XML-файл нужно добавить дополнительные заголовки, как показано ниже.

Sitemap:

Файл индекса Sitemap:

Расширение протокола Sitemaps

Протокол Sitemap можно расширить с помощью Вашего собственного пространства имен. Просто укажите это пространство имен в корневом элементе. Например:

Уведомления для сканеров поисковых систем

После того как файл Sitemap создан и размещен на веб-сервере, необходимо сообщить о местонахождении этого файла поисковым системам, поддерживающим этот протокол. Это можно сделать следующим образом.

Затем поисковые системы смогут извлечь файл Sitemap и разрешить своим сканерам доступ к URL-адресам.

Передача файла Sitemap с помощью интерфейса поисковой системы

Чтобы отправить файл Sitemap напрямую в поисковую систему, которая предоставляет возможность получать информацию о статусе и ошибках обработки, обратитесь к документации поисковой системы.

Как указать местоположение файла Sitemap в файле robots.txt

Можно указать местоположение файла Sitemap, используя файл robots.txt. Для этого просто добавьте следующую строку:

Эта инструкция не зависит от строки агента пользователя, поэтому неважно, где она размещается в файле. При наличии файла индекса Sitemap можно включить местоположение только этого файла. Перечислять каждый отдельный файл Sitemap, указанный в файле индекса, не нужно.

Можно указать несколько файлов Sitemap для каждого файла robots.txt.

Передача файла Sitemap с помощью запроса HTTP

Чтобы отправить файл Sitemap с помощью HTTP-запроса (замените на URL, указанный поисковой системой), создайте запрос для следующего URL-адреса.

Например, если файл Sitemap находится в архивном файле http://www.primer.ru/sitemap.gz, URL-адрес будет следующим:

Добавьте кодировку URL для всех символов после /ping?sitemap=:

Можно отправить http-запрос, используя «wget», «curl» или другой механизм по выбору. Успешный запрос возвратит код отклика HTTP 200; если получен другой отклик, необходимо повторно передать запрос. Код отклика HTTP 200 указывает только на то, что поисковая система получила Ваш файл Sitemap, но это не значит, что сам файл Sitemap или содержащиеся в нем URL допустимы. Самый простой способ — создать автоматическое задание для регулярного создания и передачи файлов Sitemap.
Примечание. Предоставляя файл индекса Sitemap, необходимо инициировать только один http-запрос, который включает местоположение файла индекса Sitemap; отправлять отдельные запросы для каждого файла Sitemap, указанного в этом индексе, не нужно.

Sitemap.xml или «Делать было нечего. »

Новогодние праздники 666+666+666+6+6+6-го года в самом разгаре. За серьезные вещи совсем не хочется браться. Зато можно заняться всякими мелочами, до которых обычно не доходят руки. Такой мелочью для меня стала генерация файлов Sitemap.xml.
Sitemap.xml — это файл, содержащий в специальном формате ссылки на страницы сайта, которые должны быть проиндексированы поисковыми системами. Исчерпывающая информация о формате может быть найдена на Sitemaps.org.
Давно хотелось иметь удобный инструмент для формирования данных файлов.

Поиски в сети дали множество «удобных online-сервисов» для ручного создания карты сайта и несколько простеньких скриптов, которые также непригодны для создания карты сайта с большим количеством ссылок.

Что хотим.

Чтобы сгенерировать sitemap.xml для небольшого сайта не нужно много усилий. Для больших же ресурсов есть особенности.
Существуют ограничения на размер файлов sitemap.xml в 10Мб, а также ограничения на в 50000 ссылок на один файл. Автоматическая обработка данных ограничений и стала моей целью.
Таким образом, были сформированы следующие требования:

  1. Скрипт должен следить за размером получаемых файлов и количеством добавленных url. При необходимости, создавать несколько файлов в соответствии с форматом;
  2. Не хранить промежуточные данные в памяти;
  3. Создавать по необходимости сжатые версии файлов, для отдачи с помощью nginx;
  4. Автоматически выполнять простейшие проверки данных.



Сказано — сделано. Конечный вариант скриптов можно найти по ссылке в конце статьи.

Чего не делает скрипт?

Чтобы предупредить дальнейшие вопросы скажу, что скрипт не является универсальным решением, которое в один чих сгенерирует карту для произвольного сайта.
Это лишь инструмент, и список ссылок, которые будут добавляться в файл, необходимо формировать самостоятельно, возможно, в несколько заходов.
Кроме того, скрипт не исправляет и не кодирует url, переданные ему. Поэтому позаботиться о соответствии ссылок стандарту RFC-3986 для URI, стандарту RFC-3987 для IRI и XML-стандарту.

Формирование файла sitemap.xml

Требования к файлу

  • Файл может содержать до 50 000 URL.
  • Размер не более 10 Мб.
  • Кодировка файла должна быть в UTF-8.
  • Кириллические домены записываются в виде http://xn--80aswg.xn--p1ai/
  • Символы в URL ( & ‘ » > ) должны быть заменены на мнемоники ( & ‘ » > ).

PHP скрипт

Предполагается что в таблице стаей есть даты публикации и последнего изменения
( `date_add` и `date_edit` ).

Sitemap

16 февраля 2015 года. Опубликовано в разделах: Азбука терминов. 30872

Карта сайта Sitemap XML

Карта сайта (Sitemap) – это специальный файл в формате .xml, хранящийся в корневой директории сервера. Владельцы сайтов нередко интересуются – зачем нужен Sitemap и влияет ли наличие/отсутствие этого документа на поисковое продвижение? Чтобы ответить на эти вопросы, рассмотрим назначение и структуру карты сайта.

Итак, зачем нужен xml Sitemap, что он собой представляет? Карта сайта – это своеобразный каталог, состоящий из перечня ссылок, ведущих на все разделы и страницы сайта. Файл Sitemap помогает поисковым системам более быстро и качественно индексировать интернет проект. Это особенно важно в том случае, если объем web-ресурса исчисляется тысячами или десятками тысяч страниц.

Больше видео на нашем канале — изучайте интернет-маркетинг с SEMANTICA

Влияет ли Sitemap на продвижение?

Поисковики не будут пессимизировать интернет проект за отсутствие этого файла. Теоретически, робот должен самостоятельно просканировать все страницы сайта и включить их в поиск. Однако нужно учитывать, что система может дать сбой и не найти некоторые web-документы. Обычно «проблемными местами» становятся разделы, в которые можно попасть только по длинной цепочке ссылок, и динамически создаваемые URLы.

С точки зрения SEO, Sitemap имеет определенное влияние, поскольку карта сайта значительно ускоряет индексацию. К тому же повышается вероятность, что web-страницы попадут в индекс до того, как недобросовестные конкуренты успеют скопировать и опубликовать контент. Поисковые системы отдают предпочтение первоисточнику, тогда как копипаст подвергается пессимизации.

Как создать сайт мап

Проще всего воспользоваться одним из специализированных сервисов. К примеру, online-генератор http://www.mysitemapgenerator.com/ позволяет бесплатно сделать карту сайта, размером до 500 страниц. Предусмотрена возможность платной генерации Sitemap без каких либо ограничений. Вебмастеру потребуется всего лишь указать адрес своего сайта, а затем поместить полученный файл в корневой папке сервера.

Можно воспользоваться программой SiteMap Generator. В поле http:// следует завести адрес стартовой страницы сайта, кликнуть по клавише «start» и подождать, пока будет сформирована карта сайта. Затем нужно перейти на вкладку «Google Sitemap/XML», скопировать полученный код и вставить его в файл формата .xml.

Файл sitemap xml – доступные директивы

  • Параметр Lastmod указывает роботу, когда документ последний раз обновлялся.
  • Тег priory указывает на приоритет документа, по отношению к другим страницам сайта.
  • Параметром loc обозначают URL адрес страницы.
  • Тег changefreq используется для обозначения динамичности страниц (документы с параметром «0» робот будет посещать очень редко).

Как сообщить поисковику о карте сайта

Чтобы оповестить Яндекс, можно добавить директиву sitemap в файл robots.txt. Код будет выглядеть следующим образом:

Кроме того, можно передать карту сайта через интерфейс Яндекс.Вебмастер. Для этого нужно перейти на вкладку «Настройка индексирования» >> «файлы Sitemap», а затем указать системе адрес карты сайта.

Аналогичным образом можно оповестить Google. В панели инструментов для вебмастеров нужно перейти на вкладку «Сканирование» >> «файлы Sitemap».

Специалисты студии SEMANTICA проведут комплексный анализ сайта по следующему плану:

– Технический аудит.
– Оптимизация.
– Коммерческие факторы.
– Внешние факторы.

Мы не просто говорим, в чем проблемы. Мы помогаем их решить

Sitemap.xml — создание карты сайта

Карта сайта (Sitemap.xml) – это специальный файл в формате .xml, хранящийся в корневой директории сервера. Это файл с информацией о страницах сайта, которые нужно индексировать. Обычно sitemap создают для Яндекса и Гугла, чтобы оповестить поисковых роботов о страницах, которые нужно внести в индекс. Ещё при помощи сайтмапа осуществляется проверка того, как часто происходят обновления, и индексация каких веб-документов является наиболее важной.

Видео из Вебмастерской Яндекса:

Sitemap.xml составляется с учетом специального синтаксиса, понятного поисковым машинам, где будут перечислены все страницы, подлежащие индексации с указанием степени их важности, даты последнего обновления и примерной частоты обновления.

Есть два основных файла, которые должны иметься у любого web-проекта — robots.txt и sitemap.xml. Если у вашего проекта их нет или они заполнены не правильно, то с большой долей вероятности вы сильно вредите своему ресурсу и не позволяете ему раскрыться на все сто процентов.

Влияет ли файл sitemap.xml на продвижение сайта

Если у вас отсутствует sitemap, это не означает, что поисковики не станут индексировать ресурс. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои, из-за которых порой удается отыскать не все веб-документы. Основными причинами являются:

  1. Разделы сайта, в которые можно попасть, только совершив длинную цепочку переходов;
  2. Динамические URL-адреса.

Создание sitemap.xml помогает решить эту проблему.

Sitemap.xml влияет на SEO косвенно: облегчая и ускоряя индексацию страниц.

Карта сайта sitemap в формате HTML

Карты сайта делятся на 2 основных вида или формата: карта сайта html и карта сайта файл xml. HTML карта сайта — это страница сайта, на которой перечислены ссылки. Обычно это ссылки на самые важные разделы и страницы сайта. HTML карта сайта больше рассчитана на людей, нежели на роботов и помогает быстрее ориентироваться в основных разделах сайта. Для карты сайта в виде html-страницы существуют серьезные ограничения по количеству ссылок на одной странице. Если на странице будет слишком много ссылок, далеко не все ссылки могут быть проиндексированы или вовсе страница карты сайта может быть исключена из поиска за чрезмерное количество ссылок, пусть даже внутренних ссылок.

Для того, чтобы карта сайта html правильно индексировалась и адекватно воспринималась посетителями не стоит размещать на странице более 100 ссылок. Этого более чем достаточно, чтобы разместить на странице все разделы и подразделы, которые не влезли в основное меню.

Обычно, файл sitemap в формате HTML имеет древовидную структуру, где указаны развернутые разделы и подразделы. Излишне громоздкие HTML карты сайта, зачастую оформляются графическими элементами, CSS-стилями и дополняются Java-script. Однако, карта сайта html не имеет большого значения для поисковых систем.

HTML карта сайта — это не есть полноценный sitemap. Как же быть, если на сайте сотни, тысячи, десятки тысяч страниц? Для этого необходимо разместить ссылки на все страницы в карте сайта в формате xml.

Карта сайта sitemap.txt

Еще одним способом оформления карты сайт в виде файла может быть карта сайта в формате txt:

Все просто. В файле sitemap.txt построчно перечисляются все необходимые ссылки. Карта сайта в формате txt — это «вариант для ленивых». Здесь работает аналогичное sitemap xml ограничение в 50.000 ссылок. Однако, TXT карта сайта лишена возможностей указания даты последнего изменения и приоритета страницы.

Карта сайта XML Sitemap

XML карта сайта — это файл формата xml, вида sitemap.xml, который обычно находится в корне сайта. У карты сайта в формате xml есть множество преимуществ перед html картой сайта:

  • Sitemap xml — это специальный формат карты сайта, который определяется всеми популярными поисковыми системами, например Google и Яндекс.
  • В xml sitemap можно указать до 50.000 ссылок.
  • В sitemap xml можно указать относительный приоритет и частоту обновления страниц.

Содержимое карты сайта — лишь рекомендация для поискового робота. Например, если установить для страницы сайта ежегодную частоту обновления, поисковые роботы все равно будут ходить чаще. А если установить частоту обновления страницы ежечасно, это не значит, что роботы будет индексировать страницу каждый час.

Как создать правильный sitemap.xml

Рассмотрим, как сделать правильную xml-карту. Здесь должны быть соблюдены следующие требования:

  1. Размер файла должен быть не больше 10 мб;
  2. Карта должна содержать не больше 50000 ссылок. В тех случаях, когда ссылок больше, можно создать несколько карт и включить их в главную xml-карту;
  3. Адрес сайтмапа следует прописать в robots.txt;
  4. Также загрузите sitemap в яндекс и гугл (как добавить файл – описано ниже);
  5. Поисковые системы должны иметь доступ к карте. Необходимо использовать специальные теги, которые дают поисковикам понять, что это именно карта, а не что-то другое;
  6. У sitemap должна быть кодировка UTF-8.

Содержимое файла карты сайта sitemap.xml выглядит:


Где используются следующие обязательные теги:

  • — родительский тег, в него заключаются все url-адреса;
  • — тег, в котором указываются сведения о конкретном url-адресе;
  • — в данном теге указывается непосредственно url.

Далее, следуют необязательные теги:

  • — этот тег заключает в себе дату последнего изменения страницы;
  • — тег используется, чтобы указать насколько часто изменяется страница: always, hourly, daily, weekly, monthly, yearly, never;

— указывает приоритет определенной страницы, относительно других страниц сайта от 0,1 – низкий приоритет, до 1 – высокий приоритет.

Changefreq указывает на частоту изменений страницы:

  1. Hourly – обновление ежечасно;
  2. Always – всегда обновляется;
  3. Weekly – обновляется раз в неделю;
  4. Daily – обновления происходят ежедневно;
  5. Monthly – обновления происходят раз в месяц;
  6. Yearly – один раз в год;
  7. Never – не обновляется (такое значение лучше не использовать).

Priority сообщает поисковикам о степени важности страницы, по сравнению с другими. Приоритет можно выставлять от 0,1 (низкий) до 1 (высокий).

Priority рекомендуется расставлять следующим образом: максимальный для главной страницы (1), для рубрик средний (0,6), а для записей – минимальный (0,4).

Файл sitemap.xml должен содержать указание на пространство имен языка XML:

Если файл карты сайта включает более 50 тысяч ссылок или размер sitemap.xml превышает 10 мб, рекомендуется разделить карту сайта на несколько файлов. В таком случае, в карте сайта необходимо указать несколько ссылок на разные файлы карт.

Здесь используются уже знакомые нам теги и , а также обязательные теги:

  • — родительский тег, в который заключаются адреса всех карт сайта;
  • — тег, в котором заключается параметры для каждой карты сайта.

Как создать Sitemap.xml

Создание карты сайта важный процесс, в котором необходимо четко указать, какие страницы сайта нужно индексировать и как лучше их индексировать. В зависимости от того о каком типе карты сайта идет речь, используются различные способы создания карты сайта. Как создать html карту сайта обсуждать отдельно смысла нет. Рассмотрим как сделать карту карта в формате xml файла. Существует несколько основных способов создания карты сайта, но все их объединяет то, где находится карта сайта и как файл sitemap определяется поисковыми системами.

Как уже было написано выше — файл карты сайта размещается в корне сайта. Поисковые системы способны самостоятельно обнаружить файл карты сайта. Но существует несколько способов указания прямой ссылки на файл(ы) карты сайта(ов) для более скорого обнаружения поисковыми системами. Самый простой способ указать место расположения файла карты сайта — это непосредственное указание ссылки или нескольких ссылок на файлы карт сайта в инструментах для вебмастеров от Yandex и Google. Там же можно проверить карту сайта, провести анализ карты сайта на корректность, соответствие того, какие страницы из карты сайта найдены поисковой системой и сколько из них находится в индексации.

Второй способ указать поисковым системам на расположение файла карты сайта — это директива Sitemap файла robots.txt.

Указание ссылки на карту сайта в robots.txt:

В robots.txt можно указать несколько файлов sitemap, после чего, он автоматически будут добавлены в инструменты для вебмастеров. Как найти карту сайта мы рассмотрели, теперь перейдем к тому, как создать карту сайта.

Основные способы создания карты сайта

  1. Генерация карты сайта силами системы управления сайта, если CMS имеет подобную встроенную возможность.
  2. Скачать карту сайта со стороннего онлайн сервиса. Существует множество online генераторов карт сайта с различным возможностями и ограничениями. Наверное, один из самых известных онлайн генераторов карты сайта — это Sitemap Generator. Он обладает достаточно большим функционалом и позволит вам бесплатно генерировать сайтмап на 1500 страниц, что достаточно много. Еще есть xml-sitemaps.com обладает возможностью настройки параметров карты сайта, но имеет ограничение по количеству ссылок в файле sitemap.xml в 500 штук.
  3. Скачать генератор карты сайта. Подобные программы генераторы обычно платные, но при их помощи можно можно регулярно генерить sitemap xml для одного или нескольких сайтов. Вот пара примеров подобных программ-генераторов: SiteMap XML Dynamic SiteMap Generator, WonderWebWare SiteMap Generatior.
  4. Автоматическое создание sitemap карты сайта в Joomla (Джумла), WordPress (Вордпресс), Bitrix (Битрикс), ModX.
  5. Создание карты сайта вручную.

Sitemap WordPress

Создать карту сайта для WordPress можно будет с помощью плагина Google XML Sitemaps. Для нее вы сможете произвести множество настроек, которые позволят исключить часть материалов вашего сайта, а также можете задать предполагаемую частоту обновления. Кроме создания карты, плагин Google XML Sitemaps при публикации новых материалов на вашем блоге уведомляет об этом многие поисковые системы, приглашая их побыстрее провести индексацию.

Путь до файла сайтмап можете задать сами в настройках плагина и даже можете дать ему название отличное от классического sitemap.xml.

Sitemap Joomla

Создать карту сайта для Joomla можно с помощью компонента Xmap.

Проверить Sitemap на битые ссылки

Чтобы не обманывать поискового робота sitemap.xml должна быть настроена без ошибок. Поэтому после каждого обновления файла нужно проверить sitemap на битые ссылки.

Проверка sitemap.xml в Яндекс Вебмастер

Зайдите в Яндекс Вебмастер — раздел «Инструменты» — «Анализ файлов Sitemap».

Выберите один из способов загрузки файла:

  • скопировать текст sitmepa.xml;
  • отправить URL карты сайта;
  • загрузить xml файл в сервис.

Проверка sitemap.xml в Яндекс Вебмастер

Зайдите в Google Search Console — раздел «Сканирование» — «Файлы Sitemap».

Анализ Sitemap.xml от PixelPlus

Инструмент от pixelplus.ru — Анализ XML-карты сайта. Он простой, крутой и понятный.

Указываем карту сайта (URL) или загружаем XML-файл.

Выбираем, требуется ли проверка кода ответа сервера для каждого URL в ней.

Инструмент позволит проверить корректность карты сайта (файла формата *.xml), а также найти:

Ошибки валидности файла.

Те URL, которые отдают код ответа не 200 OK.

Прочие ошибки (указание на URL с другого домена, избыточный размер файла или числа URL в нём и так далее).

Напомним, что число допустимых URL в одном файле — 50 000 штук, а размер файла не должен превышать 10 МБайт.

Если будут найдены ошибки (такое случается часто), то сервис подскажет, какие URL отдают некорректный ответ (удалены, лишние и так далее).

Sitemap.xml — важный инструмент

Карта сайта — один из важный инструмент SEO-продвижения сайта. Не важно, как будет создана карта сайта. Важно — какие ссылки будут перечислены в карте сайта и как часто она будет обновляться. Иногда, в карту сайта выгружается все подряд и даже те ссылки, которые запрещены в robots.txt или неканонические ссылки. А обновление карты сайта происходит раз в месяц или реже. Подобное отношение к карте сайта может не просто сделать ее бесполезной, но того хуже — запутать поискового робота, что негативно отразится на индексации и позициях сайта в поиске.

Создайте карту сайта для своего ресурса. Но будьте внимательны и хорошо подумайте, что выгружать в sitemap, а что нет.

Файл Sitemap: HTML, XML, TXT, как создать и добавить в Яндекс и Google вебмастер

Sitemap (карта сайта) – это файл формата XML, расположенный в корне сервера, или HTML-документ, где содержатся ссылки на важные для SEO продвижения сайта страницы, которые следует проиндексировать поисковым системам.

Для чего нужна?

Карту сайта можно сравнить с оглавлением в книге, содержащим перечень всех важнейших разделов. На сайте это такой каталог, где указаны ссылки на главные разделы и страницы веб-ресурса. В целом же в сайтмап находится следующая информация:

  • список URL-адресов страниц сайта в иерархическом порядке;
  • формат появившегося на сайте контента: текст, видео, картинки;
  • сведения о видео и изображениях, необходимые роботам для их внесения в базу данных и формирования поисковой выдачи;
  • информация о приоритетности страницы;
  • данные о внесении последних изменений документов и регулярности их обновлений;
  • сведения про другие версии веб-страницы.

Sitemap помогает посетителям и особенно роботам поисковиков быстро определять расположение всех самых необходимых для индексации страниц, а также их важность по отношению к другим документам, частоту и время последнего изменения, при этом делать как можно меньше «лишних» переходов. Sitemap помогает системе индексировать ресурс более эффективно.

Да, на мелких сайтах к любому документу можно перейти всего в пару кликов, но вот крупные содержат по несколько тысяч страниц и структура их куда сложнее. Без Sitemap на таких ресурсах будет сложно и посетителям, и поисковым ботам.


Исходя из вышеописанного можно выделить три основных ситуации, в ходе которых возникают проблемы с индексацией ресурса и нужен сайтмап:

  1. огромное число страниц;
  2. сложная структура ресурса;
  3. отсутствие внешних либо внутренних бэклинков на важные для индексации страницы.

На заметку. Применение карты сайта не дает стопроцентной гарантии того, что все указанные здесь страницы попадут в индекс поисковиков. Она лишь дает рекомендации краулерам для более рационального сканирования документов.

Виды карт

Любой поисковик вносит страницы сайта в индекс постепенно, начиная с главной страницы и заканчивая документами с глубокой вложенностью это зависит какой краулинговый бюджет имеет сайт.

Чтобы ускорить индексацию веб-сайта необходимо создать файл Sitemap. Он делится на несколько видов в зависимости от того, с какой именно целью вы его создаете.

Представляет собой страницу, где находятся ссылки на статьи и разделы ресурса. HTML карта создана для живых посетителей и меньше подходит роботам, помогая нам с вами быстрее находить интересующие разделы.

У данного документа есть рекомендуемый лимит на количество доступных к размещению ссылок. Если их будет больше положенного, то в лучшем случае многие из них просто не попадут в поиск. А в худшем – вся страница может улететь из выдачи за злоупотребление ссылками, даже если они внутренние.

Во избежание этого в карте сайта рекомендуется размещать не больше 200 ссылок. Этого количества вполне хватит для размещения всех важных разделов и даже их подразделов, не попавших в главное меню. Так поисковые системы грамотно проиндексируют Sitemap, а посетителям будет легче воспринимать его содержание.

Структура HTML Sitemap древовидная, здесь указаны раскрытые разделы и подразделы. Слишком масштабные HTML-карты разбавляют графическим оформлением, элементами JavaScript и стилями CSS. Делая sitemap.html важно отталкиваться от:

  • Структуры содержания. Пользователь должен легко разобраться в карте сайта и быстро отыскать нужный ему контент.
  • Ссылочных анкоров. Здесь для каждой ссылки необходимо прописать название, что поможет пользователям вкратце понять содержание страницы, на которую они хотят перейти.
  • Доступность ссылки. В большинстве случаев на карту сайта можно перейти, кликнув по ссылке в подвале (футере) – так она доступна на всех страницах.

На заметку. HTML карта сайта не настолько значима для поисковых машин, чтобы ее можно было считать полноценным ресурсом для продвижения. Если вы хотите указать в файле ссылки на более чем 200 веб-страниц, то лучше создать XML-карту.

Пример

Это файл формата .xml, находящийся в корневой директории веб-ресурса. Основное отличие от sitemap.html состоит в том, что он упрощает работу ботам и вмещает в себе около 50 тысяч линков. Еще он позволяет выставлять приоритетность документов относительно других и частоту их обновлений. Данный формат файла поддерживают все популярные поисковики.

Sitemap.xml тоже несет лишь рекомендательный характер и боты могут не следовать ему. Допустим, вы установили для одной из страниц частоту обновления не более одного раза в месяц, но краулеры вероятнее всего продолжат обходить ее согласно собственному плану.

Структура данного вида Sitemap отличается определенным порядком.

Пример

Здесь есть три обязательных тега:

  1. – родительский тег, внутри которого указываются все УРЛы;
  2. – тег, где заключается информация об одном определенном URL-адресе;
  3. – здесь содержится непосредственно УРЛ.

Все остальные – необязательные теги:

  1. – в нем указывается дата последнего обновления документа;

– здесь сообщается приоритет конкретной веб-страницы относительно других документов: начинается от 0,1 (самый низкий приоритет), и заканчивается 1 (наивысший приоритет);

  • – тег указывает частоту изменения документа: never (никогда), yearly (ежегодно), monthly (ежемесячно), weekly (еженедельно), daily (ежедневно), hourly (каждый час), always (всегда).
  • Еще в файле sitemap.xml нужно прописывать команды для указания на пространство имен языка XML:

    Если в сайтмапе нужно разместить больше 50 тысяч ссылок либо размер файла карты стал превышать более 10 мегабайт, поделите его на несколько XML файлов. Тогда в Sitemap обязательно укажите ссылки на все карты:

    Тут вы можете заметить уже вышеупомянутые теги (обязательный) и (необязательный), а кроме них еще пару обязательных:

    1. – тег, где указываются данные для всех файлов Sitemap в формате XML;
    2. – родительский тег, куда прописываются УРЛы всех карт сайта.

    Пример xml карты сайта, вы можете посмотреть на нашем сайте https://webmasterie.ru/sitemap_index.xml

    Еще один метод оформления карты сайта – файл Sitemap в txt (текстовом формате). Здесь содержится перечень всех важных для индексации ссылок. А вообще данный вариант актуален для вебмастеров, которые не желают особо заморачиваться.

    Да, в TXT карте можно тоже разместить 50 тысяч ссылок, но в ней нет возможности указывать дату последнего изменения и относительную приоритетность документов.

    Пример

    Требования Яндекса и Google к картам

    Я выделил 6 общих требований, которые два популярнейших поисковика выдвигают к файлу Sitemap:

    1. Необходимо применять UTF-8 кодировку.
    2. Лимит по количеству URL-адресов – до 50 тысяч ссылок.
    3. Если размер файла превышает 10 МБ, поделите его на несколько карт и пропишите их все в файле индекса Sitemap.
    4. В процессе обращения к сайтмапу сервер должен отправлять ответ 200 OK.
    5. Вносите исключительно канонические УРЛы документов: не должно быть никаких идентификаторов сессий или GET-параметров.
    6. Ссылки в файле должны вести на тот же домен, где располагается сама карта сайта. Казалось бы, это элементарное требование. Но на деле многие вебмастера, имеющие несколько веб-ресурсов, перенося шаблон с файлом Sitemap забывали поменять уже имеющиеся ссылки на актуальные.

    Есть у поисковых систем и свои, уникальные требования.

    Яндекс:

    • максимально допустимый размер – 10 МБ;
    • допускается применять URL-адреса с кириллическими символами.

    Google:

    • максимально допустимый размер файла – 50 МБ;
    • работает только с латинскими символами и цифрами (кириллические домены можно перекодировать в латинские посредством Punycode).

    Важно! Для уменьшения требований к пропускной способности канала применяется архиватор gzip. 10 и 50 МБ – это размеры файлов Sitemap до сжатия архиваторов, а не после.

    Влияет ли карта сайта на продвижение?

    Отмечу, что без сайтмапа поисковики не понизят ваш ресурс в выдаче. Поисковые системы не глупые и даже если у вас на сайте нет Sitemap, они все равно проиндексируют его.

    Сейчас поисковые машины даже без карты сайта сканируют страницы и включают их в выдачу довольно хорошо. Да и в теории они самостоятельно должны этим заниматься, безо всякой помощи со стороны вебмастеров.

    Но нередко возникают проблемы, когда роботы дают сбой и не могут просканировать все страницы. Зачастую это случается из-за:

    • глубокой вложенности некоторых разделов, для перехода на которые необходимо перейти по множеству ссылок;
    • динамических УРЛов.

    Поэтому в интересах вебмастеров помогать поисковым системам.

    Наличие карты сайта позволяет избежать данных ситуаций. Sitemap в определенной степени положительно влияет на SEO продвижение веб-ресурса, потому что делает для роботов процесс обхода и включения в поиск страниц быстрее и легче.

    Еще с данным файлом у вашего ресурса уменьшается риск превратиться из первоисточника в копипаст вследствие того, что страницы попадут в индекс раньше, чем конкурентам удастся украсть контент с него и разместить у себя.

    Важно! Добавляйте в Sitemap основные страницы, играющие ключевую роль в оптимизации сайта, чтобы они попали в выдачу в первую очередь. Не прописывайте в файле страницы со служебной информацией, динамическими URL, тегами и запрещенные к индексации.

    Можно ли без Sitemap?

    Ответ очевидный – да. Поисковики воспринимают sitemap.xml лишь в качестве рекомендации для роботов. На практике у веб-ресурсов, где нет карты сайта, Яндекс отмечает наличие возможных, а не критичных либо фатальных проблем.

    Как было написано выше, поисковые роботы способны самостоятельно и эффективно индексировать ресурсы, но крупным сайтам и тем, где есть динамические УРЛы, лучше сделать Sitemap, к тому же это не займет много времени, а в дальнейшем может прилично сэкономить ваши нервы.

    Как создать карту сайта?

    К данному процессу нужно подойти ответственно, потому что здесь необходимо указать основные страницы, которые вы хотите видеть в поисковой выдаче.

    Сайтмап в формате HTML – это прежде всего навигация по разделам сайта для пользователей. Если веб-ресурс имеет лишь несколько сотен страниц, у него простая структура и понятное меню, подключать HTML-карту необязательно.

    Но когда сайт масштабный и структура довольно сложная, есть смысл создать страницу с перечнем ссылок на основные страницы.

    Учитывайте нишу, к которой относится ваш ресурс и соответственно его целевую аудиторию. Если у вас посетители преимущественно пожилого возраста, карта сайта поможет им сориентироваться в сайте, так как в главном меню разобраться сложнее.

    Есть множество способов, как создать Sitemap в формате HTML на движке WordPress. Лучше всего сделать это посредством плагина Hierarchical HTML Sitemap и ему подобных. Скачиваете плагин для своей CMS, устанавливаете, а дальше активируете надстройку для установки файла. После – размещаете выданный плагином шорткод на страницу, где хотите подключить сайтмап.


    Карта сайта будет доступна по адресу:

    http://site.com/sitemap.html

    Для других движков есть такие решения:

    Тем кто пользуется OpenCart не нужно беспокоиться о создании HTML карты сайта, потому что она появляется там автоматически.

    Если решили создать XML карту сайта, определитесь, каким способом будете это делать:

    1. Cгенерировать сайтмап при помощи движка управления ресурсом, если у него есть соответствующая встроенная функция, используя различные плагины и модули.
    2. Скачать ПО-генератор. Большинство из этих программ платные, но благодаря ним вы можете с легкостью создавать XML файл как для одного, так и для нескольких ресурсов. Вот самые популярные: WonderWebWare SiteMap Generator и SiteMap XML Dynamic SiteMap Generator.
    3. Скачать файл Sitemap онлайн генератором. Выбор специальных сервисов сегодня очень велик, у всех у них разные ограничения и возможности. К примеру, на сайте xml-sitemaps.com настраивается изобилие параметров карты, но разместить в ней можно максимум 500 ссылок.
    4. Ручное подключение Sitemap.

    С помощью генератора онлайн

    Преимущество данного способа заключается в отсутствии привязки к какому-либо CMS. Онлайн генераторы позволяют создать карту сайта для веб-ресурсов на любых движках и даже на статичных HTML сайтах.

    Минус же использования генераторов в том, что бесплатные сервисы сильно ограничены по количеству страниц и больше подходят, например, для сайтов-визиток, где есть несколько страниц и новые появляться уже не будут.

    Если же ресурс регулярно пополняется новыми статьями, то бесплатные генераторы не подойдут. Они не обновляют Sitemap, поэтому там не будут появляться новые URL-адреса, из-за чего файл быстро станет неактуальным.

    Самый популярный генератор:

    Приведу пример, как создать XML карту с XML-Sitemaps.

    Заходите на сайт сервиса и указываете адрес своего ресурса, кликаете на кнопку START.

    Через несколько минут сайтмап в формате XML будет сгенерирован. Далее закачиваете файл на жесткий диск компьютера.

    Затем нужно загрузить Sitemap в корневую папку сайта при помощи FTP-клиента, к примеру, WinSCP. Если не знаете где искать корневой каталог, введите в поиске index.html. Сюда загружаете файл.

    Через программное обеспечение

    Создать XML карту сайта данным способом не так уж сложно. Сейчас я покажу, как это сделать на примере программы для ПК Majento:

    1. Парсите ресурс.
    2. В верхней вкладке заходите в раздел «Сайты», затем кликаете «Генерировать Sitemap».
    3. Сохраняете файл в .xml формате.
    4. Все – карта на вашем сайте.

    Посредством плагинов для CMS

    Данный вариант куда удобнее, чем бесплатные генераторы онлайн. Плагины для движков управления сайтами более функциональные, позволяют изменять параметры карты сайта. А один из главных плюсов – наличие надстроек для автоматического обновления файла сразу после появления новых документов, а также уведомления о них поисковым системам.

    Для сайтов на базе WordPress одним из лучших вариантов является модуль Google XML Sitemaps. Установите, а затем активируйте плагин. Далее зайдите в настройки.

    В основных параметрах включите оповещения для Google, укажите адрес карты сайта в файле robots и активируйте функцию сжатия Sitemap.xml.

    Перейдите в «Приоритет статьи» и отключите функцию автоматической приоритезации страниц. Потом вам нужно будет указать приоритеты публикаций самостоятельно. Загляните в раздел «Содержание Sitemap». Включите в карту сайте исключительно те типы документов, которые вы хотите проиндексировать.

    Не забудьте поставить галочку напротив Include the last modification time. Так модуль покажет роботам в сайтмапе дату последнего обновления страницы, что поможет им рассчитать дату повторного обхода сайта.

    Опция Change Frequencies позволяет выставить периодичность переиндексации определенных типов документов. Зачастую поисковики не следуют тегу changefreq, прописанному в файле Sitemap, потому что они самостоятельно определяют краулинговый бюджет ресурса и отталкиваются от него.

    Однако плагин предоставляет возможность дополнительно настроить периодичность сканирования, но и это будет рекомендацией, а не командой.

    Excluded Items позволяет удалить из sitemap.xml определенные документы либо категории.

    Вкладка «Приоритеты» говорит сама за себя. Здесь указывается приоритетность страниц, значения для них выставляются от 0,1 до 1. Изначально у каждой страницы стоит значение 0,5. Выставьте наивысший приоритет самым важным для ранжирования страницам.

    Информация про рекомендуемую частоту обновления, приоритетность страниц и дату последнего обновления не является обязательной. В конечном итоге поисковики сами определяют, как поступать.

    В конце обязательно сохраните изменения в настройках. Плагин продолжит функционировать в фоновом режиме и уже не будет необходимости в него заходить – карта сайта продолжит оставаться актуальной, так как все обновляется автоматически. Далее нужно лишь добавить файл в вебмастерские панели Яндекса и Google.

    Для изображений

    Поисковый гигант работает также с картами сайта, предназначенными для изображений. Благодаря ему роботы Google могут получать больше данных про изображения на сайте. Еще синтаксис помогает поисковику быстрее находить и индексировать картинки, которые ему не удалось отыскать в процессе сканирования ресурса.

    Можно сделать синтаксис для картинок отдельно либо добавить его в уже созданный Sitemap. В сайтмапе для изображений, как и в стандартном, содержатся необязательные и обязательные теги XML.

    К числу обязательных относятся:

    • – УРЛ-адрес картинки;
    • – тег, подобный , содержащий в себе адрес и другую информацию касательно изображения.

    Необязательные теги следующие:

    • – подпись для картинки;
    • – название картинки;
    • – место, где делалось фото;
    • – УРЛ лицензии картинки.

    Для видео

    Google еще поддерживает карты сайта в формате XML, предназначенные специально для видео. Преимущества данного синтаксиса следующие:

    • позволяет показать поисковикам подробное описание видеофайла;
    • показывает ботам тип контента на ресурсе;
    • в результатах выдачи может отображать заставку для видеоролика, что в потенциале повышает клики и переходы на сайт;
    • контент можно будет найти в Google Видео.

    XML карта для видео включает в себя обязательные теги:

    • – содержит все данные о видеофайле;
    • – в нем прописывается УРЛ страницы, где есть видео, а при наличии более одного видеофайла на странице в теге можно прописать несколько для каждой видеозаписи отдельно;
    • – описание к видео, которое необходимо прописывать на основе метаданных страницы, а количество символов не должно превышать 2048;
    • – адрес заставки (миниатюры) для видеофайла с допустимыми размерами от 160×90 до 1920×1080 пикселей и возможными форматами png, gif, jpg, or;
    • – заголовок для видео, который нужно указать аналогично названию документа, где размещена видеозапись.

    Описание и заголовок видеофайла необходимо либо экранировать, либо поместить в блок CDATA. Сгенерировать видео для sitemap.xml можно используя плагин WP Video SEO.

    Необходимо создать текстовый файл в кодировке UTF-8. В нем прописывать исключительно УРЛы страниц, которые следует проиндексировать.

    Где разместить карту сайта?

    Файл Sitemap лучше всего размещать в корневой папке веб-ресурса. А ссылка на карту сайта размещается в robots.txt. Выглядеть она должна примерно так:

    Наглядно посмотреть можно в нашем примере robots.txt по ссылке https://webmasterie.ru/robots.txt

    Как добавить в Яндекс Вебмастер

    Сайтмап предоставляет возможность сообщить поисковой системе про актуальную структуру ресурса, поэтому его можно добавить в панель вебмастера Яндекса.

    1. Загрузить карту сайта.
    2. Оповестить о ее обновлении.
    3. Исключить файл.

    Загрузка

    1. Выберите веб-ресурс из списка.
    2. Укажите в соответствующем поле УРЛ-адрес расположения файла.
    3. Кликните «Добавить».

    Так вы отправите карту сайта на обработку. Поисковый бот загрузит файл не позже чем через 14 дней. Все добавляемые файлы поисковая машина обрабатывает по-отдельности. Когда файлы загрузятся, напротив каждого из них отобразится статус:

    • ОК. Файл создан корректно и загружен в базу данных. Возле него будет показана дата последнего обновления. Документы, которые роботы уже проиндексировали, отобразятся в результатах выдачи не позже чем через 2 недели.
    • Редирект. Адрес файла перенаправляет на другой УРЛ. В данном случае требуется удалить редирект и оповестить систему про обновление.
    • Ошибка. Файл сделан некорректно. Перейдите по ссылке Ошибка, где будут описаны ее причины. Исправьте все, что требует поисковик и далее сообщите о внесении изменений.
    • Не проиндексирован. Сервер отправляет HTTP-код, который отличается от 200 ОК. Зайдите в инструмент Проверка ответа сервера и вставьте полный URL расположения карты сайта, чтобы убедиться, есть ли у поискового бота доступ к ней. Если файл недоступен, свяжитесь с администратором сервера или ресурса, где он размещен.

    Также убедитесь, что в robots.txt вы не применили к файлу директиву Disallow, запрещающую его индексацию.

    Обновление

    При внесении каких-либо изменений в карту сайта нет необходимости удалять ее, а потом опять загружать, так как боты часто проверяют сайтмап на обновления и наличие ошибок. Рекомендуется лишь кликнуть по значку ручного обновления, что позволит ботам быстрее обойти файл.

    На заметку. Количество попыток ручного обновления ограничено, поэтому используйте его с умом.

    Применяя файл индекса Sitemap, лучше активировать обработку всех файлов, содержащихся в нем. Поисковая машина загрузит информацию в ближайшие три дня. Функция доступна 10 раз для одного хоста. Использовав все попытки, следующие 10 станут доступны через месяц – точная дата указывается.

    Удаление

    В панели вы также можете удалить файлы, которые ранее указали на странице «Файлы Sitemap»:

    1. Выберите веб-ресурс из списка.
    2. Напротив файла, который собираетесь исключить, кликните по значку «X».

    Обязательно удалите директиву для Sitemap в robots.txt, если указывали ее. Потому что здесь она тоже отображается.

    Вся информация о карте сайта будет исключена из базы данных поиска и панели Вебмастера на протяжении 2-3 недель.

    Как добавить в Гугл Вебмастер

    Аналогичным способом есть возможность сообщить о Sitemap и в Google Search Console.

    Загрузка

    1. Зайдите в панель вебмастера Google.
    2. Найдите раздел «Сканирование», в нем перейдите в «Файлы Sitemap».
    3. Кликните «Добавление/Проверка файла».
    4. Введите адрес, по которому доступна карта сайта.
    5. Кликните «Отправить».

    Если вы хотите проверить Sitemap на ошибки, рядом с кнопкой «Отправить» находится «Тест» – нажмите для проверки. После проверки отобразится окно с сообщением о наличии или отсутствии ошибок.

    В справке Google можно ознакомиться со списком всех возможных ошибок и вариантов их решения.

    Удаление

    Если у вас новый интерфейс Search Console, напишите в поддержку поисковой системы.

    Но наиболее оптимальный вариант – переключиться на старую версию внизу страницы. А дальше все как и в Яндекс.Вебмастер: переходите к выбору сайта из списка и затем напротив Sitemap ставите галочку для удаления файла.

    Заключение

    Тщательно продумайте, какие страницы вашего веб-ресурса самые приоритетные по отношению к другим, и указывайте их в файле Sitemap. Это эффективный инструмент, грамотное применение которого поможет роботам поисковых систем быстрее обходить сайт и получать информацию о его структуре.

    Лучше всего использовать плагины и модули для различных CMS. Они автоматически создают карту сайта и дополняют ее ссылками при публикации нового контента, благодаря чему она всегда будет актуальной.

    Пожалуйста, оцените эту статью. Чтобы мы могли делать лучший контент! Напишите в комментариях, что вам понравилось и не понравилось!

    Илон Маск рекомендует:  Перенос приложений cbuilder в архитектуру клиентсервер
    Понравилась статья? Поделиться с друзьями:
    Кодинг, CSS и SQL
    Атрибут Описание
    обязательный Инкапсулирует информацию о всех файлах Sitemap в этом файле.
    обязательный Инкапсулирует информацию об отдельном файле Sitemap.
    обязательный
    необязательно