Файлы Sitemap. Файл Sitemap: HTML, XML, TXT, как создать и добавить в Яндекс и Google вебмастер Безнадежный sitemap xml

Файлы Sitemap. Файл Sitemap: HTML, XML, TXT, как создать и добавить в Яндекс и Google вебмастер Безнадежный sitemap xml

11.01.2024

Для создания карты сайта необходимо зарегистрироваться



Существует два типа карт сайта: sitemap.xml и sitemap.html .

Xml карта сайта (sitemap.xml)

Xml карта сайта создается для поисковых роботов. С помощью xml карты Вы можете указать, как часто следует индексировать ту или иную станицу, как часто она обновляется, насколько она важна в рамках Вашего сайта. С помощью карты сайта фиксируются все ссылки, которые есть на сайте.

Иными словами, структура сайта становится прозрачной для поисковых роботов. Для «живых» пользователей xml карта бесполезна.

Если Вам нужна только xml карта, то ее можно без труда сгенерировать автоматически, используя один из многих интернет-ресурсов. На большинстве из них создание карты для сайта до 100 страниц бесплатно. Процесс генерации занимает определенное время: чем больше страниц у сайта, для которого Вы генерируете сайт-мэп, тем длительнее этот процесс. Он может занять от нескольких минут (для небольших сайтов) до часа и более (для сайтов с сотнями страниц и многочисленными перекрестными ссылками).

Необходимо помнить , что при любых изменениях, которые затрагивают структуру сайта или приоритет страниц, необходимо заново генерировать sitemap.

Для того, чтобы поисковый робот нашел Вашу sitemap.xml, в файле robots.txt необходимо указать путь к ней.

Html карта сайта (sitemap.html)

Html карта сайта создается для посетителей Вашего сайта, она аналог оглавления в книге. Часто бывает, что при сложной или не очень прозрачной структуре посетитель теряется в навигации по сайту и не доходит до страниц (он их просто не находит), которые ему были бы нужны и уходит с сайта неудовлетворенный. Конверсия сайта при этом снижается.

Если html карта есть и сделана качественно, правильно и емко озаглавлены разделы, то любой раздел, любая страница сайта нужной тематики легко отыщется посетителем Вашего сайта.

Создание sitemap онлайн на нашем сайте

Используя предлагаемый модуль Вы сможете одновременно создать sitemap.xml и sitemap.html.

При этом Вы создаете только html карту сайта, а xml карта создается автоматически.

Изменения, которые вносятся в структуру сайта после создания карты сайта, не требуют новой генерации sitemap.xml, xml карта корректируется автоматически после корректировки html карты. Таким образом, у Вас на сайте всегда будет корректная карта для поисковых машин (sitemap.xml) и корректное оглавление (sitemap.html).

Сравнение автоматической генерации sitemap и полуавтоматической

  • Настраиваемый внешний вид и css стили.
  • Настраиваемая древовидная система.
  • Полная настройка под поисковые системы.
  • Все внесённые данные сохраняются.
  • Корректировка готовой карты сайта займёт не больше минуты.
  • Интуитивно понятный интерфейс.
  • Автоматическая проверка доступности страницы (исключает ошибки и дубли).
  • Title страницы программа считывает самостоятельно.
  • Html карта автоматически добавляет к каждой ссылке title страницы.
  • Для добавления на сайт достаточно скопировать код или скачать файл.
  • Одновременное создание html и xml sitemap.

Sitemap – это файл, помогающий посетителям или поисковому роботу ориентироваться в сетевом ресурсе. Существует два варианта создания карты сайта: в формате XML и HTML. Первый веб-мастеры генерируют для поисковых роботов, вторые чаще всего формируют вручную для пользователей сайта. HTML-карта – это обычная веб-страница с URL-адресами контента, собранными в определенной иерархии. XML-карта – это тоже каталог сетевых адресов страниц сайта, только сформированный с использованием специальной разметки, удобной для поисковых систем.

Карта в формате XML

В официальных справочниках сервисов Google и «Яндекс» можно найти много полезной информации по созданию, обновлению и публикации карты сайта. Там же есть данные по структуре файлов sitemap.xml. Эта статья содержит только самые важные и полезные для обычного пользователя данные.

Основные задачи файла:

    Предоставление сетевых адресов всех страниц сайта в удобной для быстрого просмотра форме.

    Передача информации о частоте и времени последнего обновления контента, приоритетности, альтернативных версиях страниц.

Карта сайта может содержать различную информацию, способствующую быстрой и правильной индексации в поисковых системах нужных страниц сетевого ресурса.

Важность присутствия карты на сайте

Для поисковой оптимизации наличие карты сайта является обязательным фактом. Любая помощь поисковой системе в просмотре и анализе содержимого сетевого ресурса оказывает положительное влияние на ранжирование контента. Так считают оптимизаторы и веб-мастеры. Сразу после завершения работы над сайтом они создают файл sitemap.xml и показывают его поисковикам.

Для поисковых систем отсутствие такого файла не играет существенной роли. Роботы – самостоятельное программное обеспечение, не нуждающееся в дополнительных указаниях. Они сами найдут все необходимое без специально созданных страниц со ссылками. Если добавить сайт в панель веб-мастера «Яндекса» или Google без предоставления ссылки на карту сайта, то сервис определит проблему как рекомендованную, а не критичную или фатальную.

Основные причины создания карты:

    Наличие страниц, не имеющих входящих ссылок из меню или контента сайта.

    Сетевой ресурс имеет сложную структуру и большое количество страниц с разнообразным содержимым.

    Регулярное обновление сайта.

    На сайте есть иерархия страниц по важности.

Карта сайта позволяет ускорить индексацию содержимого и упростить процесс предоставления новых данных о сайте поисковой системе.

Создание и подключение

Получить файл можно разными вариантами, включая ручное составление списка всех адресов страниц. Конечно, чаще всего прибегают к различным средствам автоматизации. Например, используют серверное или обычное программное обеспечение. Для создания и регулярного обновления карты сетевого ресурса в автоматическом режиме проще всего использовать возможности CMS. Если система управления содержимым не имеет встроенного инструмента, то находят и устанавливают дополнительный модуль. За время существования поискового индекса было разработано множество программ и дополнений под любые требования пользователя и поисковых систем.

Использование онлайн-генераторов:

    Найдите в сети подходящий сервис.

    Укажите адрес сетевого ресурса.

    Запустите программное обеспечение в работу нажатием соответствующей кнопки.

    Робот сервиса обойдет страницы сайта и сформирует карту адресов.

По завершении работы сервис выдаст пользователю ссылку на скачивание sitemap.xml. Скачайте файл и загрузите в корневую директорию сайта. Недостатком способа является получение статичной карты. После добавления новых страниц придется вручную повторять вышеуказанную операцию, удалять устаревший файл и загружать актуальную версию.

Использование инструментов CMS на примере WordPress

    Устанавливаем и активируем подходящий плагин, например Google XML Sitemaps.

    Заходим на страницу настроек и разрешаем: уведомлять поисковую систему об обновлении карты, добавить адрес расположения sitemap.xml в файл robots.txt, автоматически сжимать данные по мере необходимости.

    В разделе «Приоритет статьи» запрещаем использовать автоматический расчет приоритета страниц, если для вас важно иметь возможность самостоятельно изменить их приоритетность.

    Переходим к настройке содержимого карты и отмечаем галками необходимые пункты. В подразделе «Другие опции» разрешаем сервису установить дату последнего обновления карты.

    В следующем разделе сервис предлагает изменить периодичность проверки файла на наличие новых ссылок и любых других изменений. Можно установить любые значения, так как поисковики обычно сами решают, когда выполнить очередной обход.

    Далее переходим в раздел «Приоритеты», который позволяет установить важность страниц путем выбора нужного значения из выпадающего списка. Установленные значения также могут быть проигнорированы поисковыми роботами, поэтому можно их оставить так, как есть.

    Сохраняем изменения.

Плагин автоматически создаст файл и поместит его в нужную директорию. С этого момента веб-мастер может забыть о существовании sitemap.xml, так как сервис возьмет поддержку актуального состояния файла на себя. Осталось только указать поисковику адрес расположения новой карты сайта. Делают это через панель управления веб-мастера в соответствующей поисковой системе.

Создание карты вручную

Информация дается с целью ознакомления со структурой текстового файла, сохраненного в формате xml и используемого в качестве карты сайта. Создавать вручную такие объемные файлы нецелесообразно, так как современное программное обеспечение очень качественно и быстро справляется с поставленной задачей.

Особенности тестового файла

Для создания карты сайта вручную можно воспользоваться блокнотом или любым другим текстовым редактором. Данные записывают в файл, используя специальные символы и коды XLM-разметки. После того как закончите вписывать все ссылки и указания для поисковой системы, файл нужно сохранить с расширением xml.

Пример кода карты сайта:

    Стандартный заголовок, сообщающий о версии используемого кода и кодировке символов: .

    Указание стандарта протокола: .

    Перечисление адресов страниц сайта с указанием различных параметров: точный адрес страницыдата последнего изменения контентачастота обновлениязначение приоритетности.

    Закрытие файла тегом: .

Теги urlset, url, loc являются обязательными, остальные можно использовать по желанию. Многие оптимизаторы не ограничиваются созданием общей карты сайты. Дополнительно делают карту изображений, отдельную для видео, новостей сайта и других разделов. Такие карты позволяют передать поисковой системе информацию, которая недоступна обычным путем ввиду особенностей внедрения контента в страницу, например посредством скриптов.

Несколько sitemap.xml

Потребность в использовании нескольких карт сайта возникает в случае одновременного применения разных систем управления содержимым, необходимости добавления больше 50 тыс. страниц на сайт, обеспечения удобных условий для отслеживания возникающих ошибок в огромном количестве разных разделов и по другим причинам.

Все созданные карты нужно объединить в одну. То есть создать текстовый файл и записать в него все карты, используя специальные теги.

Код общего sitemap:

    Стандартный заголовок: .

    Стандарт протокола: . Вместо тега urlset нужно использовать sitemapindex.

    Перечисление всех карт сайтов с указанием необходимых параметров: адрес расположения картыдата внесения последних изменений в файл.

    Перечисляем все карты и закрываем код тегом .

Таким образом объединяют только обычные XML-карты, которые отдельно не индексируются. Для отдельной индексации нескольких sitemap их необходимо добавить в индекс через панель веб-мастера, указав поисковой системе точный путь к файлу каждой карты.

Передаем адрес карты сайта поисковой системе

Чтобы поисковый робот Google смог найти вашу карту, нужно зайти в Google Search Console, выбрать раздел «Файлы Sitemap», ввести в соответствующее поле сетевой адрес файла и нажать на кнопку «Отправить». Через некоторое время программное обеспечение сервиса проверит наличие файла по указанному адресу. Если карта сайта будет обнаружена, робот проанализирует содержимое и покажет пользователю результат проведенной работы. При обнаружении ошибок составит подробный отчет по каждой с добавлением рекомендаций по устранению всех проблем. Если погрешностей нет, в статусе карты сайта появится надпись: «Успешно».

Чтобы передать адрес sitemap.xml поисковой системе «Яндекс», нужно войти в панель веб-мастера, в разделе «Индексирование» найти подраздел «Файлы Sitemap», ввести в форму путь к файлу и нажать на кнопку «Добавить». Узнать об ошибках можно в разделе «Диагностика».

Ограничения и особенности

Создавая и добавляя карту сайта, пользователь повышает шансы на быстрое и регулярное индексирование всех страниц сетевого ресурса. Существенно снижается вероятность потери контента для поиска. Робот обойдет все адреса, прописанные в файле, учтет все замечания веб-мастера, проиндексирует доступный материал. Чтобы карта сайта работала должным образом, при ее создании пользователь должен учесть несколько ограничений.

Требования к sitemap.xml:

    Файл не должен содержать более 50 тыс. адресов страниц.

    Размер файла должен быть меньше или равным 10 Мбайт.

Владельцы популярных и больших сетевых ресурсов нашли несколько способов решения проблем, связанных с этими ограничениями. Если ваш сайт требует наличия карты, которая не вписывается в установленные рамки, воспользуйтесь вариантом из нижеследующего списка.

Варианты решения проблемы наличия ограничений:

    Сократите количество ссылок, убрав из файла адреса страниц, имеющих очень низкий приоритет. Оставьте важные ссылки и адреса страниц, которые доступны поисковому роботу только через карту сайта.

    Создайте несколько файлов sitemap и передайте их адреса поисковым системам.

    Если проблема в размере, воспользуйтесь архиватором для сжатия данных.

Карта сайта для посетителей

Sitemap для пользователей существенно отличается от карты для поискового робота. Это обычная страница сайта с множеством ссылок с анкорами, описанием контента, навигационными и дизайнерскими элементами. Пользовательскую карту сайта создают с целью ускорения поиска информации в пределах сетевого ресурса.

Ее создают в обычном текстовом или специальном редакторе для подготовки HTML-страниц и сохраняют в файле с любым именем и расширением html. Готовый документ можно расположить в любой директории. Сообщать поисковой системе о наличии пользовательской карты не нужно. В процессе индексации сайта поисковый робот найдет ее и проиндексирует все ссылки.

Особенности создания карты HTML:

    Используйте форматирование. Выделяйте заголовки, подзаголовки, делайте списки, пометки, выделяйте текст цветом. Картой должно быть удобно и приятно пользоваться, она не должна быть обычной страницей со множеством ссылок, не информирующих пользователя о контенте, на который ведут.

    Продумайте структуру и добавьте к каждой ссылке краткое описание. Это упростит пользовательский поиск информации и сделает карту качественной для поисковых систем. Они плохо воспринимают материал со ссылками без текстового или мультимедийного сопровождения.

    Добавляйте к ссылкам анкоры. Они будут информировать посетителя о результатах перехода по ним. Такие ссылки способны оказать положительное влияние на траст сетевого ресурса, так поисковики лучше воспринимают линки с анкорами.

После создания пользовательской карты сохраните ее в доступном месте и сделайте на нее заметную ссылку. В отличие от поисковика посетители не станут сканировать весь сайт в поисках удобной навигационной страницы. Поэтому расположите ссылку на видном месте, например в главном меню, выделите ее рамкой, цветом, измените размер шрифта. Чем заметнее она будет, тем лучше. В противном случае усилия, потраченные на ее создание, не принесут пользы.

С помощью файла Sitemap можно сообщить Яндексу об актуальной структуре сайта, указав специальную директиву в robots.txt или добавив в Яндекс.Вебмастер.

Вебмастер позволяет:

Загрузка Sitemap

    Выберите из списка сайт.

    В поле впишите URL, по которому доступен файл. Например, https://example.com/sitemap.xml .

    Нажмите кнопку Добавить .

После добавления файл попадает в очередь на обработку. Робот загрузит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в файл индекса Sitemap , обрабатывается роботом отдельно.

После загрузки напротив каждого файла вы увидите один из статусов:

Статус Описание Примечание
«OK»
«Редирект» Удалите редирект и сообщите роботу об обновлении
«Ошибка» Файл сформирован неправильно сообщите роботу об обновлении
«Не проиндексирован»
Disallow сообщите роботу об обновлении
Статус Описание Примечание
«OK» Файл сформирован правильно и загружен в базу робота

Напротив файла отобразится дата последней загрузки.

Проиндексированные страницы появятся в результатах поиска в течение двух недель

«Редирект» Указанный URL перенаправляет на другой адрес Удалите редирект и сообщите роботу об обновлении
«Ошибка» Файл сформирован неправильно Нажмите ссылку Ошибка , чтобы узнать подробности. После внесения изменений в файл сообщите роботу об обновлении
«Не проиндексирован» При обращении к Sitemap сервер возвращает HTTP-код, отличный от 200

Проверьте, доступен ли файл для робота с помощью инструмента , указав полный путь к файлу.

Если файл недоступен, обратитесь к администратору сайта или сервера, на котором он расположен.

Доступ к файлу запрещен в robots.txt с помощью директивы Disallow Разрешите доступ к Sitemap и сообщите роботу об обновлении

Обновление Sitemap

Если вы изменили добавленный в Яндекс.Вебмастер файл Sitemap , его не надо удалять и загружать снова - робот регулярно проверяет файл на обновления и ошибки.

Чтобы ускорить обход файла, нажмите значок . Если вы используете файл индекса Sitemap , можно запустить обработку каждого перечисленного в нем файла. Робот загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.

Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.



Удаление Sitemap

В интерфейсе Яндекс.Вебмастера можно удалить те файлы, которые были добавлены на странице Файлы Sitemap : Если для Sitemap была добавлена директива в файле robots.txt , удалите ее. После внесения изменений информация о Sitemap пропадет из базы робота и Яндекс.Вебмастера в течение нескольких недель.

Вопросы и ответы

Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»

Отображение файла Sitemap (как и других XML-файлов) как исключенных страниц имеет только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap .

Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу, в то время как файлы формата XML не индексируются в поисковой системе Яндекса и в результатах поиска не участвуют.

При обработке Sitemap возникла ошибка «Неизвестный тег»

Файл Sitemap может содержать только определенные XML-элементы . Если Вебмастер обнаружит в файле другие элементы (например, указание на мобильную или мультиязычную версию, адреса картинок), в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap , при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.

Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.

Файл Sitemap находится в статусе «Не проиндексирован»

Файл Sitemap может быть не проиндексирован по нескольким причинам:

    Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap .

    Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.

    Доступ к Sitemap запрещен в файле

Файл sitemap.xml - это инструмент, который позволяет вебмастерам информировать поисковые системы о страницах сайта, доступных к индексации. Также, в XML карте можно указывать дополнительные параметры страниц: дата последнего обновления, частота обновлений и приоритет относительно других страниц. Информация в sitemap.xml может влиять на поведение поискового краулера и, в целом, на процесс индексации новых документов. Sitemap содержит в себе директивы включения страниц в очередь на обход и дополняет robots.txt, содержащий директивы исключения страниц.

В этом руководстве вы найдете ответы на все вопросы, касающиеся использования sitemap.xml.

Нужен ли мне sitemap.xml

Поисковые системы используют sitemap для поиска новых документов на сайте (это могут быть html-документы или медиа-контент), которые недоступны через навигацию, но их необходимо просканировать. Наличие ссылки на документ в sitemap.xml не гарантирует его сканирование или индексацию, но чаще всего файл помогает большим сайтам индексироваться лучше. К тому же, данные из XML карты используются при определении канонических страниц, если это специально не указано в теге rel=canonical.

Sitemap.xml важен для сайтов, где:

  • Некоторые разделы недоступны через навигационное меню.
  • Имеется множество изолированных страниц или плохо связанных между собой.
  • Используются технологии, слабо поддерживаемые поисковыми системами (например, Ajax, Flash или Silverlight).
  • Присутствует очень много страниц и есть вероятность, что поисковый краулер пропустит новый контент.

Если это не ваши случаи, то скорей всего sitemap.xml вам не нужен. Для сайтов, где каждая важная для индексации страница доступна в пределах 2х кликов, где для отображения контента не используются технологии JavaScript или Flash, где при необходимости используются канонические и региональные теги, и свежий контент появляется не чаще, чем на сайт заходит робот, в файле sitemap.xml нет необходимости.

Для небольших проектов при наличии проблемы лишь большого уровня вложенности документов, ее легко решить с помощью HTML карты сайта, не прибегая к использованию XML карты. Но если вы решили, что sitemap.xml вам все-таки нужен, то прочитайте это руководство полностью.

Техническая информация

  • Sitemap.xml является текстовым файлом формата XML . Однако, поисковые системы также поддерживают текстовый формат (см. следующий раздел).
  • Каждый сайтмап может содержать максимум 50 000 адресов и весить не более 50Мб (10Мб для Яндекса).
  • Можно использовать gzip-сжатие для уменьшения размера файла sitemap.xml и увеличения скорости его передачи. В таком случае используйте расширение gz (sitemap.xml.gz). При этом, ограничения по весу остаются для несжатых сайтмапов.
  • Местоположение файла Sitemap определяет набор URL-адресов, которые можно включить в этот Sitemap. Карта, содержащая адреса страниц всего сайта, должна располагаться в корне. Если сайтмап располагается в папке, то и все URL в этом сайтмапе должны располагаться в этой папке или глубже ().
  • Адреса в sitemap.xml должны быть абсолютными.
  • Максимальная длина URL - 2048 символов (1024 символа для Яндекса).
  • Спецсимволы в URL (типа амперсанда "&" или кавычек) должны маскироваться в HTML-сущности.
  • Указанные в карте страницы должны отдавать 200 http-код статуса.
  • Перечисленные в карте адреса не должны быть закрыты в файле robots.txt или в meta-robots.
  • Sitemap не должен быть закрыт в robots.txt, иначе поисковая система его не просканирует. Сам файл может находиться в индексе, это нормально.

Форматы XML карт

Поисковые системы поддерживают простой текстовый формат карты сайта, где просто списком перечислены URL-адреса страниц без дополнительных параметров. В таком случае файл должен иметь кодировку UTF-8 и иметь расширение .txt .

Также поисковиками поддерживается стандартный XML-протокол . Google дополнительно поддерживает сайтмапы для изображений, видео и новостей.

Пример файла Sitemap, содержащий только один адрес.

https://сайт/ 2018-06-14 daily 0.9

XML-теги
urlset
url (обязательный) - родительский тег для каждого URL-адреса.
loc (обязательный) - URL-адрес документа, должен быть абсолютным.
lastmod - дата последнего изменения документа в формате Datetime .
changefreq - частота изменения страницы (always, hourly, daily, weekly, monthly, yearly, never). Значение этого тега является рекомендацией поисковым системам, а не командой.
priority - приоритетность URL относительно других адресов (от 0 до 1) для очередности сканирования. Если не указывается, то по умолчанию равна 0.5.

XML карта для изображений

Некоторые оптимизаторы вставляют в sitemap.xml ссылки на изображения аналогично ссылкам на html-документы. Так можно делать, но лучше для Google использовать расширение стандартного протокола и вместе с урлами отправлять дополнительную информацию об изображениях. Создавать XML карты изображений полезно, если картинки необходимо сканировать и индексировать, и при этом, они напрямую не доступны боту (например, используется JavaScript).

Пример карты сайта, содержащей одну страницу и принадлежащие ей изображения

http://example.com/primer.html http://example.com/kartinka.jpg http://example.com/photo.jpg Вид на Балаклаву Севастополь, Крым http://creativecommons.org/licenses/by-nd/3.0/legalcode

XML-теги
image:image (обязательно) - информация об одном изображении. Максимум может использоваться 1000 изображений.
image:loc (обязательно) - путь к файлу изображения. Если используется CDN, то допустимо ссылаться на другой домен, если он подтвержден в панели для вебмастеров.
image:caption - подпись к изображению (может содержаться длинный текст).
image:title - название изображение (обычно короткий текст).
image:geo_location - место съемки.
image:license - URL лицензии изображения. Используется при расширенном поиске по картинкам.

XML карта для видео

Подобно карте для изображений, Google также имеет расширение sitemap протокола для видео, где можно указывать подробную информацию о видео-контенте, влияющую на отображение в поиске по видео. Видео-сайтмап необходим, когда на сайте используются видео, которые хостятся локально, и когда индексация этих видео затруднена из-за используемых технологий. Если вы на сайте внедряете видео из YouTube, то video-sitemap здесь не нужен.

Файл Sitemap для новостей

При наличии на сайте новостного контента и участии в Google Новостях полезно использовать Sitemap для новостей, так Google будет быстрей находить ваши свежие материалы и индексировать все новостные статьи. В этом случае Sitemap должен содержать только адреса страниц, опубликованных за последние 2 дня и содержать не более 1000 урлов.

Использование нескольких карт

При необходимости можно использовать несколько карт сайтов, объединяя их в один индексный сайтмап. Несколько sitemap.xml используются в случаях, когда:

  • На сайте используется несколько движков (CMS).
  • На сайте больше 50 000 страниц.
  • Необходимо настроить удобное отслеживание ошибок в разделах.

В последнем случае каждый большой раздел сайта имеет свой sitemap.xml и все они добавляются в панель для вебмастеров, где удобно наблюдать, в каком из разделов больше всего ошибок (см. раздел поиска ошибок в карте сайта).

Если у вас 2 и более сайтмапа, их необходимо объединить в индексный сайтмап, который выглядит также как обычный (за исключением наличия тегов sitemapindex и sitemap вместо urlset и url), имеет аналогичные ограничения и может ссылаться только на обычные XML карты (не на индексные).

Пример Sitemap Index:

http://www.example.com/sitemap-blog.xml.gz 2004-10-01T18:23:17+00:00 http://www.example.com/sitemap-webinars.xml.gz 2005-01-01

sitemapindex (обязательный) - указывает стандарт текущего протокола.
sitemap (обязательный) - содержит информацию об отдельном sitemap.
loc (обязательный) - местоположение sitemap (в формате xml, txt или rss для Google).
lastmod - время изменения сайтмапа. Позволяет поисковикам быстро обнаруживать новые URL на сайтах больших размеров.

Как создать sitemap.xml

Методы создания XML Sitemap:

  • Внутренние средства CMS. Многие CMS уже поддерживают создание карты сайта. Чтобы это выяснить, почитайте документацию к вашей CMS, посмотрите пункты меню в администраторской панели или обратитесь в техподдержку движка. Загрузите на вашем сайте файл https://вашсайт.com/sitemap.xml , возможно он уже существует и динамически формируется.
  • Внешние плагины. Если в CMS нет функционала генерации карты сайта, и она поддерживает плагины, погуглите, какой из плагинов закрывает вопрос sitemap.xml для вашего движка и установите его. В некоторых случаях необходимо обратиться к программистам, чтобы они написали вам подобный плагин.
  • Отдельный скрипт на сайте. Зная протокол XML карты и технические ограничения, можно создать sitemap.xml самостоятельно, добавив скрипт генерации в CRON. Если вы не программист, используйте другие пункты этого списка.
  • Генераторы Sitemap. Существует множество генераторов sitemap.xml, которые сканируют ваш сайт и дают скачать готовую карту. Недостаток здесь в том, что при каждом обновлении сайта необходимо вручную генерировать сайтмап.
  • Парсеры. Десктопные программы, предназначенные для технического анализа сайта, обычно предоставляют возможность скачать sitemap.xml, сгенерированный на основе просканированных страниц. Работает аналогично генераторам sitemap, только запускается локально на своей машине.

Популярные онлайн-генераторы карты сайта

XML-Sitemaps.com

Позволяет получить sitemap.xml в несколько кликов. Поддерживает форматы XML, HTML, TXT и GZ. Удобно использовать для небольших сайтов (до 500 страниц).

Похожий генератор, но имеет чуть больше настроек и позволяет создать карту до 2000 страниц бесплатно.

Имеет множество настроек, позволяет импортировать URL-адреса из CSV-файла. Бесплатно сканирует до 500 урлов.

Не имеет лимитов на количество страниц для сканирования. Но для больших сайтов процесс генерации может подвисать на несколько десятков минут.

Локальные программы для генерации XML Sitemap

G-Mapper Sitemap Generator

Бесплатная десктопная версия генератора карты сайта под Windows.

Screaming Frog SEO Spider

Гибкий инструмент генерации карты сайта с множеством настроек. Удобно, если вы уже пользуетесь скримин фрогом для других SEO-задач. После сканирования сайта используйте пункт меню Sitemaps -> Create XML Sitemap.

Netpeak Spider

Менее гибкое, но тоже удобное решение для быстрой генерации sitemap.xml. После сканирования сайта необходимо использовать пункт меню Инструменты -> Генерация Sitemap.

XML Sitemap is a website"s URLs list in XML format. The Sitemap file is designed to inform search engines (such as Google, Bing, Yahoo, Yandex, MSN, and others) about the pages on the website, which should be indexed. Sitemap significantly speeds up site scans.In addition, the Sitemap allows you to transmit information about all pages of your site, including those that search engines can not get with the usual crawl.

Creating a Sitemap is especially useful when:

  • On your site new pages are generated automatically and frequently.
  • Your site is new, and it indicates a small number of links.
  • Your site has a large archive of content pages that are poorly or not at all related to each other.

XML Sitemaps Protocol: What does a Sitemap contain?

In accordance with the XML Sitemaps Protocol and the requirements of search engines, the Sitemap file should contain no more than 50 000 pages and not exceed the size of 10 MB. This means that if your site contains more than 50,000 pages and file size Sitemap than 10 MB, you must create multiple Sitemap.

... URL ... ...

In addition to the required URL parameter, the XML Sitemaps protocol provides additional tags for each page:

Lastmod – indicates the date of last modification date.

Date (ISO 8601)

Changefreq – the probable frequency of the page content. Valid values are:

  • always – every time the page loads
  • hourly – every hour
  • daily – every day
  • weekly – once a week
  • monthly – once a month
  • yearly – once a year
  • never – means that the page content remains unchanged.
Syntax:

Valid value

Priority – the priority of the page relative to other pages on your site. The valid range - from 0,0 to 1,0. This tag lets the search engines know which pages you think are most valuable.

Decimal from 0.0 to 1.0



© 2024 beasthackerz.ru - Браузеры. Аудио. Жесткий диск. Программы. Локальная сеть. Windows