В этом кейсе мы расскажем, как наши специалисты раскручивали крупный новостной портал и что из этого вышло.
Итак, краткое знакомство с сайтом началось с полученного на почту брифа, в котором кроме непосредственно адреса сайта и желаемых целей продвижения были контакты потенциальных клиентов. Сделав краткий аудит сайта, мы сразу связались с клиентами и назначили встречу с ними в нашем офисе.
В ходе встречи выяснили некоторые важные моменты. Например, несмотря на то, что сайт сугубо информационный, основное его направление – это политика. У клиента есть своя редакция (не «удаленщики») и отдел разработки, с которыми нам предстояло плотно взаимодействовать. Ни журналисты, ни один-единственный веб-разработчик, который трудился в этом СМИ еще и на должности системного администратора, ничего в поисковом продвижении не понимали, поэтому будущее сотрудничество с ними пришлось сузить до выдачи тех или иных рекомендаций или заданий.
В принципе, такой подход к сотрудничеству с журналистским коллективом для нас не нов – по схожей схеме мы работали с редакциями нескольких крупных российских сайтов, вроде Lenta.ru, Чемпионат и Мотор.Ру.
Владельцы сайта ставили перед нами простую на первый взгляд задачу – увеличить поисковый трафик на сайт по максимуму и как-то раскрутить мобильную версию сайта, т.к. на нее шло меньше всего посетителей. Ниже мы подробнее расскажем о том, как мы продвигали сайт и какой результат был в итоге достигнут.
Анализ сайтаКак мы уже писали выше, нам достался новостной сайт, что автоматически означало, что страниц на нем будет просто море и ожидания нас не подвели. Округляя, суммарно нам предстояло иметь дело с 70 000 страниц новостей, разбитых на несколько разделов:
- политика;
- культура;
- экономика;
- в мире;
- спорт.
Кроме, собственно, тематических разделов, на портале были разделы новостей про макрорегионы России:
- Москва и МО;
- Санкт-Петербург;
- Юг России;
- Урал;
- Сибирь;
- Поволжье;
- Север;
- Дальний Восток.
Нам предстояла детальная работа с каждым из разделов и, в последующем, поиск рабочих точек роста для новостного проекта. Так, получив доступ к статистике, мы взяли несколько тысяч самых популярных запросов (нижнее значение не должно быть меньше 20), по которым переходили на сайт за последние три месяца и разбили их по темам разделов, которые имелись на сайте. По итогам такой работы, оказалось, что самым популярным разделом оказалась «Политика», на втором месте «Культура», а замыкает тройку международный раздел.
Соответственно, новости спорта и экономику надо было подтянуть под показатели первых трёх разделов.
По регионам самыми популярными разделами стали Москва и МО, Санкт-Петербург и Урал.
Так же, нами были намечены такие точки роста поискового трафика для сайта: раздел «Hi-Tech» и Общество, а также отдельно предлагалось закрепить две рубрики «Мнения» и «Аналитика», где приглашенные эксперты и лидеры общественного мнения могли бы высказываться на те или иные темы. Тем более, таким образом можно было бы совершенно легально внедрять те ключевые слова, по которым мы хотели, чтобы сайт получал трафик и, при этом, не жертвуя качеством материала. В региональном разрезе, мы нашли только одну точку роста – это создание на сайте отдельной новостной рубрики про Кавказ.
На скриншоте майнд-карты проекта мы вкратце показали, как выглядела предложенная нами структура сайта и точки роста в виде рубрик:
Еще одним способом поиска точек роста для нас стал сервис Google Trends, по которому мы отслеживали популярные и набирающие популярность события и личности, о которых можно написать материал на сайте.
Закончив с точками роста, принялись за составления календаря событий. В этом деле нам очень помогли сотрудники редакции, которые провели весьма качественную работу по сбору событий в мире политики, спорта, культуры и пр. и дополнительно разбили их в календаре на год на каждый месяц. Конечно, мы тоже участвовали на начальном этапе составления календаря, изучив несколько тематических сайтов, но главная заслуга, все же, за журналистами.
Завершив контентный анализ сайта, мы получили три направления для будущего продвижения:
- самые популярные запросы для продвижения, которые имели перспективу;
- точки роста, которые можно было эффективно использовать, добавив новый контент на сайт;
- календарь событий и созданное под него семантическое ядро.
В теории, все три направления должны были бы, то называется, «выстрелить» при правильной работе с ними.
Технический аудит сайтаПоскольку на контентный аудит сайта у нас ушло две недели и почти все свободные руки, то техническим аудитом пришлось заняться только во вторую очередь. Не сказать, что результаты технического аудита нас сильно удивили (видали и хуже), но, тем не менее, некоторые ошибки на сайте были замечены, а именно:
- карта сайта не была самообновляемой;
- на сайте отсутствовало кеширование, что несколько замедляло его работу;
- заголовки новостей прописывались в теге Н2, а не Н1;
- на портале были пустые страницы, а также дубли страниц, что негативно влияло на внутреннюю оптимизацию.
Проблемы технического характера мы решали совместно с одним единственным разработчиком и сделали все достаточно быстро: через админ-панель сайта включили кеширование страниц, поставили плагин, который обновлял карту сайта автоматически и настроили его ежечасное обновление, также закрыли от индексации пустые и дублированные страницы. Отдельно пришлось поработать, чтобы заголовок новости прописывался в теге Н1, но и эта задача, хоть и была связана с программированием, была нами решена весьма быстро.
Путем таких нехитрых манипуляций у нас получилось за весьма короткий срок закрыть все проблемы технического характера на клиентском сайте. Теперь пришла пора плотнее поработать с редакцией.
Оптимизация контента
Фундамент будущего увеличения трафика на сайте мы начали закладывать с того, что создали семантическое ядро для календаря событий на основе полученных при помощи SEO-софта запросов. Таким образом, под каждое событие у нас имелась определенная группа ключевых слов, которые журналисты должны были использовать при написании материала.
Кроме этого, параллельно шла работа над наполнением новых разделов сайта, чтобы можно было качественно отработать по тем точкам роста, которые мы наметили.
Заключительным аккордом оптимизации было внедрение на сайте перелинковки страниц. Мы предложили перелинковку сразу двух типов – автоматическую и ручную. В первом случае внизу страницы появлялся блок из нескольких похожих новостей, а во втором журналисты сами должны были ставить ссылки на те материалы, которые были максимально релевантны тем, над которыми они работают в данный момент. По началу, второй вариант вызвал непонимание в коллективе, но со временем частично удалось внедрить и такой вид перелинковки.
Продвижение мобильной версии сайтаПоскольку клиентом перед нами также ставилась задача по раскрутке мобильной версии сайта, которая получала (в процентном соотношении) меньше всего трафика, отдельно от основного сайта нами был сделан аудит и этой версии портала.
Не секрет, что сегодня около половины всех пользователей интернет выходят в него при помощи мобильных девайсов, вроде смартфона или планшета и поисковые системы стараются таким пользователям в первую очередь предлагать в выдаче те сайты, которые будет удобно просматривать со смартфонов. Первым такой принцип выдачи стал применять Google и требования наших клиентов об оптимизации мобильной версии были вполне обоснованы.
Самое первое, что бросилось в глаза при аудите, было довольно неудобное меню, которое закрывало собой почти половину экрана смартфона. Эту проблему мы решили, просто переверстав меню и поместив его левый верхний угол, как у большинства современных сайтов. Таким же образом (переверстав), мы улучшили юзабилити на страницах разделов, чтобы пользователь мог видеть в отдельном блоке заголовок, картинку и анонс материала. В последнюю очередь мы добавили rel="canonical" на мобильную версию сайта и rel="alternate" на десктопную, показав тем самым поисковикам, что контент на мобильной версии для них должен быть главнее, чем на версии для мониторов.
Уже несколькими неделями позже, когда стали видны некоторые успехи в деле раскрутки мобильной версии, мы внедрили для мобильной версии функцию AMP-страниц от Google, позволившую кешировать страницы новостей с нашего сайта и отдавать владельцам смартфонов контент непосредственно на странице поисковой выдачи.
ЗаключениеВ самом начале сотрудничества большинство наших предложений было встречено, что называется, в штыки, не только руководством СМИ, но и рядовыми журналистами. Людям, которые многие годы посвятили журналистской деятельности, было трудно понять, зачем нужно внедрять те или иные ключевые слова в текст и как-то оптимизировать его, однако рационализм взял вверх и работа с ключевыми словами, что называется, пошла.
Тут нужно еще заметить тот факт, что сайт, имевший уже на тот момент весьма приличный траст за счет весьма неплохих пользовательских факторов и большого количества внешних ссылок (в том числе и с авторитетных ресурсов), сам по себе был весьма неплохо представлен в выдаче и нам не пришлось работать над наращиванием ссылочной массы.
Результатом проделанной нами работы стало:- увеличение среднесуточного трафика на сайт (главным образом, из Яндекса и Google) с 10 000 (в марте 2017 года – начало сотрудничества) до 32 000 посетителей (цифры округлены). В некоторых случаях наш сайт по событийным запросам мог занимать половину всей первой страницы выдачи;
- увеличение доли просмотров мобильной версии сайта по сравнению с десктопной на 18% (с 20% в марте 2017-го до 38% в январе 2018-го);
- увеличение на 40% проведенного времени на сайте.
Чтобы самостоятельно сообщить Яндексу о новом сайте, а также следить за его индексированием и позициями в поисковой выдаче, добавьте сайт в Яндекс.Вебмастер .
Проверить это можно несколькими способами:
- С помощью оператора запроса url . В поисковой строке Яндекса введите оператор запроса url , адрес сайта и *. Например: url:www.example.com* .
- В Яндекс.Вебмастере на странице Индексирование → Статистика обхода . Подробнее см. в разделе Статистика обхода .
Чтобы узнать, какие поддомены сайта индексируются, вы можете воспользоваться операторами языка запросов host или rhost .
Какие страницы сайта участвуют в поискеНа основе базы роботов формируются результаты поиска Яндекса. Загруженные в базу робота страницы анализируются с помощью специального алгоритма. Если алгоритм определяет, что содержимое страницы достаточно полно отвечает на поисковый запрос (то есть является релевантной), то такая страница может появиться в результатах поиска. Таким образом, не все страницы сайта можно увидеть в поиске Яндекса.
Чтобы узнать, какие страницы вашего сайта участвуют в поиске , перейдите на страницу Индексирование → Страницы в поиске в Яндекс.Вебмастере.
Иногда ранее участвующие в поиске страницы могут исключаться из результатов поиска . Чтобы посмотреть список исключенных страниц вашего сайта, перейдите на страницу Индексирование → Страницы в поиске в Яндекс.Вебмастере.
Почему страницы долгое время не появляются в поискеЕсли новые страницы длительное время не появляются в поиске, убедитесь, что:
- страницы доступны для робота (с помощью инструмента );
- информация о страницах есть в файле ;
- на страницы ведут доступные ссылки с ранее проиндексированных страниц сайта;
- в файле robots.txt нет установленной без надобности директивы , а запрещающие директивы Disallow, noindex и HTML-элемент noindex закрывают от индексирования только служебные и дублирующие страницы.
Проверить, известно ли роботу о новой странице и в каком статусе она находится, можно с помощью инструмента . Чтобы сообщить роботу о появлении новых страниц, .
Изменение позиций сайта в результатах поискаРезультаты поиска не статичны и могут постоянно изменяться. Это может происходить по нескольким причинам:
Произошло регулярное обновление поисковой базы
Характеристики сайтов постоянно пересчитываются на основании свежих данных о страницах, а также их популярности среди пользователей. Вес факторов ранжирования и релевантная запросу страница могут меняться, страницы сайта могут выпадать из поискового индекса. Вследствие этого позиции в результатах поиска также могут меняться.
Произошли изменения на других сайтах, которые находились в поиске по интересующим вас запросам
Ваш сайт мог естественным образом изменить позиции в выдаче за счет роста релевантности других ресурсов по этим же запросам (владельцы других сайтов также вносят изменения). Если первые позиции в поиске заняли подозрительные сайты, сообщите об этом через .
Изменился адрес сайта или используемый протокол
В течение нескольких обновлений поисковой базы после смены адреса допускается понижение позиций сайта в результатах поиска (старые страницы сайта пропадают из поискового индекса, поэтому позиции могут снизиться по соответствующим запросам). Если на сайте настроен 301 редирект, ознакомьтесь с .
Страницы, ранее находившиеся по запросам, пропали из поиска
Произошли другие изменения на вашем сайте
Любое изменение на сайте может влиять на его позиции в результатах поиска. Например, изменение структуры сайта, адреса (URL) или содержимого страницы (или его представления), которая находилась по интересующим вас запросам.
Страницы сайта считаются некачественными
Проверить это можно в Яндекс.Вебмастере на странице Диагностика → Диагностика сайта . Чтобы улучшить сайт, воспользуйтесь рекомендациями:
Алгоритм проверяет страницы с каждым обновлением поисковой базы, поэтому некоторые из них могут исключаться из поиска. Если страница не участвует в поиске уже длительное время, это означает, что на текущий момент она недостаточно хорошо отвечает на запросы пользователей.
Вопросы и ответыВ результатах поиска отображаются ссылки на внутренние фреймы сайта
В этом случае перед загрузкой страницы с помощью консоли браузера проверьте, открыт ли родительский фрейм с навигацией. Если закрыт, откройте его.
Мой сервер не выдает last-modified
Даже если сервер не выдает дату последней модификации документа (last-modified), ваш сайт будет проиндексирован. Однако в этом случае следует учитывать следующее:
в результатах поиска не будет показываться дата рядом со страницами вашего сайта;
при сортировке по дате сайт не будет виден большинству пользователей;
робот не сможет получить информацию о том, обновилась ли страница сайта с момента последнего индексирования. А так как число страниц, получаемых роботом с сайта за один заход, ограничено, изменившиеся страницы будут переиндексироваться реже.
Как кодировка влияет на индексирование
Тип используемой на сайте кодировки не влияет на индексирование сайта. Также, если ваш сервер не передает в заголовке кодировку, робот Яндекса определит кодировку самостоятельно.
Можно ли управлять частотой переиндексирования с помощью директивы Revisit-After?
Нет. Робот Яндекса ее игнорирует.
Яндекс индексирует сайт на иностранном домене?
Яндекс сегодня является самой популярной поисковой системой русскоязычного Интернета, которой каждый день пользуется более миллиона человек. Такая популярность объясняется тем, что база Яндекса содержит огромное количество проиндексированных страниц Интернета, содержащих самую разнообразную и порой уникальную информацию. Вкупе с алгоритмом поиска это приводит к высокой релевантности документов, найденных по запросу пользователя и, в конечном счете, к полному удовлетворению информационной потребности пользователя.
На 17.07.09 Яндексом было проиндексировано 3 558 614 259 веб-страниц. Получение информации с сайтов Интернета и отправка ее в базу поисковой системы – задача специального робота-индексатора. Во многом благодаря высокой скорости его работы на сегодняшний день Яндекс имеет такую обширную базу документов для поиска.
История роботов ЯндексаЯндекс появился в 1996 году. Но не в качестве поисковой системы, а в виде нескольких обособленных продуктов. Например, Яndex.Site – программа, производящая поиск на сайте, Яndex.CD – программа поиска документов на сd-диске.
Сама же поисковая система возникла осенью 1997 года. 23 сентября на выставке Softool Яндекс был официально представлен уже в качестве полнофункциональной поисковой системы Интернета. С тех пор объем Рунета непрерывно возрастал, что вынуждало совершенствовать алгоритмы индексирования и поиска информации.
Поэтому в 1999 году был создан новый поисковый робот, который помимо значительного увеличения скорости индексации позволил пользователям искать информацию по разным зонам документа – в URL, в заголовках, в ссылках и т.п.
Сейчас официально анонсировано 11 роботов Яндекса, каждый из которых специализируется на определенной задаче.
Роботы ЯндексаРобот каждой поисковой системы имеет свое имя. Например, у Рамблера - «StackRambler/2.0», у Гугла – «Googlebot/2.1». Яндекс в своем составе имеет несколько специализированных роботов, выполняющих строго определенные задачи. Вот каких роботов Яндекса можно встретить:
Кроме того у Яндекса есть группа роботов, которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.
В отличие от роботов первой группы, эти работы не забирают содержимое странички, а фиксируют лишь ответ сервера. Поэтому они делают несколько другой запрос к серверу. Например, посещение робота Dyatel может быть зафиксировано в логах сервера в виде строки следующего содержания:
213.180.193.53 - - "HEAD / HTTP/1.0" 200 0 "-" "Yandex/2.01.000 (compatible; Win16; Dyatel; C)".
Как видно, используется директива Head, запрашивающая только лишь заголовки сервера. В данном случае сайт доступен, работает, так как отдался статусный код 200 ОК.
Также кроме перечисленных роботов, Яндекс имеет в своем составе так называемого «быстрого робота» - частота индексации им документа больше в несколько раз, чем у обычного робота-индексатора. По заявлению главного редактора компании "Яндекс" Елены Колмановской: «Быстрый робот нужен для индексации актуальных документов, наиболее востребованных пользователями».
Узнать, посещал ли сайт быстрый робот, можно только одним путем – в результатах поиска рядом с адресом страницы сайта должна появиться небольшая приписка, обозначающая, сколько часов назад страницу посетил быстрый робот. Например, «5 часов назад».
Процесс индексации документаПроцесс индексации документа роботами поисковых систем в общем случае начинается с добавления сайта в форму на специальной странице. Для Яндекса это страница http://webmaster.yandex.ru/ . Здесь требуется ввести лишь адрес сайта, никаких дополнительных данных вносить не требуется. А вот в Рамблере, например, требуется указывать еще и название сайта, короткое описание регистрируемого сайта и контактное лицо.
Если сайт добавляется впервые, то Яндекс выдаст сообщение:
«Адрес http://example.com/ успешно добавлен. По мере обхода робота он будет проиндексирован и станет доступным для поиска»
Если сайт уже посещался роботом-индексатором, то появится сообщение:
Документ http://example.com/ уже проиндексирован и доступен для поиска.
Вы можете посмотреть, какие страницы сайта http://example.com/ доступны в Яндексе к настоящему времени (* страниц).
После добавления нового сайта через форму, его тут же посетит робот Yandex/1.03.003 (compatible; Win16; D). Он определит доступность сайта для индексирования, а также установит, удовлетворяет ли сайт требованиям Яндекса, основным из которых является требование русскоязычности ресурса. Поэтому, как пример, может возникнуть такая ситуация:
Адрес http://www.example.com/ не был внесен в базу Яндекса, так как сайт http://www.example.com/ находится вне доменов стран СНГ, при этом наш робот не смог распознать в нем русский текст.
Если же все хорошо, то в логах сайта можно будет обнаружить строку:
213.180.206.223 - - "GET /robots.txt HTTP/1.1" 404 296 "-" "Yandex/1.03.003 (compatible; Win16; D)"
213.180.206.223 - - "GET / HTTP/1.1" 200 2674 "-" "Yandex/1.03.003 (compatible; Win16; D)"
Видно, что сначала робот обратился к файлу robots.txt чтобы определить, не запрещен ли сайт к индексации. Затем уже обратился к главной странице.
После добавления сайта на странице http://webmaster.yandex.ru/ менее чем через два дня сайт посетит робот-индексатор Yandex/1.01.001 (compatible; Win16; I). И еще через некоторое время сайт будет доступен для поиска в Яндексе.
Возможные препятствия при индексации документаЕсть несколько причин, препятствующих правильной индексации сайта в Яндексе.
-
a. Некорректная работа сервера, отдача 404 ошибки. b. большое время ответа сервера (Например, по причине его большой загрузки. Также большое время ответа характерно для бесплатных хостингов)
-
a. запрет индексирования отдельных страниц в файле robots.txt b. запрет индексирования с помощью meta-тегов
-
a. очень маленький размер страницы (Яндекс не индексирует файлы меньше 1 кб) b. ресурс не содержит русский текст
Следует отметить, что Яндекс индексирует не только документы html. Кроме них доступными для индексации являются документы следующих типов: PDF (файл Adobe Acrobat), DOC (MS Word), RTF (Reach text format). Также Яндекс индексирует сайты, созданные на основе Flash-технологий. А вот Рамблер индексирует только файлы html, htm, shtml, а динамические страницы и flash сайты индексирует плохо.
Просмотреть, в каком виде хранится web-страничка в базе Яндекса, можно следующим образом.
Неиндексация некоторых элементов страницы может быть вызвана несколькими причинами:
Каждому, кто ведет в Интернете серьезный проект, необходимо понимать основные принципы работы роботов-индексаторов поисковых систем. Знание о том, когда робот приходит на сайт, что индексирует, что не индексирует, позволит избежать многих проблем, прежде всего технических, уже на стадии создания сайта и далее – при его сопровождении.
Чтобы не задаваться вопросом, почему в очередной раз сайт пропал из выдачи по некоторому запросу, прежде всего, стоит проанализировать, а что же на данный момент проиндексировал робот на сайте? Не могло оказаться так, что некоторая информация стала недоступна роботу по тем или иным причинам?
Знание основным моментов процесса индексирования документа позволит правильно произвести регистрацию ресурса в поисковой системе и грамотно осуществлять его дальнейшее продвижение, чтобы пользователи всегда находили Ваш сайт на просторах Интернета.
