Склейка доменов - процесс объединения нескольких доменных имен. После его выполнения выделяется один, который будет ранжироваться поисковыми роботами - главное зеркало.
Что такое зеркала
Для того чтобы понять, как происходит склеивание доменов и зачем оно нужно, стоит разобраться, что такое зеркала. Это сайты, которые являются полными копиями друг друга. У них совпадает контент на страницах с одинаковыми адресами (например, example.com/page.html и example1.com/page.html).
Индексирование зеркал
Поисковые роботы обычно склеивают сайты-копии. Индексируется и участвует в поиске только один из них, который и является главным зеркалом.
Зачем нужна склейка
Склейку применяют при наличии дублей сайта, например локальной версии, попавшей в индекс, а также при переезде сайта или переходе на защищенный протокол (SSL протокол, HTTPS-версия), который должен определяться поисковыми роботами как главное зеркало прежнего домена.
Значение склейки для продвижения сайта
На такие меры можно идти, если ресурс еще не очень прокачен. Когда сайт имеет хорошие позиции и переезжает на другой домен, склейка может навредить. В любом случае при склеивании доменов настраивается 301-редирект.
Как проверить, является ли сайт зеркалом
Для этого можно добавить сайт «Яндекс.Вебмастер». Если он будет опознан как неглавное зеркало, то сервис автоматически добавит его вместе с главным. Если у сайта нет зеркала, он будет отображаться в сервисе отдельно.
Способы проведения склейки доменов
С помощью директивы Host
Простой способ, позволяющий склеить одноименные и разноименные домены. Например, необходимо разместить сайт на адресах сайт.рф и resurs.ru, сделав его доступным по ссылкам с www. Порядок действий следующий:
- определить главное зеркало, которое будет продвигаться в будущем. Пусть это будет сайт.рф;
- настроить склеиваемые домены таким образом, чтобы они возвращали одинаковый контент. Недопустима ситуация, когда обновление данных идет только на одном сайте;
- на каждом домене во всех файлах robots.txt прописать директиву Host и указать адрес главного зеркала. В примере с кириллическим доменом запись выполняется в формате Punycode и выглядит следующим образом: Host: xn--80aswg.xn--p1ai;
- проверить, чтобы на всех адресах содержались одинаковые указания на главное зеркало. Проверять нужно не только resurs.ru/robots.txt и сайт.рф/robots.txt, но и www. resurs.ru/robots.txt, www.сайт.рф/robots.txt;
- зайти в «Яндекс.Вебмастер», в раздел «Сообщить о новом сайте», и добавить сайт.рф. Если указанное доменное имя ни с кем не склеено или уже является главным зеркалом, то появится сообщение о добавлении на индексирование. Если система сообщает, что сайт является неглавным зеркалом другого ресурса, то придется подождать переклейки, прежде чем домен начнет участвовать в поиске.
Если склейка осуществляется в паре имен с www и без www, то директиву прописывать не обязательно. Для этого в «Яндекс.Вебмастер» обычно используют инструмент «Главное зеркало».
Склейка и переклейка осуществляются при обновлении поисковых систем. Если домены разноименные, процесс может занять до 6 недель. Обратите внимание, что «Яндексу» для склейки зеркал достаточно директивы Host, а поисковая система Google ее не видит.
Северный редирект с HTTP -кодом 301
Этот способ подходит и для Google, и для «Яндекса». Редирект 301 (Moved Permanently - «перемещен навсегда») уведомляет поисковые системы о переезде страницы или сайта на новый адрес. Использование данного метода позволяет суммировать показатели обоих ресурсов и в полном объеме перенести ссылочный вес.
Порядок склейки:
- В корне сайта находят файл с расширением.htaccess и в нем прописывают код редиректа 301 для каждой страницы.
- Удаляют страницу mysite.ru/index.php с помощью команд RewriteCond %{THE_REQUEST} ^{3,9} /index.php HTTP/ и RewriteRule ^index.php$ http://mysite.ru/ .
- Задают отображение нового доменного имени. Чтобы адрес отображался без www, используют команду RewriteCond %{HTTP_HOST} ^www.site.com$ и RewriteRule ^(.*)$ http://site.com/$1 . Чтобы домен отображался с www, прописывают команды RewriteCond %{HTTP_HOST} ^site.com$ и RewriteRule ^(.*)$ http://www.site.com/$1 .
После склеивания информация о переезде ресурса на новый домен поступает в поисковые системы.
При работе с редиректом 301 стоит учесть следующие рекомендации:
- для поисковых систем наличие слеша и аббревиатуры www имеет большое значение. Необходимо выбрать версию с www/без www, со слешем/без слеша, с HTTP/HTTPS и настроить для них HOST и редирект;
- стоит избавиться от всех дублей страниц /index.php;
- ссылочный вес перейдет на новый домен только в том случае, если редирект 301 будет постраничным.
Типичные ошибки, мешающие правильной склейке
- На сайтах размещен разный контент.
- На всех склеенных доменах разная директива Host. В этом случае выбор главного зеркала для робота не очевиден.
- Не обо всех доменах было сообщено. Робот не индексирует неизвестные адреса.
- Одно или несколько доменных имен запрещены к индексированию в robots.txt.
Приветствую вас, дорогой читатель! Вы решили сменить домен на более красивый и полностью хотите сохранить всю ссылочную массу старого сайта? Ваш сайт попал под фильтр и вы хотите знать, как правильно склеить два сайта? Тогда вы попали по адресу!
Итак, давайте разберем 7 пунктов, после выполнения которых вы научитесь правильно склеивать два сайта!
Как правильно склеить сайты?
Задача: склеить два домена: oldsite.ru (старый сайт) и newsite.ru (новый сайт).
1. Регистрируем новый домен newsite.ru
2. Клонируем сайт на новый домен.
3. Запрещаем к индексации роботам поисковой системы Google новый домен, но разрешаем для Yandex:
a) На oldsite.ru в файле robots.txt прописываем директиву Host:newsite.ru для поискового робота Яндекса.
Пример:
5. Ждем апдейт «зеркальщика» Яндекса, после чего проверяем склейку сайтов. Нужно, чтобы сайт newsite.ru стал главным зеркалом и на него перетек ТИЦ старого сайта (если таковой был).
Важно: внимательно проверяйте склейку!
Как проверить склейку сайта?
Чтобы проверить сайт на склейку, введите следующий url в строку адреса вашего браузера, только перед этим измените oldsite.ru на адрес своего сайта:
| http: //bar-navig.yandex.ru/u?ver=2&url=http://oldsite.ru&show=1 |
6. Если склейка прошла удачно и теперь newsite.ru — главное зеркало, то:
а) на сайте newsite.ru в файле robots.txt разрешаем индексацию всем поисковым ботам;
б) ставим 301 редирект со всех страниц oldsite.ru на соотвествующие страницы сайта newsite.ru
т.е. в файле.htaccess прописываем:
| < FilesMatch "robots.txt$" > RewriteEngine off RewriteEngine On RewriteCond % { HTTP_HOST} ^oldsite. ru$ [ NC] RewriteRule (.* ) http: //newsite.ru/$1 RewriteCond % { HTTP_HOST} ^newsite. ru$ [ NC] RewriteRule ^(.* ) $ http: //newsite.ru/$1 |
Очень часто новички не вникают полностью в суть проблемы и совершают очень грубую ошибку — они делают 301 первый редирект, упуская одну очень важную деталь.
Как только вы установите редирект, Яндекс не сможет склеить зеркала, так как будет считать сайты разными и просто будет думать, что один сайт переправляет пользователя на другой. Чтобы склеить два сайта
, у робота Яндекса должна быть возможность индексации обоих зеркал. В этом случае сайт, на котором стоит редирект не может быть идентичным сайту без редиректа. Поэтому НЕ ЗАБЫВАЙТЕ
о первых трех строчках, которые делают доступным файл robots.txt для посковиков, даже когда на всем сайте стоит 301 редирект.
Если очень невтерпеж, можно клеить 301-м редиректом сразу после того, как новый сайт войдет в индекс и пойдет трафик по НЧ запросам. Но лучше всего это делать после склейки зеркал Яндексом.
Как только вы выполняете 6-й пункт, 301-й редирект перекинет всех пользователей, весь статический вес, Page Rank, весь траст и прочую бредятину со старого домена на новый.
Таким образом прописанный выше код оповещает гуглу, что пора клеить домены, а первые три строчки указывают боту Яндекса, чтобы он склеил оба домена.
Поисковый бот Google хорошо понимает предназначение 301 редиректа, поэтому с ним не нужно трепать нервы, прописывая зеркала в файле robots.txt
Также после выполнения пункта 6 в панели вебмастера Google можете указать, что сайт переехал на новый домен. Это ускорит решение задачи.
7. Смотрим на результат и не забываем отписываться в комментариях!
P.S. Кстати, не забудьте продлить старый домен, чтобы не потерять все пузомерки (ТИЦ и PR), вес и посетителей.
Добрый день, 27 мая, Яндекс наконец-то склеил один мои сайт и определил главное зеркало, на всё это понадобилось почти 2 месяца. В этом посте я хочу описать всё что я делал для этого.
В начале Апреля я приобрёл себе сайт - pozitiv.16mb.com. Но мне не понравилось доменное имя, да и привязано оно было к хостингу, то есть владельцем домена была Хостинг компания. Поэтому я решил перенести сайт на интернациональный домен.
Зарегистрировал домен сайт и перекинул на него сайт. Чтобы они были идентичными.
Подготовление к склейки сайтов
Многие советуют, что правильно клеить сначала для Яндекса, после того как он склеит можно начинать склеивать для Google. Потому что у этих поисковых систем отличаются методы склейки. Для Google используется 301 редирект, а Яндекс выявляет главное зеркало через директиву host в robots.txt. Но такой способ меня не устраивал, я хотел сразу склеить сайты для двух поисковиков одновременно, чтобы не терять время.
Первым делом, надо перенести сайт на новый домен так, чтоб всё было идентично старому сайту.
После этого следует заняться настройкой под склеивания в Google. Для этого на старом сайте(pozitiv.16mb.com), я установил 301 редирект в файле.htaccess, выглядит он вот так:
Options + FollowSymLinks RewriteEngine on RewriteRule (.* ) http: //сайт/$1
После этого в Панели "Вебмастер Google" для старого домена указал новый адрес:
Вот и всё, настройки для склеивания сайта под Google закончены. А дальше самое интересное, настроить сайт так, чтобы Яндекс смог выявить главное зеркало, в данном случае домен сайт.
Определяем главное зеркало сайта для Яндекса
Напомню ещё раз, Яндекс для склейки сайтов использует файл robots.txt и то, что я поставил 301 редирект, по идеи считается не правильно, так как бот зеркальщик, когда будет заходить на сайт и смотреть файл robots.txt, редирект его будет перенаправлять на новый домен. Поэтому выход один, отключить редирект для файла robots.txt, чтобы бот Яндекса смог без проблем загружать его.
И так, первым делом надо добавить директиву host в файле robots.txt на старом сайте. У моего старого сайта pozitiv.16mb.com, файл robots.txt выглядит вот так:
User- agent: Yandex Host: p0zitiv. ru
Важно! Для кириллических доменов в директиву Host домен необходимо писать в punycode (пуникодом)
< FilesMatch "robots.txt$" > RewriteEngine offТеперь при запросе ботом Яндекса файла http://pozitiv.16mb.com/robots.txt, редирект не перенаправляет его на новый домен и Яндекс сможет увидеть файл robots.txt на старом сайте и прочитать какое у него главное зеркало.
Данный способ одновременной склейки для Яндекса и Google, подходит лишь в том случае, если вы согласны чтобы старый домен не индексировался Яндексом. Ведь бывают случаи, чтоб оба(или более) зеркал были доступны для Пользователей, тогда клеют сайты только для Яндекса с помощью файла robots.txt, а 301 редирект не используют.
Склеиваем домены с www и без www
Сначала необходимо сделать редирект всех ссылок на новый домен.
Для этого надо установить 301 редирект в файле.htaccess, например этот код будет перенаправлять все на домен БЕЗ WWW (не забудьте поменять домен сайт на свой):
Options + FollowSymLinks RewriteEngine On RewriteCond % { HTTP_HOST} ^www\. p0zitiv\. ru$ [ NC] RewriteRule ^(.* ) $ http: //сайт/$1
То есть полное перенаправление со всех страниц на новый домен сайт.
После этого в Панели "Вебмастер Google" и в панели "Яндекс.Вебмастер" необходимо указать основное зеркало сайта.
Вот и все настройки для склеивания доменов с www и без www закончены. А чтобы Яндекс смог выявить главное зеркало, в данном случае домен сайт, надо будет проделать трюк (описывал выше) с файликом robots.txt. На всякий случай напомню:
После того, как указали главное зеркало, надо отключить редирект для robots.txt, отключается он в файле.htaccess, вот этим кодом:
< FilesMatch "robots.txt$" > RewriteEngine offНюансы
Так же у меня возникла проблема - как добавить сайт в панель вебмастер Яндекса и Гугла?
Ведь надо подтвердить права на сайт, путём размещения файлов в корень сайта. Для этого, им тоже требуется отключить редирект чтобы проверяющие боты Яндекса и Google не уходили на новый домен. С помощью FilesMatch как в случае с robots.txt, у меня не получилось отключить редирект для файлов - подтверждалок, а заработала вот такая конструкция:
RewriteRule ^(google495dea0554e801b5\. html| yandex_748544efecfe9337\. html) $ - [ L]
Проверить на склейку в обоих ПС можно сервисом от xseo.in
Вывод
Google склеил сайт примерно за две недели, трафик с Google сохранился полностью. Яндексу на определение главного зеркала, потребовалась приблизительно два месяца, после этого я получил вот такое письмо в "Панель Вебмастер":
Трафик с Яндекса после того как поставил 301 редирект упал практически до нуля и вот после 27 мая (день склейки) начал потихоньку восстанавливаться:
На этом всё, спасибо за внимание.
Вебмастера должны разбираться во всех тонкостях своей деятельности, чтобы выполняемые действия были эффективными. Склейка доменов – это один из процессов, который кажется сложным и не понятным для новичков, но на самом деле, в этом не так уж сложно разобраться. Что такое склейка доменов? Это объединение адресов сайтов.
Склеивая домены, один из них становится главным, а остальные являются зеркалами. Что такое зеркало? Это копия сайта, которая автоматически обновляется совместно с основным ресурсом.
Популярные сайты имеют множество зеркал, а создаются они для того, чтобы при большой нагрузке или недоступности ресурса, пользователи могли пользоваться зеркалом. Какой из доменов будет являться основным, решает сам вебмастер, о процессе склейки мы расскажем в этой статье.
Зачем склеивать домены?
Есть ряд причин, по которым вебмастера склеивают домены, вот некоторые из них:
- Перенос сайта на новый домен (более звучный, популярный, и т.д.). Яркий пример можно было наблюдать, когда Вконтакте изменила домен на Vk.com, но при этом старый домен Vkontakte.ru остался рабочим.
- Добавление сайту доменов с ошибками (чтобы не терять дополнительный трафик).
- Создание зеркал для случаев недоступности основного домена.
- Если склеивать домены с пузомерками, то основной сайт получает дополнительный вес.
Как склеивать домены?
При использовании для склейки различных доменов, в файле сайта.htaccess необходимо добавить следующий код:
RewriteEngine on
RewriteCond %{HTTP_HOST} ^www.главный_домен.ru
RewriteRule ^(.*)$ http://www.домен_зеркала.ru/$1
Добавлять данный код лучше после того, как в файле robots.txt вы укажите поисковым системам на главный домен вашего ресурса. Делается это за счет добавления строки Host.
Выглядит это так:
Возможно, ваш главный домен прописывается с www. в таком случае в строке Host вам нужно будет указать его с этим дополнением.
Как проверять склейку доменов?
Сделать это можно через панель вебмастера в поисковых системах, за счет использования запроса в Яндексе "info: домен сайта” (использование кавычек обязательно), также проверить склейку можно через сервисы аналитики сайтов, такие как pr-cy.ru.
При необходимости вы сможете расклеить домены в любой момент, сделать это ещё проще, а после этого показатели ТИЦ и PR должны остаться прежними.
Что такое "Склейка доменов"?
Итак, что такое склейка доменов?
Склейка доменов это термин, используемый поисковыми системами, чтобы объяснить владельцам сайтов и оптимизаторам необходимость настройки сайтов таким образом, чтобы избежать появления дублей сайтов, которые еще называют зеркалами .
Есть несколько способов правильной склейки сайтов. Представим себе, что у вас есть два схожих сайта на разных доменах site1.ru и site2.ru, а основной сайт и контент, который Вы хотите представить пользователям, располагается только на site1.ru. В этом случае технически склейка доменов может быть представлена так:
- В специальном файле robots.txt сайта site2.ru укажем «host: site1.ru». В этом случае поисковые системы склеют эти домены в пользу site1.ru
- В файле.htaccess сайта site2.ru укажем переадресацию 301 редиректом:
RewriteEngine on
RewriteCond %{HTTP_HOST} ^site2.ru$
RewriteCond %{HTTP_HOST} ^www.site2.ru$
RewriteRule ^(.*)$ http://site1.ru/$1
Поисковая система Яндекс рекомендует первый пункт для того, чтобы указать основной домен (site2.ru будет определяться системой Яндекс как зеркало); второй пункт – редирект уровня сервера , и всех пользователей, а также ботов мы редиректим с site2.ru на аналогичные страницы site1.ru.
Склейка доменов представляет собой процесс передачи основных параметров одного домена другому.
Зачем же нужна склейка домена? Рассмотрим некоторые ситуации.
Чем грозит склейка доменов?
Для того чтобы все «показатели качества» переместились со старого на новый домен, и именно он показывался на нужных позициях в поисковиках, и получил ТИЦ и PR, накопленные старым доменом, применяется склейка доменов. Существует несколько способов, чтобы ее осуществить.
Можно использовать код ответа сервера 301 или 302 (так называемые 301-й и 302-й редирект), а также директиву Host. Получив код 301 («страница перемещена»), браузер меняет автоматически старый адрес на новый, и открывает по нему страницу. Но есть один подвох - временной разрыв между удалением старого домена из индекса поисковика и добавлением нового. Команда «исключить страницу по старому адресу» выполняется моментально, а для команды «добавить страницу по новому адресу» могут потребоваться дни, недели, а может и месяцы (зависит от загрузки поискового робота).
Следовательно, в течение такого времени ваш сайт не будет показываться в поисковых машинах. К тому же, поисковый робот может первую команду отработать для всех страница сайта, тогда как вторую - только для некоторых, и часть сайта выпадет из индекса совсем.
Зеркалами считаются сайты, которые являются полными либо частичными копиями.
Иногда используется склейка доменов через 302-й редирект, который полностью аналогичен 301-му, но говорит, что страница на новый адрес перемещена временно, а не насовсем. Проблема в том, что поисковые системы не совсем знают, как обрабатывать 302 редирект.
Также, иногда меняют адрес сайта, применяя в файле robots.txt директиву Host. Она не исключает ничего из индекса, а указывает, на какой домен надо ориентироваться для данного сайта. Директива Host самый безопасный, но, к сожалению, ненадежный способ сменить домен. Она имеет не обязательный характер, а рекомендательный, и поисковик может и не принять ее во внимание.
Таким образом, нет универсального способа, чтобы склейка доменов угодила всем поисковым машинам одновременно. Поэтому на практике необходимо "удовлетворять" каждый поисковик по отдельности.
Как избежать склейки доменов?
Склейка доменов представляет собой процесс передачи основных параметров одного домена другому. Чаще всего этот процесс выполняется при переносе сайта в другую доменную зону, при полном переносе содержания.
Поисковики распознают "зеркала" и оставляют только лишь одно доменное имя в выдаче. Зеркалами считаются сайты, которые являются полными либо частичными копиями. Копии могут определяться роботом-поисковиком по совпадению содержимого на страницах с одинаковыми web адресами. Также сайты являются зеркалами, если со страниц одного из сайтов настроена переадресация на соответствующие страницы второго сайта.
рис: Склейка зеркал необходима для правильной индексации
Робот-склейщик склеивает зеркала, а затем из них индексируется и, следовательно, участвует в поиске лишь один из сайтов, тот, который является главным зеркалом. Как же избежать нежелательной склейки доменов или добиться того, что после склеивания Ваш сайт оставался главным зеркалом?
В общем случае робот-склейщик выбирает главное зеркало согласно своего алгоритма. В Яндексе, например, обычно робот пользуется простым методом - чем короче будет домен, тем лучше. Поэтому, осуществляя выбор между доменами с дефисом или без, робот Яндекса остановится на последнем. Но роботу можно указывать на сайт, который ему нужно считать главным.
Для этого используется директива Host. Директива Host не дает гарантии выбора указанного главного зеркала, но тем не менее, робот-склейщик при принятии решения будет учитывать ее с очень высоким приоритетом.
Другие материалы
