От автора: вы пишете полезный и интересный контент. А может быть неполезный и неинтересный – это ваше дело. Но почему сайт не индексируется в яндексе на протяжении долгого времени? Давайте рассмотрим все основные причина.
Посмотрите на эту картинку. Да наверняка вы ее уже не раз видели. Действительно в яндексе может найтись все. Но то, что не проиндексировано, никогда не найдется, потому что поисковик просто не знает о нем. А раз так, то вопрос индексации является очень важным для любого веб-мастера, владельца сайта и оптимизатора. Сегодня я напишу как минимум о нескольких причинах, почему у вас могут быть проблемы с индексацией.
Первая и наиболее вероятная причина – возраст сайта
Дело в том, что большинство веб-мастеров, которых заботит вопрос быстрой индексации – владельцы молодых сайтов. Я уверен в этом потому, что сам развивал два сайта с нуля с первых же дней их существования. Нужно понимать, что Яндекс относится к только что вылупившимся на свет сайтам с недоверием, и в этом его нельзя упрекнуть – уж больно много появилось ГС.
Итак, чем моложе ваш сайт, тем меньше шанс быстрой индексации страниц сайта. Как правило, более менее быстро можно загнать в индекс главную страницу, так как у нее наивысший приоритет, а вот остальные в любом случае не так быстро попадут в индекс.
Если вы хотите проиндексировать хотя бы главную страницу, добавьте сайт в Яндекс.Вебмастер, если вы еще не сделали этого. Также добавьте url проекта в addurl (Сообщить о новом сайте). После подтверждения прав на сайт я также рекомендую сразу сделать следующее:
Загрузить в вебмастер xml-карту сайта (это непосредственно может улучшить индексацию, так как поисковый робот будут лучше осведомлен о всех имеющихся страницах).
Загрузить и проверить файл robots.txt. Его можно проверить на ошибки.
Настроить главное зеркало сайта, чтобы не возникло дублей с www и без него
Это то, что прямым или косвенным образом повлияет на скорость индексации. Если вы сделали все это, вам остается только ждать индексации, добавляя все новые url-адреса проекта с помощью того же addurl.
Хорошо, возможно, вы все это сделали и все равно не можете дождаться индексации. Неужели никак нельзя ускорить процесс? Тут нужно понимать, что многое от вас самих не зависит. Яндекс по умолчанию индексирует намного медленнее, чем Google. Тем более молодые сайты. Обычно в течение 1-3 недель новые страницы молодых сайтов появляются в индексе. Считайте этот временной отрезок вполне нормальным.
Я лишь хочу донести до вас, что если причина медленной индексации в возрасте сайта, то не стоит особо беспокоиться. Со временем ваш проект вырастет и из младенца превратится в рядовой интернет-ресурс, хорошо известный поисковикам. Тогда и настанет время, когда новые материалы будут влетать в индекс быстро, в течении нескольких дней.
Такую ситуацию я заметил на двух молодых сайтах, которые продвигал. Когда возраст сайта перевалил за 6 месяцев, скорость входа новой статьи в индекс увеличилась. По заявлениям самого яндекса, максимально долгий срок индексации – 2 недели. Если они прошли и в индексе ничего нет, значит, могут быть другие проблемы или ошибки. Конечно, 2 недели не стоит ждать, а лучше все проверить как только сможете. Далее я рассмотрю наиболее частые ошибки и факторы, из-за которых сайт или отдельные его страницы могут не попасть в индекс.
Запрет на индексирование в robots.txt
Это важный и полезный файл, но в нем могут быть ошибки, если вы прописывали инструкции сами, либо взяли на первом попавшемся сайте. Самое главное, чтобы не было такой команды: Disallow: /
Также проверьте, какие конкретные команды даются для бота Яндекса (user-agent: Yandex). Едва ли проблема именно в этом файле, но глупо будет его не проверить.
Использование мета-тега robots
К слову, в самом robots.txt вы можете не найти никаких опасных команд, которые закрывали бы обход к сайту и его конкретной странице. Но ведь помимо этого есть еще мета-тег robots, с помощью которого можно закрыть конкретную страницу от индексации, а также ссылки на ней.
< meta name = ”robots ”content = ”noindex , nofollow ”> |
Например, такой кусок кода явно свидетельствует о том, что страница будет закрыта. Проверьте, нет ли его у вас где-нибудь в шапке. Если вы хотите закрыть все ссылки, но открыть текст (тогда страница будет проиндексирована), используйте параметры index, nofollow, а если нужно открыть все – index, follow.
Запрет на индексирование в настройках движка
Насколько я помню, перед установкой wordpress можно отметить галочкой опцию, чтобы не индексировать сайт в поисковых системах. Это может быть полезно первое время на молодых сайтах, которые находятся в разработке, чтобы всякие тестовые страницы не попадали в индекс. Возможно, вы установили эту галочку случайно во время установки или позже из настроек. В таком случае просто снимите ее.
Неправильное использование тега noindex
Тег noindex – полезный, но опасный тег при его неправильном использовании. Он позволяет закрыть текст от индексации. То есть текст, помещенный в него, восприниматься поисковиком не будет. Соответственно, если вы случайно обернете всю статью в noindex, она не проиндексируется, так как нечего индексировать (все закрыто).
Едва ли вы можете допустить такую ошибку, но тег закрасться в сами файлы шаблона. Возможно, он у вас где-нибудь в header.php открывается, а потом нигде не закрывается. Получается забавная ситуация, что все закрыто. Иными словами, проверьте код своего сайта. На самом деле необязательно быть программистом и верстальщиком для этого.
Вы можете использовать программу вроде Архивариус для быстрого поиска по многим файлам (введите noindex), либо воспользоваться стандартным поиском по файлу. Также может помочь отладчик (F12 в Google Chrome), но это уже больше для разработчиков. Дополнительно вы можете проверить каждую конкретную страницу. Не случилось ли такого, что с помощью noindex вы хотели закрыть какой-то неуникальный фрагмент текста, но не закрыли тег в нужном месте?
Фильтры от поисковых систем
В данном случае нас интересуют фильтры от Яндекса. Хотя вы должны понимать, что они есть и у Google и они же могут быть причиной того, что ваш сайт и в этом поисковике не попадает в индекс.
В частности, у всех молодых сайтов есть фильтр песочница (sand-box). Это не проблема, это нормально. Как маленькие детки играют в песочнице, так молодые и зеленые интернет-проекты тоже туда попадают. Нет, обходить весь город в поисках своего сайта не нужно, просто знайте, что скорость индексации у молодых сайтов ниже. Об этом я уже говорил выше.
Но песочница – это временная мера поисковика. И вообще это не страшный фильтр, потому что он накладывается на всех. Другое дело, это санкции за использование недобросовестных приемов при продвижении сайта. Чаще всего это скрытый или явный спам ключевыми словами в тексте, а также в мета тегах. Иными словами, играйте по правилам поисковых систем, и подобных проблем у вас не возникнет.
Плохая история домена
Этот пункт актуален для тех, кто купил домен и начал на нем развитие своего нового проекта, либо для тех, кто зарегистрировал покинутый прежним владельцем домен.
Конечно, перед покупкой любого домена я рекомендую вам проанализировать его. Частично это можно сделать с помощью таких сервисов, как ВебАрхив (снимки сайта) и linkpad.ru (анализ ссылочной массы). По снимкам вы можете определить, какой тематики был сайт и что за контент на нем был. По ссылочной массе можно также примерно понять тематику. Проверяйте также домен на наличие у него фильтров поисковых систем.
В общем, такой небольшой анализ убережет вас от покупки домена с плохой историей. Если вы все же приобрели такой, возможно, с помощью запросов в тех. поддержку со временем репутацию удастся восстановить. Но лучше уже начинать с нуля, чем так.
Язык сайта
Вы должны понимать, что в первую очередь Яндекс ориентирован на страны СНГ. Если вы хотите, чтобы индексировались страницы английских, немецких и другие иностранных сайтов, то это вполне возможно, но только при условии качественного контента. Для иностранных сайтов есть Google и много других поисковиков, так что в первую очередь вам туда.
Процент уникальности ваших текстов
Есть еще одна веская причина, почему ваш сайт может не индексироваться Яндексом. Эта причина – неуникальный контент. Например, скопировали вы текст с другого источника и вставили себе, никак не изменив. Практика показывает, что Яндекс может вообще не проиндексировать полностью неуникальный контент и может долго не обращать внимание на страницы, уникальность которых менее 50%. Лучше иметь уникальность от 90%.
Чтобы лучше понимать, почему у неуникального контента гораздо меньше шансов на успешную индексацию, вы должны примерно понимать алгоритм, по которому новые страницы попадают в индекс. В частности, перед попаданием роботом проводится некий анализ контента и если он оказывается низкого качества, страница просто может не попасть в индекс. Чтобы она все-таки попала, необходимо улучшить качество текста.
Ошибки сервера
Это последняя причина, которую мы рассмотрим. Она чисто технического характера. В частности, одним из показателей качества и надежности вашего ресурса является то, что он постоянно доступен в сети 24 часа в сутки, каждый день. Конечно, мелкие сбои могут быть и это нормально. Но когда ваш сайт выключается на несколько часов (или, еще хуже, дней), то поисковый робот, придя на новые страницы, просто не сможет их открыть и вынужден будет уйти.
Таким образом, могут даже выпасть из индекса те страницы, которые уже там были. Как не допустить всего этого? Прежде всего, выбирать хорошего хостера и более менее нормальный тариф. Экономить на своем сайте не стоит. Лучше платите 300-500 рублей в месяц, чем 50.
Также если вы покупаете тарифы VPS/VDS, то вам, скорее всего, придется самостоятельно настраивать сервер. В частности, выбирать OC виртуальной машины, ставить какие-нибудь утилиты и т.д. Если вы вообще полный ноль в серверной настройке, лучше пока не покупать VDS или выбирать тариф, где вам гарантируется тех. поддержка от провайдера.
В частности, к серверным ошибкам относятся все с кодом 4**, 5** (трехзначные с четверкой и пятеркой в начале). Например, из-за отсутствия оптимизации работы баз данных может возникать ошибка. Особенно, если по сайту гуляют десятки и сотни людей, а ресурсов у вас немного.
Итог
Что ж, мы рассмотрели все основные причины. Теперь вы знаете что делать, когда сайт не индексируется в Яндексе. Если вами проверено абсолютно все и не найдено никаких ошибок и проблем, значит, нужно просто ждать. Как я уже говорил, Яндекс индексирует не так быстро, как Google. Скорость захода в индекс колеблется от 1 дня до 3 недель.
Ну а другие фишки не только по индексации, но и в общем по продвижению и раскрутке блога, вы можете найти в . Поверьте, этих фишек достаточно много, так что уже завтра (если вдруг начнете изучать курс) вы будете в шоке от того, как много вещей вы не знали!
Но знание спасает нас от неприятностей при продвижении сайта. А раз так, читайтe Webformyself, подписывайтесь на нас там, где вам удобно, и до скорых встреч!
Я рада всех приветствовать на сайт. С вами Екатерина Калмыкова. Наверняка, если вы читаете эту статью, то у вас уже создан блог и вы готовы принимать посетителей. Но вот проблема, кроме ваших друзей или знакомых на него никто не заходит.
«Почему?» — недоумеваете вы. Вроде бы и дизайн классный, и верстку заказывали у , и контент полезный, и даже основные моменты учли, а посещаемости все нет и нет.
И вот вы решили зайти в поиск и посмотреть на какой странице вы вообще отображаетесь. Листаете-листаете, а вас там нет! Вот сюрприз, не правда ли!
Как раз поэтому мы сегодня с вами поговорим о том, почему сайт не индексируется Яндексом или Гуглом.
Прежде всего, индексация — это сканирование страниц ресурса поисковыми роботами, которые в свою через определяют, что у вас за контент, насколько он полезный для посетителей и на какое место в своем списке его поставить в выдаче.
И тут все логично. Вы ведь не покупаете вещи, которые через 2 дня могут испортятся? Так и тут, какой смысл поисковикам добавлять в топ сомнительные ресурсы, которые не будут пользоваться спросом у пользователей.
И первый вопрос, который волнует — это сколько по времени занимает индексация? Здесь точного срока нет. Робот может посетить и через 2 недели, а может и через месяц, как вам повезет. Все потому что веб-ресурсов с каждым днем появляется все больше и больше, и роботы не могут сразу справиться со своей задачей. Согласитесь, вы ведь тоже не сразу узнаете о появлении нового магазина продуктов на соседней улице? Только после того, как баба Галя возле подъезда вам расскажет про него 🙂
Почему блог не индексируется Яндексом или Гуглом
И вот вроде уже прошло достаточно времени, а в поиске вашего проекта все равно нет, почему? Есть несколько причин.
Давайте разберемся в каждой.
1. Неуникальность контента . Роботы могли уже проанализировать ваш блог, однако, увидев у вас материал, который не прошел у них по уникальности, посчитали вас вредоносным объектом и решили к вам больше не заходить, а уж тем более не добавлять в выдачу. Думаю, это понятно!
2. Копия другого сайта . Эта причина напрямую связана с вашей честностью. Есть люди, которые в поисках быстрого заработка стараются не заморачиваться на продумывание дизайна и создают так называемое «зеркало» — копию другого сайта с похожим доменом. В поисковых системах такого не любят, поэтому в отношении вас могут предпринять определенные меры, например, наложить фильтр, который снять очень сложно.
Если эти 2 варианта не про вас, на что я очень надеюсь, тогда перейдем к следующим причинам:
3. Переоптимизация ресурса . Злоупотребление стараниями оптимизировать свой ресурс для пауков может привести к проблемам с индексацией страниц. Так как поисковые системы стараются удовлетворить потребности пользователя, а не свои, поэтому от вас будут требовать того же.
4. Домен с плохой историей . Еще один момент — вы могли приобрести домен, который ранее был заблокирован или находится под фильтром. Такое тоже случается. Чтобы не попасть в такую ситуацию рекомендую ознакомиться со следующими статьями:
7. Запрет аналитики в мета-тегах . Иногда такое случается, поэтому следует проверить их на наличие содержимого типа: или . Они блокируют доступ роботов к сайту.
Как определить индексацию
Быстро определить индексацию достаточно просто. Для этого необходимо зайти на ресурс seogadget.ru . Выбрать «Проверка индексации», добавить имя домена и нажать «Проверить».
После этого смотрим результат.
Вот таким простым способом можно проверить индексацию сайта в Гугл или Яндекс.
Надеюсь после прочтения вам стало понятно, что аналитика сайта пауками очень важна для правильного продвижения. Чтобы ваш проект роботы быстро индексировали, он должен быть качественным во всех его проявлениях: от внешнего оформления до внутреннего содержания.
Удачного вам продвижения!
А вы следите за индексацией своего сайта? Что предпринимаете, если индексация затягивается?
И напоследок я бы хотела вам показать радугу, которую буквально вчера сфотографировала. Казалось бы последний месяц осени, в некоторых городах уже снег лежит, а у нас радуга. Здорово, правда?
Екатерина Калмыкова
Многие пользователи, особенно новички, задают одни и те же вопросы, на различных форумах, сайтах – почему не индексируются страницы поисковыми системами Яндекс и Google , либо же – почему плохо индексируется сайт или совсем перестал индексироваться сайт . В связи с этим разворачиваются огромные споры, так как причин, по этому поводу может быть масса и так сразу дать ответ не получиться, придется анализировать свой ресурс и выявлять конкретную причину.
Поэтому, давайте рассмотрим самый распространенные причины, по которым Ваш сайт может не индексироваться, либо же вылететь совсем из индекса.
Почему сайт не индексируется поисковыми системами?
Ускорение индексации. Не забывайте о том, чтобы Ваш сайт быстрее индексировался, необходимо добавлять , закладки и другие сервисы.
Можно еще добавить ссылку на аддурилку в поисковой системы, но некоторые говорят, что в этом случае, поисковая система поставит Ваш сайт в конец очереди для индексации. Хотя, если на Ваш сайт давно не заходил поисковой робот, то стоит это сделать.
Файл robots. txt. Возможно, у Вас не правильно составлен файл robots.txt, поэтому необходимо его просмотреть (возможно, закрыта в нем страница для индексации или вообще весь сайт).
Мета-теги. Возможно, у Вас страница закрыта от индексации с помощью мета-тегов, таких как: none, noindex, nofollow и так далее. Необходимо проверить и исправить ситуацию.
Вирус на сайте. Может быть такое, что на Вашем сайте поселился вирус, соответственно и выпал из выдачи, либо совсем не индексируется, поэтому Вам стоит .
Структура. У вас совсем не правильная структура на сайте. Возможно, нарушено правило трех кликов. То есть, чтобы добраться до конкретной статьи на сайте (страницы), необходимо произвести больше трех кликов.
Хостинг. Может быть такое, что Ваш проводит какие-то работы, в связи с этим поисковая система не может получить доступ к сайту (поисковой робот не может получить доступ к сайту) и возникают ошибки такого рода. Если поисковой робот Яндекс не может получить доступ к сайту, то прочитайте .
Домен. Может быть и такое, что Вы купили свой домен, на который были наложены санкции со стороны поисковых систем. Вам необходимо проверять доменное имя перед его покупкой.
Контент сайта. Самая распространенная причина, почему Ваш сайт не индексируется – на нем присутствует не уникальный контент. Вам стоит писать качественный и уникальный контент для сайта, а не копировать с других.
Как проверить страницу в индексе поисковых систем?
Существует масса вариантов, масса сервисов, но самый простой – это скопировать часть статьи (ее название или URL) и вставить в строку поиска и найти ее. Если Ваша страница появиться на первых страницах поиска, значит она проиндексирована, если нет – то увы.
Форумы вебмастеров пестрят грустными постами по поводу того, что сайт плохо индексируется поисковыми системами. А ведь это основа SEO-продвижения, без которой популяризация интернет-ресурса практически невозможна.
Обидней всего, когда над созданием web-проекта трудился дорогостоящий программист, а на его наполнение контентом ежемесячно тратится внушительная сумма.
Однако Яндекс и Гугл не спешат индексировать отдельные страницы или даже целый сайт. Почему так происходит?
На этот вопрос нет однозначного ответа: существует множество причин.
Важно выявить конкретную проблему (технические ошибки, дубляж страниц, нестабильную работу хостинга или санкции поисковиков) и сделать все для ее решения. Есть хорошая новость - ситуацию можно исправить. Хотите, знать как? Читайте дальше!
Нормы индексации сайтов
В Яндекс
Yandex сканирует и добавляет новые страницы примерно два-четыре раза в месяц. Попасть в поисковую выдачу раньше способны лишь трастовые и часто обновляемые порталы - внушающие доверие сайты индексируются быстроботом Яндекса ежедневно.
В Google
Что касается Гугла, обновления могут занять от одного дня до двух недель. Здесь многое зависит от категории вашего сайта. Например, ресурсы с актуальными новостями и живые форумы роботы проверяют с завидной регулярностью.
Материалы часто обновляемых порталов обычно сканируются в тот же день или на следующий. Индексация блога, в котором каждую неделю появляется новый контент, нередко задерживается на 2–4 дня.
Совсем печально обстоит дело с третьесортными сайтами, а также совсем молодыми веб-проектами, только что появившимися в Сети. Поисковые роботы могут игнорировать их в течение месяца.
Важно! Вышеописанные данные актуальны при добавлении малого количества страниц в индекс. При добавлении большого количества страниц одномоментно, скорость индексации может увеличиться в несколько раз.
Особенно долго будут индексироваться страницы с малой ценностью для посетителей.
Что делать, если новый сайт не индексируется поисковиками?
Под это определение подходит ресурс с возрастом домена до полугода, который не имеет обратных ссылок и ранее не продвигался.
Добавить сайт в панели вебмастеров
Вы только что создали сайт и ждете чуда под названием «быстрая индексация»? Такая стратегия ошибочная, ведь в первое время Гугл и Яндекс не обращают на новый сайт внимание. Помогите своему проекту заинтересовать роботов - сделать это достаточно просто: надо лишь .
Важно! Использование сервиса Яндекс. Вебмастер и Google Webmaster не только ускорит добавление страниц в индекс, но и позволит эффективнее работать над оптимизацией сайта. Представленные инструменты бесплатно открывают вебмастерам множество возможностей для диагностики, получения рекомендованных для продвижения запросов и привязки сайта к конкретному региону.
Улучшить сайт
Пора заняться внутренней оптимизацией: систематически создавать первоклассный контент, улучшить юзабилити, сделав удобные рубрики, а также позаботиться об адаптивности и перелинковке. После этого следует задуматься о внешнем продвижении. Оно включает в себя работу с социальными факторами и размещение естественных ссылок у надежных доноров.
Если сайт все так же не индексируется Яндексом, необходимо написать в техническую поддержку поисковика. В результате вашего запроса вы получите информацию о наличии бана, фильтра или установите другую объективную причину возникшей проблемы.
Как проверить индексацию сайта?
Используйте в запросе оператор Site
Узнайте количество просканированных и добавленных в индекс страниц путем введения в строку поиска Гугл и Яндекс «site: url вашего сайта». Благодаря дополнительным настройкам легко получить данные о произошедших за конкретный промежуток времени изменения.
К примеру, сегодняшняя проверка российской версии Википедии показала, что за последние 2 недели на этом сайте появилось 143 новых материалов.
Учтите! Разница между показателями разных поисковых систем является поводом для тревоги. Чаще всего это свидетельствует о возможном попадании под фильтр Гугла или Яндекса.
Введите в поисковик url страницы
Этот способ идеален для проверки индексации отдельно выбранной страницы.
Для Google
url:https://ru.wikipedia.org/
Для Яндекс
info:https://ru.wikipedia.org/
Через панель вебмастеров
Если вы ранее уже зарегистрировались в Яндекс. Вебмастер, то при переходе на данный сервис сразу увидите число загруженных материалов и тех, что находятся в поиске. В идеале их количество должно совпадать или быть похожим на реальное количество страниц сайта.
Более детальную информацию вы получите при переходе на основную панель, после чего необходимо нажать «Индексирование» и «Страницы в поиске».
Анализируя полученный отчет и ищите страницы, которые не индексируются.
Вариант 2: Сайт вообще не индексируется в Яндексе и Гугле, страницы выпадают из индекса.
Код ответа сервера
Убедитесь, что страница содержит код сервера 200 ОК - это означает: она действительно существует, доступна к просмотру для пользователей и поисковых систем.
Проверка осуществляется при помощи специальных сервисов.
Например, http://www.bertal.ru/index.php?a1910327/
Если код ответа не 200 ОК, то именно в этом может быть причина не индексации страницы.
Robots.txt
В файле robots.txt недопустимы запреты на индексацию сайта и отдельных страниц, а также работу конкретного поисковика.
Важно! Обязательно проверьте сформированный robots.txt на ошибки. Сделать это можно в Google Вебмастер: нажмите на «Сканирование», а затем на «Инструмент проверки файла robots.txt».
Meta Robots
Часто сайт не индексируется в Гугле, если добавление сведений в базу данных запрещено в мета-тегах. Обязательно удалите в HTML-коде строкии если они есть на важных страницах.
Либо используйте плагины для браузера, такие как .
Rel Canonical
Хотите, чтобы страница попала в индекс поисковика? Тогда она не должна ссылаться на другой канонический документ.
Чтобы проверить откройте код страницы и сделайте поиск строки.
Либо через тот же плагин
Вебмастера
Используйте Google Webmaster Tools для выявления ошибок сканирования, из-за которых роботы не получают ответы на запросы.
Когда получите результат, сравните, что видит Google и пользователь. Картинки должны быть одинаковыми. Если нет, то ищите причины блокировки файлов.
Протестируйте скорость загрузки и время ответа сервера. Убедитесь, что выбранный вами хостинг работает стабильно.
Файл.htaccess
Если сайт не индексируется, он может быть заблокирован в файле.htaccess.
Проверьте.htaccess на наличие таких строк:
RewriteRule.* - [F]
Либо такой вариант, который будет отдавать роботу Google 404 ошибки.
RewriteCond %{USER_AGENT} Googlebot
RewriteRule.* -
Поищите в файле другие варианты блокировок с использованием USER_AGENT или названия поисковых ботов: googlebot, yandex и т. д.
AJAX и JavaScript
Распространены проблемы с языками AJAX и JavaScript. Блог Яндекса для вебмастеров рекомендует создать в структуре ресурса определенную схему , которая сообщит поисковым системам о необходимости индексации.
Санкции
Еще одна серьезная проблема - наложение санкций на страницу или даже весь сайт. Узнайте в техподдержке поисковой системы (только Яндекс), за что именно (ссылки, переспам, неуникальный контент) вас наказали, после чего оперативно исправьте ситуацию.
Как уже говорилось ранее, причиной отсутствия внимания к странице часто является низкокачественный и дублированный контент.
Вряд ли робот будет заинтересован в ваших материалах, если в выдаче уже имеются похожие документы, продвигаемые по тому же семантическому ядру.
Негативно влияет на скорость индексирования незрелый возраст домена, а также забаненный ранее б/у домен. В таком случае стоит написать запрос на пересмотр в Яндекс.
Итоги
Если сайт не индексируется Яндексом или Гуглом, значит, на то есть объективная причина. Ваша цель - выявить и решить проблему. Спустя некоторое время необходимо снова проверить индексацию страницы. Если вы все сделаете правильно, положительные изменения не заставят себя долго ждать!
«Почему мой сан не индексируется?!»
Индексация сайта наиболее важная особенность SEO во все времена. Для органического поиска индексация, жизненно необходима. Если ваш сайт не индексируется, вы теряете органический трафик, что немаловажно для SEO. Так же никто не сможет найти и посмотреть ваш контент, если вы им не даете прямую ссылку, например, на визитке.
Первый шаг к индексированию это понимание проблем индексации вашего сайта.
Я примерно организовал список из наиболее общих причин.
Ваш сайт проиндексирован под www или non-www доменом.
Технически www является под доменом. Таким образом http://example.com не то же самое, как http://www.example.com . Убедитесь, что вы добавили оба адреса и уверены что они индексируются. Обязательно установите основной домен, но подтвердите право собственности на оба.
Google не нашел ваш сайт
Как правило, это проблема новых сайтов. Дайте ему несколько дней (по крайней мере), но если Google до сих пор не индексирует ваш сайт, убедитесь, что ваша карта сайта загружается и работает нормально. Если вы еще не создали представления для карты сайта, это может быть ваша проблема. Вы должны также потребовать Google что бы он «ходил» по вашему сайту. Как это сделать:
- В Webmaster Tools выберете нужный сайт.
- На панели инструментов-> Сканирование -> Посмотреть как Googlebot.
- В текстовом поле введите путь к странице, которую вы хотите проверить.
- В раскрывающемся списке выберите ПК. (Вы можете выбрать другой но это неважно.)
- Нажмите сканировать. Google будет получать URL вашего сайта. Это может занять до 10 минут. Потом страница обновится.
- Как только вы увидите отчет о успешном выполнении, нажмите кнопу Отправить. Таким образом вы отправите урл в индекс.
- Чтобы отправить одиночный URL в индекс, выберите URL и нажмите отправить. Вы можете представить до 500 адресов в неделю таким способом.
- Чтобы отправить URL и все страницы, связанные с ней, нажмите URL и все связанные страницы. Вы можете представить до 10 таких запросов в месяц.
Сайт или страницы блокируются в robots.txt
Еще одной проблемой может являться блокировка сайта в robots.txt. Это легко исправить. Просто удалите запись из файла и через некоторое время сайт появится в индексе.
4. У вас нет sitemap.xml
Каждый веб-сайт должен иметь sitemap, которая дает поисковикам перечень направлений, куда они должны следовать. Создать карту сайта для поисковиков довольно просто.
Если у вас возникли вопросы по индексации в любой части вашего сайта, я рекомендую вам повторно пересмотреть карту.
У вас есть ошибки обхода
В некоторых случаях, Google не будет индексировать некоторые страницы вашего сайта, потому что он не может сканировать их. Даже при том, что он не может сканировать их, он все еще может видеть их.
Чтобы определить ошибки обхода, зайдите в Google Webmaster Tools -> Site -> Нажмите на кнопку «Сканирование» -> «Ошибки сканирования». Если у вас есть какие-либо ошибки, то есть, не проиндексированные страницы, вы увидите их в списке.
У вас дублируется контент
Слишком много страниц с одинаковым контентом может запутать поисковики и они перестанут индексировать сайт.
Если на нескольких URL-адресах на вашем сайте дублируется контент то это влияет на выдачу. То есть, поисковик не знает на какую страницу вести пользователя и соответственно удаляет их из поиска. Чтобы устранить эту проблему, выберете страницу, которую вы хотите сохранить, а на остальные пропишите 301 редирект в htaccess. Или же закройте от индекса через файл robots.txt.
Иногда имеет смысл канонизировать страницы, но будьте осторожны. На некоторых сайтах канонизация мешает индексации.
Настройки приватности
У большинства популярных движков есть функция разработки. При которой контент на сайте может видеть только авторизированный пользователь.
Если у вас WordPress, перейдите к администрированию –> настройки -> конфиденциальность.
Сайт заблокирован.htaccess
Ваш файл.htaccess является частью существования вашего сайта на сервере, что позволяет ему быть доступным во всемирной сети. Файл.htaccess написан для Apache. .htaccess можно использовать для различных задач, также для блокировки сканеров и предотвращение индексации.
Сайт имеет NOINDEX в мета-теге
Еще один способ сказать «нет» роботам и таким образом, не дать им вас индексировать. Хотя не всегда их останавливает. Выглядит так:
Это один из тех проблем когда вы говорите: «О, черт, я не могу поверить, что не видел этого!».
Удалите эту строку кода, и вы сможете вернутся в индекс в кратчайшие сроки.
10. У вас есть AJAX / JavaScript решения
Google индексирует JavaScript и AJAX не так как HTML. Так что, если вы неправильно настроите страницы AJAX и выполните JavaScript, Google не будет индексировать страницу.
11. Слишком долгая загрузка страницы
Поисковика не нравится когда ваш сайт грузится целую вечность. Как вы думаете сколько пользователь будет ждать, пока загрузится ваша страница? Вот и поисковики думают также.
12. Время простоя хостинга
Если роботы не могут получить доступ к сайту, они не будут индексировать его. Это достаточно очевидно, но почему это происходит? Проверьте качество хостинга.
13. Вы получили Deindexed
Это действительно плохо.
Если вы получили пенальти от поисковика, за какой то «незаконный» контент. Или же по причинам его «качества». Вернуть его в индекс будет очень сложно.
Эта статья не является попыткой обсудить все причины не идексации сайта. Индексация является залогом хорошего SEO. Если ваш сайт или отдельные страницы вашего сайта не индексируются, вы должны выяснить, почему. Желаю всем страниц в индексе, да поменьше пенальти.
