Добрый день, уважаемый читатель . Продолжим изучать мою книгу о поисковом трафике для блоггера и поговорим сегодня об индексировании ресурса. В этой статье Вы узнаете, как можно быстро и легко проверить индексацию страниц Вашего сайта в Яндексе и в Google с помощью обычных операторов поиска и различных сервисов. Поймете важность этого процесса, увидите на разных примерах несколько вариантов определения документов Вашего блога. Конечно, этот пост имеет практическое значение, но он является первым мануалом для изучения, чтобы в дальнейшем заниматься поисковым продвижением своего веб-ресурса.
Проверяем наличие сайта в индексе поисковых систем
Перед тем, как мы поговорим о различных службах и сервисах проверки проиндексированных страниц в Яндексе и Гугле, предлагаю вспомнить важность самой базы данных. Дело в том, что любая поисковая система работает только с теми документами, которые просмотрены ее роботом и занесены в базу данных. Эта база называется индексом, а сам процесс сбора всех данных со страниц любого сайта в сети — индексацией. Этот процесс достаточно сложный, но увлекательный и познавательный. И правильное понимание работы этого процесса — это одно из главных условий успешного и в Яндексе и Гугле. Поэтому, перед дальнейшим изучением материала этой статьи, рекомендую всем вспомнить .
Проверка индексирования страниц сайта в Яндексе и Гугле
Яндекс . Для того, чтобы узнать наличие страниц в русском поисковике, существует несколько операторов. Оператор site находит все страницы Вашего сайта в базе данных Яндекса, а host дает информацию по индексированным документам с доменов и поддоменов сайта. Вот результаты работы оператора site:
А вот итоговый результат после использования оператора host:
Теперь давайте посмотрим, сколько покажет нам количество проиндексированных страниц оператор host для моего блога не по главному зеркалу (без www). Результат конечно будет предсказуемым:
Если же проделать ту же схему но для оператора site, то число страниц в индексе не по главному зеркалу моего сайта не измениться — останется 206. Это потому, что как я и говорил, site находит все документы сайта, а host — домена. Поэтому дам Вам такой совет — если хотите быстро оценить число страниц любого веб-ресурса в базе данных Яндекса, используйте оператор site (в строку запроса можно вводить адрес сайт с или без www — результат будет одним и тем же). Если же Вм нужно знать точное число страниц в индексе любого домена, используйте следующее сочетание операторов (вместо адреса моего блога в примере ставите нужный адрес домена):
Google . Самая популярная поисковая система обладает одним оператором для определения проиндексированных страниц. Его название site и он выполняет такую же функцию, как и его коллега в Яндексе — дает полный перечень документов, находящихся в базе данных Гугла. Вот как он выглядит:
К сожалению, этот оператор показывает все страницы, которые находятся в индексе Гугла. Но как Вы знаете, этот поисковик разделяет свою базу данных на основной индекс и дополнительный. В основном содержатся все документы Вашего блога, которые Гугл использует для своих результатов выдачи. Остальные же документы, которые обычно содержат дублирующие страницы, технические разделы из CMS или не подходящие по ранжированию урлы находятся в дополнительном индексе, который называется Supplemental Results (по сеошному — «сопли»). Поэтому, для точного определения рабочих проиндексированных страниц своего блога, которые участвуют при ранжировании, используется специальная команда &:
Как видите, результаты сильно отличаются в моем случае — число проиндексированных страниц в основном индексе намного меньше, чем общее число. Это говорит о том, что в свое время при первых пробежках поисковым роботом по моему блогу, Гугл успел занести в свою базу кучу мусора и дублей. И перед тем, как я успел это обнаружить, их масса намного превышает реальные страницы моего сайта. Что конечно сказалось на поисковом трафике из Google. Поэтому так важно, перед самым первым запуском своего нового веб-ресурса полностью закрыть в файле robots.txt все ненужные разделы Вашего сайта. Но об этом мы поговорим в другой раз.
Проверка индексации страниц с помощью сервисов
RDS bar . Самый быстрый вариант проверки — использовать (пост о том, как его настроить и как им пользоваться). Этот плагин, который можно прикрутить к любому популярному браузеру, с ходу может дать всю информацию о наличии страниц в базе данных Яндекса и Гугла (в общем индексе), а также информацию о дате индексации текущей страницы. Благодаря этому расширению, не теряя времени на переходы в различные сервисы или в поиск, можно оценить индексирование любого сайта. В общем, рекомендую, это очень удобно:
Сервис XSEO . Набор инструментов для веб-мастеров и блоггеров, XSEO.in тоже дает четкую информацию об индексации страниц сайта в Яндексе и Google. Но в отличие от предыдущего сервиса, он позволяет достаточно быстро, в пару кликов увидеть число страниц в Гугле в разных индекса — в основном и дополнительном. Такая информация есть далеко не в каждом плагине, программе или сервисе. XSEO дает точные данные о числе документов, как например, для моего блога:
Для получения таких данных для любого, анализируемого Вами веб-ресурса, достаточно в сервисе выбрать раздел «Проверка индексации сайта».
Сервис PR-CY . Известный аналитический сервис Pr-Cy.ru , имеющий в своем активе достаточно неплохой набор различных отчетов и seo-инструментов. Как и предыдущие источники, он тоже дает данные об индексации любого сайта. Но у него есть замечательное отличие — он обладает интересной графикой, в которой показывает историю индексации страниц в поисковых системах. Такую штуку я редко где замечал, но именно этот сервис имеет самый дружелюбный интерфейс, позволяющий быстро увидеть изменение числа проиндексированных страниц. Вот, к примеру, такова история попадания документов моего блога в базу данных Яндекса:
Как видно из этого графика, сервис четко показывает число проиндексированных страниц в русском поисковике в течение года. Таким образом можно оценить индексацию любого сайта, особенно, если Вы выбираете хорошего донора для закупки внешних ссылок. Например, в , Кстати, на графике хорошо виден скачок числа проиндексированных документов в мае а потом возвращение на предыдущее количество. Это все потому, что в апреле я поменял дизайн своего сайта и у меня поменялась полностью структура страниц. Яндекс достаточно быстро прореагировал, но в свое время поставленный редирект все вернул на место.
С Гуглом история немного другая у меня получилась. Вот график индексации страниц моего блога, начало которого было положено ровно год назад:
Как видите, рост шел потихоньку, но потом я стал больше писать статей и начал экспериментировать с метками. В итоге пока я их поудалял, Google честно отсканировал все дубли и отправил в свою базу данных. В итоге позиции моего блога упали и до начала июня этого года видимость моего сайта в этом поисковике не достигала и 2-х%. То есть, гугловского трафика на моем блоге просто не существовало. Но как видите, уже на текущий момент число страниц в дополнительном индексе конкретно уменьшилось. И эта тенденция продолжается на текущий момент — все дело в одном моем эксперименте по удалению дублирующих страниц с базы. На данный момент видимость моего блога в Google поднялась до 21%, а материал по эксперименту увеличивается — на будущее заготовил свой пост о работе с дублями и исключению их из индекса Гугла.
Проверка индексации сайта в Яндекс вебмастере и Google Tools
На десерт оставил самые интересные сервисы, которые могут дать полную информацию об индексировании Вашего веб-ресурса. Конечно, я имею в виду панели инструментов для веб-мастеров от Яндекса и Гугла. Только они обладают всеми точными данными о наличии страниц Вашего сайта в их базах данных. Так скажем, обратимся к первоисточнику!
Сервис от Яндекса . Как я уже сказал, это лучший пакет инструментов, который покажет Вам всю информацию об индексировании страниц Вашего сайта (и не только). Им я пользуюсь с самого начала, как только отправил свой блог на съедение русскому поисковику — . За все время эксплуатации не раз пользовался классными отчетами, которые предоставляет этот сервис.
В этой статье я не буду пояснять все детали отчетов по индексации — они детально расписаны в . Смотрите раздел «Индексация сайта». Если что-то будет не понятно, в сервисе есть замечательный хелп. На крайний случай, если не разберетесь сами с аналитическими данными отчетов, пишите свои вопросы в комментарии этой статьи.
Сервис от Google . Как и у Яндекса, . И все данные в нем дают самую достоверную информацию, так скажем из первых рук. Поэтому, для получения самых точных данных об индексации страниц сайта в этом поисковике, рекомендую использовать подраздел «Статус индексирования» в этом сервисе.
При первом заходе в этот отчет Вы увидите единственный график, где его элементами (отдельные точки на нем) являются общие числа проиндексированных всего страниц сайта в индексе Google. Это количество всех документов, которые находятся в двух индексах — основном и дополнительном.
Но конечно это не вся информация об индексации — для этого нужно нажать кнопку «Расширенные данные» и включить все пустые чек-боксы (поставить галочки). В итоге к первому графику добавляется еще три (картинка кликабельна):
Итак, что же показывают эти графики и какую пользу мы можем получить от их показателей:
проиндексировано за все время — это число всех страниц, которые когда-то нашел поисковый робот Гугла. Обычно значения узловых точек этого графика намного больше, чем числа проиндексированных всего документов. Это говорит о том, что кроме периодически появляющихся новых страниц, Google слопал за время скана все бесполезные страницы на Вашем блоге, а также возможно и дубли. Как в моем случае.
заблокировано в файле robots.txt — число запрещенных страниц для индексации, для которых прописаны запрещающие директивы в файле robots.txt. По идее здесь указывается число, которое Гугл не занес в свой индекс из-за запрета. Но на самом деле оно не точное, потому что этот поисковик отлично видит все страницы любого сайта, не отдающие ошибку 404. И даже если по ним прописана директива на запрет сканирования.
удалено — число страниц, удаленных по запросу из результатов поиска.
Как видно из рисунка, каждая точка на любом графике дает всю информацию по четырем показателям за определенный промежуток времени (день — воскресенье, когда обновляются недельные данные в отчетах вебмастера Гугла). Такая информация показана в отдельной табличке с цифрами по каждому графику.
Что можно увидеть в отчете «Статус индексирования»
Во-первых, глядя на полученные данные по графику «заблокировано в файле robots.txt», Вы можете оценить правильно ли работают Ваши запретные директивы. Если желтый график все время стремиться в верх, это говорит о явной проблеме в файле robots.txt. В таком случае стоит внимательно проверить каждую директиву. Возможно найдутся ошибки или придется прописать новые правила для поискового робота.
Во-вторых, при правильно настроенной индексации, число проиндексированных страниц должно все время увеличиваться. Если этого не наблюдается, значит Гугл не правильно собирает с Вашего сайта информацию. Возможно есть ошибки в том же файле robots.txt, появился дублирующийся контент, Гугл стал собирать ненужный мусор из-за несовершенства CMS и т.д. Но вот в моем случае синий график сначала шел рывками, а потом набрав максимум стал в конце июля этого года стремительно снижаться. Это говорит о том, что из индекса стали исчезать дубли (об этом я писал выше).
В-третьих, если в графике проиндексированных страниц есть скачки, которые показывают сильное уменьшение документов в индексе, то значит у Вас проблемы с доступом к веб-ресурсу. Возможно есть перегрузки в работе из-за увеличения , или появилось больше страниц с ошибкой 404 (например, при резком изменении структуры) и т.д. В таком случае нужно срочно принимать меры, иначе можно получить массовое падение проиндексированных страниц в Гугле. А это влечет обвалом поискового трафика.
В-четвертых, большое количество дублирующих страниц (огромная разница данных красного и синего графика, если все остальные варианты ошибок исключены) говорит о том, что на Вашем сайте неправильно настроены канонические версии страниц или есть дублирующий контент. Если не принять вовремя необходимые меры, Гугл насобирает огромное число дублей в свой индекс, которые потом очень сложно вытащить назад. Плюс к тому же дублирующие страницы никак не способствуют поднятию видимости сайта, а скорее наоборот — позиции по многим запросам могут просесть.
На этом мой ликбез о том, как самому быстро оценить индексацию страниц своего сайта, считаю завершенным. Как я и говорил, если у Вас есть небольшие вопросы, задавайте их в комментарии. Если для ответа нужен график «Статус индексирования», оставляйте ссылку на скриншот с ним. Если же Ваш вопрос требует пристальное внимание seo-специалиста, то всегда на помощь придут мои консультации.
С уважением, Ваш Максим Довженко
Инструкция
Проверьте, проиндексирован ли сайт поисковой системой Google при помощи анализа страниц поисковой выдачи. Откройте в URL вида: www.google.com/search?&q=allinurl:<адрес_сайта>/+site:<адрес_сайта>, где вместо заполнителя <адрес_сайта> необходимо подставить доменное имя, указывающее на ваш сайт. Например, если доменное codeguru.ru, то URL будет иметь вид: www.google.com/search?&q=allinurl:codeguru.ru/+site:codeguru.ru . Поисковая выдача в данном случае будет содержать все страницы указанного , присутствующие в индексе Google. Общее число страниц будет указано вверху страницы поисковой выдачи. Сравнивая известное количество с количеством страниц в выдаче, можно вывод о степени сайта.
Проверьте индексацию сайта в Google при помощи инструментов для web-мастеров. Зарегистрируйтесь в Google Webmaster Tools по адресу www.google.com/webmasters/tools/ . Войдите в панель управления сервиса. Добавьте сайт в систему и подтвердите права на . Зайдите по адресу https://www.google.com/webmasters/tools/dashboard .
Определите, проиндексирован ли сайт Yandex при помощи анализа поисковой выдачи. Откройте в браузере страницу с адресом вида http://yandex.ru/yandsearch?surl=<адрес_сайта>. Вместо маркера <адрес_сайта> в строку необходимо подставить доменное имя анализируемого сайта. Вверху страницы поисковой выдачи будет указано общее количество страниц сайта, известных поисковику. Сравните его с количеством страниц сайта.
Поисковые системы по ряду причин индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого бы количество страниц в Яндексе и Google совпадало.
Если расхождение не превышает 10%, то на это не все обращают внимание. Но такая позиция справедлива для СМИ и информационных сайтов, когда потеря малой части страниц не сказывается на общей посещаемости. А вот для интернет-магазинов и прочих коммерческих сайтов отсутствие товарных страниц в поиске (даже одной из десяти) - это потеря дохода.
Поэтому важно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сопоставлять результаты, выявлять, какие страницы отсутствуют в поиске, и принимать меры.
Проблема при мониторинге индексации
Посмотреть проиндексированные страницы не составляет труда. Сделать это можно путем выгрузки отчетов в панелях для вебмастеров:
- («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);
Возможности инструмента:
- одновременная проверка проиндексированных страниц в Яндексе и Google (или в одной ПС);
- возможность проверки сразу всех URL сайта по XML-карте;
- нет ограничения по количеству URL.
Особенности:
- работа «в облаке» - не нужно скачивать и устанавливать ПО или плагины;
- выгрузка отчетов в формате XLSX;
- уведомление на почту об окончании сбора данных;
- хранение отчетов неограниченное время на сервере PromoPult.
Доброго времени суток, уважаемые читатели моего блога. Каждому разработчику (начинающему и не очень) важно, чтобы его сайт как можно скорее был проиндексирован в поисковиках. Ведь, если странички нет в Яндексе или Гугле, то найти ее практически невозможно. Недавно я рассказывал о том, .
Без этого можно с таким же успехом писать статьи и оставлять их в папке на рабочем столе. Но как узнать что ваш блог действительно проверили и когда этот вопрос становится менее актуальным для разработчиков?
Сегодня я подробно расскажу вам о том, как узнать проиндексирован ли сайт в Яндекс. Вы научитесь мгновенно понимать видят ли ваши страницы другие пользователи, что может этому препятствовать и как эффективно устранить проблемы.
Я научу вас быстро отслеживать информацию о «неподходящих» публикациях, чтобы не тратить время и деньги понапрасну.
Приступим? Но для начала.
Когда и зачем следить за информацией о индексации
Всех новичков заботит проверка собственного электронного ресурса. Поисковик может долгое время не посещать портал, а запретный плод сладок и желанен. Хочется как можно скорее увидеть свое детище на первом месте хоть по какому-нибудь запросу. Со временем эта мечта воплощается, а интерес к индексации угасает. Очень зря.
После первой проверки поисковик периодически заглядывает по уже знакомому URL, чтобы узнать новости и произвести переоценку. Существуют разные факторы ранжирования, к примеру, . Относительно них страницам присваивается определенное место в поисковой выдаче, но есть и факторы, которые мешают новым публикациям появляться в поисковиках.
Если странички нет в выдаче, то это означает, что вы потратили время и деньги (если вы заказывали статью у копирайтера) зря. В чем может быть проблема? Фильтр АГС, дублирование контента, или уникальность текста, технические сбои на хостинге или иной глюк в исходном коде. Причин может быть миллион.
Если вы знаете сколько всего статей на вашем портале и видите, что не все они находятся в выдаче, то нужно производить полную проверку, чтобы выявить какая именно неприятность приключилась на сайте. А они, как правило, есть практически у всех, вне зависимости от того, насколько вы подкованы в веб-строительстве.
Как узнать сколько всего страниц на портале
Итак, произвести анализ можно несколькими способами.
- WordPress
Если ваш портал на ВордПресс, то узнать точное количество страниц можно элементарно. Для этого достаточно зайти в панель управления. Сразу же, вам покажут число записей.
- Карта сайта.
Очень просто можно узнать сколько страниц у вас в блоге, если на нем есть Sitemap. Я уже писал статью о том, она вообще нужна. Если говорить в двух словах, то это очень удобное содержание. Которое хорошо сказывается и на поведении пользователей, и на ранжировании портала.
- Анализ сайта и проверка на ошибки.
Еще один удобный способ, который поможет не только понять какие проблемы есть на вашем блоге, но и поможет разобраться со всеми этими недочетами, сервис Seoto.me .
Он поможет избавиться от битых ссылок, картинок, осуществлять комплексную проверку уникальности, тайтлов, описания и так далее. Заинтересовались? Можете прочитать статью о том, или посмотрите этот ролик.
Сколько страниц проиндексировано
Отлично, если вы знаете сколько страниц есть на вашем сайте, то без труда можете понять сколько из них находится в поисковой выдаче. В идеале, их должно быть ровно столько, сколько и публикаций (плюс главная и страницы рубрик).
Если количество меньше, значит на сайте есть проблемы, которые нужно будет выявить и решить. Для начала я расскажу о простом способе проверки. Он не очень точный, удобный и красивый, но зато быстрый. Идеально подходит для первого раза.
Ручной метод
Откройте Яндекс и введите в поисковую строчку URL:доменное-имя-сайта*.
Естественно вместо «адрес-вашего-сайта» нужно ввести ваш url. Например, вот так. Мой тестовый портал совсем небольшой, но в выдаче нашлось аж 9 результатов. Это замечательно.
Вебмастер
Еще одна очень удобная штука – Яндекс.Вебмастер. Благодаря этому сервису вы можете узнать много полезного, уточнить кое-какую информацию, чтобы повысить свои шансы на первое место в поисковике, заставить Яндекс скорее индексировать свой сайт и, конечно же, проверить страницы.
Мой тестовый сайт еще не подключен к этому сервису. И статьи на тему подключения в моем блоге еще нет. Однако, я думаю, что совсем скоро эта ситуация изменится. Подписывайтесь на рассылку и узнавайте первыми о всем, что происходит с моим тестовым сайтом и с легкостью выполняйте важные задачи.
Как проверить конкретную страницу вручную
Если вам хочется узнать детальную информацию о конкретной странице со своего или чужого сайта, где вы, к примеру, купили ссылку, можно воспользоваться самим Яндексом. Это быстро и просто.
Копируете url и вводите в поисковую строчку Яндекса без каких-либо изменений.
На первом месте должен оказаться тот же URL, который вы вводили в поисковую строчку. Если этого не происходит, значит она не проиндексирована.
Теперь вы знаете как проверить проиндексирован ли сайт и без лишних телодвижений проверить портал на ошибки, а также устранить их.
В идеале у вас должен быть подключен Яндекс.Вебмастер, чтобы не морочиться с проверкой заново. Заходите и периодически проверяете не увеличилось ли количество исключенных страниц. Как только видите, что появились проблемы, заходите на www.seoto.me и он подсказывает чем вызвана проблема. Решаете ее и наслаждаетесь жизнью в интернете.
Время чтения: 11 минут(ы)
Технические доработки под требования SEO и оптимизация структуры сайта – это первостепенные моменты в продвижении ресурса, но если поисковые системы не знают о нем, то есть он не проиндексирован, то продвижение невозможно.
Что же такое индексация? Это добавление поисковыми роботами собранных сведений о ресурсе в базы данных. Дальнейшее ранжирование происходит уже по проиндексированным страницам. Предлагаем несколько простых и понятных способов проверки страниц, которые «видят» поисковые системы.
Рассмотрим каждый вариант подробнее.
1. Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console
Бесплатный и достоверный способ с использованием сервисов для вебмастеров.
Яндекс.Вебмастер
После прохождения верификации переходим в панель и нажимаем вкладку «Индексирование» – «Страницы в поиске». Тут представлены страницы веб-сайта, участвующие в поиске Яндекса.
Также количество загруженных и проиндексированных страниц можно посмотреть в сервисе на странице «Мои сайты».
Для анализа список страниц можно скачать из сервиса файлом в форматах.xls и.csv.
Google Search Console
Аналогично вебмастеру Яндекса проходим авторизацию в аккаунте Google, входим в сервис https://search.google.com/search-console/about?hl=ru , вводим url сайта и нажимаем кнопку «Добавить ресурс».
После подтверждения прав на сайт для проверки индексации ресурса в панели Вебмастера Гугл переходим во вкладку «Индекс» – «Покрытие».
Нужно учитывать, что информация в Google Search Console примерная, так как в отчете показывается статистика после последнего обхода, то есть количество страниц может быть другим на текущий момент проверки.
Примеры проверки индексации сайта
2. Проверка количества проиндексированных страниц в ПС при помощи операторов
Применяя документный оператор «site» возможно увидеть примерное количество страниц в индексе. Для использования этого параметра введите в строке поиска «site:адрес_интересующего_сайта», например «site:https://www.bordur32.ru ».
3. Анализ индексации сайта при помощи плагинов и расширений
Чтобы не вводить операторы в строке браузера перед url используется данный автоматизированный способ. Скачиваем бесплатный букмарклет для браузера (небольшой по размеру скрипт, сохраняемый в закладках) и кликаем на специальную иконку находясь на сайте.
4. Отслеживание проиндексированных страниц с помощью online сервисов
Еще один способ проверки индексации это использование сторонних ресурсов. Например, переходим на сайт a.pr-cy.ru вводим url и нажимаем «Анализировать».
Индексацию сайта можно проверить и в других сервисах, например: seogadget.ru, xseo.in и других.
5. Программы для контроля индексации сайта
Существуют бесплатные (Site-Auditor) и платные программы (Semonitor) для анализа сайта и проверки страниц в индексе. Выбранное программное обеспечение скачиваем и устанавливаем на ПК. В строку ввода добавляем url проверяемого сайта.
Проверка индексации страницы
Иногда требуется не только узнать сколько страниц проиндексировано в Яндексе и Google, но и нужно определить индексируется ли какая-то конкретная страница. Это можно сделать следующими способами:
1. В панели для вебмастеров:
2. Оператор «url»
В строке поиска вводим специальный оператор. Запрос будет выглядеть так: «url:адрес_интересующей_страницы».
3. Оператор «info»
В поисковой системе Google можно воспользоваться оператором «info». Запрос в строке поиска будет выглядеть следующим образом: «info:адрес_интересующей_страницы»
Почему сайт может не индексироваться
В идеале страницы ресурса должны быть проиндексированы и их количество в поисковых системах должно быть примерно одинаковым. Но так бывает далеко не всегда. Рассмотрим причины мешающие индексации сайта.
Ошибки в файле robots.txt
Файл robots.txt – это текстовый документ в формате.txt лежащий в корневом каталоге веб-сайта, запрещающий или разрешающий индексирование страниц роботам ПС. Поэтому неправильное использование директив может закрыть от индексации весь сайт или отдельные страницы ресурса.
Отсутствие файла sitemap.xml
Карта сайта (файл sitemap.xml) – это специальный документ расположенный в корневом каталоге, содержащий ссылки на все страницы ресурса. Этот файл помогает поисковым роботам оперативно и качественно индексировать ресурс. Поэтому в него нужно добавлять только те страницы, которые должны попасть в индекс.
Новый сайт
Процесс индексации нового ресурса занимает некоторое время. Поэтому в данном случае нужно просто подождать, не забывая контролировать процесс индексации.
Приватные настройки
В некоторых CMS, таких, как WordPress и Megagroup, существует возможность скрыть от индексации страницы через админку сайта, данные настройки могут стоять по умолчанию.
Тег «noindex»
Страницы могут быть закрыты от индекса в коде с помощью мета тега name="robots" content="noindex, nofollow" />. Нужно проверить его наличие и либо убрать из кода, либо заменить на «index» и «follow».
Мусорные страницы
Еще одной из причин может стать большое количество мусорных страниц, не предоставляющих полезного и уникального контента в рамках сайта. Такие страницы нужно закрывать от индексации, чтобы не возникали проблемы с индексированием ресурса и робот не тратил время на посещения этих страниц.
Также причиной не индексации страниц ресурса могут быть ошибки сканирования, блокировка сайта в файле.htaccess, дубли страниц, не уникальный контент, низкий uptime хостинга, медленная скорость загрузки сайта, баны и фильтры ПС.
Выводы SEO-специалиста Веб-центра
Главная цель как владельца сайта так и SEO-специалиста добиться индексирования нужных страниц ресурса. Для этого нужно регулярно контролировать страницы в поиске Яндекса и Google, проверять сервисы для вебмастеров на наличие ошибок на сайте, наполнять его уникальным и полезным контентом, следить и оптимизировать скорость загрузки ресурса.
Для ускорения процесса индексации нужно подтвердить права на сайт в Яндекс.Вебмастер и Google Search Console и разместить в них ссылку на файл sitemap.xml, также можно отправлять на переобход важные страницы ресурса.
