Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.
При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.
Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.
1. Проверьте индексацию в панели вебмастеров
Это базовый способ проверки для вебмастера или владельца сайта.
Google . Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».
Yandex . Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.
Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс. 
Проблемы с индексацией выглядят так: 
На скриншоте — сайт, закрытый от индексации в файле robots.txt
Хотите узнать больше о поисковом продвижении? Подписывайтесь на рассылку:
Привет, друзья! В сегодняшнем посте я затрону тему индексации сайта в поисковой системе Google. Какие проблемы возникают с ней? Существует ли сейчас основной и дополнительный индекс? Все мои наблюдения на этот счет ниже.
Не знаю как у вас, а у меня Google индексирует меньше страниц, чем Яндекс. По крайней мере он показывает это по таким запросам:
Кстати в этой записи все буду разбирать на примере блога. Он находится в , на нем авторские уникальные статьи, теги, архивы и другие, дублирующие контент страницы (кроме категорий и нумерации страниц по средствам плагины PageNavi) запрещены в robots.txt. Что на такой запрос говорит Яндекс?
Тут уже 281 страница. Причем вообще в sitemap записано примерно 200 страниц + примерно 80 - это как раз те, которые создаются постраничной навигацией. Эти цифры ближе к реальности .
Вернемся опять к гуглу. Получилось, что сейчас он знает только о 172 страницах моего блога. Что же на самом деле? У меня получилась следующая картина:
Сейчас я объясню всю эту таблицу .
Что же получается? Google оказывается знает о 187 страницах + несколько десятков навигационных, а не о 172. По-моему кто-то что-то скрывает или прячет .
Выводы по поводу индексации в Google
До проведения данного анализа я считал, что у моих сайтов проблемы с индексацией страниц в Google. На самом же деле проблемы с тем, что некоторые документы попадают в дополнительный индекс, а о других Google знает, но молчит .
Почему Google отправляет страницы в дополнительный индекс?
- Как я уже написал выше, причиной может служить дублирование контента. Для этого можно запретить к индексации дублирующие страницы: теги, архивы и так далее.
- Часто страницы с копированным контентом тоже отправляются в сопли, либо просто с незначительным его количеством или низким качеством.
- Ошибки поисковой системы. Поисковой робот может неправильно проанализировать страницу, несмотря на то, что она будет являться первоисточником с уникальным и интересным контентом.
Как же вывести страницы из соплей? А вот этим я и буду заниматься. В одном из последующих постов опубликую результаты эксперимента, который должен будет вытащить некоторые страницы блога в основной индекс. Не пропустите . Что вы думаете по поводу индексации ваших сайтов в гугл? Какие особенности были замечены?
Не так давно компания Google на пару с NASA (да-да, с аэрокосмическим агентством США) купила у канадской компании D-Wave Systems квантовый компьютер (ну или то, что на сегодня называется квантовым компьютером). Сообщалось, что на его базе планировали (с этой осени) запустить лабораторию по изучению искусственного интеллекта с применением достижений квантовой физики.
Что такое квантовый компьютер - долго объяснять. Но представьте себе в перспективе - некий огромный суперкомпьютер, у которого весь интернет будет находится в оперативной памяти. Необходимости индексировать новый контент и новую информацию, размещаемую в интернете - уже не будет. Информация сразу будет в поиске! В момент ее публикации в интернете! Как вам такая скорость... хотел сказать "индексации", но по-сути "индексации" в привычном значении этого слова уже не будет!
Но пока это в перспективе, и, кажется, не совсем уж такой далекой! Мгновенная индексация информации не за горами. И это хорошо иллюстрирует новшество от компании Google. Теперь по запросу вебмастера, Google сканирует мгновенно предложенный ему адрес странички и также мгновенно размещает его в поиске. Да, такой сервис есть и называется он не аддурилка Google, куда надо сообщать о новом сайте. Инструмент находится в кабинете вебмастеров от Google и доступен всем желающим вебмастерам, подтвердившим права управления на свой сайт.
Как мгновенно проиндексировать страничку в Google?
Быстрая индексация материалов сайтов - головная боль вебмастеров (каких тем только не создано на веб-форумах: "Как быстро вогнать сайт в индекс Google ", "Как ускорить индексацию сайта? ", "Как мгновенно проиндексировать содержимое сайта? " и т.д.). Поскольку преимущественно публикуются уникальные материалы, то существует вероятность кражи контента и публикации его на быстроиндексируемом сайте. Однако, с нововведением Google, это уже в прошлом. Сейчас возможно отправлять странички в Google не только на индексацию, но и прямо в результаты поиска. Делается это очень и очень просто.
- Заходим в кабинет вебмастера Google -
- На главной странице Инструментов для веб-мастеров выберите нужный сайт (страницы которого нужно вогнать в индекс)
- На левой панели находим функцию Просмотреть как Googlebot
- В появившемся текстовом поле указываем путь к новой страничке в интернете
- В раскрывающемся списке не трогаем (установленный по умолчанию) Веб
- Нажимаем Получить содержание (Google получит содержание указанного URL, несколько раз перезагрузив страницу; не спешите ничего нажимать, этот процесс может занять до 10-15 минут).
- Когда получим сообщение об успешном получении содержимого, нам станет доступна кнопочка Добавить в индекс - нажимаем на нее.
- Нам предложат выбрать одно из двух:
Чтобы добавить отдельный URL в индекс Google, выберите URL и нажмите Отправить (используя этот способ, можно добавлять до 500 URL в неделю)
Чтобы добавить URL и все страницы, на которые он ссылается, выберите URL и все связанные страницы (можно отправлять до 10 таких запросов в месяц)
Непосредственно в кабинете вебмастеров Google это выглядит примерно так:
На официальной страничке документации - нового метода, где подчеркнуты его главные приимущества:
Попасть в результаты поиска Google просто. Не нужно ничего платить, не нужно даже отправлять свой сайт в Google
ясно указано, что
Google не может гарантировать, что все просканированные URL будут включены в индекс.
это подразумевает, что гарантии индексации новой странички в интернете такие же, как и при обычном сканировании поисковыми роботами. Никаких гарантий, что бредовые тексты, машинные и не несущие никакой полезной нагрузки будут попадать в индекс поисковой системы.
Как быстро индексируется страничка в Google?
Нигде не указано, сколько именно времени должно пройти, прежде чем страничка, указанная поисковым паукам, будет проиндексирована и доступна в поиске. Однако, собственные эксперименты показывают, что это происходит сразу . Что именно я вкладываю в слово "сразу "?
По неизвестным причинам, страница, добавленная на индексацию через Googlebot попадает в индекс от мгновенно (пару секунд) до нескольких минут (5-10). В целях эксперимента добавлялись в индекс такие страницы на редкообновляемых сайтах, которые самостоятельно не индексировались в Google по 4-6 дней (и успешно появлялись в индексе сразу же). Лишь в некоторых случаях, единичных, страничка вообще не появлялась в индексе. Впоследствии, она появлялась сама по себе, видимо во время очередного визита другого паука на сайт.
Такой вот подарок от Google любителям мгновенной индексации! Надеюсь, мои советы станут вам полезными!
Вконтакте
Оцените материал:Нередко возникает такая ситуация, когда нужно как можно быстрее проиндексировать сайт в Гугл. Также часто возникает необходимость проверки индексации сайта в поисковой системе Google.
Дело в том, что имеет место такое явление, как «выпадение страниц». Это способно спровоцировать потерю трафика, что, мягко говоря, негативно повлияет на ряд факторов. Для того, чтобы избежать подобных проблем, необходимо проверять, проиндексирован ли сайт. И это даже не рекомендация вебмастеру, а вынужденная мера и призыв к действию.
Особенности индексации в Google
Интернет – это необъятный океан различной информации, которая обязательно строго структурирована и находится на отведенном ей месте. Такая безупречная каталогизация возможна благодаря работе поисковых систем. В них хранятся важные данные о каждой странице всех имеющихся сайтов, что позволяет быстро находить пользователю нужную ему информацию.
Так как Интернет ежедневно пополняется огромным количеством новой информации на страницах сайтов, даже самые продвинутые поисковые системы не могут сразу выполнить их индексацию. На наиболее посещаемых сайтах обновление данных в поисковых системах производится ежедневно, а на всех остальных – еженедельно.
Индексация сайта в Гугле – самая быстрая индексация среди всех остальных . В зависимости от ряда параметров, Гугл способен вносить в свою поисковую базу данные о произошедших обновлениях на сайтах даже в течение нескольких часов. Индексация включает добавление ряда важной информации о материалах сайта: ключевые слова, ссылки и пр.
Все web ресурсы индексируются с разной скоростью. На то, как быстро поисковая машина посетит сайт и внесет в свою базу данных информацию об изменениях на страницах, влияет ряд факторов. Предположим, если Гугл определит, что сайт посвящен новостям, то он будет регулярно индексироваться быстроботом – буквально каждые несколько часов . Существуют разные способы, при помощи которых можно добавить сайт на индексацию в Гугл. Например, для того, чтобы ускорить попадание сайта в индекс, часто используется один из действенных способов – размещение внешних ссылок на страницах, которые уже проиндексированы.
Когда поисковая машина Google посетила сайт, отметила все необходимые данные и внесла информацию в базу данных, системой осуществляется ранжирование авторитетности . Что оно из себя представляет? Ранжирование авторитетности – это выполнение сортировки по определенным параметрам. Авторитетность (PageRank), в свою очередь, определяется количеством и качеством ссылок, ведущих на сайт с других ресурсов. Выходит, что тот сайт, на который ведет большее количество ссылок, является более авторитетным. Чем выше авторитетность, тем выше и важность ресурса, определяемая ранжированием.
Непосредственное влияние на индексацию сайта оказывает:
- количество посетителей;
- релевантность страницы – соответствие поисковым запросам пользователей, достигаемое определенной пропорцией ключевых слов в тексте или мета-тегах;
- внутренняя оптимизация.
Показатель PageRank может быть от 0 до 10. Для наиболее «продвинутых» сайтов обычно соответствует показатель 4-5. А вот сам Google имеет по шкале авторитетности 10. На данный момент тулбарный показатель PR отключен .
Те сайты, которые обладают высоким показателем авторитетности, располагаются в поисковой выдаче как можно выше. Следует учесть, что каждая страница одного сайта имеет свой показатель авторитетности, поэтому и место в выдаче будет для каждой страницы свое.
Как проверить индексацию сайта в Гугле с оператором «site:»
Мы уже разобрались с тем, что индексация сайта очень важна. С помощью определенных действий можно проверить проиндексирован ли сайт в Гугл. Существует много программ и сервисов, которые помогают в этом.
Один из способов проверки индексации в Гугл – это выполнить установку тулбара Google в браузер, после чего в правой верхней странице будет видна специальная диаграмма. Она выводит показатель авторитетности страницы сайта.
Еще один надежный способ для google – оператор «site:». Не забываем, что индексация Гугл является зависимой от географического положения, что влияет на количество страниц в индексе для google.ru и google.com.
Итак, как пользоваться данным оператором для проверки индексации:
- К оператору «site:» нужно добавить url интересующего домена. Между ними не должно быть пробелов. Выглядит это так: site:google.ru.
- Поиск по всему домену или отдельному каталогу: site: google.com/webmasters.
- Можно осуществлять и избирательный поиск. Для того, чтобы исключить ненужные страницы, перед оператором нужно поставить знак «-». Выглядит это следующим образом: site:google.ru -site: adwords. google.com.
Для того, чтобы определить индексацию страницы со ссылкой на главную сайта с помощью www.google.ru, можно воспользоваться запросами link:google.ru или link:www. Первый поиск всегда выдает гораздо больше результатов.
Поиск ссылок на определенные страницы сайта можно выполнить по запросу: link:google.ru/webmasters.
Оператор «cache:» и индексация страниц
Оператор «cache:» предоставляет информацию проиндексированной Гуглом архивированной копии страницы. С помощью запроса cache:google.ru можно увидеть самую последнюю проиндексированную версию главной страницы сайта и информацию, отображающую дату создания КЭШа. В ней можно посмотреть ту версию страницы, в которой имеется обычный текст, а это очень удобно потому, что дает возможность увидеть ресурс так, как его видит Googlebot.
С помощью команды «метатег noarchive» есть возможность ограничить доступ пользователей к результатам поиска КЭШ-версии любой страницы сайта. Тем не менее, индексация Гуглом будет продолжаться.
Оператор «related:» и поиск ресурсов, подобных сайту
С помощью оператора «related:» есть возможность быстро отыскать ресурсы, которые подобны определенному сайту. Обычно применяется для ресурсов, по разным критериям пересекающихся.
Несмотря на то, что по различным показателям можно выявить схожие ресурсы, их качество не повлияет на саму индексацию страниц Гуглом.
Таким образом, мы разобрали несколько наиболее популярных, быстрых и надежных способов проверки индексации сайта. Пользоваться можно тем, который наиболее предпочтительный для вебмастера. Каждый из представленных методов проверенный и эффективный.
Что такое индексирование сайта? Как оно происходит? На эти и другие вопросы вы можете найти ответы в статье. в поисковых системах) называют процесс приобщения информации о сайте к базе данных роботом поисковой машины, которая впоследствии используется для розыска сведений на веб-проектах, прошедших такую процедуру.
Данные о веб-ресурсах чаще всего состоят из ключевых слов, статей, ссылок, документов. Индексироваться также могут аудио, изображения и так далее. Известно, что алгоритм выявления ключевых слов зависим от поискового устройства.
На типы индексируемой информации (flash файлы, javascript) существует некоторая лимитация.
Управление приобщением
Индексирование сайта - сложный процесс. Чтобы им управлять (к примеру, запрещать приобщение той или иной страницы), нужно использовать файл robots.txt и такие предписания, как Allow, Disallow, Crawl-delay, User-agent и другие.
Также для ведения индексации применяют теги
В поисковой системе Goglle новые сайты индексируются от пары дней до одной недели, а в Яндексе - от одной недели до четырёх.
Вы желаете, чтобы ваш сайт показывался в запросах результатов поисковиков? Тогда он должен быть обработан «Рамблером», «Яндексом», Google, Yahoo и так далее. Вы должны сообщить поисковым машинам (паукам, системам) о существовании вашего веб-узла, и тогда они просканируют его полностью или частично.
Многие сайты не индексируются годами. Информацию, которая на них находится, не видит никто, кроме их владельцев.
Способы обработки
Индексирование сайта может выполняться несколькими способами:
- Первым вариантом является ручное добавление. Вам нужно ввести данные своего сайта через особые формы, предлагаемые поисковиками.
- Во втором случае робот поисковой машины сам находит ваш веб-узел по ссылкам и индексирует его. Он может разыскать ваш сайт по ссылкам с других ресурсов, которые ведут на ваш проект. Этот способ наиболее эффективен. Если поисковик нашёл сайт таким образом, он считает его значительным.
Сроки
Индексирование сайта происходит не слишком быстро. Сроки разные, от 1-2 недель. Ссылки с авторитетных ресурсов (с великолепным PR и Тиц) значительно ускоряют размещение сайта в базе поисковиков. Сегодня самым медленным считается Google, хотя до 2012 года он мог выполнять эту работу за неделю. К сожалению, всё очень быстро меняется. Известно, что Mail.ru работает с веб-узлами в этой области около полугода.
Индексирование сайта в поисковиках осуществить способен не каждый специалист. На сроки добавления в базу новых страниц уже обработанного поисковиками сайта влияет частота корректировки его контента. Если на ресурсе постоянно появляется свежая информация, система считает его часто обновляемым и полезным для людей. В этом случае её работа ускоряется.
За ходом индексации веб-узла можно следить на особых разделах для веб-мастеров или на поисковиках.
Изменения
Итак, мы уже разобрались, как происходит индексирование сайта. Необходимо отметить, что базы данных поисковиков часто обновляются. Поэтому количество добавленных в них страниц вашего проекта может меняться (как уменьшаться, так и увеличиваться) по следующим причинам:
- санкции поисковика к веб-узлу;
- наличие погрешностей на сайте;
- изменение алгоритмов поисковиков;
- отвратительный хостинг (недосягаемость сервера, на котором находится проект) и так далее.
Ответы «Яндекса» на обычные вопросы
«Яндекс» - поисковая система, которой пользуются многие пользователи. Она занимает пятое место среди розыскных систем мира по числу обработанных исследовательских запросов. Если вы в неё добавили сайт, он может слишком долго добавляться в базу.
Добавление URL не гарантирует его индексацию. Это лишь один из методов, с помощью которого сообщают роботу системы о том, что появился новый ресурс. Если на сайт отсутствуют ссылки с других веб-узлов или их немного, добавление поможет его быстрее обнаружить.
Если индексация не произошла, нужно проверить, не было ли на сервере сбоев в момент создания ему заявки от робота «Яндекса». Если сервер сообщает об ошибке, робот завершит свою работу и попытается её выполнить в порядке всестороннего обхода. Работники «Яндекса» не могут увеличить скорость добавления страниц в базу поисковика.
Индексирование сайта в «Яндексе» - довольно-таки сложное занятие. Вы не знаете как добавить ресурс в поисковую систему? Если на него имеются ссылки с других веб-узлов, то добавлять специально сайт не требуется - робот его автоматически разыщет и проиндексирует. Если у вас нет таких ссылок, можно использовать форму «Добавить URL», чтобы заявить поисковику о существовании веб-узла.
Необходимо помнить, что добавление URL не гарантирует индексацию вашего творения (или её скорость).
Многим интересно, сколько времени занимает индексирование сайта в «Яндексе». Сотрудники этой компании не дают гарантий и не прогнозируют сроки. Как правило, с тех пор, как робот узнал о сайте, страницы его в поиске появляются через два дня, иногда - через пару недель.
Процесс обработки
«Яндекс» - поисковая система, требующая точности и внимания. Индексация сайта состоит из трёх частей:
- Поисковый робот выполняет обход страниц ресурса.
- Содержимое (контент) сайта записывается в базу данных (индекс) розыскной системы.
- Через 2-4 недели, после обновления базы, можно увидеть результаты. Ваш сайт появится (или не появится) в поисковой выдаче.
Проверка индексации
Как проверить индексацию сайта? Выполнить это можно тремя способами:
- Введите наименование своего предприятия в строке поиска (к примеру, «Яндекса») и проверьте каждую ссылку на первой и второй странице. Если вы обнаружите там URL своего детища, значит, робот свою задачу выполнил.
- Можно ввести URL своего сайта в розыскной строке. Вы сможете увидеть, сколько интернет-листов показывается, то есть проиндексировано.
- Зарегистрируйтесь на страницах веб-мастеров в Mail.ru, «Гугле», «Яндексе». После того как вы пройдёте верификацию сайта, вы сможете увидеть и итоги индексации, и иные сервисы поисковиков, созданные для улучшения работы вашего ресурса.
Почему «Яндекс» отказывает?
Индексирование сайта в Google осуществляется следующим образом: робот в базу данных заносит все страницы сайта, некачественные и качественные, не выбирая. Но в ранжировании участвуют лишь полезные документы. А «Яндекс» весь веб-хлам исключает сразу же. Он может проиндексировать любую страницу, но поисковик со временем ликвидирует весь мусор.
У обеих систем имеется добавочный индекс. И у той, и у другой страницы низкого качества влияют на рейтинг веб-узла в целом. Здесь работает простая философия. Излюбленные ресурсы конкретного пользователя будут занимать более высокие позиции в его выдаче. Зато этот же индивидуум с трудом отыщет сайт, который ему в прошлый раз не понравился.
Именно поэтому сперва необходимо от индексации прикрыть копии веб-документов, проинспектировать наличие пустых страниц и не пускать в выдачу некачественный контент.
Ускорение работы «Яндекса»
Как можно ускорить индексирование сайта в «Яндексе»? Необходимо выполнить следующие шаги:
Промежуточные действия
Что необходимо выполнить, пока веб-страница «Яндексом» не проиндексирована? Отечественный поисковик должен считать сайт первоисточником. Именно поэтому ещё до публикации статьи обязательно необходимо добавить её содержание в форму «Специфичных текстов». В противном случае плагиаторы скопируют запись на свой ресурс и окажутся в базе данных первыми. В итоге признаны авторами будут они.
База данных Google
Запрещение
Что собой представляет запрет индексирования сайта? Вы можете наложить его как на всю страницу, так и на отдельную её часть (ссылку или кусок текста). Фактически существует как глобальный запрет индексации, так и локальный. Как это реализуется?
Рассмотрим запрет добавления в базу поисковика веб-узла в Robots.txt. С помощью файла robots.txt можно исключить индексацию одной страницы или целой рубрики ресурса так:
- User-agent: *
- Disallow: /kolobok.html
- Disallow: /foto/
Первый пункт говорит о том, что инструкции определены для всех ПС, второй указывает на запрет индексации файла kolobok.html, а третий - не разрешает добавление в базу всей начинки папки foto. Если нужно исключить несколько страниц или папок, укажите их все в «Роботсе».
Для того чтобы воспрепятствовать индексации отдельного интернет-листа, можно применить мета-тег robots. Он отличается от robots.txt тем, что даёт указания сразу всем ПС. Этот мета-тег подчиняется общим принципам формата html. Его нужно размещать в заголовке страницы между Запись для запрета, к примеру, может быть написана так: .
Ajax
А как проводит индексирование Ajax-сайтов Yandex? Сегодня технологией Ajax пользуются многие разработчики веб-узлов. Конечно, у неё есть большие возможности. С помощью неё можно создавать быстродействующие и производительные интерактивные веб-страницы.
Однако системы веб-лист «видит» не так, как пользователь и браузер. К примеру, человек смотрит на комфортный интерфейс с подвижно подгружаемыми интернет-листами. Для поискового робота содержимое той же страницы может быть порожним или представленным как остальной статический HTML-контент, для генерации которого скрипты не идут в дело.
Для создания Ajax-сайтов можно применять URL с #, но его робот-поисковик не использует. Обычно часть URL после # отделяется. Это нужно учитывать. Поэтому взамен URL вида http://site.ru/#example он делает заявку главной странице ресурса, размещённой по адресу http://site.ru. Это значит, что контент интернет-листа может не попасть в базу данных. В итоге он не окажется в результатах поиска.
Для усовершенствования индексации Ajax-сайтов «Яндекс» поддержал изменения в поисковом роботе и правилах обработки URL таких веб-узлов. Сегодня веб-мастера могут указать поисковику «Яндекса» на необходимость индексации, создав соответствующую схему в структуре ресурса. Для этого необходимо:
- Заменить в URL страниц символ # на #!. Теперь робот поймёт, что он сможет обратиться за HTML-версией наполнения этого интернет-листа.
- HTML-версия контента такой страницы должна быть размещена на URL, где #! заменён на?_escaped_fragment_=.
