Наверное, не нужно говорить о том, что сам официальный сайт и службу поиска под названием «Яндекс» знают если не все, то хотя бы те пользователи, которые регулярно что-то ищут в интернете. Но вот о том, что собой представляет обновление поисковой базы «Яндекса», догадываются немногие. Посмотрим, что это вообще такое и зачем применять такие апдейты на практике.

Зачем и кому нужно обновление поисковой базы «Яндекса»

Сразу же хочется предупредить всех пользователей: если вы не являетесь владельцем сайта или хостинга, информация, поданная далее, на практике вам не пригодится. И вот почему.

Дело тут в том, что обновление поиска, в смысле его алгоритмов, отражается только на функционале самого сайта. Иными словами, в этом должен быть заинтересован сам создатель, причем только лишь с той целью, чтобы его страница вошла в первую пятерку или десятку поисковых результатов, запрашиваемых пользователями самой системы.

Если говорить проще, обновление поисковой базы «Яндекса» способствует только тому, что ваш ресурс в результате поиска окажется на первой странице. Как показывает статистика, очень немногие юзеры переходят на вторую или третью страницу, чтобы прочитать ту или иную статью. Чаще всего они останавливаются на первой и кликают по наиболее популярным ссылкам, находящимся вверху списка.

Обновление поисковой базы «Яндекс»: как часто это происходит?

Что до самих апдейтов, в принципе, тут все зависит от разработчика, и предугадать выход нового обновления просто невозможно. Конечно, система сообщит владельцу того же хостинга о том, что на данный момент произошло обновление поисковой базы «Яндекса», но не более того.

Увы, об остальном приходится только догадываться. В этом смысле многие пользователи, размещающие свои страницы под патронатом «Яндекса» (даже с использованием электронных кошельков), и не любят этот сервис. Тут скорее играет фактор непредсказуемости, ведь само обновление поисковой базы «Яндекса» может сыграть с владельцем хостинга злую шутку. Тут ситуация такова, что после апдейта какой-либо проплаченный для поиска сайт вообще может исчезнуть из предлагаемых результатов. Это уже, извините, кривые руки самих разработчиков. Тем не менее не все так плохо. Давайте посмотрим на сам вопрос обновления несколько шире.

Основные виды обновлений

Пока вопрос, связанный с тем, как часто происходит обновление поисковой системы «Яндекса», оставим в стороне, а посмотрим именно на то, каким оно бывает, чтобы в данной проблеме не было, так сказать, недомолвок.

Как оказывается, среди всего того многообразия, которое предлагается сервисной службой, изначально можно выделить наиболее востребованные:

• обновление текстовое (в число апдейта попадают новые текстовые документы на заданную тематику);
• апдейты с учетом ссылок (когда сайт попадает в результат поиска по заданному адресу или критерию);
• ранжирование, которое негативно воспринимают специалисты в области SEO, поскольку может быть введен бан за использование накрутки так называемых поведенческих факторов;
• favicon вообще не обсуждается - установившим его ничего хорошего при обновлении «не светит»;
• апдейт службы по трафику с использованием графических материалов;
• обновление русскоязычных запросов;
• апдейт базы тематических запросов;
• индекс популярности Rank.

Все ли учитывается?

В связи со всем вышеизложенным можно сделать вывод о том, как периодичность обновления поисковой системы «Яндекса» влияет на все остальное.

В данном случае имеется в виду регистрация страниц, которые попадают под какой-либо критерий. Как оказывается, самая главная проблема поисковой системы, например, при текстовом или ссылочном обновлении, состоит в том, что она не сразу принимает входящий запрос, как предполагалось бы, а формирует его только к публикации при следующем апдейте. А даты обновления поисковой базы «Яндекса», как правило, неизвестны никому, кроме их создателей. Вот и получается ситуация, когда новые страницы в смысле ссылок или текстовой информации, на них опубликованной, не видит никто. Но и это еще не все. Дело в том, что и периодичность обновления поисковой базы «Яндекса» тоже вызывает законные сомнения.

Попробуем сравнить две популярные поисковые системы, созданные, как говорится, по образу и подобию. Это «Яндекс» и Google. Не секрет, что первая разрабатывалась на основе второй.

Тут самое главное отличие и основная проблема состоит в так называемом ранжировании. Если «гугловкий» сервис способен воспринимать новую ссылку, текстовый или графический документ практически моментально, «Яндексу» на это требуется достаточно большой временной промежуток (как правило, дней тридцать, не меньше, и то до того, как выйдет следующий апдейт). Вот и получается, что владелец ресурса или хостинга не может рассчитывать на тот фактор, что его страница завтра же окажется в числе наиболее популярных запросов.

Понятие «шторма»

Теперь остановимся еще на одном понятии, называемом «штормом». Этот термин обозначает степень выдачи запросов непосредственно в период обновления.

Считается, что:

• 5-15% - слабый сайт;
• 15-20% - средний уровень;
• 20-40% - надежный ресурс;
• свыше 40% - обновление алгоритмов ставит ресурс на пик популярности.

Вообще, если «штормит», это значит, что сам сервис находится в процессе обновления, с регистрацией входящих запросов и переадресацией их на уровень поисковой машины. Как уже понятно, это работает не всегда, а то и не работает вообще.

Даты апдейтов

Что же касается самого апдейта, когда будет следующее обновление поисковой базы «Яндекса», не знает никто, быть может, даже сами разработчики. Удивительно, но периодичность апдейтов не вписывается ни в какие рамки.

Только поэтому владельцам сайтов и хостингов стоит переходить на другие регистрационные ресурсы, а то ведь, чего доброго, из лидера в поиске можно скатиться до самой низшей позиции. Как часто происходит обновление поисковой базы «Яндекса»? Пожалуй, об этом лучше спросить самих владельцев или разработчиков сервиса.

И все это только из-за того, что апдейт не работает корректно или отсутствует вообще. Но проблемы могут быть в самих настройках, которые по понятным причинам сейчас не рассматриваются.

Заключение

Что же касается итога, тут можно просто развести руками: как видим, сервис хоть и является одним из самых популярных, тем не менее, увы, несостоятелен в плане установки обновлений собственной базы данных. Так что о том, что пользователь, решивший найти какую-то информацию в интернете или продвинуть собственный сайт, получит максимально свежую информацию, и говорить не приходится. Тут-то и играет роль обновление поисковой базы «Яндекса». Как часто это происходит или должно происходить, неизвестно, ведь все зависит именно от разработчика.

С другой стороны, собственно, и сама служба поиска, основанная на «гугловских» технологиях, по сравнению с оригиналом, не выдерживает никакой критики. Другое дело, что и та, и другая служба достаточно коварны в плане слежки за интернет-серфером. Не приходилось видеть, когда в браузере выдается ваш последний запрос в виде рекламной ссылки? Да что говорить, даже при наличии «учетки» обоих сервисов эти же баннеры могут вылезти и на мобильном телефоне или планшете. А ведь это здорово отвлекает, если не сказать хуже…

Наконец, и сами владельцы ресурсов в данном случае подвержены безосновательному риску. Не секрет, что за все нужно платить. Чтобы твоя страница стала популярной в сети - тоже. Деньги немалые. Каково же удивление, когда, вбивая условие поиска, потом не находишь даже собственного ресурса? Вот тут и приходит время задуматься о том, насколько целесообразным было использование «Яндекса» в качестве основного хостинга. Впрочем, такая ситуация проявляется не всегда: у кого-то все работает, у кого-то - нет. Дело, как говорится, житейское.

Но в любом случае (об этом, кстати, говорят многие пользователи сервиса), если компания не изменит политику в отношении обновлений, вряд ли стоит рассчитывать на привлечение новых клиентов. Тут бы старых не потерять…

Всем привет, друзья!
Так как у меня есть время, то начал писать практически каждый день. И в сегодняшней статье вы узнаете о том, что такое апдейт, какие есть виды апдейтов и где их можно посмотреть. Если вы новичок и совсем недавно создали свой первый сайт, то вам эту статью будет полезно почитать.

Апдейт – это обновление базы поисковиков. Апдейт еще называют апом или на английском update. Существуют несколько видов апдейтов:

• Текстовый апдейт;
• Ссылочный апдейт;
• Апдейт Тиц;
• Апдейт PR;
• Апдейт Яндекс.Каталога;
• Апдейт поведенческих факторов;
• Апдейт поисковой базы картинок;
• Апдейт зеркальщика;
• Апдейт фавиконов;
• Обновление поискового алгоритма.

Текстовый апдейт - учитываются все внутренние изменения, которые были найдены поисковым роботом в интернете.

Например, вы написали новую статью на своем сайте под определенный поисковый запрос. Робот в любой момент может зайти на ваш ресурс и проиндексировать новый пост, но позиции сайта по этому запросу сразу же не изменятся. Они могут изменится только после текстового апдейта. То есть при таком обновлении учитываются все изменения, которые были сделаны вами внутри сайта. Текстовый update существует только для Яндекса. Что касается Гугла, то там обновления происходят очень часто и их никто даже не отслеживает.

Ссылочный апдейт – несложно догадаться, что происходит обновление ссылок:smile:. Например, вы решили купить несколько линков на свой ресурс. Не думайте, что на следующий день позиции сайта резко поднимутся вверх. Нет. Они могут измениться только после ссылочного апдейта. Многие новички этого не понимают, и каждый день проверяют позиции. Для того, чтобы ссылка начала работать, нужно, чтобы прошел хотя бы месяц.

Апдейт Тиц – при обновлении учитываются поисковой системой Яндекс все внешние ссылки. На основе их количества и качества сайту присваивается тематический индекс цитирования.

Update Тиц происходит примерно раз в два месяца. Где его посмотреть я напишу немного позже. Кстати, можете прочитать две статьи, которые я писал ранее: « ?» и « ?» Сегодня как раз апдейт Тиц и мой блог получил первую десятку:smile:.

Апдейт PR . Здесь примерно все, то же самое что и в предыдущем случаи, только Тиц присваивается Яндексом и целому сайту, а PR Гуглом и каждой странице отдельно.

Вообще PR – это довольно таки странный показатель и при покупке ссылок я не обращаю на него внимания. Во-первых, он очень редко обновляется (примерно раз в полгода), а во-вторых, как-то нечестно присваивается этот показатель. В молодых сайтов после первого апа PR может выстрелить 4, а у авторитетных ресурсов, с приличной ссылочной массой, так и остаться 0.

Обновление Яндекс Каталога. Существует Каталог, где, по мнению Яндекса, присутствуют самые качественные ресурсы Рунета. Туда можно попасть как бесплатно (но очень сложно), как и платно за 15 000 рублей.

Обновление каталога происходит очень часто, в среднем 1 раз в два дня. Не сложно догадаться, что во время update некоторые сайты попадают в этот каталог, некоторые выпадают. Не понимаю, зачем так часто его обновлять? Лучше бы Тиц обновлялся хотя бы раз в неделю:smile:.

Апдейт поведенческих факторов. – это то, как ведет себя пользователь на блоге. К ним можно отнести в выдаче, количество просмотренных страниц, время прибывание на сайте и т. д. Если, например, на вашем ресурсе улучшаться поведенческие факторы, то рост позиций вы можете заметить только после update.

Обновление поисковой базы картинок. Дело в том, что в поисковиках существует специальный робот, который отвечает за индексацию изображений. Поэтому выдача по картинкам изменяется только после специального апа. Для того чтобы узнать, какие картинки вашего ресурса уже проиндексированы поисковиками, достаточно ввести в поиске по картинкам такой адрес:
site:сайт
Он работает как для Яндекса так и для Гугла.

Апдейт зеркальщика. Каждый ресурс должен иметь главное зеркало сайта с www или без. Его можно указать в файле robots.txt, в панелях для вебмастеров и с помощью 301 редиректа. Кстати, последний способ самый надежный. Так вот, существует специальный робот, который отвечает за главное зеркало. И даже если вы смените главное зеркало своего ресурса, склейка произойдет только после update.

Так, вот, даже если вы и сделаете фавикон для своего ресурса, но в выдаче Яндекса он появится только после update.

Обновление поискового алгоритма. Иногда случается такое, что поисковые системы вносят изменения в свои алгоритмы. Например, они могут додать или убрать какой-нибудь фактор ранжирования, а могут просто послабить его влияние на выдачу. После обновления алгоритмов, как правило, существенно изменяется выдача. Таким образом, некоторые ресурсы проседают в низ, некоторые наоборот выстреливают. Если на вашем сайте резко упала или увеличилась посещаемость с какой-нибудь поисковой системы, то вполне возможно, что поменялись алгоритмы.

Что такое апдейт и какие они бывают, думаю, понятно, переходим к следующему вопросу.

Где отслеживать update

На сайте tools.promosite.ru предоставлена информация по апам, можно даже посмотреть update поведенческих факторов, чего я не наблюдал на предыдущих ресурсах.

Если ваш блог добавлен в Яндекс Вебмастер, то вы можете указать в настройках, чтобы вам на почту приходило сообщение после апов:

На этом все! Теперь вы знаете, что такое апдейт Яндекса и как его проверить. Удачи вам, друзья!

Термин “апдейт” происходит от английского слова “update”, что в переводе означает “обновление”. Когда это слово применяется к поисковой системе, имеется в виду обновление содержимого выдачи.

В этой статье мы расскажем о типах апдейтов Яндекса. Вы узнаете, какие обновления происходят периодически у этого поисковика и сможете лучше понимать, как Яндекс индексирует сайт. Кроме этого, мы расскажем о том, как часто это происходит, что позволит прогнозировать изменения в поисковой выдаче.

Это самое частое обновление Яндекса, который производится в среднем раз в неделю. При нём обновляется текстовое содержимое поисковой выдачи.

Таким образом, если в текст страницы были внесены какие-либо изменения, например, добавлены мета-теги в сниппет, то именно текстовый апдейт поисковика занесёт эти новшества в базу Яндекса. Также после текстового обновления можно ждать появления новых страниц в поисковой выдаче, которые были опубликованы недавно.

Новички часто разочаровываются, внося изменения в текст страниц, и не наблюдая этих новшеств в поисковой выдаче. Однако, как уже стало понятно, нужно просто дождаться текстового апдейта.

Ссылочный апдейт

Ссылочное обновление происходит реже, чем текстовые. В среднем, практика показывает, что это бывает 1-2 раза в месяц.

С этим пересчётом Яндекс обновляет анкор-листы. Таким образом, если на сайт была поставлена внешняя ссылка, то увидеть её в кабинете вебмастера можно только после ссылочного обновления. От ссылочного апдейта, конечно же, может измениться и .

Практика также показывает, что апдейты для внешних и внутренних ссылок могут происходить в разное время. Но периодичность их примерно одинаковая.

Апдейт поведенческих факторов

Типы апдейтов Яндекса продолжает тот, который пересчитывает . Всего у поисковика есть два обновления ПФ – микро и макро:

• Микро – происходит часто и пересчитывает небольшие статистические данные.
• Макро – происходи примерно раз в полгода, и пересчитывает все статические данные, которые относятся к поведенческим факторам. После этого пересчёта ранжирование может измениться значительно.

Пересчёт поведенческих факторов позволят понять, насколько было улучшено , если проводилась его оптимизация. Именно макро-апдейт даст максимальное понятие об этом.

Апдейт статистических данных

В первую очередь - это изменение ТИЦ, которого все так ждут (вернее ждали). Изменение ТИЦ Яндекс не проводил уже давно, и, вероятно, этот показатель скоро будет удалён из поисковика и перестанет учитываться.

Кроме ТИЦ с этим пересчётом обновляются и другие данные, такие как HostRank, BrowseRank и ВИЦ. Для пересчёта всех этих данных Яндексу требуются значительные ресурсы и время, так как в них учитывается большое количество статистики. Поэтому статистический апдейт происходит редко – средний показатель раз в полгода.

Классификационный апдейт

Яндекс классифицирует сайты по разным параметрам. И обновление этих данных происходит при классификационном апдейте.

Так, поисковик учитывает такие параметры классификации:

• География.
• Языковая принадлежность.
• Тематика – новостная, информационная, коммерческая, адалт и др.
• И многое другое.

Обновление происходит в среднем раз в 1-2 месяца.

Таким образом, если у сайта изменился регион (или другой показатель, который классифицируется Яндексом), то ждать изменений в поиске потребуется 1-2 месяца.

Апдейты фильтров

Их ждут миллионы вебмастеров, которые со своими сайтами попали под те или иные фильтры. Для каждого фильтра периодичность своя и может значительно варьироваться, до полугода.

Таким образом, если от Яндекса были наложены за что-то автоматические санкции, то именно обновление по фильтрам их снимет (если, конечно же, устранены причины наложения фильтра). Однако, иногда можно не ждать этого, и имеет смысл написать в поддержку Яндекс Вебмастера с просьбой вручную убрать санкции. В некоторых ситуациях это помогает.

Прочие апдейты

Яндекс - это огромная машина, и её обновления не ограничиваются лишь теми, которые были описаны выше. Однако, именно они являются самыми важными для посещаемости и долгожданными у вебмастеров.

Есть и другие апдейты, которые так или иначе бывают ожидаемыми:

• Поиск по картинкам.
• Иконка (фавикон).
• Расклейка и склейка зеркала.
• Индексация видео-контента.
• Индексация комментариев к статьям.
• Валидность кода страниц.
• Мобильные сервисы.
• Яндекс Директ, если используется реклама.
• И многие другие.

Итак, теперь вы знаете, какие бывают типы апдейтов Яндекса. Следует поднимать, что все изменения на сайте учитываются поисковиком, но на это ему нужно некоторое время.

В среде профессиональных web-мастеров можно часто услышать такое выражение, как апдейт или АП Яндекса. Естественно, что с этим понятием знакомы не многие из вас, поэтому я постараюсь рассказать вам об апдейтах Яндекса подробнее.

Что такое Апдейт Яндекса

Итак, что такое апдейт Яндекса? Само слово апдейт является англоязычным и переводится как обновление, т.е. когда говорят апдейт Яндекса, подразумевают его обновление. Стало немного понятнее, но вырисовывается встречный вопрос – а что же такого обновляет Яндекс?

На самом деле апдейтов Яндекса очень много, но о них я расскажу немного ниже, а сейчас, чтобы помочь вам понять общее определение АПа, я приведу такой пример: вы добавляете свой сайт в поиск Яндекса, и через какое-то время он там появляется. Это значит, что произошел АП Яндекса.

Или вот такой пример: добавляя новые статьи на сайт, они отсутствуют в поиске, но со временем тоже там появляются, значит, произошел апдейт. Иными словами апдейт Яндекса это обновление поисковой базы Яндекса, которая пополняется новыми сайтами и страницами.

Какие виды апдейтов Яндекса бывают

Думаю, в вашей голове появилась более четкая картина того, что такое АП Яндекса, поэтому самое время рассмотреть виды апдейтов.

Апдейт поисковой выдачи . Чтобы объяснить, что это за вид апдейта, приведу пример: вы вбиваете в поиск какой-то запрос, и перед вами выводится ТОП 10 сайтов по этим запросам.

Если вы введете этот же запрос где-то через неделю, то вполне вероятно, что сайт, находившийся по этому запросу на 10 месте может оказаться, к примеру, на 8 месте, или же, напротив, вместо этого сайта на 10 месте может оказаться совершенно другой сайт, которого ранее не было в ТОП 10.

Почему же так? Потому что произошел апдейт поисковой выдачи, и Яндекс посчитал, что этому сайту не место в ТОП 10 и поставил на его место другой ресурс. Т.е. определение АПа выдачи звучит следующим образом – это изменение позиций сайтов в поисковой выдаче.

Иногда Яндекс может поставить ваш сайт выше других, иногда понизить в позициях, а может и оставить без изменений.

Текстовый апдейт . Тут думаю, вы и сами догадаетесь, что происходит апдейт текста (новых статей). Несмотря на то, что у вас уже есть проиндексированные статьи в поиске, поисковый робот продолжает сканировать их на случай, если вы внесете какие-либо изменения, а также следит за появлением нового текстового материала, чтобы проиндексировать их и добавить в поиск.

Ссылочный апдейт . Здесь думаю тоже все понятно. Яндекс сканирует ссылки, ведущие на ваш сайт, и решает, какие из них индексировать, а какие нет.

Вообще перечисленные мной выше апдейты тесно связаны между собой. Например, вы добавили много статей и закупили ссылки.

Яндексу необходимо все это проверить и проиндексировать, а также решить, на какую позицию разместить вашу статью, поэтому он начинает проводить апдейты. Как правило, все эти АПы проходят в одно время, хотя бывают и случаи, когда они проходят по отдельности.

Также есть еще следующие виды апдейтов:

Апдейт ТИЦ . ТИЦ это такой параметр, присваиваемый Яндексом, и чем он больше, тем лучше. Обычно этот параметр важен для веб-мастеров, которые монетизируют свой сайт, продавая с него ссылки.

Апдейт Favicon . Favicon- это маленькая графическая иконка сайта. Пользуясь поиском, вы наверняка замечали, что рядом с каждым сайтом есть маленькая иконка, так вот эта иконка и есть favicon, которую Яндекс также иногда обновляет:

Когда проходят апдейты Яндекса

С апдейтами мы вроде как более менее разобрались, осталось только уточнить, а когда же они проходят? Однозначного ответа на этот вопрос дать нельзя, так как Яндекс непредсказуем, однако я все же попробую ответить.

Понятное дело, что работу над своими сайтами веб-мастера ведут каждый день, поэтому такие виды апдейтов, как АП выдачи, а также ссылочный и текстовый апдейт должны происходить гораздо чаще, а желательно вообще каждый день.

Но Яндекс считает, что ежедневные АПы это слишком жирно и делает апдейт выдачи, ссылок и текста в среднем раз в неделю, за что, кстати, его и не любят почти все владельцы русскоязычных сайтов.

На момент написания этой статьи последний апдейт был 30 июля 2014 года. Он включал в себя АП новых статей, ссылок и выдачи одновременно. До этого также было пару апдейтов выдачи, а вот текстового АПа не было в течение 12 дней.

Что касается ссылочного апдейта, то обычно он проходит вместе с текстовым, хотя можно часто наблюдать такую картину в веб-мастере Яндекса, когда количество внешних ссылок в течение дня меняется несколько раз, но АП это или нет, остается только гадать.

С апдейт ТИЦ и Favicon совсем другая история, и их обновление обычно проходит раз в месяц.

Как узнать, что идет апдейт Яндекса

Ну и напоследок, чтобы вы знали об апдейтах Яндекса все, осталось рассказать, как определить, что идет АП Яндекса. Вообще определить визуально идет ли АП или нет очень трудно, поэтому я вас расскажу о сервисах, которыми пользуюсь сам для определения апдейта.

Первый сервис, которым я пользуюсь, это seopult . Зайдя на этот сайт и опустившись вниз, вы увидите такую табличку:

Здесь нас интересует колонка «Шторм». Большой показатель шторма свидетельствует о том, что скорее всего идет АП. Как я говорил, на момент написания статьи последний АП был 30 июля, о чем нам и говорит этот сервис.

Если был текстовый АП, то этот сервис также об этом сообщает, написав время зафиксированного апдейта. Также обратите внимание на 25 число. Шторм также был довольно приличный, однако текстового апдейта не зафиксировано, и вполне возможно, что был апдейт выдачи.

Tools.Promosite.ru

Еще один популярный сервис для определения апдейта — http://tools.promosite.ru . Зайдя на него, также будет информация об апдейтах, причем здесь указывается более конкретная информация по апдейтам:

Также можно установить тулбар, который предлагает этот сервис. Он позволит вам узнавать о последних апдейтах, не заходя на сайт. Найти его можно чуть ниже в левой колонке:

Если вы пользуетесь браузером Мозилла, то для него можно установить расширение RDS Bar. Кстати, очень полезная штука, которая позволяет узнать очень многое о сайтах, которые вы посещаете. Уже установленный РДС Бар будет выглядеть следующим образом:

Я не буду сейчас останавливаться на том, как он работает, скажу лишь, что когда идет апдейт, перед вами появится уведомление о том, что был зафиксирован АП.

Также я пользуюсь сервисом XTOOL . Вообще этот сервис предназначен для проверки траста сайта, но если вы зарегистрируетесь в нем, то вам на почту будут приходить письма о том, что произошел АП. Единственный минус в том, что письма приходят с опозданием, когда апдейт уже закончился.

Получение письма об апдейте от Яндекса

Как же так, скажете вы, Яндекс проводит апдейты и не сообщает о них. На самом деле сообщает, только нужно уведомить Яндекс о том, чтобы получать уведомления. Сделать это можно здесь , поставив галочку в соответствующем окне:

Есть куча и других сервисов для определения АПа, но поверьте, тех, о которых я вам рассказал, более чем достаточно.

Что касается времени апдейтов Яндекса, то обычно все апдейты начинаются в 12 ночи по Москве и длятся в течение всего дня, поэтому результаты АПа лучше всего проверять ближе к вечеру.

Ну вот, теперь то вы точно знаете об апдейтах Яндекса все, что нужно, поэтому мне остается с вами попрощаться и поблагодарить за внимание.

С уважением Шкарбуненко Сергей.

Поисковая машина Яндекса отвечает на вопросы пользователей, находя нужные документы в интернете. А размеры современного интернета исчисляются в эксабайтах, то есть в миллиардах миллиардов байтов. Конечно же, Яндекс не обходит весь интернет каждый раз, когда ему задают вопрос. Поисковая система, так сказать, делает домашнее задание.

Поиск в интернете состоит из двух частей. Первая - поисковик обходит интернет, создавая его слепок на своих серверах. Вторая - пользователь задаёт запрос и получает ответ с серверов поисковика.

Яндекс ищет по поисковому индексу - базе данных, где для всех слов, которые есть на известных поиску сайтах, указано их местонахождение - адрес страницы и место на ней. Индекс можно сравнить с предметным указателем в книге или адресным справочником. В отличие от обычного предметного указателя, индекс содержит не только термины, а вообще все слова. А в отличие от адресного справочника, у каждого слова-адресата есть не одно, а очень много «мест прописки».

Подготовка к ответам

Подготовка данных, по которым ищет поисковая машина, называется индексированием. Специальная компьютерная система - поисковый робот - регулярно обходит интернет, выкачивает документы и обрабатывает их. Создается своего рода слепок интернета, который хранится на серверах поисковика и обновляется при каждом новом обходе.

У Яндекса два поисковых робота - основной и быстрый (он называется Orange). Основной робот индексирует интернет в целом, а Orange отвечает за то, чтобы в поиске можно было найти самые свежие документы, которые появились минуты или даже секунды назад. У каждого робота есть список адресов документов, которые нужно проиндексировать.

Когда при обходе робот видит на уже известных сайтах новые ссылки, он добавляет их в свой список, увеличивая количество индексируемых страниц. Впрочем, владелец сайта сам может помочь основному роботу Яндекса найти свой ресурс и подсказать, например, как часто обновляются его страницы - через сервис Яндекс.Вебмастер.

Сначала программа-планировщик выстраивает маршрут - очередность обхода документов. При этом планировщик учитывает важные для поисковой системы характеристики сайтов, такие как, например, цитируемость или частота обновления документов. После создания маршрута планировщик отдаёт его другой части поискового робота - «пауку». Паук регулярно обходит документы по заданному маршруту. Если сайт на месте, то есть работает и доступен, паук выкачивает запланированные в маршруте документы. Он определяет тип скачанного документа (html, pdf, swf и т.п.), кодировку и язык, а затем отправляет данные в хранилище.

Там программа разбирает документ по кирпичику: очищает от html-разметки, оставляя чистый текст, выделяет данные о местоположении каждого слова и добавляет их в индекс. Сам документ в исходном виде также остается в хранилище до следующего обхода. Благодаря этому пользователи могут найти в Яндексе и посмотреть документы, даже если сайт временно недоступен. Если сайт закрылся или документ был удалён или обновлён, Яндекс удалит копию со своих серверов или заменит её на новую.

Поисковый индекс, данные о типе документов, кодировке, языке и сохраненные копии документов вместе составляют поисковую базу. Она обновляется постоянно, но, чтобы это обновление стало доступно пользователям, её нужно перенести на «базовый поиск». Базовый поиск - сервера, которые отвечают пользователям на запросы. Туда переносится не вся поисковая база, а только её полезная часть - без спама, дубликатов сайтов (зеркал) и других ненужных документов.

Обновление поисковой базы из хранилища основного робота попадает в поиск «пакетами» - раз в несколько дней. Этот процесс создаёт дополнительную нагрузку на сервера, поэтому производится ночью, когда к Яндексу обращаются на порядок меньше пользователей. Сначала новые части базы помещаются рядом с такими же частями из прошлого обхода. Затем они проверяются по целому ряду факторов, чтобы обновление не ухудшило качество поиска. Если проверка прошла успешно, новая часть базы заменяет собой старую.

Робот Orange предназначен для поиска в реальном времени. Его планировщик и паук настроены так, чтобы находить новые документы и выбирать из огромного их количества все, хоть сколько-нибудь интересные. Каждый такой документ Orange сразу обрабатывает и выкладывает на базовый поиск. Срочных документов не очень много по сравнению с общим объемом интернета, поэтому обновление базы в реальном времени можно делать и при дневных нагрузках на сервера.