Здравствуйте, уважаемые читатели блога сайт. , то его немногочисленным пользователям было достаточно собственных закладок. Однако, как вы помните, происходил в геометрической прогрессии, и совсем скоро ориентироваться во всем ее многообразии стало сложнее.
Тогда появились каталоги (Яху, Дмоз и другие), в которых их авторы добавляли и сортировали по категориям различные сайты. Это сразу же облегчило жизнь тогдашним, еще не очень многочисленным пользователям глобальной сети. Многие из этих каталогов живы и до сих пор.
Но через некоторое время размеры их баз стали настолько большими, что разработчики сначала задумались о создании поиска внутри них, а потом уже и о создании автоматизированной системы индексации всего содержимого интернета, чтобы сделать его доступным всем желающим.
Основные поисковики русскоязычного сегмента интернета
Как вы понимаете, идея эта реализовалась с ошеломительным успехом, но, правда, все сложилось хорошо только для горстки избранных компаний, которым удалось не сгинуть на просторах интернета. Почти все поисковые системы, которые появились на первой волне, сейчас либо исчезли, либо прозябают, либо были куплены более удачными конкурентами.
Поисковая система представляет из себя очень сложный и, что немаловажно, очень ресурсоемкий механизм (имеются в виду не только материальные ресурсы, но и людские). За внешне простой , или ее аскетичным аналогом от Гугла, стоят тысячи сотрудников, сотни тысяч серверов и многие миллиарды вложений, которые необходимы для того, чтобы эта махина продолжала работать и оставалась конкурентоспособной.
Выйти на этот рынок сейчас и начать все с нуля — это скорее утопия, чем реальный бизнес проект. Например, одна из богатейших в мире корпораций Микрософт десятилетиями пыталась закрепиться на рынке поиска, и только сейчас их поисковик Бинг начинает потихоньку оправдывать их ожидания. А до этого была целая череда провалов и неудач.
Что уж говорить о том, чтобы выйти на этот рынок без особых финансовых влияний. К примеру, наша отечественная поисковая система Нигма имеет много чего полезного и инновационного в своем арсенале, но их посещаемость в тысячи раз уступает лидерам рынка России. Для примера взгляните на суточную аудиторию Яндекса:
В связи с этим можно считать, что список основных (лучших и самых удачливых) поисковиков рунета и всего интернета уже сформировался и вся интрига заключается только в том, кто кого в итоге сожрет, ну или каким образом распределится их процентная доля, если все они уцелеют и останутся на плаву.
Рынок поисковых систем России очень хорошо просматривается и тут, наверное, можно выделить двух или трех основных игроков и парочку второстепенных. Вообще, в рунете сложилась достаточно уникальная ситуация, которая повторилась, как я понимаю, только еще в двух странах в мире.
Я говорю о том, что поисковик Google, придя в Россию в 2004 году, не смог до сих пор захватить лидерства. На самом деле, они пытались примерно в этот период купить Яндекс, но что-то там не сложилось и сейчас «наша Раша» вместе с Чехией и Китаем являются теми местами, где всемогущий Гугл, если не потерпел поражение, то, во всяком случае, встретил серьезное сопротивление.
На самом деле, увидеть текущее положение дел среди лучших поисковиков рунета может любой желающий. Достаточно будет вставить этот Урл в адресную строку вашего браузера:
Http://www.liveinternet.ru/stat/ru/searches.html?period=month;total=yes
Дело в том, что большая часть использует на своих сайтах , а данный Урл позволяет увидеть статистику захода посетителей с различных поисковых систем на все сайты, которые принадлежат доменной зоне RU.
После ввода приведенного Урла вы увидите не очень приглядную и презентабельную, но зато хорошо отражающую суть дела картинку. Обратите внимание на первую пятерку поисковых систем, с которых сайты на русском языке получают трафик:
Да, конечно же, не все ресурсы с русскоязычным контентом размещаются в этой зоне. Есть еще и SU, и РФ, да и общих зонах типа COM или NET полно интернет проектов ориентированных на рунет, но все же, выборка получается довольно-таки репрезентативная.
Эту зависимость можно оформить и более красочно, как, например, сделал кто-то в сети для своей презентации:
Сути это не меняет. Есть пара лидеров и несколько сильно и очень сильно отстающих поисковых систем. Кстати, о многих из них я уже писал. Иногда бывает довольно занимательно окунуться в историю успеха или, наоборот, покопаться в причинах неудач когда-то перспективных поисковиков.
Итак, в порядке значимости для России и рунета в целом, перечислю их и дам им краткие характеристики:
Поиск в Гугле стал для многих жителей планеты уже нарицательным — о том, вы можете прочитать по ссылке. Мне в этом поисковике нравился вариант «перевод результатов», когда ответы вы получали со всего мира, но на своем родном языке, однако сейчас он, к сожалению, не доступен (во всяком случае на google.ru).
Так же в последнее время меня озадачивает и качество их выдачи (Search Engine Result Page). Лично я всегда сначала использую поисковую систему зеркала рунете (там есть , ну и привык я к ней) и только не найдя там вразумительного ответа обращаюсь к Гуглу.
Обычно их выдача меня радовала, но последнее время только озадачивает — порой такой бред вылазит. Возможно, что их борьба за повышение дохода с контекстной рекламы и постоянная перетасовка выдачи с целью дискредитировать Seo продвижение могут привести к обратному результату. Во всяком случае в рунете конкурент у этого поисковика имеется, да еще какой.
Думаю, что вряд ли кто-то специально будет заходить на Go.mail.ru для поиска в рунете. Поэтому трафик на развлекательных проектах с этой поисковой системы может быть существенно больше, чем десять процентов. Владельцам таких проектов стоит обратить внимание на эту систему.
Однако, кроме ярко выраженных лидеров на рынке поисковых систем русскоязычного сегмента интернета, существует еще несколько игроков, доля которых довольно низка, но тем не менее сам факт их существования заставляет сказать о них пару слов.
Поисковые системы рунета из второго эшелона
Поисковые системы масштаба всего интернета
По большому счету в масштабах всего интернета серьезный игрок только один — Гугл . Это безусловный лидер, однако некоторая конкуренция у него все же имеется.
Во-первых, это все тот же Бинг , который, например, на американском рынке имеет очень хорошие позиции, особенно, если учитывать, что его движок используется так же и на всех сервисах Яху (почти треть от всего рынка поиска США).
Ну, а во-вторых, в силу огромной доли, которую составляют пользователи из Китая в общем числе пользователей интернета, их главный поисковик под названием Baidu вклинивается в распределение мест на мировом олимпе. Он появился на свет в 2000 году и сейчас его доля составляет около 80% процентов от всей национальной аудитории Китая.
Трудно о Байду сказать еще что-то вразумительное, но на просторах интернета встречаются суждения, что места в его Топе занимают не только наиболее релевантные запросу сайты, но и те, кто за это заплатил (напрямую поисковику, а не Сео конторе). Конечно же, это относится в первую очередь к коммерческой выдаче.
В общем-то, глядя на статистику становится понятно, почему Google там легко идет на то, чтобы ухудшать свою выдачу в обмен на увеличение прибыли с контекстной рекламы. Фактически они не боятся оттока пользователей, ибо в большинстве случаев им уходить особо и некуда. Такая ситуация несколько печалит, но посмотрим, что будет дальше.
К слову сказать, чтобы еще больше усложнить жизнь оптимизаторам, а может быть, чтобы поддержать спокойствие пользователей этого поисковика, Google с недавних пор применяет шифрование при передаче запросов из браузера пользователей в поисковую строку. Скоро уже нельзя будет увидеть в статистике счетчиков посетителей, по каким запросам приходили к вам пользователи с Гугла.
Конечно же, кроме озвученных в этой публикации поисковых систем, существует еще не одна тысяча других — региональных, специализированных, экзотических и т.д. Пытаться их все перечислить и описать в рамках одной статьи будет не возможно, да и, наверное, не нужно. Давайте лучше скажу пару слов о том, как не легко создать поисковик и как не просто и не дешево его поддерживать в актуальном состоянии.
Подавляющее большинство систем работают по схожим принципам (читайте о том, и про ) и преследуют одну и ту же цель — дать пользователям ответ на их вопрос. Причем ответ этот должен быть релевантным (соответствующим вопросу), исчерпывающим и, что не маловажно, актуальным (первой свежести).
Решить эту задачу не так-то уж и просто, особенно учитывая, что поисковой системе нужно будет налету проанализировать содержимое миллиардов интернет страниц, отсеять лишние, а из оставшихся сформировать список (выдачу), где вначале будут идти наиболее подходящие под вопрос пользователя ответы.
Эта сверхсложная задача решается предварительным сбором информации с этих страниц с помощью различных индексирующих роботов . Они собирают ссылки с уже посещенных страниц и загружают с них информацию в базу поисковой системы. Бывают боты индексирующие текст (обычный и быстробот, который живет на новостных и часто обновляемых ресурсах, чтобы в выдаче всегда были представлены самые свежие данные).
Кроме этого бывают роботы индексаторы изображений (для последующего их вывода в ), фавиконок, зеркал сайтов (для их последующего сравнения и возможной склейки), боты проверяющие работоспособность интернет страниц, которые пользователи или же через инструменты для вебмастеров (тут можете почитать про , и ).
Сам процесс индексации и следующий за ним процесс обновления индексных баз довольно времязатратный. Хотя Гугл делает это значительно быстрее конкурентов, во всяком случае Яндекса, которому на это дело требует неделя-другая (читайте про ).
Обычно текстовое содержимое интернет страницы поисковик разбивает на отдельные слова, которые приводит к базовым основам, чтобы потом можно было давать правильные ответы на вопросы, заданные в разных морфологических формах. Весь лишний обвес в виде Html тегов, пробелов и т.п. вещей удаляется, а оставшиеся слова сортируются по алфавиту и рядом с ними указывается их позиция в данном документе.
Такая шняга называется обратным индексом и позволяет искать уже не по вебстраницам, а по структурированным данным, находящимся на серверах поисковой системы.
Число таких серверов у Яндекса (который ищет в основном только по русскоязычным сайтам и чуток по украинским и турецким) исчисляется десятками или даже сотнями тысяч, а у Google (который ищет на сотнях языков) — миллионами.
Многие сервера имеют копии, которые служат как для повышения сохранности документов, так и помогают увеличить скорость обработки запроса (за счет распределения нагрузки). Оцените расходы на поддержание всего этого хозяйства.
Запрос пользователя будет направляться балансировщиком нагрузки на тот серверный сегмент, который менее всего сейчас нагружен. Потом проводится анализ региона, откуда пользователь поисковой системы отправил свой запрос, и делается его морфологически разбор. Если аналогичный запрос недавно вводили в поисковой строке, то пользователю подсовываются данные из кеша, чтобы лишний раз не грузить сервера.
Если запрос еще не был закеширован, то его передают в область, где расположена индексная база поисковика. В ответ будет получен список всех интернет страниц, которые имеют хоть какое-то отношение к запросу. Учитываются не только прямые вхождения, но и другие морфологические формы, а так же , и т.п. вещи.
Их нужно отранжировать, и на этом этапе в дело вступает алгоритм (искусственный интеллект). Фактически запрос пользователя размножается за счет всех возможных вариантов его интерпретации и ищутся одновременно ответы на множество запросов (за счет использования операторов языка запросов, некоторые из которых доступны и обычным пользователям).
Как правило, в выдаче присутствует по одной странице от каждого сайта (иногда больше). сейчас очень сложны и учитывают множество факторов. К тому же, для их корректировки используются и , которые вручную оценивают реперные сайты, что позволяет скорректировать работу алгоритма в целом.
В общем, дело ясное, что дело темное. Говорить об этом можно долго, но и так понято, что удовлетворенность пользователей поисковой системой достигается, ох как не просто. И всегда найдутся те, кому что-то не нравится, как, например, нам с вами, уважаемые читатели.
Удачи вам! До скорых встреч на страницах блога сайт
посмотреть еще ролики можно перейдя на");">
Вам может быть интересно
Яндекс Пипл - как искать людей по социальным сетям
Апометр - бесплатный сервис по отслеживанию изменений выдачи и апдейтов поисковых систем
DuckDuckGo - поисковая система, которая не следит за тобой
Как проверить скорость интернета - онлайн тест соединения на компьютере и телефоне, SpeedTest, Яндекс и другие измерители
Яндекс и Гугл картинки, а так же поиск по файлу изображения в Tineye (тинай) и Google
Вы когда-нибудь задумывались над тем, почему в разных поисковых системах, Вам по разному выдается поисковая выдача? Например если в Яндексе набрать Vindavoz
, то результат будет таким:
а если в Гугле, то таким:
То же самое касается и других поисковых систем (Nigma, Bing, Yahoo, Rambler, Mail и т.д.).
Почему так происходит? В первую очередь из-за своих алгоритмов поиска и роботов, которые ищут информацию. Ну это само собой понятно. Не будут же все поисковики использовать один и тот же принцип, тогда и смысла в их разнообразии нет и можно пользоваться одним.
Другая особенность поисковиков - это отслеживание Ваших запросов. Да да да! Многие популярные поисковые системы (ПС буду обозначать далее) сохраняют у себя всю Вашу активность в интернете и используют в поисковой выдаче. Именно поэтому результаты всегда будут отличаться. И дело даже не в разных ПС, а так же влияет , операционная система и "машина" ( / и т.д.) с которой Вы ищите.
Поэтому Вы если и скажете другу "Да набери у себя в Яндексе Vindavoz и перейди по третьей ссылке", то у него третьей ссылкой вполне вероятно будет не та, которая показывается у Вас.
Хорошо ли это? С одной стороны (со стороны ПС так же) да. Ведь таким образом поисковик узнает про Вас (пол, место жительства, операционную систему, город проживания, интернет-провайдера, браузер, что Вы ищите и т.д.) и в результате показывает именно то, что предпочтительнее именно для Вас (точнее Вашим интересам) и таким образом результаты поисковой выдачи становятся более "личные".
Ну а с другой стороны это так же влияет на выдачу конкретной рекламы, как на самом поисковике, так и на сторонних сайтах (хотя тут другая система задействована, но всё же суть такая), которая основывается именно на собранных о Вас данных. Да и сам факт того, что про Вас собирают данные, так же не особо приятен.
Однако существуют такие поисковые системы, которые являются приватными и не собирают про Вас никакую информацию. Поэтому результат в них будет всегда одинаковый на разных браузерах, системах, компьютерах и в не зависимости от прошедшего времени пользования.
Итак, первый безопасный поисковик - это
Неплохой анонимный поисковик. При желании можно изменить тему (справа в углу значок), а так же настроить другие параметры по своему усмотрению (регион, язык, параметры открытия ссылок, горячие клавиши и т.д.) и под себя:
Поисковик использует для поиска результаты с Yahoo! Search BOSS, Wikipedia, Wolfram Alpha (без акцента на персональные данные) и собственного поискового робота.
Что ещё примечательного в нём?
Поисковик работает с множеством подобных фраз и их конструкций: калькулятор, конвертер величин,размер территорий, известные даты, люди, преобразователь величин, whois и т.д.
Суть этого поисковика в том, что он ищет через популярные ПС (Google, Bing, Yahoo и даже DuckDuckGo), но с той особенностью, что он пересылает Ваш запрос на свои защищенные сервер, а они уже возвращают результат в той системе, которая была выбрана, при этом не передавая ей ничего Вашего личного - , браузер и т.д.
Получается что Вы пользуетесь тем же самым Гуглом, но уже без сохранения Ваших данных.
Ещё одной особенностью этого поисковика является то, что его можно установить как дополнение (расширение) для браузера, которое предоставит свою строку защищенного поиска в верхнюю часть
Используя анонимные поисковики помните одну вещь - да, они защищают Вас от большинства методов слежения, но всё это прекращается когда Вы заходите на найденные странички, а там уже за Вами могут следить владельцы других сайтов и их скрипты
Использовать такие приватные поисковые системы или нет - решать Вам, однако всё же стоит знать про них.
Представляем вашему вниманию новый курс от команды The Codeby - "Тестирование Веб-Приложений на проникновение с нуля". Общая теория, подготовка рабочего окружения, пассивный фаззинг и фингерпринт, Активный фаззинг, Уязвимости, Пост-эксплуатация, Инструментальные средства, Social Engeneering и многое другое.
Для меня самое удивительное в поисковике Яндекс является то, что им до сих пор пользуется огромное количество народа. Моё знакомство с Интернетом, как и большинства в то время, началось через поисковик Яндекс. Популярных поисковиков, в том числе и российских, в то время было много. Я искал то, что мне нужно, с помощью разных поисковых машин и довольно долго мой эмпирический опыт подтверждал, что если чего-то не нашёл Яндекс, то другие уж точно не найдут по этому запросу ничего полезного. Ещё мне нравился слоган того Яндекса, что «Яндекс не цензор Интернета, а его зеркало». Имелось ввиду то, что Яндекс не фильтрует выдачу, даже если некоторые её результаты кому-то не нравятся.
В то время было обычным делом доходить и до 7 и до 11 страниц выдачи и т. д. Т.к. то ли Рунет был ещё мал, то ли поисковые машины работали так себе. Это сейчас подавляющее большинство редко по какому запросу заходит хотя бы на вторую страницу результатов поиска.
Некоторое время спустя я заметил, что Гугл догнал Яндекс по качеству поисковой выдачи. Но я продолжал пользоваться Яндексом даже тогда, когда понял, что Гугл стал лучше. Всё дело в консервативности, присущей большинству людей: на Яндексе у меня была почта, да и вообще с переменами у людей связаны какие-то опасения. В общем, я решился и полностью перешёл на поиск от Гугл и уже через пару недель мои опасения по переходу стали казаться наивными и смешными.
Иногда я возвращаюсь, «тестирую» поисковую выдачу Яндекса и только лишний раз убеждаюсь, насколько я был прав, перестав им пользоваться. Рунет, глазами Яндекса, какой-то покоцанный, неполный, с какими-то перекошенными приоритетами.
Некоторое время назад, трудно сказать когда точно, но и Гугл перестал вызывать чувство полного удовлетворения. Т.е. в подавляющем большинстве Гугл идеален и выдаёт именно то, что нужно на самых первых позициях. Но при поиске, например, фильмов или чего-то другого контрафактного, Гугл цензурирует выдачу. Гугл прямо об этом сообщает прямо на странице выдачи. Это, а также постоянное «Гугл следит за пользователями» всегда толкали на эксперименты с другими поисковиками.
Я начал свою заметку с того, что большинство из нас очень консервативны и с большой неохотой меняет свои привычки. На сегодняшний день, судя по количеству переходов на мои сайты, пользователей duckduckgo.com совсем мало. Кто-то просто не знает о его существовании, кто-то попробовал раньше и ему не понравилось. Пришло время попробовать что-то новое. Всех желающих взглянуть на Интернет (Рунет) чистым, незамутнённым цензурой или бредовым «ранжированием» взглядом, я приглашаю попробовать поисковую систему
