Поисковые системы Google, Yahoo, Яндекс, Rambler, Nigma, Aport... служат для обнаружения необходимого ресурса в сети Интернет по ключевым словам. Эти системы, или, как их иначе называют, поисковые машины, ежедневно перебирают миллионы WWW серверов, индексируют и каталогизируют найденные ресурсы. Возможность поиска ресурса в Интернет очень удобна, но нельзя забывать о том, что Сеть живет своей жизнью - каждый день появляются тысячи новых страниц, некоторые старые исчезают... Поэтому, поисковые системы не всегда выдают самую точную информацию.
Средства поиска и структурирования, иногда называемые поисковыми механизмами, используются для того, чтобы помочь людям найти информацию, в которой они нуждаются. Средства поиска типа агентов, пауков, кроулеров и роботов используются для сбора информации о документах, находящихся в Сети Интернет. Это специальные программы, которые занимаются поиском страниц в Сети, извлекают гипертекстовые ссылки на этих страницах и автоматически индексируют информацию, которую они находят для построения базы данных. Каждый поисковый механизм имеет собственный набор правил, определяющих, как cобирать документы. Некоторые следуют за каждой ссылкой на каждой найденной странице и затем, в свою очередь, исследуют каждую ссылку на каждой из новых страниц, и так далее. Некоторые игнорируют ссылки, которые ведут к графическим и звуковым файлам, файлам мультипликации; другие игнорируют cсылки к ресурсам типа баз данных WAIS; другие проинструктированы, что нужно просматривать прежде всего наиболее популярные страницы.
Поисковые системы -- веб-сайт, предоставляющий возможность поиска информации в Интернете. Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на ftp-серверах, товары в интернет-магазинах, а также информацию в группах новостей Usenet.
Как правило, основной частью поисковой системы является поисковые машины-- комплекс программ, обеспечивающий функциональность поисковой системы. Основными критериями качества работы поисковой машины являются релевантность (степень соответствия запроса и найденного, то есть уместность результата), полнота базы, учёт морфологии языка. Индексация информации осуществляется специальными поисковыми роботами. В последнее время появился новый тип поисковых движков, основанных на технологии RSS, а также среди XML-данных разного типа.
Улучшение поиска -- это одна из приоритетных задач сегодняшнего Интернета (см. про основные проблемы в работе поисковых систем в статье Глубокая паутина).
По данным компании Net Applications в декабре 2007 года использование поисковых систем на Западе распределялось следующим образом (приложение 2, рисунок 2):
Google -- 77,04 %, Yahoo -- 12,46 %, MSN -- 3,33 %, Microsoft Live Search -- 2,57 %, AOL -- 2,12 %, Ask -- 1,38 %, AltaVista -- 0,13 %, Excite -- 0,07 %, Lycos -- 0,02 %, All the Web -- 0,02 %.
В вышеприведенный отчёт не входят российские поисковики, такие как, например, Яндекс, Рамблер или Nigma.
Одним из первых инструментов поиска в интернете (до WWW) был Archie. Первой поисковой системой для Всемирной паутины был «Wandex», уже не существующий индекс, который создавал «World Wide Web Wanderer» -- бот, разработанный Мэтью Грэем (англ. Matthew Gray) из Массачусетского технологического института в 1993. Также в 1993 году появилась поисковая система «Aliweb», работающая до сих пор. Первой полнотекстовой (т. н. «crawler-based», то есть индексирующей ресурсы при помощи робота) поисковой системой стала «WebCrawler», запущенная в 1994. В отличие от своих предшественников, она позволяла пользователям искать по любым ключевым словам на любой веб-странице -- с тех пор это стало стандартом во всех основных поисковых системах. Кроме того, это был первый поисковик, о котором было известно в широких кругах. В 1994 был запущен «Lycos», разработанный в университете Карнеги Мелона.
Вскоре появилось множество других конкурирующих поисковых машин, таких как «Excite», «Infoseek», «Inktomi», «Northern Light» и «AltaVista». В некотором смысле они конкурировали с популярными интернет-каталогами, такими, как «Yahoo!». Позже каталоги соединились или добавили к себе поисковые машины, чтобы увеличить функциональность. В 1996 году русскоязычным пользователям интернета стало доступно морфологическое расширение к поисковой машине Altavista и оригинальные российские поисковые машины Rambler и Aport. 23 сентября 1997 была открыта поисковая машина Яндекс.
В последнее время завоёвывает всё большую популярность практика применения методов кластерного анализа и метапоиска. Из международных машин такого плана наибольшую известность получила «Clusty» компании Vivisimo. В 2005 году на российских просторах при поддержке МГУ запущен поисковик Nigma, поддерживающий автоматическую кластеризацию. В 2006 году открылась российская метамашина Quintura, предлагающая визуальную кластеризацию в виде облака ключевых слов. Nigma тоже экспериментировала с визуальной кластеризацией.
Помимо поисковых машин для Всемирной паутины, существовали и поисковики для других протоколов, такие как Archie для поиска по анонимным FTP-серверам и «Veronica» для поиска в Gopher.
Популярные поисковые системы
Всеязычные: Google (34,4 % Русскоязычного сегмента); Bing (0,9 % Русскоязычного сегмента); Yahoo! (0,2 % Рунета) и принадлежащие этой компании поисковые машины: Inktomi, AltaVista, Alltheweb.
Англоязычные и международные: AskJeeves (механизм Teoma).
Русскоязычные -- большинство «русскоязычных» поисковых систем индексируют и ищут тексты на многих языках -- украинском, белорусском, английском и др. Отличаются же они от «всеязычных» систем, индексирующих все документы подряд, тем, что в основном индексируют ресурсы, расположенные в доменных зонах, где доминирует русский язык или другими способами ограничивают своих роботов русскоязычными сайтами. Яндекс (46,3 % Рунета), Mail.ru (8,9 % Рунета), Rambler (3,3 % Рунета), Nigma (0,5 % Рунета), Генон (0,1 % Рунета), Gogo.ru (<0,1 % Рунета), Aport (<0,1 % Рунета). Мета (приложение 2, рисунок 3).
Из перечисленных поисковых систем не все имеют собственный поисковый алгоритм -- так Mail.ru и QIP.ru используют поисковый механизм Яндекса, а Nigma сочетает в себе как свой алгоритм, так и сборную выдачу от других поисковиков.
Главный плюс любой поисковой машины кроется в механизме ее работы. В отличие от каталогов, поисковики, для добавления сайтов в свою базу данных, используют специального робота-паука, который вполне удачно просматривает и индексирует все общедоступные сайты своей Глобальной Паутины. Но для удачного поиска нам будет мало лишь огромной базы нашего спутника, ведь среди всех этих терабайт информации нам нужно найти именно нужную нам.
Важнейшим фактором и залогом нашего успеха является правильность поискового запроса.
Исключение из поиска
Поисковую машину можно не только «заставлять» искать нужный текст, но и исключать некоторые слова из запроса. Если вы не хотите, что бы при поиске реферата на тему История Древнего Египта вам были предложены документы с его Культурой, просто введите в поисковое поле Google: история древнего египта -культура. В Яндексе вместо знака «-» используется сочетание знаков «~~». При таком запросе, слово «культура» было полностью исключено из критериев поиска.
Поиск с учетом регистра
Поисковые системы не учитывают регистр, все заглавные символы воспринимаются машинами как строчные, за исключением использования специального операнда. Таковым является знак восклицания «!», стоящий перед словом. Эта функция очень полезна для поиска сел или городов с распространенными названиями, к примеру «село!Кошки». В данном случае, поисковик не будет искать сайты, где речь ведется о селе, где живут кошки, а будет вести поиск с учетом заглавной буквы.
Сравнительно недавно мир увидел новое творение от корпорации Яндекс — Yandex.Browser. Базируется на обычном движке Chromium, а интерфейс был полностью переработан и отличителен.
Практически все характеристики новой программы находятся на приличном уровне и кроме этого разработчики от Яндекс внедрили туда несколько собственных новых технологии. Обладает целой серией сервисов, которые были ранее выпущены под эгидой Yandex.
Имеет ряд преимуществ: улучшена функция проверки орфографии, можно осуществлять просмотр документов прямо в браузере (поддерживаются такие популярные форматы, как DOCX, PDF, PPTX и другие), можно переводить слова прям на странице и многое другое. Помимо всего прочего присутствует режим «Турбо», мир увидел его значительно ранее в функциях другого популярного браузера от Opera. Когда данный режим активирован, софт получает все данные в сжатом виде, и не будет загружать самые «объёмные» элементы. Таким образом, можно очень значительно сократить объём всей поставляемой информации и соответственно порядком ускорить загрузку страниц. Попробуйте программу в действии, нужно всего-то скачать Яндекс браузер на компьютер и установить, запустив скаченный exe файл.
У Яндекс браузера отсутствует полноценная галерея. Стоит обратить внимание на раздел «Дополнения», там есть пятнадцать разных дополнений. Кроме этого, можно интегрировать дополнения от Chrome, они не коим образом не конфликтуют с содержимым Yandex.
Немного истории.
Веб-обозреватель впервые появился на просторах сети Интернета в октябре 2012 года. На сентябрь 2013 года приложением уже пользовалось более 5 миллионов человек. Каждый день количество пользователей Яндекс.Браузера растет и растет, стоит отметить, очень быстро. Уже сегодня, в России и странах СНГ, Yandex.Browser вышел в лидеры и занял первое место по числу пользователей.
Многие пользователи хвалят приложение за стабильную работу, хорошую скорость и уникальный набор функций. Следует отметить, что поиск по страницам работает не только по точечным совпадениям, но и по другим формам (фразы или слова). Подобная функция отсутствует в любых других веб-обозревателей. Вместо «горячих» клавиш можно использовать жесты мышью (закрыть вкладку, восстановить вкладку, перейти вперёд и т.д.). В адресную строку можно вводить не только ссылки на нужные сайты, но и поисковые запросы.
Браузер от Яндекса анализирует ваши запросы и предоставляет поисковые подсказки. Новая технология также порядком экономит время и автоматически исправляет ошибки в адресе сайта. При этом вовсе не обязательно вбивать точный адрес, приложение знакомо со всеми популярными сайтами и будет их открывать, сразу после того, как вы введёте название.
Приятным дополнением к интерфейсу веб-обозревателя является панель быстрого запуска. На ней будут располагаться плитки с ссылками на те сайты, которые вы будете посещать чаще всего. Кроме этого, будет отображаться другая полезная информация: количество не просмотренных сообщений в почте, погода, пробки, новости и многое другое. Это очень удобно.
Безопасность.
Сейчас в сети можно встретить очень много разных сайтов с троянами и прочим вредоносным ПО, но Яндекс.Браузер предоставляет своим пользователям солидный уровень безопасности, поскольку сотрудничает с не безызвестной лабораторией Касперского, и всегда будет осуществлять проверку тех ресурсов, которые вы будете посещать на наличие вредоносных программ. Помимо всего прочего браузер от Яндекса будет всегда сохранять вкладки, настройки и многое другое. Вы сможете получить к ним доступ с любого компьютера, просто нужно будет активировать свой профиль.
Поисковые системы (ПС) уже приличное время являются обязательной частью интернета. Сегодня они громадные и сложнейшие механизмы, которые представляют собой не только инструмент для нахождения любой необходимой информации, но и довольно увлекательные сферы для бизнеса.
Многие пользователи поиска никогда не думали о принципах их работы, о способах обработки пользовательских запросов, о том, как построены и функционируют данные системы. Данный материал поможет людям, которые занимаются оптимизацией и , понять устройство и основные функции поисковых машин.
Функции и понятие ПС
Поисковая система – это аппаратно-программный комплекс, который предназначен для осуществления функции поиска в интернете, и реагирующий на пользовательский запрос который обычно задают в виде какой-либо текстовой фразы (или точнее поискового запроса), выдачей ссылочного списка на информационные источники, осуществляющейся по релевантности. Самые распространенные и крупные системы поиска: Google, Bing, Yahoo, Baidu. В Рунете – Яндекс, Mail.Ru, Рамблер.Рассмотрим поподробнее само значение запроса для поиска, взяв для примера систему Яндекс.
Запрос обязан быть сформулирован пользователем в полном соответствии с предметом его поиска, максимально просто и кратко. К примеру, мы желаем найти информацию в данном поисковике: «как выбрать автомобиль для себя». Чтобы сделать это, открываем главную страницу и вводим запрос для поиска «как выбрать авто». Потом наши функции сводятся к тому, чтобы зайти по предоставленным ссылкам на информационные источники в сети.
Но даже действуя таким образом, можно и не получить необходимую нам информацию. Если мы получили подобный отрицательный результат, нужно просто переформировать свой запрос, или же в базе поиска действительно нет никакой полезной информации по данному виду запроса (такое вполне возможно при заданных «узких» параметров запроса, как, к примеру, «как выбрать автомобиль в Анадыри»).
Самая основная задача каждой поисковой системы – доставить людям именно тот вид информации, который им нужен. А приучить пользователей создавать «правильный» вид запросов к поисковым системам, то есть фразы, которые будут соответствовать их принципам работы, практически, невозможно.
Именно поэтому специалисты-разработчики поисковиков делают такие принципы и алгоритмы их работы, которые бы давали пользователям находить интересующие их сведения. Это означает, что система, должна «думать» так же, как мыслит человек при поиске необходимой информации в интернете.
Когда он вводит свой запрос в поисковую машину, он желает найти то, что ему надо, как можно проще и быстрее. Получив результат, пользователь составляет свою оценку работе системы, руководствуясь несколькими критериями. Получилось ли у него найти нужную информацию? Если нет, то сколько раз ему пришлось переформатировать текст запроса, чтобы найти ее? Насколько актуальная информация была им получена? Как быстро поисковая система обработала его запрос? Насколько удобно были предоставлены поисковые результаты? Был ли нужный результат первым, или находился на 30-ом месте? Сколько «мусора» (ненужной информации) было найдено вместе с полезными сведениями? Найдется ли актуальная для него информация, при использовании ПС, через неделю, либо через месяц?
Для того чтобы получить правильные ответы на подобные вопросы, разработчики поиска постоянно улучшают принципы ранжирования и его алгоритмы, добавляют им новые возможности и функции и любыми средствами пытаются сделать быстрее работу системы.
Основные характеристики поисковых систем
Обозначим главные характеристики поиска:Полнота.
Полнота является одной из главнейших характеристик поиска, она представляет собой отношение цифры найденных по запросу информационных документов к их общему числу в интернете, относящихся к данному запросу. Например, в сети есть 100 страниц имеющих словосочетание «как выбрать авто», а по такому же запросу было отобрано всего 60 из общего количества, то в данном случае полнота поиска составит 0,6. Понятно, что чем полнее сам поиск, тем больше вероятность, что пользователь найдет именно тот документ, который ему необходим, конечно, если он вообще существует.Точность.
Еще одна основная функция поисковой системы – точность. Она определяет степень соответствия запросу пользователя найденных страниц в Сети. К примеру, если по ключевой фразе «как выбрать автомобиль» найдется сотня документов, в половине из них содержится данное словосочетание, а в остальных просто есть в наличии такие слова (как грамотно выбрать автомагнитолу, и установить ее в автомобиль»), то поисковая точность равна 50/100 = 0,5.Чем поиск точнее, тем скорее пользователь найдет необходимую ему информацию, тем меньше разнообразного «мусора» будет встречаться среди результатов, тем меньше найденных документов будут не соответствовать смыслу запроса.
Актуальность.
Это значимая составляющая поиска, которую характеризует время, проходящее с момента опубликования информации в интернете до занесения ее в индексную базу поисковика.К примеру, на следующий день после возникновения информации о выходе нового iPad, множество пользователей обратилась к поиску с соответствующими видами запросов. В большинстве случаев информация об этой новости уже доступна в поиске, хотя времени с момента ее появления прошло очень мало. Это происходит благодаря наличию у крупных поисковых систем «быстрой базы», которая обновляется несколько раз за день.
Скорость поиска.
Такая функция как скорость поиска теснейшим образом связана с так называемой «устойчивостью к нагрузкам». Ежесекундно к поиску обращается огромное количество людей, подобная загруженность требует значительного сокращения времени для обработки одного запроса. Тут интересы, как поисковой системы, так и пользователя целиком совпадают: посетитель хочет получить результаты как можно быстрее, а поисковая система должна отработать его запрос тоже максимально быстро, чтобы не притормозить обработку последующих запросов.Наглядность.
Наглядное представление результатов является важнейшим элементом удобства поиска. По множеству запросов поисковая система находит тысячи, а в некоторых случаях и миллионы разных документов. Вследствие нечеткости составления ключевых фраз для поиска или его не точности, даже самые первые результаты запроса не всегда имеют только нужные сведения.Это значит, что человеку часто приходится осуществлять собственный поиск среди предоставленных результатов. Разнообразные компоненты страниц выдачи ПС помогают ориентироваться в поисковых результатах.
История развития поисковых систем
Когда интернет только начал развиваться, число его постоянных пользователей было небольшим, и объем информации для доступа был сравнительно невеликим. В основном доступ к этой сети имели лишь специалисты научно-исследовательских сфер. В то время, задача нахождения информации не была столь актуальна как сейчас.Одним из самых первых методов организации широкого доступа к ресурсам информации стало создание каталогов сайтов, причем ссылки на них начали группировать по тематике. Таким первым проектом стал ресурс Yahoo.com, который открылся весной 1994-ого года. Впоследствии когда количество сайтов в Yahoo-каталоге существенно увеличилось, была добавлена опция поиска необходимых сведений по каталогу. Это еще не было в полной мере поисковой системой, так как область такого поиска была ограничена только сайтами, входящими в данный каталог, а не абсолютно всеми ресурсами в интернете. Каталоги ссылок весьма широко использовались раньше, однако в настоящее время, практически в полной мере утратили свою популярность.
Ведь даже сегодняшние, громадные по своим объемам каталоги имеют информацию о незначительно части сайтов в интернете. Самый известный и большой каталог в мире имеет информацию о пяти миллионах сайтов, когда база Google содержит информацию о более чем 25 миллиардов страниц.
Самой первой настоящей поисковой системой стала WebCrawler, возникшая еще в 1994-ом году.
В следующем году появились AltaVista и Lycos. Причем первая была лидером по поиску информации очень длительное время.
В 1997-ом году Сергей Брин вместе с Ларри Пейджем создал машину поисковую Google как исследовательский проект в Стэндфордском университете. Сегодня именно Google, самая востребованная и популярная поисковая система в мире.
В сентябре 1997-ом году была анонсирована (официально) ПС Yandex, которая в настоящий момент является самой популярной системой поиска в Рунете.
По данным на сентябрь 2015 года , доли поисковых систем в мире распределены следующим образом:
- Google - 69,24 %;
- Bing - 12,26 %;
- Yahoo! - 9,19 %;
- Baidu - 6,48 %;
- AOL - 1,11 %;
- Ask - 0,23 %;
- Excite - 0,00 %
По данным на декабрь 2016 года , доли поисковых систем в Рунете:
- Яндекс - 48,40%
- Google - 45,10%
- Search.Mail.ru - 5,70%
- Rambler - 0,40%
- Bing - 0,30%
- Yahoo - 0,10%
Принципы работы поисковой системы
В России главной системой поиска является Яндекс, затем Google, а потом Поиск@Mail.ru. Все большие системы поиска имеют свою структуру, которая весьма отличается от других. Но все-таки можно выделить общие для всех поисковиков основные элементы.Модуль индексирования.
Данный компонент состоит из трех программ-роботов:Spider (по англ. паук) – программа которая предназначена для того чтобы скачивать веб-страницы. «Паук» скачивает определенную страницу, одновременно извлекая из нее все ссылки. Скачивается код html практически с каждой страницы. Для этого роботы используют HTTP-протоколы.
«Паук» функционирует следующим образом. Робот передает запрос на сервер “get/path/document” и иные команды запроса HTTP. В ответ программа-робот получает поток текста, который содержит информацию служебного вида и, естественно, сам документ.
- URL скаченной страницы;
- дата, когда осуществлялось скачивание страницы;
- заголовок http-ответа сервера;
- html-код, «тела» страницы.
Indexer (робот-индексатор) – это программа, анализирующая страницы, которые скачали пауки.
Индексатор полностью разбирает страницу на составные элементы и проводит их анализ, применяя свои морфологические и лексические виды алгоритмов.
Анализ проводится над разнообразными частями страницы, такими как заголовки, текст, ссылки, стилевые и структурные особенности, теги html и др.
Таким образом, модуль индексирования дает возможность проходить по ссылкам заданного количества ресурсов, скачивать страницы, извлекать ссылочную массу на новые страницы из полученных документов и делать подробный их анализ.
База данных
База данных (или индекс поисковика) - комплекс хранения данных, массив информации в котором сохраняются определенным образом переделанные параметры каждого обработанного модулем индексации и скачанного документа.Поисковый сервер
Это самый важный элемент всей системы, потому что от алгоритмов, лежащих в основе ее функциональности, прямо зависит скорость и, конечно же, качество поиска.Поисковый сервер работает следующим образом:
- Запрос, который идет от пользователя подвергается морфологическому анализу. Информационное окружение любого документа, имеющегося в базе, генерируется (оно и будет в дальнейшем отображаться как сниппет, т.е. информационное поле текста соответствующего данному запросу).
- Полученные данные передают как входные параметры специализированному модулю ранжирования. Они обрабатываются по всем документам, и в итоге для каждого такого документа рассчитывается свой рейтинг, который характеризует релевантность такого документа запросу пользователя, и иных составляющих.
- В зависимости от условий заданных пользователем этот рейтинг вполне может быть подкорректирован дополнительными.
- Затем генерируется сам сниппет, т.е. для любого найденного документа из соответствующей таблицы извлекают заголовок, аннотацию, наиболее отвечающую запросу, и ссылка на этот документ, при этом найденные словоформы и слова подсвечивают.
- Результаты полученного поиска передаются осуществившему его человеку в виде страницы, на которую выдают поисковые результаты (SERP).
Основой работы поисковых систем как Google, так и Яндекс является система кластеров. Вся информация делится на определенные области, которые относятся к тому или иному кластеру. Индексация сайтов с целью получения данных о размещенной на них информации выполняется роботами-сканерами. Существуют следующие виды сканирующих роботов: основной робот-сканер и робот-сканер, отвечающий за сбор информации на ресурсах с частым обновлением содержания. Второй тип сканирующего робота предназначен для быстрого обновления списка проиндексированных ресурсов и значения их индексов в поисковой системе. Для наиболее полного обеспечения сбора информации в системе Яндекс применяются обновления базы поиска и обновления программного кода:
- · База поисковой информации обновляется несколько раз в течение месяца, при этом на поисковые запросы выдается обновленная информация с сайтов. Такая информация добавляется с помощью основного робота-сканера.
- · При обновлении программного кода или «движка» выявляются недостатки и изменяются алгоритмы, отвечающие за ранжирование ресурсов в поисковой системе. Как правило, перед выходом таких обновлений Яндекс публикует соответствующие анонсы.
Основная особенность системы Яндекс, делающая популярной ее среди русскоязычных пользователей, - это способность определять различные словоформы с учетом морфологических особенностей русского языка. При этом значения запроса с помощью геотаргетинга и формул поиска преобразуется в максимально точную формулировку. Кроме того, Яндекс отличается алгоритмом по определению релевантности индексируемых страниц (релевантностью называют соотношение содержания веб-страницы к содержанию поискового запроса). Также к положительным сторонам можно отнести высокую скорость ответной реакции на запросы и устойчивую, без перегрузок, работу серверов.
Большое значение для поисковой системы имеют динамические ссылки, наличие которых может привести к отказу от индексации ресурса поисковым роботом.
В процессе индексации Яндекс распознает текстовую информацию в документах с расширениями: .pdf, .rtf, .doc, .xls, .ppt. Последние два относятся к программам входящими в комплект Microsoft Office: Excel и PowerPoint.
При индексировании сайта поисковая система считывает данные из файла robots.txt, при этом поддерживается атрибут Allow и часть метатегов, а метатеги Revisit-After и Keywords игнорируются.
Так как сниппеты - краткие описания текстовых документов - составляются из фраз на искомой странице, то использование описания в теге не является обязательным, но может использоваться в отдельных случаях.
По заявлениям разработчиков кодировка индексируемых документов определяется автоматически, а значит, и метатег кодировки не имеет большого значения.
Поисковая система большое значение придает показателю последнего изменения информации (Last-Modified). Если сервер не будет передавать эту информацию, то процесс индексации данного ресурса будет происходить намного реже.
Пока что остается нерешенной проблема страниц, использующих фреймовые структуры, но она может быть обойдена с помощью скриптов, отправляющих пользователей поисковой системы в нужное место сайта.
Если у сайта существуют «зеркала» (например, http://www.site.ru, http://site.ru, https://www.site.ru, https://www.site.ru), необходимо принять соответствующие действия для исключения их из процесса индексации. Если индексацию «зеркал» избежать не удалось, можно «склеить» их путем внесения необходимой информации в robots.txt.
В случае попадания сайтов в Яндекс.Каталог система будет идентифицировать их как заслуживающих отдельного внимания, что может повлиять на продвижение сайтов. Также это способствует упрощению процедуры определения тематики сайта, что в свою очередь означает получение сайтом значимой внешней ссылки.
Команда поисковой системы Яндекс держит в секрете IP-адреса своих роботов. Но в лог-файлах отдельных сайтов можно встретить текстовые пометки, оставленные поисковыми роботами Яндекс.
Одними из самых интересных роботов-сканеров поисковой системы Яндекс можно назвать:
- · Yandex/1.01.001 (compatible; Win16; I) - основной робот, занимающийся непосредственно индексацией сайтов;
- · Yandex/1.01.001 (compatible; Win16; P) - робот-индексатор изображений;
- · Yandex/1.01.001 (compatible; Win16; H) - робот, который выявляет «зеркала» индексируемых сайтов;
- · Yandex/1.02.000 (compatible; Win16; F) - робот-индексатор пиктограмм ресурсов (favicons);
- · Yandex/1.03.003 (compatible; Win16; D) - робот, который обращается к страницам, добавленным с помощью формы «Добавить URL»;
- · Yandex/1.03.000 (compatible; Win16; M) - задействуется при переходе на страницу посредством ссылки «Найденные слова»;
- · YaDirectBot/1.0 (compatible; Win16; I) - этот робот отвечает за индексацию страниц ресурсов, принимающих участие в рекламной сети Яндекс.
Из всех поисковых роботов самый важный так и называется - основной поисковый робот. От того, как он проиндексирует страницы сайта, будет зависеть значимость ресурса для поисковой системы.
Работа всех роботов происходит по индивидуальному расписанию, и если сайт проиндексирован одним из них, то это не значит, что скоро будет произведена индексация и другим.
В помощь основным созданы и роботы, которые периодически посещают сайты и устанавливают, насколько те доступны. К таким можно отнести роботов «Яндекс.Каталога» и рекламной сети Яндекс.
Для поисковой системы Яндекс характерны следующие основные показатели внешней оптимизации:
- · тИЦ - это общедоступный тематический индекс цитирования, он не оказывает прямого влияния на ранжирование и используется для определения позиций в тематической категории Яндекс.Каталога; применяется, когда необходима раскрутка сайта, тИЦ показывает, какое количество ссылок, в среднем, обращается к сайту.
- · вИЦ, или взвешенный Индекс Цитирования, представляет собой алгоритм для подсчета количества внешних ссылок; значение его не разглашается и используется поисковой системой как определяющее при ранжировании сайтов в поисковой системе.
- · Присутствие сайта в «Яндекс.Каталоге».
- · Общее число страниц сайта, принявших участие в индексации.
- · Частота, с которой индексируется содержимое сайта.
- · Наличие и отсутствие ссылок с сайта, присутствие сайта в поисковых фильтрах.
Индекс цитирования создает основу для тематического и взвешенного индекса цитирования, которые влияют на ранжирование сайта.
Индекс цитирования (ИЦ) -- это указатель цитирований (количества ссылок на источник) между публикациями, позволяющий узнать, какие из более поздних документов ссылаются на более ранние работы, при этом, ИЦ может рассматриваться как для отдельных статей, так и для авторов (ученных).
В поисковой системе Яндекс, а также в других поисковых системах, под индексом цитирования подразумевается количество обратных ссылок, без учета ссылок со следующих ресурсов: немодерируемых каталогов, досок объявлений, сетевых конференций, страниц серверной статистики, XSS ссылки и другие, которые могут добавляться без контроля со стороны владельца ресурса.
Стоит отметить, что в каталоге Апорт под ИЦ понимается взвешенный индекс цитируемости.
Рассчитывается этот индекс из ссылочного графа: если рассматривать ресурсы сети как вершины графа, а цитирование других ресурсов (ссылочные связи между сайтами) как связи вершин графа (ребра), тогда ссылочный граф можно представить в виде диаграммы, как показано на рисунке 3.1.
1. Термины и определения В настоящем соглашении об обработке персональных данных (далее - Соглашение) нижеприведенные термины имеют следующие определения: Оператор - ИП Днепровский Олег Александрович. Акцепт Соглашения - полное и безоговорочное принятие всех условий Соглашения путем отправки и обработки персональных данных. Персональные данные - информация, внесенная Пользователем (субъектом персональных данных) на сайте и прямо или косвенно относящаяся к данному Пользователю. Пользователь - любое физическое или юридическое лицо, успешно прошедшее процедуру заполнение полей ввода на сайте. Заполнение полей ввода - процедура отправки Пользователем имени, фамилии, номера телефона, персонального адреса электронной почты (далее - Персональные данные) в базу зарегистрированных пользователей сайта, производимая с целью идентификации Пользователя. В результате заполнения полей ввода персональные данные отправляются в базу данных Оператора. Заполнение полей ввода осуществляется добровольно. сайт - сайт, размещенный в сети Интернет и состоящий из одной страницы. 2. Общие положения 2.1. Настоящее Соглашение составлено на основании требований Федерального закона от 27.07.2006 г. No 152-ФЗ «О персональных данных» и положений Статьи 13.11 о «Нарушении законодательства Российской Федерации в области персональных данных» Кодекса об административных правонарушениях Российской Федерации и действует в отношении всех персональных данных, которые Оператор может получить о Пользователе во время использования им Сайта. 2.2. Заполнение полей ввода Пользователем на Сайте означает безоговорочное согласие Пользователем со всеми условиями настоящего Соглашения (Акцепт Соглашения). В случае несогласия с этими условиями Пользователь не осуществляет Заполнение полей ввода на Сайте. 2.3. Согласие Пользователя на предоставление персональных данных Оператору и их обработку Оператором действует до момента прекращения деятельности Оператора либо до момента отзыва согласия Пользователем. Акцептовав настоящее Соглашение, и пройдя процедуру Регистрации, а также осуществляя последующий доступ к Сайту, Пользователь подтверждает, что он, действуя своей волей и в своем интересе, передает свои персональные данные для обработки Оператору и согласен на их обработку. Пользователь уведомлен, что обработка его персональных данных будет осуществляться Оператором на основании Федерального закона от 27.07.2006 г. No 152-ФЗ «О персональных данных». 3. Перечень персональных данных и иной информации о пользователе, подлежащих передаче Оператору 3.1. При использовании Сайта Оператора Пользователем представляются следующие персональные данные: 3.1.1. Достоверная персональная информация, которую Пользователь предоставляет о себе самостоятельно при Заполнении полей ввода и/или в процессе использования сервисов Сайта, включая, фамилию, имя, отчество, номер телефона (домашний или мобильный), персональный адрес электронной почты. 3.1.2. Данные, которые автоматически передаются сервисам Сайта в процессе их использования с помощью установленного на устройстве Пользователя программного обеспечения, в том числе IP-адрес, информация из Cookies, информация о браузере Пользователя (или иной программе, с помощью которой осуществляется доступ к сервисам). 3.2. Оператор не проверяет достоверность персональных данных, предоставляемых Пользователем. При этом Оператор исходит из того, что Пользователь предоставляет достоверную и достаточную персональную информацию по вопросам, предлагаемым в Полях ввода. 4. Цели, правила сбора и использования персональных данных 4.1. Оператор осуществляет обработку персональных данных, которые необходимы для предоставления сервисов и оказания услуг Пользователю. 4.2. Персональные данные Пользователя используются Оператором в следующих целях: 4.2.1. Идентификация Пользователя; 4.2.2. Предоставление Пользователю персонализированных сервисов и услуг (а также, информирование о новых акциях и услугах компании, путём рассылки писем); 4.2.3. Поддерживания связи с Пользователем в случае необходимости, в том числе направление уведомлений, запросов и информации, связанных с использованием сервисов, оказанием услуг, а также обработка запросов и заявок от Пользователя; 4.3. В ходе обработки персональных данных будут совершены следующие действия: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, блокирование, удаление, уничтожение. 4.4. Пользователь не возражает, что указанные им сведения в определенных случаях могут предоставляться уполномоченным государственным органам РФ в соответствии с действующим законодательством РФ. 4.5. Персональные данные Пользователя хранятся и обрабатываются Оператором в порядке, предусмотренном настоящим Соглашением, в течение всего срока осуществления деятельности Оператором. 4.6. Обработка персональных данных осуществляется Оператором путем ведения баз данных, автоматизированным, механическим, ручным способами. 4.7. Сайт использует файлы Cookies и другие технологии, чтобы отслеживать использование сервисов Сайта. Эти данные необходимы для оптимизации технической работы Сайта и повышения качества предоставления услуг. На Сайтее автоматически записываются сведения (включая URL, IP-адрес, тип браузера, язык, дату и время запроса) о каждом посетителе Сайта. Пользователь вправе отказаться от предоставления персональных данных при посещении Сайта или отключить файлы Cookies, но в этом случае не все функции Сайта могут работать правильно. 4.8. Предусмотренные настоящим Соглашением условия конфиденциальности распространяются на всю информацию, которую Оператор может получить о Пользователе во время пребывания последнего на Сайте и использования Сайта. 4.9. Не является конфиденциальной информация, публично раскрытая в ходе исполнения настоящего Соглашения, а также информация, которая может быть получена сторонами или третьими лицами из источников, к которым имеется свободный доступ любым лицам. 4.10. Оператор принимает все необходимые меры для защиты конфиденциальности персональных данных Пользователя от несанкционированного доступа, изменения, раскрытия или уничтожения, в том числе: обеспечивает постоянную внутреннюю проверку процессов сбора, хранения и обработки данных и обеспечения безопасности; обеспечивает физическую безопасность данных, предотвращая неправомерный доступ к техническим системам, обеспечивающим работу Сайта, в которых Оператор хранит персональные данные; предоставляет доступ к персональным данным только тем сотрудникам Оператора или уполномоченным лицам, которым эта информация необходима для выполнения обязанностей, непосредственно связанных с оказанием услуг Пользователю, а также эксплуатации, разработки и улучшения Сайта. 4.11. В отношении персональных данных Пользователя сохраняется их конфиденциальность, кроме случаев добровольного предоставления Пользователем информации о себе для общего доступа неограниченному кругу лиц. 4.12. Передача Оператором персональных данных Пользователя правомерна при реорганизации Оператора и передачи прав правопреемнику Оператора, при этом к правопреемнику переходят все обязательства по соблюдению условий настоящего Соглашения применительно к полученной им персональной информации. 4.13. Настоящее Положение применимо только к Сайту Оператора. Компания не контролирует и не несет ответственность за сайты (сервисы) третьих лиц, на которые пользователь может перейти по ссылкам, доступным на Сайте Оператора, в том числе в результатах поиска. На таких Сайтах (сервисах) у пользователя может собираться или запрашиваться иная персональная информация, а также могут совершаться иные действия 5. Права пользователя как субъекта персональных данных, изменение и удаление пользователем персональных данных 5.1. Пользователь вправе: 5.1.2. Требовать от Оператора уточнения его персональных данных, их блокирования или уничтожения в случае, если персональные данные являются неполными, устаревшими, неточными, незаконно полученными или не являются необходимыми для заявленной цели обработки, а также принимать предусмотренные законом меры по защите своих прав. 5.1.3. Получать информацию, касающуюся обработки его персональных данных, в том числе содержащей: 5.1.3.1. подтверждение факта обработки персональных данных Оператором; 5.1.3.2. цели и применяемые оператором способы обработки персональных данных; 5.1.3.3. наименование и место нахождения Оператора; 5.1.3.4. обрабатываемые персональные данные, относящиеся к соответствующему субъекту персональных данных, источник их получения, если иной порядок представления таких данных не предусмотрен федеральным законом; 5.1.3.5. сроки обработки персональных данных, в том числе сроки их хранения; 5.1.3.6. иные сведения, предусмотренные действующим законодательство м РФ. 5.2. Отзыв согласия на обработку персональных данных может быть осуществлен Пользователем путем направления Оператору соответствующего письменного (распечатанного на материальном носителе и подписанного Пользователем) уведомления. 6. Обязанности Оператора. Доступ к персональным данным 6.1. Оператор обязуется обеспечивать недопущение несанкционированного и не целевого доступа к персональным данным Пользователей Сайта Оператора. При этом санкционированным и целевым доступом к персональным данным Пользователей Сайта будет считаться доступ к ним всех заинтересованных лиц, реализуемый в рамках целей деятельности и тематике Сайта Оператора. Вместе с тем Оператор не несет ответственности за возможное не целевое использование персональных данных Пользователей, произошедшее вследствие: технических неполадок в программном обеспечении и в технических средствах и сетях, находящихся вне контроля Оператора; в связи с намеренным или ненамеренным использованием Сайтов Оператора не по их прямому назначению третьими лицами; 6.2 Оператор принимает необходимые и достаточные организационные и технические меры для защиты персональной информации пользователя от неправомерного или случайного доступа, уничтожения, изменения, блокирования, копирования, распространения, а также от иных неправомерных действий с ней третьих лиц. 7. Изменение Положения о политике конфиденциальности. Применимое законодательство 7.1. Оператор имеет право вносить изменения в настоящее Положение без какого-либо специального уведомления Пользователей. При внесении изменений в актуальной редакции указывается дата последнего обновления. Новая редакция Положения вступает в силу с момента ее размещения, если иное не предусмотрено новой редакцией Положения. 7.2. К настоящему Положению и отношениям между Пользователем и Оператором, возникающим в связи с применением Положения, подлежит применению право Российской Федерации. Принимаю Не принимаю
