На этой неделе, 22 августа, Яндекс
запустил новую версию поиска с алгоритмом «Королёв»
. В его основе - нейронная сеть, которая позволяет ему сопоставлять смысл запроса и веб-страницы и в разы точнее реагировать на сложные и неоднозначные запросы. Для обучения новой версии поиска используются поисковая статистика и оценки миллионов людей: получается, вклад в развитие системы вносят не только разработчики, но и вообще все пользователи.
Презентация «Королёва» состоялась, что символично, в московском планетарии. На сцене выступили Андрей Стыскин, Руководитель Яндекс.Поиска, Александр Сафронов, Руководитель службы релевантности Яндекс.Поиска и Ольга Мегорская, Руководитель отдела обработки данных Яндекс.Поиска..
От Матрикснета до нейросетей
Поисковые системы появились в середине 90-х годов прошлого века, когда Интернет был совсем маленьким - всего несколько тысяч сайтов. Поначалу поисковики просто составляли список страниц, где есть указанные слова без заморочек с ранжированием по степени соответствия запросу. Чем чаще в документе встречаются слова из запроса - тем лучше. Понятное дело, что с нынешним состоянием глобальной сети подобное уже не «прокатит».В Яндексе для обработки запросов придумали Матрикснет - метод машинного обучения, с помощью которого строилась авторская формула ранжирования. Однако поиск продолжал опираться именно на слова. Но как быть с запросами, которые пользователи формулируют иносказательно или ассоциативно? Тогда искомая веб-страница не обязательно должна содержать строго все слова из запроса. Но как это объяснить машине? Вот бы она понимала нас, как человек...
В конце концов учёные придумали нечто на стыке технологий и биологии - искусственную нейронную сеть (ИНС). Согласно формулировке «Википедии», это «математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей - сетей нервных клеток живого организма». Нейронные сети способны обрабатывать информацию подобно нам и, главное, учиться и оттачивать навыки, словно живые существа. Собственно, они - основа полноценного искусственного интеллекта, появление которого вопрос времени.
В прошлом году Яндекс представил поисковый алгоритм «Палех» на основе нейронной сети. Он показал отличные результаты в решении задач, которые обычно были под силу лишь людям: прекрасно справлялся с распознаванием речи и объектов на изображениях. «Палех» научился преобразовывать поисковые запросы и заголовки веб-страниц в группы чисел - семантические векторы. Их важное свойство состоит в том, что векторы можно сравнивать друг с другом: чем сильнее сходство, тем ближе по смыслу запрос и заголовок.
«Королёв». Который понимает
Следующей ступенью развития поисковой системы на основе нейросетей стал алгоритм «Королёв», который анализирует не только заголовок, но и всю страницу целиком! Количество страниц, которые поиск сравнивает по смыслу с запросом, выросло со 150 документов до 200 тысяч. Кроме всего прочего, «Королёв» стал учитывать ещё и смысл других запросов, по которым люди на неё переходят на искомую страницу.Нейронная сеть учится, словно ребёнок. Чтобы освоить подобное, ей понадобилось огромное количество примеров. Собственно, стихийным обучением «Королёва» занимались так или иначе все пользователи сервиса: в ход пошла поисковая статистика и оценки миллионов людей. Яндекс постепенно учится всё точнее распознавать смысловые связи, вроде: [картина где небо закручивается] - это про картину Ван Гога, [ленивая кошка
из Монголии] - манул.
Поиск - это очень сложная система. Тысячи инженеров работают над тем, чтобы она понимала человека и помогала решать его задачи. В «Королёве» мы объединили машинный интеллект и усилия миллионов людей. Наши пользователи улучшают поиск вместе с нами, задавая вопросы и помогая обучать наши алгоритмы.Помимо анализа ежедневной рутины, для обучения поисковой системы необходимы оценки качества ответов. Чем сложнее система, тем больше оценок требуется. Если раньше оценкой качества поиска занималась относительно небольшая группа специалистов-асессоров, членов команды Яндекса, то теперь потребовалось серьёзно увеличить объёмы. Так появился сервис Яндекс.Толоки (толока - форма взаимопомощи, которую когда-то практиковали деревенские жители). Любой энтузиаст, заинтересованный в небольшом вознаграждении и, конечно, в чувстве причастности к чему-то важному, может выполнять несложные задания. Сейчас таких толокеров набралось более миллиона человек, а количество выставленных ими оценок превысило 2 миллиарда.
Андрей Стыскин , руководитель Поиска Яндекса.
«В основе современного поиска лежат сложные алгоритмы. Алгоритмы придумывают разработчики, а учат - миллионы пользователей Яндекса. Любой запрос - это анонимный сигнал, который помогает машине всё лучше понимать людей. Поэтому мы не ошибёмся, если скажем: новый поиск - это поиск, который мы сделали вместе», - гласит запись в блоге Яндекса.
За более чем двухлетнюю историю работы Яндекс.Толоки был выявлен самый результативный и старательный участник. Им стал Илья Михаленко из Челябинска. Парень приехал на презентацию «Королёва» в Москву, чтобы получить заслуженную награду из рук команды поисковика.
Новый поиск в деле
В чём на практике выражается улучшение работы нашего Яндекса? Теперь с ним можно разговаривать практически как с мозговитым и эрудированным приятелем. (Даже голосом.) К примеру, что вы будете делать, если нужно вспомнить название фильма, из которого вы помните какой-то отрывок, а имена актёров и режиссёра вылетели из головы? Можно обратиться к друзьям или просить помощи на каком-нибудь тематическом форуме. А можно спросить у «Королёва»!Значительно улучшился поиск по картинкам. С ними, как правило, всегда какое-то «адище»: поисковик либо бездумно выдаёт все изображения, в названии которых используются слова из запроса, либо учитывает текст статьи, которую иллюстрирует картинка. Если ищешь нечто, что отвечало бы смутным запросам души, то готовься разочароваться. «Королёв» анализирует именно то, что изображено на картинке, поэтому способен порадовать нетривиальным подходом.
В качестве примера-испытания привели не самый очевидный запрос - [кошка в космосе]. Собаки бывали на орбите довольно часто, но из усатых-полосатых дисциплинированных покорителей космоса не вышло. Достоверно известно только об одной попытке: в 1963 году французы запустили в суборбитальный полёт кошку Фелисетт. Романтично, но недальновидно, - стоило учёным открыть люк приземлившейся капсулы, мурка была такова. Торжественная фотосессия не состоялась.
По запросу поисковик выдаёт не только зверюшек в скафандрах и сюрреалистичные фотожабы, но фото котика в стиральной машинке, которая вполне себе похожа на люк космического корабля. Но этого не сказано в описании.
Для торжественного запуска нового поисковика на сцену поднялась вся команда Яндекс.Поиска. Небольшой обратный отсчёт и… Поехали! Теперь каждый может испытать возможности проницательного «Королёва». Главное, что его нынешние возможности не статичны, а находятся в постоянном развитии.
Для завершения вечера организаторы припасли нечто совершенно неожиданное - сеанс связи с настоящими космонавтами с орбиты. Они лично ответили на некоторые популярные запросы пользователей поисковика о космосе и ответили на вопросы присутствующих.
Пока в блоге «Яндекса» и на «Хабре » на сотни комментариев разворачиваются споры о достоинствах и недостатках нового алгоритма, мы расскажем о главном: что это значит для пользователей, как включить новый поиск и что, собственно, изменилось.
«Королёв» как новый поиск
Главное, что нужно знать про алгоритм «Королёв» не слишком погруженным в тему пользователям - это то, что он умный. Его так и представили: «Королёв - это машинный интеллект, который тебя понимает». Построен поиск на специально обученной нейронной сети. Она ищет уже не столько по словам, сколько по смыслу. «Благодаря этому поиск понимает, что именно нужно пользователю, и отвечает на сложные вопросы еще более точно», - утверждают разработчики.
Например, если ввести запрос «под эту музыку появляется Дарт Вейдер» - поиск первым делом предложит послушать «Имперский марш». А заодно выдаст информацию по персонажу «Звёздных войн». Логично? Вполне. На запрос «фильм, в котором пожилой мужчина пришел на работу устраиваться», первым ответом появляется ссылка на рецензию к фильму «Стажер». Он и подразумевался. И ведь не пришлось вспоминать ни год, ни актеров, ни даже подбирать слова и их порядок для запроса.
То же самое касается поиска по картинкам. Если раньше он осуществлялся по ключевым словам из описания к картинкам, то теперь алгоритм анализирует само изображение. Поэтому если вы введете запрос «кошка в космосе» - вам покажут не только забавные креативные работы на эту тему, но и, например, кошку в стиральной машине. Просто потому, что присутствуют все похожие по смыслу составляющие: кошка - в наличии, дверца похожа на иллюминатор, а корпус - на ракету.
В прошлом году «Яндекс» сделал первый шаг к поиску по смыслу, внедрив алгоритм «Палех». Он умел сопоставлять смысл запроса и заголовка веб-страницы. «Королёв» анализирует не только заголовок, но и всю страницу целиком. Количество страниц, которые поиск сравнивает по смыслу с запросом, выросло со 150 документов до 200 тысяч страниц. Еще одна особенность «Королёва»: он учитывает также смысл других запросов, по которым люди переходят на страницу.
Почему «Яндекс» говорит, что сделал это с моей помощью?
Всё, что мы делаем в «Яндексе»: какие запросы задаем, на какие страницы переходим, задерживаемся или уходим (потому что не нашли нужного) - учитывается в поисковой статистике. Если вы ввели запрос, прошли по ссылке в выдаче и задержались на странице некоторое время - вероятно, вы нашли нужную информацию и ознакомились с ней. Данные о поведении миллионов пользователей помогают нейронной сети учиться понимать смысловую близость запроса и найденной страницы.
Для обучения важно также учитывать качество ответов. Раньше «Яндекс» оценивал качество поиска с помощью специалистов - асессоров. Теперь учитываются также оценки добровольцев - пользователей «Яндекс.Толоки». Это сервис, где любой желающий может выполнять задания, помогая улучшать поиск, и получать за это вознаграждение.
Как мне начать использовать новый поиск?
Ничего особенного от вас не требуется. Новый поиск так или иначе заработает сам. Но если вы хотите вникнуть в происходящее - достаточно зайти на главную «Яндекса», домотать до «звездного неба» и нажать на «Пуск». Так вы познакомитесь с собственным поисковым поведением и сможете посмотреть ролик о «Королёве», объясняющий, как всё работает. Вы также можете просто нажать на логотип «Яндекса» слева от поисковой строки и посмотреть красивую и понятную презентацию.
Почему «смысловые» запросы работают не всегда?
Естественно, в первую очередь нейросеть учится воспринимать популярные запросы - например, о кино или музыке. Именно о таких запросах у поисковика больше всего данных, их задает большое число людей. Чему-то специфическому «Королёв» тоже сможет обучиться, но произойдет это несколько позже - когда наберется необходимая для анализа информация.
Презентация полностью
С некоторых пор пользователи ОС Windows XP ранних выпусков вдруг стали замечать, что их система перестала пользоваться вниманием разработчиков и новые версии старых программ зачастую не запускаются. Подобный “сюрприз” мог возникнуть и с Яндекс-Браузером.Обычно это выяснялось только после того, как ничего не подозревающий пользователь XP обновлял свой работающий браузер на новую версию. После робких попыток восстановить выясняется, что скачать его неоткуда.
В описанном случае нужно обновить XP до servicepack последней версии. Но проблема свежих servicepack’ов не является темой статьи, а используется как пример ситуации, при которой возникла необходимость получить старую версию браузера. В статье мы обозначим моменты, позволяющие восстановить старый обозреватель.
Что же делать и где взять старый браузер?
Можно пойти тремя путями:
- Вернуть операционную систему к ранней точке восстановления.
- Связаться со службой поддержки Яндекс Браузера и попросить у них решить проблему
- Попытаться найти дистрибутив на просторах интернета
На этих вопросах и остановимся подробнее в следующем подразделах
Про разработку интернет-обозревателей в компании на букву Я
Не скрывая своего поползновения на академичность посмею в самом начале нашего разговора о старых интернет-клиентах сделать краткий экскурс в мир Яндекс-Браузеров. Совсем краткий.
Яндекс-Браузер создан в 2012 году на базе фреймворка Blink. Популярность в рунете примерно 8%. Обозреватель поддерживает технологию HTML5.
С октября 2013 года выпуски браузера маркируются специальным способом: “XX.YY”. Первые две цифры – это год выпуска, вторые – месяц. Например, маркировка “14.11” означает, что браузер был выпущен в ноябре 2014 года.
Яндекс.Альфа – новый браузер с революционным интерфейсом. Цель разработки – раскрытие страниц на весь объем экрана. Табло стало анимированным, а вкладки перемещены вниз. Обозреватель интегрирован со всеми сервисами Яндекса. Встроена поддержка сторонних расширений. Используются так называемые “жесты мышью”, когда движение мыши по определенной траектории интерпретируется как команда браузеру. Например, клик и движение мышкой по траектории “вправо вниз и сразу влево” послужат командой: “вернуть закрытую вкладку”.
Как установить предыдущий выпуск интернет-обозревателя
Рассмотрим три варианта действий, направленных на то, чтобы вернуть обозреватель от компании Яндекс к старому варианту.
Откат операционной системы
Если вы используете “точки восстановления” в ОС, то вполне вероятно откат к более ранней версии приведет к восстановлению старых настроек программ, установленных в системе. Если браузер обновился автоматически и после этого перестал работать, имеется довольно хороший шанс вернуть его в своё первоначальное состояние.
Если же вы не используете данную технологию или отключили её, то воспользоваться этим способом не получится.
Контакт со службой поддержки
Первое — перейдите в раздел технической поддержки браузера: yandex.ru/support/yabrowser/support/support.xml. Далее найдите в тексте ссылку “форма обратной связи” и перейдите по ней. Произойдет какая-то запутанная переадресация, после которой вы попадете снова на страницу где будет предлагаться задать вопрос. Вновь разыщите там ссылку на обратную связь и вбейте в форму ваше сообщение о безуспешных попытках восстановить предыдущую версию интернет-клиента.
Использование дистрибутивов сохраненных другими пользователями
Можно поддаться искушению решить проблему здесь и сейчас, не занимаясь долгой перепиской со службой поддержки или разбираясь с настройками точек отката (а были ли они вообще?). И тут рука тянется вбить в поиск что-то вроде “скачать старый Яндекс ”. Результат возможно вас порадует и поисковая выдача будет пестреть предложениями скачать программу. Особенно умилять вас будет указание на бесплатность скачивания. Только сайты эти будут неофициальные и одному Богу известно, что вы себе скачаете на компьютер вместе с дистрибутивом и какие проблемы после этого могут появиться. Возможно они будут такие, что восстанавливать придется уже не только один браузер.
С какого сайта можно загрузить интернет-обозреватель?
Увы, я не посоветую тебе, дорогой читатель, где можно скачать “многострадальный” Яндекс-Браузер и вот почему. Потому что официальной такой возможности нет – яндекс не предоставляет ссылок на скачивание старых версий в открытом доступе. Но это не значит, что он не даст вам ссылочку во время приватной переписки со службой поддержки, если вы слезно попросите.
Впрочем, всё это мы разобрали в предыдущем подразделе – отправляю тебя туда, для дальнейших шагов в исследовании этого вопроса.
Both comments and trackbacks are currently closed.
