Как работает когнитивная система IBM Watson. Когнитивная система IBM Watson: принципы работы с естественным языком

Как работает когнитивная система IBM Watson. Когнитивная система IBM Watson: принципы работы с естественным языком

26.04.2019

Современные суперкомпьютеры – это несколько серверных компьютеров, объединенных в сеть. Скорость их вычислений измеряется в петафлопсах.

  • 1 петафлопс = 10 15 операций в секунду

Средняя производительность головного мозга человека - 20 петафлопс. Всего несколько суперкомпьютеров в мире имеют большую производительность, но при этом ни один из них не может заменить человеческий мозг.

В настоящее время в мире существуют несколько сотен суперкомпьютеров. Самые мощные попадают в ежегодный рейтинг ТОП-500. В 2016 году этот рейтинг возглавил китайский Sunway TaihuLight. До этого три года лидерство удерживал тоже китайский компьютер Tianhe-2. У компании IBM в этом рейтинге два суперкомпьютера: Mira и Sequoia. Последний в 2012 году был лидером, а сейчас занимает четвертое место.

Андрей Филатов (генеральный директор IBM в России и странах СНГ) о когнитивных технологиях

Dr. Watson - самый известный суперкомпьютер

Главное достоинство Watson в том, что он понимает вопросы на естественном языке и отвечает на них, анализируя данные. В 2011 году Watson выиграл у людей в телевикторине Jeopardy! (российский аналог - «Своя игра»).

Watson - это набор технологий применения, которые называются «облачными сервисами». Активнее всего Watson применяется в медицине, помогая диагностировать и лечить рак. В его памяти содержится более 600 000 медицинских заключений. Также он используется в финансовой сфере, юриспруденции, гостиничном бизнесе и многих других отраслях. Более того, даже способен поддержать беседу со знаменитостями.

Во время загрузки произошла ошибка.

Watson общается с американской теннисисткой Сереной Уильямс

Области применения IBM Watson

Образование. Школы в США тестируют Teacher Advisor with Watson - когнитивный инструмент, который предлагает советы по улучшению учебных планов и персонализации программ обучения.

Наука . Компания Johnson & Johnson использует Watson для того, чтобы анализировать научную литературу. Из колоссального количества материалов он выбирает необходимые для исследования, и исследование можно проводить намного быстрее и эффективнее.

Безопасность труда. Производитель прокатной стали North Star BlueScope Steel собирается использовать систему Watson Internet of Things, чтобы создать решения по защите рабочих в экстремальных ситуациях. Также рабочие будут носить устройства для сбора и обработки данных. При возникновении опасных для людей условий сведения будут сразу же отправляться руководству North Star.

Кибербезопасность . Киберпреступники взламывают информационные системы предприятий, а потом продают доступ к ним в «чёрном» интернете. Если в одной части земного шара произошёл сбой или мошенничество, система Watson позволит предупредить других пользователей этой системы.

Медицина . Университет Северной Каролины и ещё 12 центров по изучению онкологических заболеваний используют Watson для анализа ДНК пациентов, чтобы затем вырабатывать персонализированные методики лечения.

Ни один врач не в состоянии проанализировать такую огромную выборку информации, только компьютер

3 сентября 2015 в 11:34

Когнитивная система IBM Watson: принципы работы с естественным языком

  • Блог компании IBM ,
  • Алгоритмы

IBM Watson - одна из первых когнитивных систем в мире. Эта система умеет очень многое, благодаря чему возможности Watson используются во многих сферах - от кулинарии до предсказания аварий в населенных пунктах. В общем-то, большинство возможностей Watson не являются чем-то уникальным, но в комплексе все эти возможности представляют собой весьма мощный инструмент для решения разнообразных вопросов.

Например - распознавание естественного языка, динамическое обучение системы, построение и оценка гипотез. Все это позволило IBM Watson научиться давать прямые корректные ответы (с высокой степенью достоверности) на вопросы оператора. При этом когнитивная система умеет использовать для работы большие массивы глобальных неструктурированных данных, Big Data. Каковы основные принципы работы IBM Watson с языком? Об этом - в продолжении.

Основные сложности распознавания естественного языка

Для человека язык - это средство выражения мысли. Мы используем язык для передачи своего мнения, каких-либо данных и сведений. Можем делать прогнозы и формировать теории. Именно язык - краеугольный камень нашего сознания. При этом, вот парадокс, язык человека очень неточный.

Многие термины - нелогичны, и компьютерным системам понять нас бывает очень сложно. Например, как может быть тонким голос? Как можно сгореть со стыда? Для машины это - проблема, для человека же - вполне обыденная вещь. Дело в том, что для правильного ответа на вопрос во многих случаях необходимо учитывать имеющийся контекст. При отсутствии достаточной фактической информации трудно правильно ответить на вопрос, даже если вы можете найти точный ответ на элементы вопроса в буквальном смысле.

Обработка естественного языка - начало

Многие компьютерные системы способны анализировать язык, но при этом проводится поверхностный анализ. Это может иметь смысл, например, для того, чтобы поставить статистически обоснованную оценку тенденций в изменении эмоций на больших массивах информации. Здесь точность передачи информации не слишком важна, поскольку если даже если предположить, что число ошибочно-позитивных результатов примерно равно числу ошибочно-негативных результатов, то они компенсируют друг друга.

Но если значение имеют все случаи, то системы, которые работают с поверхностным анализом языка, уже не могут нормально делать свою работу. Ярким примером сказанному может быть задача для голосового помощника любого из мобильных устройств. Если сказать «найди мне пиццу», то помощник выведет список пиццерий. Если же сказать «не ищи мне пиццу в Мадриде», например, система все равно будет искать. Такие системы работают, идентифицируя некоторые ключевые слова и используя определенный набор правил. Результат может быть точным в заданной системе правил, но неправильным.

Глубокая обработка естественного языка

Для того, чтобы научить систему анализировать сложные смысловые конструкции, с учетом эмоций и прочих факторов, специалисты использовали глубокую обработку естественного языка. А именно - вопросно-ответную систему контентной аналитики (Deep Question*Answering, DeepQA). Если требуется большая точность, то приходится использовать дополнительные методы обработки естественного языка.
IBM Watson - система глубокой обработки естественного языка. При анализе определенного вопроса, для того, чтобы дать правильный ответ, система старается оценить как можно более обширный контекст. При этом используется не только информация вопроса, но и данные базы знаний.
Создание системы, способной провести глубокую обработку естественного языка, позволило решить и другую проблему - анализ огромного количества информации, которая генерируется ежедневно. Это неструктурированная информация, вроде твитов, сообщений социальных сетей, отчеты, статьи и прочее. IBM Watson научился использовать все это для решения задач, поставленных человеком.

Когнитивная система IBM Watson

Watson - это уже иной уровень вычислительных возможностей. Система умеет разделять определенные высказывания на естественном языке и находить связи между этими высказываниями. При этом Watson справляется с задачей, во многих случаях, даже лучше человека, при этом обработка данных идет гораздо быстрее, работа ведется с гораздо большими объемами - человек на такое просто неспособен.

Основные характеристики когнитивной системы

Система работает в таком порядке:

1. Получив вопрос, Watson выполняет его синтаксический анализ, чтобы выделить основные особенности вопроса.

2. Система генерирует ряд гипотез, просматривая корпус в поисках фраз, которые с некоторой долей вероятности могут содержать необходимый ответ. Для того чтобы вести эффективный поиск в потоках неструктурированной информации, нужны совершенно другие вычислительные возможности * их называют когнитивными системами. (не очень понимаю последнее предложение и роль звёздочки)

3. Система выполняет глубокое сравнение языка вопроса и языка каждого из возможных вариантов ответа, применяя различные алгоритмы логического вывода.

Это трудный этап. Существуют сотни алгоритмов логического вывода, и все они выполняют разные сравнения. Например, одни выполняют поиск совпадающих терминов и синонимов, вторые рассматривают временные и пространственные особенности, тогда как третьи анализируют подходящие источники контекстуальной информации.

4. Каждый алгоритм логического вывода выставляет одну или несколько оценок, показывающих, в какой степени возможный ответ следует из вопроса, в той области, которая рассматривается данным алгоритмом.

5. Каждой полученной оценке затем присваивается весовой коэффициент по статистической модели, которая фиксирует, насколько успешно справился алгоритм с выявлением логических связей между двумя аналогичными фразами из этой области в “период обучения” Watson. Эта статистическая модель может быть использована впоследствии для определения общего уровня уверенности системы Watson в том, что возможный вариант ответа следует из вопроса.

6. Watson повторяет процесс для каждого возможного варианта ответа до тех пор, пока не найдет ответы, которые будут иметь больше шансов оказаться правильными, чем остальные.

Как уже говорилось выше, для правильного ответа на вопрос системе необходимо обращаться к дополнительным источникам данных. Это могут быть учебники, мануалы, FAQ, новости и все прочее. Watson за считанные секунды обрабатывает огромные массивы информации для получения правильного ответа. При этом найденное содержимое тоже проверяется, отсеиваются устаревшие и бесполезные данные.

Элементы когнитивной системы

Общий смысл текста Watson выводит из полученной информации, из дополнительной базы. При этом используется заголовок документа, часть текста документа или весь текст.

Когнитивные системы, их способы сбора, запоминания и извлечения информации схожи с тем, как анализирует информацию человек. При этом когнитивные системы могут передавать информацию и действовать. Вот примеры поведенческих конструктов, которые используются в этом случае:

Способность создавать и проверять гипотезы;
- способность разбивать на составляющие и строить логические выводы о языке;
- способность извлекать и оценивать полезную информацию (такую как даты, местоположения и характеристики).

Без этих способностей ни компьютер, ни человек не смогут определить правильную взаимосвязь между вопросами и ответами.
Когнитивные процессы более высокого порядка могут достичь высокого уровня понимания, ориентируясь на основные способы поведения. Для того чтобы понять что-то, мы должны уметь разделить информацию на более мелкие элементы, которые достаточно хорошо упорядочены на рассматриваемом уровне. Физические процессы у человека протекают совсем не так, как процессы в космическом масштабе или на уровне элементарных частиц. Так же и когнитивные системы предназначены для работы на уровне человека, хотя они представляют огромное множество людей.

В связи с этим понимание языка начинается с понимания более простых правил языка – не только формальной грамматики, но и неформальных соглашений, которые наблюдаются в повседневном использовании.

Зачем все это?

Сейчас когнитивная система IBM Watson, благодаря многолетнему обучению и совершенствованию, может выполнять работу в самых разных сферах. Здесь и медицина, и кулинария, и лингвистика, и решение бизнес-задач с задачами научными.

Изначально у специалистов был выбор - сделать систему универсальной или специализированной. У каждого из вариантов есть свои достоинства и недостатки, но выбор был сделан в сторону универсальности.

Компания уже много раз убедилась в правильности совершенного выбора - перед

Онлайн-кинотеатр MEGOGO в рамках социального проекта “Смотри как слышно” запустил одноименный интерактивный канал для людей с нарушениями слуха. На канале весь контент без исключения транслируется с сурдопереводом.

Большая часть контента (порядка 70%) рассчитана на детскую аудиторию, которой сложно дается восприятие субтитров. Поэтому, согласно концепции канала “Смотри как слышно”, здесь каждый день с утра будут показаны мультфильмы и детское кино, а в вечернее и ночное время предусмотрена программа с учетом интереса взрослых — фильмы и сериалы. Например, “Петля времени”, “Список контактов”, “Области тьмы”, “Афера по-американски”.

В MEGOGO говорят, что крупные студии и правообладатели с легкостью открывают права на видеопроизводство сопровождающего сурдоперевода. Поэтому на канале пользователи смогут посмотреть знаменитые блокбастеры и легендарные фильмы в HD качестве.

“Мы стараемся снабдить сурдопереводом каждый фильм, на который получаем права. Слабослышащие и люди с нарушениями слуха должны получать доступ ко всему контенту, как и все наши пользователи. Сейчас у нас уже весь контент имеет опцию “субтитры”, но этого недостаточно, есть те, кто не воспринимает тексты и им нужен помощник в виде сурдопереводчика. Канал “Смотри как слышно” отвечает международным тенденциям и практикам по интегрированию в социум людей с нарушениями слуха”, — рассказал Иван Шестаков, директор по маркетингу MEGOGO.

Сурдоперевод полностью создается на собственной студии MEGOGO, которую онлайн-кинотеатр запустил более 2-х лет назад, одновременно со специальным разделом “Смотри как слышно”. Тогда же в рамках одноименного проекта компания регулярно начала проводить кинотеатральные показы мультфильмов для детей с нарушением слуха в Украине, России, странах Балтии и СНГ. Где помимо фильмов при участии различных партнеров юным зрителям дарят подарки, угощения и организовывают развлекательную программу.

Новый интерактивный канал “Смотри как слышно” будет доступен в подписках “Кино и ТВ” в Украине, России, Молдове, Беларуси, Казахстане, Азербайджане, Таджикистане, Кыргызстане, Армении и Туркменистане.

По оценкам экспертов только в Украине кол-во людей с нарушением слуха — 1,3 млн человек. “В странах бывшего СССР их может быть более 8 млн. И они на равных должны быть обеспечены развлечениями. Например, в Финляндии, Швеции, Великобритании язык жестов приравнен к национальному. Ему обучают детей в школе, медработники, полицейские, учителя и обслуживающий персонал должны владеть языком жестов, а ТВ каналы обязаны показывать как минимум субтитры”, — рассказывают о западном примере организаторы благотворительного проекта “Почути”.

) - суперкомпьютер фирмы IBM, оснащённый системой искусственного интеллекта, который был создан группой исследователей под руководством Дэвида Феруччи. Его создание - часть проекта DeepQA. Основная задача Уотсона - понимать вопросы, сформулированные на естественном языке и находить на них ответы в базе данных. Назван в честь основателя IBM Томаса Уотсона.

Участие в «Jeopardy!»

В феврале 2011 года для проверки возможностей Уотсона он принял участие в телешоу Jeopardy! (российский аналог - Своя игра). Его соперниками были Брэд Раттер - обладатель самого большого выигрыша в программе, и Кен Дженнингс - рекордсмен по длительности беспроигрышной серии. Уотсон одержал победу, получив 1 миллион долларов, в то время, как Дженнингс и Раттер получили, соответственно, по 300 и 200 тысяч.

Платформа

Уотсон состоит из 90 серверов Power7 750, каждый из которых содержит по 4 восьмиядерных процессора POWER7. Суммарная оперативная память Уотсона более 15 терабайт.

Система имела доступ к 200 миллионам страниц структурированной и неструктурированной информации объемом в 4 терабайта, включая полный текст Википедии. Во время игры Уотсон не имел доступа к интернету.

Будущее проекта

IBM совместно с Nuance Communications планирует в ближайшие два года разработать продукт, направленный на помощь в диагностировании и лечении пациентов. Также рассматриваются возможности использования в других сферах, таких как оценка политик страхования или эффективности энергопотребления.

История Watson началась в 2006 году, когда Дэвид Феруччи, старший менеджер отделения IBM по семантическому анализу, занялся тестированием одного из самых мощных суперкомпьютеров компании, занимавшего одну из верхних строчек 500 самых производительных машин мира. Феруччи решил попробовать, насколько эффективно машина будет справляться с задачами, поставленными "естественным языком", и предложил ей ответить на 500 вопросов, заданных в уже состоявшихся программах Jeopardy! Результаты оказались катастрофическими: по сравнению с живыми игроками, машина недостаточно быстро "нажимала на кнопку" (то есть была готова к ответу), а в случае, когда она всё-таки могла конкурировать с людьми, количество правильных ответов не превышало 15%

Феруччи заинтересовался причинами такого поведения суперкомпьютера и в итоге в 2007 году смог убедить руководство IBM дать ему команду из 15 человек и от 3 до 5 лет на создание эффективной автоматической системы, способной отвечать на неформализованные вопросы. Такая система пригодилась бы всевозможным колл-центрам, справочным и любым другим службам, обслуживающим клиентов. У IBM уже был успешный опыт создания машины, способной поспорить с интеллектом человека – речь идёт о суперкомпьютере Deep Blue, который в 1997 году победил чемпиона мира по шахматам Гарри Каспарова. Эта победа сделала большую рекламу IBM, но коммерческого применения подобной установке найти так и не удалось. В случае же с системой автоматических ответов на вопросы коммерческий потенциал вполне очевиден.

Принципиальное отличие Watson от Deep Blue заключается в том, что если шахматный автомат имеет дело со строго логическими правилами игры, то машина, распознающая "естественную речь", сталкивается в куда более сложными правилами языка и многочисленными искажениями и отклонениями от них. Но самая большая сложность заключается в том, что люди, сами того не осознавая, общаются в рамках своего культурного и социального контекста. В разговорной речи полно намёков, аллюзий и коннотаций, отсылок к неким общим для конкретной общественной среды фактам, понятиям и явлениям. В их числе и религиозные представления, и политические убеждения, и всевозможные произведения искусства – от книг и картин до кинофильмов и компьютерных игр.

Для эффективной обработки подобной информации используются статистические алгоритмы, позволяющие путём анализа самых разнообразных документов устанавливать связь разных понятий друг с другом. Проще говоря, она определяет, какие слова чаще всего употребляются вместе. К примеру, "Кремль" чаще связан со словами "Россия", "Москва", чуть реже с "Казань", "Нижний Новгород", ещё реже – с "собор", "икона"" и т.п. Хотя эти алгоритмы известны давным-давно, полноценно применять их стало возможно лишь в последнее десятилетие – после кардинального роста производительности вычислительной техники и снижения стоимости накопителей для хранения огромных массивов данных.

Команда Феруччи загружает в память IBM Watson миллионы всевозможных документов – учебники, энциклопедии, справочники, художественную и религиозную литературу. Для анализа вопросов одновременно используется более сотни алгоритмов, предлагающих сотни возможных решений. Затем другие алгоритмы оценивают достоверность потенциальных ответов, отсеивая невозможные в силу объективных причин (например, несоответствия даты события и лет жизни действующих лиц) и маловероятные. Чем больше будет получено одинаковых ответов, тем выше вероятность, что они правильны – в процессе игры, на табло выводится рейтинг из нескольких самых вероятных ответов, помимо чаще всего встречающегося.

К 2008 году IBM Watson переместился из разряда "неудачников" на верхние строчки так называемого "облака победителей", состоящего из людей, в 50% случаев успевающих первыми нажать кнопку, сигнализирующую о готовности к ответу и затем в 85-95% случаев дающих правильный ответ. В IBM даже договорились с продюсерами Jeopardy о проведении осенью 2010 года специальной серии игр с участием Watson и победителей прошлых лет. Для подготовки к этим играм (то есть фактически для совершенствования алгоритмов) был воссоздан примерный интерьер студии викторины и стали проводиться испытания с участием живых игроков и ведущего. При этом, как и полагается, "Ватсон" даёт свои ответы вслух синтезированным компьютерным голосом, чем немало веселит присутствующих.

В ходе "тренировок" выяснился занятный факт: несмотря не весь потенциал Watson, он может не только выигрывать большинство игр, но и проигрывать более половины из них. Причин несколько: от "его величества случая" (возможны ситуации, когда соперник может выиграть, просто повышая ставки, оставив машину банкротом) до специфики правил. Как ни странно, но человек способен быстрее нажать на кнопку, чем машина, и это связано с правилами игры, которые менять нельзя.

Дело в том, что каждый вопрос выводится на экран и зачитывается ведущим, причём нажать на кнопку можно только после окончания чтения вопроса. Watson получает текст вопроса в электронном виде одновременно с его выводом на экран, но даже при этом он не успевает прийти к готовому решению быстрее человека. Пока ведущий читает вопрос, на что уходит шесть-семь секунд, опытный игрок уже может оценить свои шансы дать правильный ответ и готов нажать на кнопку за какие-то десятки миллисекунд. На последующий ответ правила отводят ещё пять секунд.

Нажимая на кнопку, человек рискует: если он не даст правильный ответ на вопрос за 100 единиц, его виртуальный счёт опустеет на ту же сумму. Компьютер не склонен рисковать и выдаёт ответы только после проведения всех расчётов и только в том случае, если у него достаточно сведений для оценки достоверности и вероятности того, что этот ответ правильный. Как это выглядит в процессе игры, можно увидеть на видеролике. Рискуя, живой игрок может выиграть благодаря тому, что вспомнит нужный ответ за имеющиеся в его распоряжении 11-12 секунд.

В чуть более формализованной ситуации, чем телевикторина, алгоритмы Watson способны дать куда более предсказуемые и точные ответы. В частности, глава исследовательского подразделения IBM Джон Келли намерен создать медицинскую версию этого устройства под неофициальным названием Watson M.D. Такая система помогла бы врачам быстро принимать правильные решения с учётом огромного множества данных о пациенте, которые физически невозможно всегда удерживать в памяти. "Ватсон" вполне может заменить живых операционистов в компьютерных и телефонных службах в розничной торговле, в банковской сфере и на транспорте.

Стоимость системы класса IBM Watson на сегодняшний день может составить несколько миллионов долларов, поскольку для её работы требуется по крайней мере один суперкомпьютер IBM за миллион долларов. Келли считает, что в ближайшие десять лет подобная технология может быть реализована на гораздо более дешёвом сервере, а в перспективе такая программа будет работать на компьютере не дороже современного ноутбука.

Знающие английский язык могут сразиться с IBM Watson онлайн на сайте The New York Times.

Суперкомпьютер IBM Watson планируют использовать в службах техподдержки вместо живых операторов. Однако все эти задачи связаны скорее с нахождением правильного ответа на запросы пользователей на базе известной информации. В IBM считают, что настоящий искусственный интеллект должен уметь находить творческие решения, создавать и изобретать новое, а не только анализировать старое.

Для развития креативных способностей Ватсона его создатели выбрали кулинарное искусство. Это весьма удобный испытательный полигон: приготовление пищи - очень «человеческий», интуитивный процесс, слабо поддающийся алгоритмизации и стандартизации. А оценить результат способен любой человек с улицы. Миндально-шоколадное печенье в испанском стиле, клубничный десерт по-эквадорски, помидоры гриль на гренках с шафраном - эти и другие блюда, созданные Ватсоном, уже были приготовлены и с удовольствием съедены в ходе экспериментов. А пару недель назад был опубликован препринт статьи с описанием алгоритмов и математических моделей, которые Ватсон использует для создания оригинальных рецептов.

Любое творческое решение должно одновременно удовлетворять двум критериям - быть новым и быть качественным. Новизны добиться относительно легко, просто комбинируя ингредиенты и приёмы обработки. А вот с качеством дело обстоит намного сложнее. Научить компьютер понимать, каким будет вкус, аромат, фактура и внешний вид блюда, чрезвычайно трудно.

Исходными данными для Ватсона послужили несколько миллионов рецептов, собранных в интернете. Он были пропущены через проверенные алгоритмы обработки естественного языка, которые использовались для победы в викторине и для обучения Ватсона медицине. Из Википедии была извлечена информация о типичных ингредиентах и приёмах обработки, характерных для кухонь разных народов мира. Наконец, Ватсон получил основательные знания в химии и физиологии восприятия человеком вкуса и запаха.

Новые рецепты генерировались на основе существующих с помощью генетического алгоритма, в качестве функции приспособленности использовались значения новизны, приятности и сочетаемости.

Математическая модель оценки новизны рецепта основана на теореме Байеса, был использован так называемый подход "байесова удивления", изначально разработанный для моделирования поведения зрителя при просмотре видео. В двух словах суть метода состоит в том, что измеряется различие между априорной и постериорной вероятностью встретить некое сочетание продуктов в пространстве рецептов при добавлении в него нового. Так, сочетания орехов с шоколадом или горчицы с сосисками являются совершенно банальными и не вызывает почти никакого изменения вероятностей разных сочетаний. А вот сосиски в шоколаде повлияют на эти вероятности гораздо более существенно.

Для оценки приятности использовалась в основном химия. Зная химический состав продуктов и порядок их смешивания и обработки, компьютер вычислял, какие вещества будут определять вкус и запах блюда. Интересно, что запах оказался намного более важным, чем вкус блюда. Наше восприятие вкуса очень сильно связано с запахом и ароматом. Человек различает всего несколько базовых вкусов - кислый, сладкий солёный, горький. В разных культурах выделяют ещё несколько базовых вкусов, например терпкий или умами. А вот разнообразие запахов гораздо больше и они не сводятся к простым базовым сочетаниям.

Наконец, оценка сочетаемости продуктов также опиралась на серьёзную научную базу, в частности, на совместное исследование американских и британских учёных "Сети ароматов и принципы сочетания продуктов", в котором было проанализировано около 50 000 рецептов и построены карты сочетаемости продуктов, характерные для кухонь разных регионов.

В результате было создано приложение, в котором можно задать набор продуктов, национальный стиль и разновидность блюда, после чего Ватсон выдавал набор рецептов, которые можно упорядочить по степени новизны, приятности и сочетаемости. Кроме отдельных блюд, Ватсон умеет создавать целые меню, добиваясь разнообразия и правильных сочетаний блюд благодаря использованию тематического моделирования. Это способ построения модели коллекции текстовых документов, который разбивает коллекцию на темы и определяет к какой теме относится каждый документ. Ватсон применяет эту модель к рецептам - в качестве ключевых слов выступают отдельные ингредиенты, в качестве документов - сами рецепты.

То, как работают современные технологии, объяснить зачастую сложно, а когда речь заходит о когнитивных вычислениях и системе IBM Watson, то кажется, эта тема недоступна для понимания обычного человека. Но это вовсе не так: профессионалы могут объяснить все, включая самые сложные материи, причем довольно доступными словами. Сегодня о работе когнитивной системы IBM Watson и других инновационных решениях компании рассказывают специалисты компании IBM . Это Владимир Алексеев, бизнес-консультант по индустриальным решениям IBM в России и СНГ, Александр Дмитриев, ведущий системный архитектор IBM в России и СНГ, и Юлия Пакина, менеджер по развитию бизнеса IBM в России и СНГ.

IBM уже много лет работает в сфере когнитивных технологий. Расскажите, пожалуйста, какими проектами сейчас в этом направлении занимается компания?

Александр Дмитриев

Чтобы ответить на этот вопрос, надо немного рассказать о самих технологиях. Когнитивные технологии — это направление развития систем искусственного интеллекта, основная задача которых — помогать человеку в принятии решений в сложной обстановке. Существует целый ряд отраслей и процессов, требующих управления при огромном количестве меняющихся параметров, сложных зависимостей, труднопредсказуемых результатов. При этом решения должны приниматься в режиме времени, близком к реальному. Самым простым примером будут электронные торги на бирже или покупки через интернет. Например, на популярных торговых сайтах зачастую проводятся акции, когда дешевый товар выставляется на продажу с определенного момента времени. Человек не успевает даже нажать кнопку, а товар уже продан: срабатывают автоматические системы закупок. Точно так же покупка и продажа акций на мировых биржах поддерживается системами, собирающими огромное количество информации из различных источников и «автоматически» принимающих решения о покупке или продаже тех или иных пакетов акций. На самом деле решение принимает человек, когда создает и обучает эту систему.

Из всего этого вытекает понимание спектра клиентов и возможных проектов, для которых подходят когнитивные технологии: это в первую очередь крупные компании из тех отраслей бизнеса, где необходимо быстро и качественно обрабатывать большие объемы данных, выявлять сложные связи и зависимости, а по алгоритмам, близким к человеческому мышлению, вырабатывать варианты решений, чтобы управляющие специалисты могли быстро сделать выбор нужных действий. Это в первую очередь крупные производства, где задействованы большие ресурсы и объемы данных — как от технических систем, так и от действий персонала (нефтяная промышленность, банки, строительство, тяжелое машиностроение и т.д.). Также это те области, где требуется освоение и понимание большого количества информации о новых разработках, учет накопленного опыта и высокие риски при принятии решений. Это относится к области медицины, социального управления. Цена при медицинских решениях — это человеческая жизнь, здоровье. Здесь когнитивные технологии особенно ценны. Они предоставляют специалистам реферативную информацию по новым достижениям в области конкретного медицинского направления, помогают подобрать лучший вариант лечения для каждого пациента с учетом истории и специфики его болезни.


Кроме того, одним из важнейших направлений является создание баз данных знаний по той или иной области науки, техники, роду деятельности, истории и т.д.

Теперь о конкретных проектах. Сегодня уже целый ряд крупных компаний создают сложные системы поддержки принятия решений, причем не только за рубежом, но и в России. Если говорить о зарубежных примерах, то крупнейшая австралийская нефтяная компания Woodside создала базу знаний по своей отрасли с учетом собственного опыта. Это позволило решить целый ряд сложных задач — в первую очередь повысить эффективность работы персонала, существенно ускорить цикл обучения, дало возможность использовать и тиражировать опыт уже реализованных проектов. Здесь огромная экономия денег в масштабах крупной компании.

Российским примером может послужить реализация системы работы с большими объемами текстов в ВИНИТИ РАН, где успешно внедряются технологии на базе Watson Explorer. Эта система поможет обрабатывать различную структурированную и неструктурированную информацию для выявления корреляций между показателями, характеризующими тематические направления научных исследований в России.

Был еще проект, осуществленный совместно с Всероссийским центром изучения общественного мнения по тематике международных отношений. Более 55 тысяч текстов из открытых источников были проанализированы с помощью когнитивных технологий Watson для того, чтобы выделить важные моменты в культурных и социальных связях между Россией и Южной Кореей.

Также сделан целый ряд пилотных проектов в области медицины на базе продукта Watson Health, и результаты показывают на широкие возможности по улучшению качества лечения пациентов.

Надо сказать, что направление когнитивных технологий еще очень новое, и поэтому почти каждый день к нам приходят новые заказчики из самых разных областей, и мы подбираем для них нужный инструментарий из всего имеющегося у компании IBM спектра решений.

Скажите, пожалуйста, что изначально представляла собой IBM Watson и почему эту систему решили использовать в таких областях, как медицина, бизнес, страхование?

Юлия Пакина

Самый первый выход Watson в свет был в 2011 году на игре Jeopardy! Тогда Watson представлял собой большой комплекс разных программ, который был собран специально для этой игры, и заложенные в него возможности на тот момент были нацелены на понимание естественного языка. Для этого нужно было, во-первых, переводить голос в текст и, во-вторых, правильно интерпретировать полученный текстовый материал. Таким образом, система изначально умела интерпретировать текст, разбирать вопросы и «понимать» их смысл. Конечно, сейчас уровень и производительность Watson гораздо выше, чем в 2011 году.

Что еще умела тогда система Watson? Искать ответ на заданный вопрос в недрах заложенной в ней информации. Отличительной способностью той системы было то, что она не была подключена к внешним источникам — ни к интернету, ни к чему-то еще. Что заложили в ее память, то она и использовала. Самое интересное, что благодаря заложенной логике система ранжировала возможные варианты ответов и выдавала тот, в котором она благодаря своей логике была уверена как в максимально правильном. В 2011 году система Watson победила с большим отрывом остальных участников — людей, отрыв там был серьезный. И после этой игры встал вопрос: «А что дальше?»


Игра — это прекрасно! Но какое может быть дальнейшее применение системы? После этого специалисты начали думать, где можно коммерчески применять технологии Watson, в какой сфере бизнеса, на каких рынках. В компании IBM решили, что Watson нужно использовать там, где есть большой поток текстовой неструктурированной информации на естественном языке, и там, где человеку нужен интеллектуальный помощник. И мы начали работу в сфере здравоохранения. Все дело в том, что Watson, как мы уже знаем, умеет обрабатывать огромное количество информации. А, например, в онкологии ежегодно появляется 500 тысяч новых научных статей по разным областям и исследовательским сферам. И понятно, что живой человек не может справиться с таким валом информации. Но ведь новые материалы в этой сфере нельзя игнорировать, их надо перерабатывать интеллектуально, взвешивая, сравнивая, обращаясь к предыдущему опыту.

При этом обязательно нужно учитывать, что все, что сейчас умеет Watson, в него заложили талантливые программисты, лингвисты, эксперты из предметных областей.

Каково ваше видение будущего IBM Watson? Например, какие задачи система сможет решать через 5-10 лет? Что она не может делать сейчас, но в скором времени специалисты компании планируют ее научить делать?

Александр Дмитриев

Ведущий системный архитектор IBM в России и СНГ

Будущее предсказывать достаточно сложно, недаром большинство специалистов, рассказывая о современных решениях, используют фразу «в современном быстро меняющемся мире». Ситуация действительно очень быстро и зачастую непредсказуемо меняется, однако основные тенденции в области когнитивных технологий пока достаточно ясны.

В первую очередь это создание больших баз знаний на частном и государственном уровне. Сейчас этим озабочены все ведущие страны мира. Они очень активно стремятся собрать, обработать и поставить на поток систему выделения ценной информации из самых разнообразных источников. Мы видим, что этот процесс идет на двух основных уровнях. Во-первых, на уровне крупных компаний международного значения, имеющих сотни тысяч сотрудников, отделения в разных странах и сложное производство. Здесь основным двигателем является получение конкурентного преимущества. Понятно, что проекты этого уровня требуют серьезных инвестиций, но они начинают окупаться практически сразу, резко повышая эффективность работы. Упор делается на предсказательный анализ, который обеспечивают технологии Watson: управление идет не после свершения тех или иных событий, а с учетом всего опыта работы компании в режиме прогнозирования. Более высокий уровень — это уровень государства, когда создаются системы накопления и обработки знаний уже в масштабах страны и информации из других стран. Это области, связанные с развитием науки, техники, здоровья нации, социального управления.

Watson уже освоила профессии повара, врача, финансиста и переводчика. Какие еще профессии она собирается освоить в ближайшее время?

Александр Дмитриев

Ведущий системный архитектор IBM в России и СНГ

Что касается «профессий» Watson, то здесь два аспекта. Первый — это расширение спектра возможностей внутри уже освоенных профессий. Скажем, в области медицины, Watson используется при лечении ряда онкологических заболеваний. Но специфика медицины в том, что не только видов заболеваний существует огромное количество, но и сами пациенты отличаются и личностными характеристиками, и историями своих заболеваний. Поэтому развитие идет за счет как увеличения спектра излечиваемых заболеваний, так и за счет возможности выработки все более детального персонифицированного курса лечения для конкретного пациента.

Второе — это «освоение» других профессий. Watson уже «освоила» специализацию нефтяной отрасли: целый ряд зарубежных компаний внедрил системы поддержки принятия решений для своих специалистов-нефтяников. Еще одним перспективным направлением является работа с социальными группами и населением. Также это области, где необходима обработка информации и выработка сервисов и предложений для больших групп клиентов (сотни тысяч и миллионы человек). Таким образом, ближайшие перспективы развития — это профессии из банковской отрасли, телекоммуникаций, где объемы данных невероятно велики, а решения надо принимать в реальном режиме времени.

Если говорить в целом, то, полагаю, Watson достаточно скоро придет в виде сервиса уже просто к каждому человеку — можно будет задать вопрос по практически любой интересующей области знаний и получить квалифицированный ответ.

Юлия Пакина

Менеджер по развитию бизнеса IBM в России и СНГ

Из недавних областей, где нашлось применение IBM Watson, можно упомянуть добычу полезных ископаемых. Александр уже упоминал хороший пример истории успеха — австралийскую компанию Woodside Energy, которой когнитивная система помогла работать гораздо более эффективно, оптимизировав рабочий процесс. До Watson решение о бурении скважин специалисты Woodside Energy принимали на основании долгой и кропотливой работы по сбору всей возможной документации в данной области, включая геологическое строение местности, наличие скважин рядом, тип месторождения, возможность использования оборудования, которое необходимо применить для этого проекта.

Причем раньше этот подготовительный период занимал вплоть до 80% времени у компании. Соответственно лишь 20% времени оставалось на разработку самой скважины. Сейчас мы вместе с Woodside Energy добились того, что только 20% времени уделяется исследованиям и подготовке к бурению, а все остальное время отводится на бурение и разработку новых скважин.

Сейчас многие компании говорят о своих разработках в сфере искусственного интеллекта. IBM говорит о когнитивной платформе. Скажите, пожалуйста, в чем особенность когнитивных сервисов IBM и можно ли их называть определенным типом искусственного интеллекта?

Александр Дмитриев

Ведущий системный архитектор IBM в России и СНГ

Что касается искусственного интеллекта, я бы не стал придавать слишком серьезное значение терминологии. Пока наука в целом не до конца понимает методы мышления человека (а в этой области еще множество белых пятен), нецелесообразно спорить, что является искусственным интеллектом и что нет. Можно сказать, что система Watson в 2011 году «прошла» немного модифицированный формальный тест Тюринга на право называться искусственным интеллектом. Общая идея теста простая: если человек, общаясь с какой-то системой и задавая ей ряд вопросов в свободной форме, не может отличить, с человеком он общается или с машинной системой, то такая система может претендовать на звание «искусственного интеллекта».

Победив в игре Jeopardy, где надо было отвечать на вопросы из самых разных областей знаний, Watson опередила живых участников и прошла этот тест. Но суть не в этом. Как бы мы ни назвали когнитивные технологии, важно, чтобы они выполняли свою основную задачу, становились «усилителем» разума при принятии сложных решений, как оперативных, так и стратегических. Человеческая память не безгранична, обучение компетентных специалистов в любой отрасли — дело дорогостоящее и длительное. Когнитивные же системы как бы создают таких виртуальных специалистов-консультантов, к услугам которых сможет обратиться каждый. В этом суть искусственного интеллекта. Важно, что окончательное решение по любым вопросам все-таки останется за человеком.

Юлия Пакина

Менеджер по развитию бизнеса IBM в России и СНГ

Да, в целом когнитивная система как раз создана для того, чтобы снять с человека рутину и дать больше времени на творчество, решение сложных задач и создание новых систем. Поэтому мы и говорим о решении не искусственного интеллекта, а усиленного интеллекта, добавленного интеллекта.

Расскажите, пожалуйста, подробнее об использовании возможностей когнитивных технологий в бизнесе.

Александр Дмитриев

Ведущий системный архитектор IBM в России и СНГ

Использование когнитивных технологий в бизнесе направлено на решение целого ряда задач, связанных не просто с большими объемами быстро изменяющихся данных, а с необходимостью оперативно извлекать из этих данных нужную информацию и использовать ее для бизнеса с учетом отраслевого и собственного опыта компании. Таким образом, когнитивные системы подключаются к разнообразным источникам информации (собственным базам данных компании, интернету, потоковому видео, информации от технических датчиков различных систем, данным о событиях в той или иной области). Уже на основании этих данных когнитивные системы по специальным алгоритмам находят нужные решения и предлагают их управленцам и специалистам.

Важно, что с накоплением опыта работы и успешной деятельности в той или иной области когнитивные системы можно обучать, настраивать, а также задавать режим самообучения. Поэтому когнитивные системы для бизнеса обладают одним важным качеством, которым не обладает ни одна другая система: чем дольше они работают, тем выше их коэффициент полезного действия. Они сами по себе становятся ценнее для компании в процессе эксплуатации. И важно то, что этот накопленный опыт доступен для сотрудников компании и постоянно, таким образом, используется — повторно, многократно, всегда, когда это необходимо. Обычная ситуация — ушел специалист, для компании потеряны его личные знания и опыт. При внедренной когнитивной системы весь опыт остается в компании и может быть легко передан другим специалистам.

Чем может быть полезен бизнесу блокчейн? Сейчас говорят, что эта технология может изменить привычный мир предпринимательства. Правда ли это, и если да, то что это за изменения?

Владимир Алексеев

Первые мнения о том, как технология может поменять мир предпринимательства, обычно сводились к созданию peer-to-peer-сетей, то есть среды, где каждая компания могла напрямую взаимодействовать с любой другой без каких-либо посредников. Надо признать, это слишком упрощенное описание, и со временем идея развивалась и дополнялась. Сейчас можно сказать, что блокчейн, во-первых, позволяет обеспечить распределенную ответственность, что крайне важно в случае, если у нас есть несколько компаний, которые не сильно доверяют друг другу и никак не связаны между собой. Во-вторых, прозрачность совершения всех операций и невозможность внесения изменений в уже проведенные транзакции. Под транзакцией понимается не только банковская транзакция, но больше факт передачи актива от одной компании другой. В-третьих, это возможность использования смарт-контрактов для бизнес-логики, а именно обеспечение всего процесса операции. В противном случае блокчейн можно было бы использовать только как систему хранения, а всю логику операций делать вне его рамок, что не обеспечивало бы ни прозрачность, ни надежность проведения операций.


Есть ли уже положительные примеры использования блокчейна коммерческими компаниями?

Владимир Алексеев

Бизнес-консультант по индустриальным решениям IBM в России и СНГ

За прошлый год IBM провела вместе с заказчиками более 400 пилотов в мире в самых разных отраслях. Это, конечно, и финансовый сектор, и ритейл, и энергетика. В частности, пилотные проекты с ABN Amro в области финансовой реструктуризации и управления недвижимостью. С Bank of Tokio-Mitsubishi был завершен проект по использованию технологии блокчейн для автоматизации аутсорсинговых контрактов в ИТ.

Говорить о практических результатах внедрений (количественных бизнес-показателях) сейчас достаточно рано: блокчейн — это все-таки новая технология, которая также требует времени для апробации. Блокчейн не может существовать изолированно, поэтому требуется интеграция с существующими системами, требуется разработка сервисов, требуются компетенции. 2016 год был посвящен пилотированию, 2017-й должен пройти под знаком интеграции технологии блокчейн в существующую ИТ-инфраструктуру организаций.

Согласно исследованию IBM Institute for Business Value, более 50% опрошенных руководителей компаний финансового сектора планируют перейти к фазе коммерческого использования технологии в 2018-2020 годах.

Блокчейн, насколько можно понять, дает большие возможности многим сферам бизнеса. А что скажете по поводу бирж по торговле ценными бумагами? Может ли там пригодиться эта технология?

Владимир Алексеев

Бизнес-консультант по индустриальным решениям IBM в России и СНГ

Стоит признать, что биржи были одними из первых организаций, которые заинтересовались технологией и активно участвовали в ее развитии. К примеру, Немецкая биржа (Deutsche Boerse) является премьер-участником блокчейн-проекта HyperLedger наряду с IBM , а Московская биржа также входит в состав участников. Из практического опыта использования технологии биржами отмечу следующее: еще в прошлом году Японская биржа при помощи IBM проводила исследование возможностей использования распределенных реестров в своих операциях. В своем отчете биржа подчеркнула перспективность технологии, отметив среди ключевых преимуществ возможность создания новых инновационных финансовых сервисов и сокращение затрат. По мнению специалистов Японской биржи, блокчейн поможет автоматизировать процессы согласования торговых процедур и повысить отказоустойчивость системы в целом за счет введения принципа распределенности.


Расскажите, пожалуйста, чем планирует заниматься компания IBM в последующие 5-10 лет? Каким компания видит мир бизнеса будущего?

Владимир Алексеев

Бизнес-консультант по индустриальным решениям IBM в России и СНГ

В начале этого года корпорация IBM представила свой взгляд на то, как технологические инновации изменят мир в будущем. Отчет был выполнен научно-исследовательским подразделением IBM Research и отражает мнение компании на то, как мир изменится через пять лет по пяти направлениям. Во-первых, компания уделяет большое внимание тому, как все мы говорим и пишем, и считает, что эти факторы будут использоваться в качестве индикаторов психологического состояния и физического здоровья. Далее — люди смогут обрести «сверхзрение» благодаря крошечным и мощным камерам, что даст возможность исследовать почти 100% электромагнитного спектра против менее 1% в настоящее время. Технология может быть встроена в мобильные устройства и помогать анализировать состав продуктов или лекарств. С другой стороны, через пять лет мы будем в состоянии понять всю сложность Земли с потрясающей точностью деталей. Это станет возможным за счет развития интернета вещей (IoT) и алгоритмов машинного обучения, на основе которых можно сделать выводы из анализа снятых параметров. Ученые IBM называют это в совокупности «макроскопом». Он поможет прогнозировать такие явления, как изменения климата, уровня воды, угрозы загрязнения или влияние внешних факторов на нашу планету.

Следующим направлением развития технологий IBM видит создание медицинских лабораторий «на чипах», чтобы отслеживать болезни на нано-уровне, что поможет предсказывать заболевания на более ранних стадиях. В лабораториях IBM специалисты работают над созданием чипов размером в 20 нм, которые могут быть подсоединены как к системам искусственного интеллекта, так и к другим датчикам в режиме реального времени. И, наконец, пятой областью является создание и распространение «умных» сенсоров для более раннего определения уровня загрязнения окружающей среды. Такие сенсоры могут также быть крайне полезны для газопроводных труб, а также возле естественных источников выбросов, к примеру, метана для оповещения увеличения концентраций различных веществ.

Стоит отметить, что по всем направлениям технологии находятся в разработке уже сейчас, так что прогноз не выглядит слишком футуристичным. С другой стороны, необходимо время и усилия, чтобы доработать существующие продукты и довести их до массового использования.

С точки зрения долгосрочной перспективы (10 и более лет) можно привести пример технологии квантовых компьютеров. В алгоритме работы квантовых компьютеров заложены абсолютно другие принципы, нежели те, по которым работают современные компьютеры. Поэтому их использование может полностью изменить существующие процессы, например, криптографии, и дать абсолютно новый уровень вычислительной мощности. IBM является одним из лидеров в этой области, уже предоставляя бесплатный тестовый доступ к реальному квантовому компьютеру через облачную инфраструктуру IBM Quantum Experience.

Задайте вопрос эксперту IBM Елена Синка, представитель по продаже решений IBM Спросить

Спасибо!
Ваш вопрос отправлен



© 2024 beasthackerz.ru - Браузеры. Аудио. Жесткий диск. Программы. Локальная сеть. Windows