Конечно, Prisma уже далеко не единственные, и с тех пор у них появилось множество конкурентов. Facebook купили приложение MSQRD , которое добавляет анимированные «маски» к вашим видео. В отличие от Призмы здесь ставка сделана на распознавание лиц и наложение фильтров на них.

SwiftKey и другие клавиатуры

Большинство современных клавиатур для мобильников уже давно не используют пользовательские словари, такие как T9. Если вы набираете какую-то фразу, то наверняка здесь замешана нейросеть. Некоторые разработчики идут дальше. SwiftKey выпустили бета-версию клавиатуры, которая полностью основана на работе нейросети. Благодаря чему клавиатура не просто подставляет наиболее часто набираемые фразы, а основывается на контексте.

Новая технология пока доступна для ограниченного количества языков и находится на стадии бета-версии. Но и публичная версия SwiftKey основывается на Больших данных. Например, пользовательские словари доступны всем, кто установил клавиатуру. Конечно, за исключением персональных данных.

Snapchat и его фильтры - ещё одно из самых известных применений нейросетей. Если упростить сложное, то приложение использует компьютерное распознавание лиц для идентификации мимики и точек движения мускулов. А уже потом применяет к ним свои фильтры.

Shazam и SoundHound

Эти два популярных приложения распознают музыку, которая играет рядом с нами, а затем сверяет этот фрагмент со слепком в своей «библиотеке». Звучит достаточно просто, но для этого приложение использует нейросети. Здесь приходится решить несколько сложных задач, и даже ни сколько по поиску совпадений, а по очистке лишнего шума при распознавании.

Google Ассистент и Siri

Говорить только про Google Ассистент или Siri будет не совсем правильно. Представить современные сервисы Google и Apple невозможно без Big Data и нейросетей. Любая разработка от этих двух компаний, так или иначе, задействует нейросети. Автоподсказки при поиске, показ рекламы, очистка почты от спама и многое другое. И всё-таки самое явное для нас применение - это голосовые ассистенты. Смартфон распознаёт наш запрос и выполняет поставленную задачу в зависимости не только от контекста фразы, но и нашего местоположения.

Carat

Некоторые приложения, наоборот, нацелены на выполнение лишь одной задачи. Например, Carat на основе данных о вашем использовании смартфона (анализе расхода батареи) укажет на те приложения, которые больше всего расходуют заряд. Вы можете удалить или ограничить использование таких программ и помочь телефону «дожить» до розетки.

Netflix, YouTube, Apple и Google Музыка... Все эти сервисы предлагают музыку и видео на основе ваших предпочтений. За последние пару лет этот тренд пошёл немного дальше и теперь нам предлагаются целые смарт-листы, которые подойдут под наш род занятий или время дня.

Big Data и нейросети могут не только продавать нам рекламу, лечить наши болезни или управлять нашим разумом. Большинство разработок мы замечаем только тогда, когда они подаются нам в развлекательном формате или улучшают наши самые простые ежедневные задачи. Из-за чего мы часто забываем, что нейросеть - это не только моська котёнка у нас в телефоне.

Машинное обучение ,

Разработка под e-commerce

С момента описания первого искусственного нейрона Уорреном Мак-Каллоком и Уолтером Питтсом прошло более пятидесяти лет. С тех пор многое изменилось, и сегодня нейросетевые алгоритмы применяются повсеместно. И хотя нейронные сети способны на многое, исследователи при работе с ними сталкиваются с рядом трудностей: от переобучения до проблемы «черного ящика».

Если термины «катастрофическая забывчивость» и «регуляризация весов» вам пока ни о чем не говорят, читайте дальше: попробуем разобраться во всем по порядку.

За что мы любим нейросети

Основное преимущество нейронных сетей перед другими методами машинного обучения состоит в том, что они могут распознавать более глубокие, иногда неожиданные закономерности в данных. В процессе обучения нейроны способны реагировать на полученную информацию в соответствии с принципами генерализации, тем самым решая поставленную перед ними задачу.

К областям, где сети находят практическое применение уже сейчас, можно отнести медицину (например, очистка показаний приборов от шумов, анализ эффективности проведённого лечения), интернет (ассоциативный поиск информации), экономику (прогнозирование курсов валют, автоматический трейдинг), игры (например, го) и другие. Нейросети могут использоваться практически для чего угодно в силу своей универсальности. Однако волшебной таблеткой они не являются, и чтобы они начали функционировать должным образом, требуется проделать много предварительной работы.

Обучение нейросетей 101

Одним из ключевых элементов нейронной сети является способность обучаться. Нейронная сеть - это адаптивная система, умеющая изменять свою внутреннюю структуру на базе поступающей информации. Обычно такой эффект достигается с помощью корректировки значений весов .

Связи между нейронами на соседних слоях нейросети - это числа, описывающие значимость сигнала между двумя нейронами. Если обученная нейронная сеть верно реагирует на входную информацию, то настраивать веса нет необходимости, а в противном случае с помощью какого-либо алгоритма обучения нужно изменить веса, улучшив результат.

Как правило, это делают с помощью метода обратного распространения ошибки : для каждого из обучающих примеров веса корректируются так, чтобы уменьшить ошибку. Считается, что при правильно подобранной архитектуре и достаточном наборе обучающих данных сеть рано или поздно обучится.

Существует несколько принципиально отличающихся подходов к обучению, в привязке к поставленной задаче. Первый - обучение с учителем . В этом случае входные данные представляют собой пары: объект и его характеристику. Такой подход применяется, например, в распознавании изображений: обучение проводится по размеченной базе из картинок и расставленных вручную меток того, что на них нарисовано.

Самой известной из таких баз является ImageNet . При такой постановке задачи обучение мало чем отличается от, например, распознавания эмоций, которым занимается Neurodata Lab . Сети демонстрируются примеры, она делает предположение, и, в зависимости от его правильности, корректируются веса. Процесс повторяется до тех пор, пока точность не увеличивается до искомых величин.

Второй вариант - обучение без учителя . Типичными задачами для него считаются кластеризация и некоторые постановки задачи поиска аномалий. При таком раскладе истинные метки обучающих данных нам недоступны, но есть необходимость в поиске закономерностей. Иногда схожий подход для предобучения сети в задаче обучения с учителем. Идея состоит в том, чтобы начальным приближением для весов было не случайное решение, а уже умеющее находить закономерности в данных.

Ну и третий вариант - обучение с подкреплением - стратегия, построенная на наблюдениях. Представьте себе мышь, бегущую по лабиринту. Если она повернет налево, то получит кусочек сыра, а если направо - удар током. Со временем мышь учится поворачивать только налево. Нейронная сеть действует точно так же, подстраивая веса, если итоговый результат - «болезненный». Обучение с подкреплением активно применяется в робототехнике: «ударился ли робот в стену или остался невредим?». Все задачи, имеющие отношение к играм, в том числе самая известная из них - AlphaGo, основаны именно на обучении с подкреплением.

Переобучение: в чем проблема и как ее решить

Главная проблема нейросетей - переобучение. Оно заключается в том, что сеть «запоминает» ответы вместо того, чтобы улавливать закономерности в данных. Наука поспособствовала появлению на свет нескольких методов борьбы с переобучением: сюда относятся, например, регуляризация, нормализация батчей, наращивание данных и другие. Иногда переобученная модель характеризуется большими абсолютными значениями весов.

Механизм этого явления примерно такой: исходные данные нередко сильно многомерны (одна точка из обучающей выборки изображается большим набором чисел), и вероятность того, что наугад взятая точка окажется неотличимой от выброса, будет тем больше, чем больше размерность. Вместо того, чтобы «вписывать» новую точку в имеющуюся модель, корректируя веса, нейросеть как будто придумывает сама себе исключение: эту точку мы классифицируем по одним правилам, а другие - по другим. И таких точек обычно много.

Очевидный способ борьбы с такого рода переобучением – регуляризация весов . Она состоит либо в искусственном ограничении на значения весов, либо в добавлении штрафа в меру ошибки на этапе обучения. Такой подход не решает проблему полностью, но чаще всего улучшает результат.

Второй способ основан на ограничении выходного сигнала, а не значений весов, - речь о нормализации батчей . На этапе обучения данные подаются нейросети пачками - батчами. Выходные значения для них могут быть какими угодно, и тем их абсолютные значения больше, чем выше значения весов. Если из каждого из них мы вычтем какое-то одно значение и поделим результат на другое, одинаково для всего батча, то мы сохраним качественные соотношения (максимальное, например, все равно останется максимальным), но выход будет более удобным для обработки его следующим слоем.

Третий подход работает не всегда. Как уже говорилось, переобученная нейросеть воспринимает многие точки как аномальные, которые хочется обрабатывать отдельно. Идея состоит в наращивании обучающей выборки , чтобы точки были как будто той же природы, что и исходная выборка, но сгенерированы искусственно. Однако тут сразу рождается большое число сопутствующих проблем: подбор параметров для наращивания выборки, критическое увеличение времени обучения и прочие.

Эффект от удаления аномального значения из тренировочного свода данных ()

В обособленную проблему выделяется поиск настоящих аномалий в обучающей выборке. Иногда это даже рассматривают как отдельную задачу. Изображение выше демонстрирует эффект исключения аномального значения из набора. В случае нейронных сетей ситуация будет аналогичной. Правда, поиск и исключение таких значений - нетривиальная задача. Для этого применяются специальные техники - подробнее о них вы можете прочитать по ссылкам ( и ).

Одна сеть – одна задача или «проблема катастрофической забывчивости»

Работа в динамически изменяющихся средах (например, в финансовых) сложна для нейронных сетей. Даже если вам удалось успешно натренировать сеть, нет гарантий, что она не перестанет работать в будущем. Финансовые рынки постоянно трансформируются, поэтому то, что работало вчера, может с тем же успехом «сломаться» сегодня.

Здесь исследователям или приходится тестировать разнообразные архитектуры сетей и выбирать из них лучшую, или использовать динамические нейронные сети. Последние «следят» за изменениями среды и подстраивают свою архитектуру в соответствии с ними. Одним из используемых в этом случае алгоритмов является метод MSO (multi-swarm optimization).

Более того, нейросети обладают определенной особенностью, которую называют катастрофической забывчивостью (catastrophic forgetting). Она сводится к тому, что нейросеть нельзя последовательно обучить нескольким задачам - на каждой новой обучающей выборке все веса нейронов будут переписаны, и прошлый опыт будет «забыт».

Безусловно, ученые трудятся над решением и этой проблемы. Разработчики из DeepMind недавно предложили способ борьбы с катастрофической забывчивостью, который заключается в том, что наиболее важные веса в нейронной сети при выполнении некой задачи А искусственно делаются более устойчивыми к изменению в процессе обучения на задаче Б.

Новый подход получил название Elastic Weight Consolidation (упругое закрепление весов ) из-за аналогии с упругой пружинкой. Технически он реализуется следующим образом: каждому весу в нейронной сети присваивается параметр F, который определяет его значимость только в рамках определенной задачи. Чем больше F для конкретного нейрона, тем сложнее будет изменить его вес при обучении новой задаче. Это позволяет сети «запоминать» ключевые навыки. Технология уступила «узкоспециализированным» сетям в отдельных задачах, но показала себя с лучшей стороны по сумме всех этапов.

Армированный черный ящик

Еще одна сложность работы с нейронными сетями состоит в том, что ИНС фактически являются черными ящиками. Строго говоря, кроме результата, из нейросети не вытащишь ничего, даже статистические данные. При этом сложно понять, как сеть принимает решения. Единственный пример, где это не так - сверточные нейронные сети в задачах распознавания. В этом случае некоторые промежуточные слои имеют смысл карт признаков (одна связь показывает то, встретился ли какой-то простой шаблон в исходной картинке), поэтому возбуждение различных нейронов можно отследить.

Разумеется, указанный нюанс делает достаточно сложным использование нейронных сетей в приложениях, когда ошибки критичны. Например, менеджеры фондов не могут понять, как нейронная сеть принимает решения. Это приводит к тому, что невозможно корректно оценить риски торговых стратегий. Аналогично банки, прибегающие к нейронным сетям для моделирования кредитных рисков, не смогут сказать, почему этот самый клиент имеет сейчас именно такой кредитный рейтинг.

Поэтому разработчики нейросетей ищут способы обойти это ограничение. Например, работа ведется над так называемыми алгоритмами изъятия правил (), чтобы повысить прозрачность архитектур. Эти алгоритмы извлекают информацию из нейросетей либо в виде математических выражений и символьной логики, либо в виде деревьев решений.

Нейронные сети - это лишь инструмент

Само собой, искусственные нейронные сети активно помогают осваивать новые технологии и развивать существующие. Сегодня на пике популярности находится программирование беспилотных автомобилей, в которых нейросети в режиме реального времени анализируют окружающую обстановку. IBM Watson из года в год открывает для себя всё новые прикладные области, включая медицину . В Google существует целое подразделение , которое занимается непосредственно искусственным интеллектом.

Вместе с тем порой нейронная есть - не лучший способ решить задачу. Например, сети «отстают » по таким направлениям, как создание изображений высокого разрешения, генерация человеческой речи и глубокий анализ видеопотоков. Работа с символами и рекурсивными структурами также даётся нейросистемам нелегко. Верно это и для вопросно-ответных систем.

Изначально идея нейронных сетей заключалась в копировании и даже воссоздании механизмов функционирования мозга. Однако человечеству по-прежнему нужно разрешить проблему скорости работы нейронных сетей, разработать новые алгоритмы логического вывода. Существующие алгоритмы по меньшей мере в 10 раз уступают возможностям мозга, что неудовлетворительно во многих ситуациях.

При этом ученые до сих пор не до конца определились , в каком направлении следует развивать нейросети. Индустрия старается как максимально приблизить нейросети к модели человеческого мозга, так и генерировать технологии и концептуальные схемы, абстрагируясь ото всех «аспектов человеческой природы». На сегодняшний день - это что-то вроде «открытого произведения» (если воспользоваться термином Умберто Эко), где практически любые опыты допустимы, а фантазии – приемлемы.

Деятельность ученых и разработчиков, занимающихся нейросетями, требует глубокой подготовки, обширных знаний, использования нестандартных методик, поскольку нейросеть сама по себе - это не «серебряная пуля», способная решить любые проблемы и задачи без участия человека. Это комплексный инструмент, который в умелых руках может делать удивительные вещи. И у него еще всё впереди.

Теги:

• neurodata lab
• нейронные сети
• нейросети

Добавить метки

Все еще радуешься ярким картинкам и узнавалкам лиц? Есть плохая новость.

Все вокруг только и говорят, что о нейросетях: Prisma, MSQRD, AlphaGo… Все это кажется таким новым, невероятным, забавным. Но мало кто понимает, что такое нейронная сеть, каковы ее возможности и к чему широкое распространение таких решений приведет в достаточно скором будущем.

Как устроена искусственная нейросеть

Нейронная сеть представляет собой математическую модель, которую проще всего представить себе в виде слоистой структуры однотипных элементов.

Первый «слой» отвечает за получение входящей информации, а все последующие, которых могут быть десятки, за обработку все более и более абстрактных представлений этих данных, пока в конце концов эти представления не превращаются в некий выходной сигнал, который и является результатом работы всей системы.

Как работает нейросеть

Самой очевидной задачей для нейросети является распознавание изображений. Допустим, мы загрузили фотографию автомобиля. Говоря по-простому, элементы первого уровня в состоянии лишь отличить прямую линию от изогнутой, светлый элемент от темного.

Следующий слой на основе полученных «примитивов» пытается делать выводы о смысле тех или иных отдельных элементов картинки и так далее, пока последний слой элементов не «приходит к выводу», что на изображении автомобиль или нечто иное.

Самое интересное здесь то, что нейросеть не программируется привычным образом, а обучается на огромном количестве примеров - изображений котят, автомобилей, картин великих художников и бог знает, чего еще.

Делая поочередно то правильные, то неправильные выводы, она постепенно повышает процент «попаданий», пока он не достигает требуемого значения. Если нейросеть достаточно сложна, к этому моменту даже ее создатели и «тренеры» уже не в состоянии сказать, как именно она решила поставленную задачу. Классический «черный ящик» .

Почему нейросети «выстрелили» именно сейчас

Большая часть теоретических работ, легших в основу нейросетей, были написаны еще полвека назад, однако для практического применения этих идей не было необходимой почвы. В последние годы далеко вперед шагнула неврология, неплохо разобравшаяся в принципах работы зрительной коры мозга. А производительность компьютеров достигла уровня, необходимого для моделирования иерархических нейронных структур.

Очень кстати пришелся созданный в начале 2000-х метод «глубинного обучения» (Deep Learning ). Он позволил резко сократить время обучения нейросети.

Впрочем, все это так и осталось бы уделом высоколобых ученых из университетов, если бы однажды кому-то не пришло в голову запустить нейросеть «задом наперед».

Как работает Prisma, Google Deep Dream и прочие

Это очень упрощенное представление, но дело обстоит именно так. Предварительно обученной на том или ином наборе изображений нейронной сети «скармливают» фотографию не с целью ее распознать, а наоборот - с целью выявить и подчеркнуть на ней те элементы, которые система «помнит» после обучения. Многократное повторение этой операции и дает тот самый результат, который так понравился тебе в Prisma .

В зависимости от того, на картинах какого художника обучена система, фотография весьма эффектно подгоняется под его уникальный стиль. Да, это массовый продукт, лишенный какой-либо научной ценности. Мода на него пройдет так же быстро, как и на все остальное. Но нейросети останутся и будут все шире распространяться вокруг нас. Незаметно и стремительно.

Почему мы слышим только о картинках

Причин ровно две и обе банальны. Во-первых, именно фокусы с картинками привлекают к себе больше всего внимания. Некоторые слышали об AlphaGo , но с популярностью Prisma величайшему в мире игроку в го не сравниться. Решение сложных задач в области автоматизации как-то не попадают в сферу интересов массовой аудитории.

Во-вторых, именно в области изображений обучать нейронные сети проще всего - существуют поистине гигантские библиотеки тегированных изображений вроде ImageNet , на которых можно быстро обучить нейросеть любого назначения .

Что нам дают нейросети

Прелесть в том, что нейронную сеть можно обучить на любом наборе данных - надо лишь дать ей понять, какой результат ее работы будет считаться правильным. А значит, доверить ей можно чуть ли не любую задачу.

Далеко за примерами ходить не надо: недавно специалисты Яндекса поставили весьма показательный эксперимент, записав неофициальный музыкальный альбом, текст песен которого полностью создан нейросетью и стилизован под творчество Егора Летова и группы «Гражданская оборона».

Есть и более серьезные успехи. Впечатляющих результатов удалось достичь в области медицинской диагностики - нейросеть ставит диагнозы лучше врачей . Не будем углубляться в детали, достаточно загуглить «нейросеть медицинская диагностика». Голосовой поиск Google использует нейросети, и именно благодаря им удалось добиться резкого повышения качества работы сервиса. И это лишь начало длинного списка.

Что будет, если поставить нейросеть наблюдать за работой специалиста? Спустя какое-то время она будет способна выполнять те же действия, только лучше . И это не та автоматизация, к которой мы привыкли, когда болванка, лежащая не под нужным углом к камере, приводит робота в полную растерянность. Это будет концом целых профессий.

Куда мы катимся

Катимся мы примерно туда же, куда катился мир во времена Промышленной революции. Новые средства производства сделают ненужными миллионы рабочих мест. Начнется все с переводчиков (дайте только обучить нейросеть на достаточном объеме синхронизированных текстов), сотрудников колл-центров (распознавание речи и гибкие диалоговые скрипты), охранников (распознавание лиц и нетипичного поведения), водителей (да-да, те самые автопилоты) и так далее.

Со временем все больше профессий будут вовлекаться в воронку автоматизации. Надо быть очень самоуверенным человеком, чтобы полагать, будто это не коснется и тебя. Или нас.

Что нас тогда ждет? Вероятно, безусловный базовый доход , массовая безработица и ожидание, пока нейросети не разовьются настолько, чтобы полностью взять на себя заботу о своих некогда таких самостоятельных создателях.

Нейронные сети произвели фурор в IT, и интерес к ним не угасает. Эта подборка видеолекций внесёт ясность в понимание процессов нейросети.

Нейронные сети. Введение

Сравнительно недавно появилась возможность создавать искусственные нейронные сети. Существуют программы, позволяющие моделировать и создавать нейросети. Стало понятно, что применение этой технологии полезно в большинстве отраслей: математика, медицина, компьютерные науки и т. д. Об этом и пойдёт разговор на первой лекции курса. вы также найдете немного теории на тему нейронных сетей.

Немного биологии

В этом видеоуроке речь пойдет о том, как работают нейроны и как они передают сигнал, основываясь на биологических процессах. Мозг, как у животного, так и у человека, похож на нейронную сеть, которая состоит из нейронов, что в свою очередь состоят из дендритов, аксонов и прочих отростков. Задача этих элементов – принимать сигналы извне и отправлять обработанную информацию соседним клеткам.

В целом об искусственной нейронной сети

Автор курса в этом видео подробно рассказывает о строении нейросети с примерами и картинками. Настоящая биологическая нейронная сеть имеет трёхмерную структуру. Это значит, что отследить, как соединены между собой клетки, почти невозможно. Поэтому зачастую нейросети создаются плоскими, чтобы можно было с ними работать, не имея огромных компьютерных мощностей. Также условились, что сеть состоит из трёх слоев искусственных нейронов: входного, скрытого и выходного.

Искусственный нейрон

В этом видеотуториале речь пойдет о строении нейрона. В общем случае нейрон имеет такое строение: входной сигнал > блок, объединяющий синаптические веса, блок суммирования и блок нелинейного преобразования > выходной сигнал. Как только входной сигнал попал в нейрон, он умножается на соответствующий вес. После этого умноженные данные проходят агрегацию и подаются на выход или попадают под действие функции активации.

Структура нейронной сети

Очень грубо и обобщённо работу нейросети можно разбить на несколько этапов. Сначала входящий сигнал подаётся на входной слой сети. Далее нейроны входного слоя передают информацию нейронам скрытого слоя, где и происходит решение поставленной задачи. Потом нейроны скрытого слоя транслируют обработанный сигнал на выходной слой, где формируется результат и выдается ответ.

Нюансы работы нейронной сети

Автор рассматривает важные темы работы нейронной сети, которые касаются входного и выходного слоя. Нормализация и масштабирование, метод “Один из N”, вопросы организации сетей и наличие нескольких скрытых слоев – вот некоторые из тем, рассматриваемых в этой видеолекции.

Далее следуют 3 очень важные видеолекции по обучению нейросети, к которым нужно подойти со всей серьезностью.

Обучение сети

В этом уроке речь пойдет о том, как работают нейросети, и как добиться того, чтобы они решали поставленные задачи, т. е. что нужно сделать с сетью, чтобы она работала правильно. Любая сеть обладает двумя уровнями жизненного цикла: обучение и функционирование. В свою очередь обучение делится на: обучение с учителем и без него.

Технология обучения сети. Часть 1

Технологий обучения сети очень много, т. к. каждый специалист в этом направлении старается привнести что-то новое, имея свои правила и принципы. Одной из основных технологий является “Метод наискорейшего спуска”. Этот метод имеет следующие характеристики: используется только при обучении с учителем, важны знания по высшей математике, от погрешности и силы входного сигнала зависит вес.

Технология обучения сети. Часть 2

Этот видеоурок автор начинает с объяснения темы обучения скрытых слоев. Ранее в курсе рассматривались сети, которые имели только входной и выходной слои. В таких сетях всё просто – меняются веса нейронов, и операция повторяется. Но когда есть скрытые нейроны, всегда непонятно, за что они отвечают, и как у них менять веса. На помощь приходит метод обратного распространения ошибки.

Работа одного нейрона

В этом уроке мы переходим непосредственно к практике. Весь материал рассчитан на людей, которые не знакомы с языками программирования, поэтому обзор происходит на готовых примитивных программах, написанных на C#. В начале урока автор производит подготовительные мероприятия и устанавливает необходимый софт. Практическая часть основана на рассмотрении характеристик и принципов работы одного нейрона.

В первой половине 2016 года мир услышал о множестве разработок в области нейронных сетей - свои алгоритмы демонстрировали Google (сеть-игрок в го AlphaGo), Microsoft (ряд сервисов для идентификации изображений), стартапы MSQRD, Prisma и другие.

В закладки

Редакция сайт рассказывает, что из себя представляют нейронные сети, для чего они нужны, почему захватили планету именно сейчас, а не годами раньше или позже, сколько на них можно заработать и кто является основными игроками рынка. Своими мнениями также поделились эксперты из МФТИ, «Яндекса», Mail.Ru Group и Microsoft.

Что собой представляют нейронные сети и какие задачи они могут решать

Нейронные сети - одно из направлений в разработке систем искусственного интеллекта. Идея заключается в том, чтобы максимально близко смоделировать работу человеческой нервной системы - а именно, её способности к обучению и исправлению ошибок. В этом состоит главная особенность любой нейронной сети - она способна самостоятельно обучаться и действовать на основании предыдущего опыта, с каждым разом делая всё меньше ошибок.

Нейросеть имитирует не только деятельность, но и структуру нервной системы человека. Такая сеть состоит из большого числа отдельных вычислительных элементов («нейронов»). В большинстве случаев каждый «нейрон» относится к определённому слою сети. Входные данные последовательно проходят обработку на всех слоях сети. Параметры каждого «нейрона» могут изменяться в зависимости от результатов, полученных на предыдущих наборах входных данных, изменяя таким образом и порядок работы всей системы.

Руководитель направления «Поиск Mail.ru» в Mail.Ru Group Андрей Калинин отмечает, что нейронные сети способны решать такие же задачи, как и другие алгоритмы машинного обучения, разница заключается лишь в подходе к обучению.

Все задачи, которые могут решать нейронные сети, так или иначе связаны с обучением. Среди основных областей применения нейронных сетей - прогнозирование, принятие решений, распознавание образов, оптимизация, анализ данных.

Директор программ технологического сотрудничества Microsoft в России Влад Шершульский замечает, что сейчас нейросети применяются повсеместно: «Например, многие крупные интернет-сайты используют их, чтобы сделать реакцию на поведение пользователей более естественной и полезной своей аудитории. Нейросети лежат в основе большинства современных систем распознавания и синтеза речи, а также распознавания и обработки изображений. Они применяются в некоторых системах навигации, будь то промышленные роботы или беспилотные автомобили. Алгоритмы на основе нейросетей защищают информационные системы от атак злоумышленников и помогают выявлять незаконный контент в сети».

В ближайшей перспективе (5-10 лет), полагает Шершульский, нейронные сети будут использоваться ещё шире:

Представьте себе сельскохозяйственный комбайн, исполнительные механизмы которого снабжены множеством видеокамер. Он делает пять тысяч снимков в минуту каждого растения в полосе своей траектории и, используя нейросеть, анализирует - не сорняк ли это, не поражено ли оно болезнью или вредителями. И обрабатывает каждое растение индивидуально. Фантастика? Уже не совсем. А через пять лет может стать нормой. - Влад Шершульский, Microsoft

Заведующий лабораторией нейронных систем и глубокого обучения Центра живых систем МФТИ Михаил Бурцев приводит предположительную карту развития нейронных сетей на 2016-2018 годы:

• системы распознавания и классификации объектов на изображениях;
• голосовые интерфейсы взаимодействия для интернета вещей;
• системы мониторинга качества обслуживания в колл-центрах;
• системы выявления неполадок (в том числе, предсказывающие время технического обслуживания), аномалий, кибер-физических угроз;
• системы интеллектуальной безопасности и мониторинга;
• замена ботами части функций операторов колл-центров;
• системы видеоаналитики;
• самообучающиеся системы, оптимизирующие управление материальными потоками или расположение объектов (на складах, транспорте);
• интеллектуальные, самообучающиеся системы управления производственными процессами и устройствами (в том числе, робототехнические);
• появление систем универсального перевода «на лету» для конференций и персонального использования;
• появление ботов-консультантов технической поддержки или персональных ассистентов, по функциям близким к человеку.

Директор по распространению технологий «Яндекса» Григорий Бакунов считает, что основой для распространения нейросетей в ближайшие пять лет станет способность таких систем к принятию различных решений: «Главное, что сейчас делают нейронные сети для человека, - избавляют его от излишнего принятия решений. Так что их можно использовать практически везде, где принимаются не слишком интеллектуальные решения живым человеком. В следующие пять лет будет эксплуатироваться именно этот навык, который заменит принятие решений человеком на простой автомат».

Почему нейронные сети стали так популярны именно сейчас

Учёные занимаются разработкой искусственных нейронных сетей более 70 лет. Первую попытку формализовать нейронную сеть относят к 1943 году, когда два американских учёных (Уоррен Мак-Каллок и Уолтер Питтс) представили статью о логическом исчислении человеческих идей и нервной активности.

Однако до недавнего времени, говорит Андрей Калинин из Mail.Ru Group, скорость работы нейросетей была слишком низкой, чтобы они могли получить широкое распространение, и поэтому такие системы в основном использовались в разработках, связанных с компьютерным зрением, а в остальных областях применялись другие алгоритмы машинного обучения.

Трудоёмкая и длительная часть процесса разработки нейронной сети - её обучение. Для того, чтобы нейронная сеть могла корректно решать поставленные задачи, требуется «прогнать» её работу на десятках миллионов наборов входных данных. Именно с появлением различных технологий ускоренного обучения и связывают распространение нейросетей Андрей Калинин и Григорий Бакунов.

Главное, что произошло сейчас, - появились разные уловки, которые позволяют делать нейронные сети, значительно меньше подверженные переобучению.- Григорий Бакунов, «Яндекс»

«Во-первых, появился большой и общедоступный массив размеченных картинок (ImageNet), на которых можно обучаться. Во-вторых, современные видеокарты позволяют в сотни раз быстрее обучать нейросети и их использовать. В-третьих, появились готовые, предобученные нейросети, распознающие образы, на основании которых можно делать свои приложения, не занимаясь длительной подготовкой нейросети к работе. Всё это обеспечивает очень мощное развитие нейросетей именно в области распознавания образов», - замечает Калинин.

Каковы объёмы рынка нейронных сетей

«Очень легко посчитать. Можно взять любую область, в которой используется низкоквалифицированный труд, - например, работу операторов колл-центров - и просто вычесть все людские ресурсы. Я бы сказал, что речь идет о многомиллиардном рынке даже в рамках отдельной страны. Какое количество людей в мире задействовано на низкоквалифицированной работе, можно легко понять. Так что даже очень абстрактно говоря, думаю, речь идет о стомиллиардном рынке во всем мире», - говорит директор по распространению технологий «Яндекса» Григорий Бакунов.

По некоторым оценкам, больше половины профессий будет автоматизировано – это и есть максимальный объём, на который может быть увеличен рынок алгоритмов машинного обучения (и нейронных сетей в частности).- Андрей Калинин, Mail.Ru Group

«Алгоритмы машинного обучения - это следующий шаг в автоматизации любых процессов, в разработке любого программного обеспечения. Поэтому рынок как минимум совпадает со всем рынком ПО, а, скорее, превосходит его, потому что становится возможно делать новые интеллектуальные решения, недоступные старому ПО», - продолжает руководитель направления «Поиск Mail.ru» в Mail.Ru Group Андрей Калинин.

Зачем разработчики нейронных сетей создают мобильные приложения для массового рынка

В последние несколько месяцев на рынке появилось сразу несколько громких развлекательных проектов, использующих нейронные сети - это и популярный видеосервис , который социальная сеть Facebook, и российские приложения для обработки снимков (в июне инвестиции от Mail.Ru Group) и и другие.

Способности собственных нейронных сетей демонстрировали и Google (технология AlphaGo выиграла у чемпиона в го; в марте 2016 года корпорация продала на аукционе 29 картин, нарисованных нейросетями и так далее), и Microsoft (проект CaptionBot , распознающий изображения на снимках и автоматически генерирующий подписи к ним; проект WhatDog , по фотографии определяющий породу собаки; сервис HowOld , определяющий возраст человека на снимке и так далее), и «Яндекс» (в июне команда встроила в приложение «Авто.ру» сервис для распознавания автомобилей на снимках; представила записанный нейросетями музыкальный альбом; в мае создала проект LikeMo.net для рисования в стиле известных художников).

Такие развлекательные сервисы создаются скорее не для решения глобальных задач, на которые и нацелены нейросети, а для демонстрации способностей нейронной сети и проведения её обучения.

«Игры - характерная особенность нашего поведения как биологического вида. С одной стороны, на игровых ситуациях можно смоделировать практически все типичные сценарии человеческого поведения, а с другой - и создатели игр и, особенно, игроки могут получить от процесса массу удовольствия. Есть и сугубо утилитарный аспект. Хорошо спроектированная игра приносит не только удовлетворение игрокам: в процессе игры они обучают нейросетевой алгоритм. Ведь в основе нейросетей как раз и лежит обучение на примерах», - говорит Влад Шершульский из Microsoft.

«В первую очередь это делается для того, чтобы показать возможности технологии. Другой причины, на самом деле, нет. Если речь идёт о Prisma, то понятно, для чего это делали они. Ребята построили некоторый пайплайн, который позволяет им работать с картинками. Для демонстрации этого они избрали для себя довольно простой способ создания стилизаций. Почему бы и нет? Это просто демонстрация работы алгоритмов», - говорит Григорий Бакунов из «Яндекса».

Другого мнения придерживается Андрей Калинин из Mail.Ru Group: «Конечно, это эффектно с точки зрения публики. С другой стороны, я бы не сказал, что развлекательные продукты не могут быть применены в более полезных областях. Например, задача по стилизации образов крайне актуальна для целого ряда индустрий (дизайн, компьютерные игры, мультипликация - вот лишь несколько примеров), и полноценное использование нейросетей может существенно оптимизировать стоимость и методы создания контента для них».

Основные игроки на рынке нейронных сетей

Как отмечает Андрей Калинин, по большому счёту, большинство присутствующих на рынке нейронных сетей мало чем отличаются друг от друга. «Технологии у всех примерно одинаковые. Но применение нейросетей - это удовольствие, которое могут позволить себе далеко не все. Чтобы самостоятельно обучить нейронную сеть и поставить на ней много экспериментов, нужны большие обучающие множества и парк машин с дорогими видеокартами. Очевидно, что такие возможности есть у крупных компаний», - говорит он.

Среди основных игроков рынка Калинин упоминает Google и её подразделение Google DeepMind, создавшее сеть AlphaGo, и Google Brain. Собственные разработки в этой области есть у Microsoft - ими занимается лаборатория Microsoft Research. Созданием нейронных сетей занимаются в IBM, Facebook (подразделение Facebook AI Research), Baidu (Baidu Institute of Deep Learning) и другие. Множество разработок ведётся в технических университетах по всему миру.

Директор по распространению технологий «Яндекса» Григорий Бакунов отмечает, что интересные разработки в области нейронных сетей встречаются и среди стартапов. «Я бы вспомнил, например, компанию ClarifAI . Это небольшой стартап, сделанный когда-то выходцами из Google. Сейчас они, пожалуй, лучше всех в мире умеют определять содержимое картинки». К таким стартапам относятся и MSQRD, и Prisma, и другие.

В России разработками в области нейронных сетей занимаются не только стартапы, но и крупные технологические компании - например, холдинг Mail.Ru Group применяет нейросети для обработки и классификации текстов в «Поиске», анализа изображений. Компания также ведёт экспериментальные разработки, связанные с ботами и диалоговыми системами.

Созданием собственных нейросетей занимается и «Яндекс»: «В основном такие сети уже используются в работе с изображениями, со звуком, но мы исследуем их возможности и в других областях. Сейчас мы много экспериментов ставим в использовании нейросетей в работе с текстом». Разработки ведутся в университетах: в «Сколтехе», МФТИ, МГУ, ВШЭ и других.