Нейрокомпьютерная техника выводы


Содержание

Нейрокомпьютерная техника: Теория и практика

Нейрокомпьютерная техника: Теория и практика

страница 1/29
Дата 30.09.2020
Размер 4,12 Mb.
Тип Обзор

    Навигация по данной странице:
  • ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ
  • СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ
  • ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ
  • Искусственные нейронные сети и экспертные системы
Ф. Уоссермен

Нейрокомпьютерная техника:
Теория и практика

В книге американского автора в общедоступной форме излагаются основы построения нейрокомпьютеров. Описаны структура нейронных сетей и различные алгоритмы их настройки. Отдельные главы посвящены вопросам реализации нейронных сетей.

Для специалистов в области вычислительной техники, а также студентов соответствующих специальностей вузов.

Перевод на русский язык, Ю. А. Зуев, В. А. Точенов, 1992.

ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ? 5

СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 5

ИСТОРИЧЕСКИЙ АСПЕКТ 7

ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ 10

ПЕРСПЕКТИВЫ НА БУДУЩЕЕ 11

Глава 1. Основы искусственных нейронных сетей 14

БИОЛОГИЧЕСКИЙ ПРОТОТИП 14

ИСКУССТВЕННЫЙ НЕЙРОН 16

ОДНОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 19

МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 20

ТЕРМИНОЛОГИЯ, ОБОЗНАЧЕНИЯ И СХЕМАТИЧЕСКОЕ ИЗОБРАЖЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 22

Глава 2. Персептроны 26

ПЕРСЕПТРОНЫ И ЗАРОЖДЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 26

ПЕРСЕПТРОННАЯ ПРЕДСТАВЛЯЕМОСТЬ 28

ОБУЧЕНИЕ ПЕРСЕПТРОНА 35

АЛГОРИТМ ОБУЧЕНИЯ ПЕРСЕПТРОНА 36

Глава 3. Процедура обратного распространения 40

ВВЕДЕНИЕ В ПРОЦЕДУРУ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 40

ОБУЧАЮЩИЙ АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 41

Обзор обучения 43

ДАЛЬНЕЙШИЕ АЛГОРИТМИЧЕСКИЕ РАЗРАБОТКИ 50

Глава 4. Сети встречного распространения 54

ВВЕДЕНИЕ В СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ 54

СТРУКТУРА СЕТИ 54

НОРМАЛЬНОЕ ФУНКЦИОНИРОВАНИЕ 55

ОБУЧЕНИЕ СЛОЯ КОХОНЕНА 57

ОБУЧЕНИЕ СЛОЯ ГРОССБЕРГА 63

СЕТЬ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ ПОЛНОСТЬЮ 63

ПРИЛОЖЕНИЕ: СЖАТИЕ ДАННЫХ 65

Глава 5. Стохастические методы 67

ИСПОЛЬЗОВАНИЕ ОБУЧЕНИЯ 67

ПРИЛОЖЕНИЯ К ОБЩИМ НЕЛИНЕЙНЫМ ЗАДАЧАМ ОПТИМИЗАЦИИ 74

ОБРАТНОЕ РАСПРОСТРАНЕНИЕ И ОБУЧЕНИЕ КОШИ 75

Глава 6. Сети Хопфилда 80

КОНФИГУРАЦИИ СЕТЕЙ С ОБРАТНЫМИ СВЯЗЯМИ 81

Глава 7. Двунаправленная ассоциативная память 97

СТРУКТУРА ДАП 98

ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХ АССОЦИАЦИЙ 100

КОДИРОВАНИЕ АССОЦИАЦИЙ 101

ЕМКОСТЬ ПАМЯТИ 103

НЕПРЕРЫВНАЯ ДАП 104

АДАПТИВНАЯ ДАП 105

КОНКУРИРУЮЩАЯ ДАП 106

Глава 8. Адаптивная резонансная теория 107

АРХИТЕКТУРА APT 109

РЕАЛИЗАЦИЯ APT 117

ПРИМЕР ОБУЧЕНИЯ СЕТИ APT 121

ХАРАКТЕРИСТИКИ APT 123

Глава 9. Оптические нейронные сети 128

ВЕКТОРНО-МАТРИЧНЫЕ УМНОЖИТЕЛИ 129

ГОЛОГРАФИЧЕСКИЕ КОРРЕЛЯТОРЫ 136

Глава 10. Когнитрон и неокогнитрон 143

Приложение А. Биологические нейронные сети 163

ЧЕЛОВЕЧЕСКИЙ МОЗГ: БИОЛОГИЧЕСКАЯ МОДЕЛЬ ДЛЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 163

ОРГАНИЗАЦИЯ ЧЕЛОВЕЧЕСКОГО МОЗГА 164

КОМПЬЮТЕРЫ И ЧЕЛОВЕЧЕСКИЙ МОЗГ 172

Приложение Б. Алгоритмы обучения 174


ОБУЧЕНИЕ С УЧИТЕЛЕМ И БЕЗ УЧИТЕЛЯ 174

МЕТОД ОБУЧЕНИЯ ХЭББА 174

ВХОДНЫЕ И ВЫХОДНЫЕ ЗВЕЗДЫ 177

ОБУЧЕНИЕ ПЕРСЕПТРОНА 178

МЕТОД ОБУЧЕНИЯ УИДРОУ-ХОФФА 180

МЕТОДЫ СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ 180

Предисловие

Эта книга является систематизированным вводным курсом для профессионалов, не специализирующихся в математике. Все важные понятия формулируются сначала обычным языком. Математические выкладки используются, если они делают изложение более ясным. В конце глав помещены сложные выводы и доказательства, а также приводятся ссылки на другие работы. Эти ссылки составляют обширную библиографию важнейших работ в областях, связанных с искусственными нейронными сетями. Такой многоуровневый подход не только предоставляет читателю обзор по искусственным нейронным сетям, но также позволяет заинтересованным лицам серьезнее и глубже изучить предмет.

Значительные усилия были приложены, чтобы сделать книгу понятной и без чрезмерного упрощения материала. Читателям, пожелавшим продолжить более углубленное теоретическое изучение, не придется переучиваться. При упрощенном изложении даются ссылки на более подробные работы.

Книгу не обязательно читать от начала до конца. Каждая глава предполагается замкнутой, поэтому для понимания достаточно лишь знакомства с содержанием гл. 1 и 2. Хотя некоторое повторение материала неизбежно, большинству читателей это не будет обременительно.

Книга имеет практическую направленность. Если главы внимательно изучены, то большую часть сетей оказывается возможным реализовать на обычном компьютере общего назначения. Читателю настоятельно рекомендуется так и поступать. Никакой другой метод не позволит добиться столь же глубокого понимания.

      БЛАГОДАРНОСТИ

      Я хотел бы поблагодарить моих друзей и коллег, которые так великодушно дарили мне свое время и знания, исправляли мои ошибки и создавали атмосферу, способствующую развитию идей. Я хотел бы выразить мою особую признательность Dr. Surapol Dasananda, Santa Clara University; Dr. Elizabeth Center, College of Notre Dame; Dr. Peter Rowe, College of Notre Dame; Caries Rockwell, Microlog Corp.; Tom Schwartz, The Schwartz Associates; Dennis Reinhardt, Dair Corp.; Сое Miles-Schlichting; and Douglas Marquardt. Благодарю также Kyla Carlson и Nang Cao за помощь в подготовке иллюстраций.

      На мне лежит, разумеется, ответственность за все оставшиеся неисправленными ошибки, так как мои друзья и коллеги не могли опекать меня ежеминутно.

        Введение

        ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ?

        Это возрождение интереса было вызвано как теоретическими, так и прикладными достижениями. Неожиданно открылись возможности использования вычислений в сферах, до этого относящихся лишь к области человеческого интеллекта, возможности создания машин, способность которых учиться и запоминать удивительным образом напоминает мыслительные процессы человека, и наполнения новым значительным содержанием критиковавшегося термина «искусственный интеллект».

        СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

        Несмотря на такое функциональное сходство, даже самый оптимистичный их защитник не предположит, что в скором будущем искусственные нейронные сети будут дублировать функции человеческого мозга. Реальный «интеллект», демонстрируемый самыми сложными нейронными сетями, находится ниже уровня дождевого червя, и энтузиазм должен быть умерен в соответствии с современными реалиями. Однако равным образом было бы неверным игнорировать удивительное сходство в функционировании некоторых нейронных сетей с человеческим мозгом. Эти возможности, как бы они ни были ограничены сегодня, наводят на мысль, что глубокое проникновение в человеческий интеллект, а также множество революционных приложений, могут быть не за горами.

        Обучение

        Обобщение

        Абстрагирование

        Эта способность извлекать идеальное из несовершенных входов ставит интересные философские вопросы. Она напоминает концепцию идеалов, выдвинутую Платоном в его «Республике». Во всяком случае способность извлекать идеальные прототипы является у людей весьма ценным качеством.

        Применимость

        ИСТОРИЧЕСКИЙ АСПЕКТ

        Нейробиологи и нейроанатомы достигли значительного прогресса. Усердно изучая структуру и функции нервной системы человека, они многое поняли в «электропроводке» мозга , но мало узнали о его функционировании. В процессе накопления ими знаний выяснилось, что мозг имеет ошеломляющую сложность. Сотни миллиардов нейронов, каждый из которых соединен с сотнями или тысячами других, образуют систему, далеко превосходящую наши самые смелые мечты о суперкомпьютерах. Тем не менее мозг постепенно выдает свои секреты в процессе одного из самых напряженных и честолюбивых исследований в истории человечества.

        Лучшее понимание функционирования нейрона и картины его связей позволило исследователям создать математические модели для проверки своих теорий. Эксперименты теперь могут проводиться на цифровых компьютерах без привлечения человека или животных, что решает многие практические и морально-этические проблемы. В первых же работах выяснилось, что эти модели не только повторяют функции мозга, но и способны выполнять функции, имеющие свою собственную ценность. Поэтому возникли и остаются в настоящее время две взаимно обогащающие друг-друга цели нейронного моделирования: первая – понять функционирование нервной системы человека на уровне физиологии и психологии и вторая – создать вычислительные системы (искусственные нейронные сети), выполняющие функции, сходные с функциями мозга. Именно эта последняя цель и находится в центре внимания этой книги.

        Параллельно с прогрессом в нейроанатомии и нейрофизиологии психологами были созданы модели человеческого обучения. Одной из таких моделей, оказавшейся наиболее плодотворной, была модель Д. Хэбба, который в 1949г. предложил закон обучения, явившийся стартовой точкой для алгоритмов обучения искусственных нейронных сетей. Дополненный сегодня множеством других методов он продемонстрировал ученым того времени, как сеть нейронов может обучаться.

        В пятидесятые и шестидесятые годы группа исследователей, объединив эти биологические и физиологические подходы, создала первые искусственные нейронные сети. Выполненные первоначально как электронные сети, они были позднее перенесены в более гибкую среду компьютерного моделирования, сохранившуюся и в настоящее время. Первые успехи вызвали взрыв активности и оптимизма. Минский, Розенблатт, Уидроу и другие разработали сети, состоящие из одного слоя искусственных нейронов. Часто называемые персептронами, они были использованы для такого широкого класса задач, как предсказание погоды, анализ электрокардиограмм и искусственное зрение. В течение некоторого времени казалось, что ключ к интеллекту найден и воспроизведение человеческого мозга является лишь вопросом конструирования достаточно большой сети.

        Но эта иллюзия скоро рассеялась. Сети не могли решать задачи, внешне весьма сходные с теми, которые они успешно решали. С этих необъяснимых неудач начался период интенсивного анализа. Минский, используя точные математические методы, строго доказал ряд теорем, относящихся к функционированию сетей.

        Его исследования привели к написанию книги [4], в которой он вместе с Пайпертом доказал, что используемые в то время однослойные сети теоретически неспособны решить многие простые задачи, в том числе реализовать функцию «Исключающее ИЛИ». Минский также не был оптимистичен относительно потенциально возможного здесь прогресса:

        Персептрон показал себя заслуживающим изучения, несмотря на жесткие ограничения (и даже благодаря им). У него много привлекательных свойств: линейность, занимательная теорема об обучении, простота модели параллельных вычислений. Нет оснований полагать, что эти достоинства сохраняться при переходе к многослойным системам. Тем не менее мы считаем важной задачей для исследования подкрепление (или опровержение) нашего интуитивного убеждения, что такой переход бесплоден.

        Возможно, будет открыта какая-то мощная теорема о сходимости или найдена глубокая причина неудач дать интересную «теорему обучения» для многослойных машин ([4], с.231-232).

        Блеск и строгость аргументации Минского, а также его престиж породили огромное доверие к книге – ее выводы были неуязвимы. Разочарованные исследователи оставили поле исследований ради более обещающих областей, а правительства перераспределили свои субсидии, и искусственные нейронные сети были забыты почти на два десятилетия.

        Тем не менее несколько наиболее настойчивых ученых, таких как Кохонен, Гроссберг, Андерсон продолжили исследования. Наряду с плохим финансированием и недостаточной оценкой ряд исследователей испытывал затруднения с публикациями. Поэтому исследования, опубликованные в семидесятые и начале восьмидесятых годов, разбросаны в массе различных журналов, некоторые из которых малоизвестны. Постепенно появился теоретический фундамент, на основе которого сегодня конструируются наиболее мощные многослойные сети. Оценка Минского оказалась излишне пессимистичной, многие из поставленных в его книге задач решаются сейчас сетями с помощью стандартных процедур.

        За последние несколько лет теория стала применяться в прикладных областях и появились новые корпорации, занимающиеся коммерческим использованием этой технологии. Нарастание научной активности носило взрывной характер. В 1987 г. было проведено четыре крупных совещания по искусственным нейронным сетям и опубликовано свыше 500 научных сообщений – феноменальная скорость роста.

        Урок, который можно извлечь из этой истории, выражается законом Кларка, выдвинутым писателем и ученым Артуром Кларком. В нем утверждается, что, если крупный уважаемый ученый говорит, что нечто может быть выполнено, то он (или она) почти всегда прав. Если же ученый говорит, что это не может быть выполнено, то он (или она) почти всегда не прав. История науки является летописью ошибок и частичных истин. То, что сегодня не подвергается сомнениям, завтра отвергается. Некритическое восприятие «фактов» независимо от их источника может парализовать научный поиск. С одной стороны, блестящая научная работа Минского задержала развитие искусственных нейронных сетей. Нет сомнений, однако, в том, что область пострадала вследствие необоснованного оптимизма и отсутствия достаточной теоретической базы. И возможно, что шок, вызванный книгой «Персептроны», обеспечил необходимый для созревания этой научной области период.

            ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ

            Как подчеркивается в следующих главах, обратное распространение не свободно от проблем. Прежде всего нет гарантии, что сеть может быть обучена за конечное время. Много усилий, израсходованных на обучение, пропадает напрасно после затрат большого количества машинного времени. Когда это происходит, попытка обучения повторяется – без всякой уверенности, что результат окажется лучше. Нет также уверенности, что сеть обучится наилучшим возможным образом. Алгоритм обучения может попасть в «ловушку» так называемого локального минимума и будет получено худшее решение.

            Разработано много других сетевых алгоритмов обучения, имеющих свои специфические преимущества. Некоторые из них обсуждаются в последующих главах. Следует подчеркнуть, что никакая из сегодняшних сетей не является панацеей, все они страдают от ограничений в своих возможностях обучаться и вспоминать.

            Мы имеем дело с областью, продемонстрировавшей свою работоспособность, имеющей уникальные потенциальные возможности, много ограничений и множество открытых вопросов. Такая ситуация настраивает на умеренный оптимизм. Авторы склонны публиковать свои успехи, но не неудачи, создавая тем самым впечатление, которое может оказаться нереалистичным. Те, кто ищет капитал, чтобы рискнуть и основать новые фирмы, должны представить убедительный проект последующего осуществления и прибыли. Существует, следовательно, опасность, что искусственные нейронные сети начнут продавать раньше, чем придет их время, обещая функциональные возможности, которых пока невозможно достигнуть. Если это произойдет, то область в целом может пострадать от потери кредита доверия и вернется к застойному периоду семидесятых годов. Для улучшения существующих сетей требуется много основательной работы. Должны быть развиты новые технологии, улучшены существующие методы и расширены теоретические основы, прежде чем данная область сможет полностью реализовать свои потенциальные возможности.

            ПЕРСПЕКТИВЫ НА БУДУЩЕЕ

            Искусственные нейронные сети и экспертные системы

            Эта точка зрения подкрепляется тем, как люди функционируют в нашем мире. Распознавание образов отвечает за активность, требующую быстрой реакции. Так как действия совершаются быстро и бессознательно, то этот способ функционирования важен для выживания во враждебном окружении. Вообразите только, что было бы, если бы наши предки вынуждены были обдумывать свою реакцию на прыгнувшего хищника?

            Когда наша система распознавания образов не в состоянии дать адекватную интерпретацию, вопрос передается в высшие отделы мозга. Они могут запросить добавочную информацию и займут больше времени, но качество полученных в результате решений может быть выше.

            Можно представить себе искусственную систему, подражающую такому разделению труда. Искусственная нейронная сеть реагировала бы в большинстве случаев подходящим образом на внешнюю среду. Так как такие сети способны указывать доверительный уровень каждого решения, то сеть «знает, что она не знает» и передает данный случай для разрешения экспертной системе. Решения, принимаемые на этом более высоком уровне, были бы конкретными и логичными, но они могут нуждаться в сборе дополнительных фактов для получения окончательного заключения. Комбинация двух систем была бы более мощной, чем каждая из систем в отдельности, следуя при этом высокоэффективной модели, даваемой биологической эволюцией.

            Соображения надежности

            Подобно людям, структуру мозга которых они копируют, искусственные нейронные сети сохраняют в определенной мере непредсказуемость. Единственный способ точно знать выход состоит в испытании всех возможных входных сигналов. В большой сети такая полная проверка практически неосуществима и должны использоваться статистические методы для оценки функционирования. В некоторых случаях это недопустимо. Например, что является допустимым уровнем ошибок для сети, управляющей системой космической обороны? Большинство людей скажет, любая ошибка недопустима, так как ведет к огромному числу жертв и разрушений. Это отношение не меняется от того обстоятельства, что человек в подобной ситуации также может допускать ошибки.

            Проблема возникает из-за допущения полной безошибочности компьютеров. Так как искусственные нейронные сети иногда будут совершать ошибки даже при правильном функционировании, то, как ощущается многими, это ведет к ненадежности – качеству, которое мы считаем недопустимым для наших машин.

            Сходная трудность заключается в неспособности традиционных искусственных нейронных сетей «объяснить», как они решают задачу. Внутреннее представление, получающееся в результате обучения, часто настолько сложно, что его невозможно проанализировать, за исключением самых простых случаев. Это напоминает нашу неспособность объяснить, как мы узнаем человека, несмотря на различие в расстоянии, угле, освещении и на прошедшие годы. Экспертная система может проследить процесс своих рассуждений в обратном порядке, так что человек может проверить ее на разумность. Сообщалось о встраивании этой способности в искусственные нейронные сети [З], что может существенно повлиять на приемлемость этих систем.

            ВЫВОДЫ

            Теория искусственных нейронных сетей развивается стремительно, но в настоящее время она недостаточна, чтобы быть опорой для наиболее оптимистических проектов. В ретроспективе видно, что теория развивалась быстрее, чем предсказывали пессимисты, но медленнее, чем надеялись оптимисты, – типичная ситуация. Сегодняшний взрыв интереса привлек к нейронным сетям тысячи исследователей. Резонно ожидать быстрого роста нашего понимания искусственных нейронных сетей, ведущего к более совершенным сетевым парадигмам и множеству прикладных возможностей.

            Анализ нейрокомпьютерных систем Текст научной статьи по специальности « Общие и комплексные проблемы технических и прикладных наук и отраслей народного хозяйства»

            Аннотация научной статьи по общим и комплексным проблемам технических и прикладных наук и отраслей народного хозяйства, автор научной работы — Курашкин С.О.

            Описываются принципы работы, области применения и особенности создания и использования нейрокомпьютерных систем.

            Похожие темы научных работ по общим и комплексным проблемам технических и прикладных наук и отраслей народного хозяйства , автор научной работы — Курашкин С.О.,

            ANALYSIS OF NEUROCOMPUTER SYSTEMS

            The principles of work, range of application and feature of creation and use of neurocomputer systems are described.

            Текст научной работы на тему «Анализ нейрокомпьютерных систем»

            АНАЛИЗ НЕЙРОКОМПЬЮТЕРНЫХ СИСТЕМ

            С. О. Курашкин Научный руководитель — Е. А. Юронен

            Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева

            Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31


            Описываются принципы работы, области применения и особенности создания и использования нейрокомпьютерных систем.

            Ключевые слова: нейрокомпьютерные системы, нейронные сети.

            ANALYSIS OF NEUROCOMPUTER SYSTEMS

            S. O. Kurashkin Scientific Supervisor — E. A. Yuronen

            Reshetnev Siberian State Aerospace University 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: scorpion_ser@mail.ru

            The principles of work, range of application andfeature of création and use of neurocomputer systems are described.

            Keyword: neurocomputer systems, neuronic networks.

            На сегодняшний день с развитием компьютерных технологий, стали широко распространены различные нейрокомпьютерные системы для различных задач. Универсальных моделей нейрокомпьютеров на рынке мало потому, что большинство из них реализованы для спецприменений. Примерами нейрокомпьютеров являются нейрокомпьютер Synapse (Siemens, Германия) и процессор NeuroMatrix. В настоящее время проводятся ежегодные конференции по нейрокомпьютерам. С технической точки зрения сегодняшние нейрокомпьютеры — это вычислительные системы с параллельными потоками одинаковых команд и множественным потоком данных (MSIMD-архитектура) [6].

            Нейрокомпьютерные системы (нейронные сети) способны обучаться распознаванию образов, пониманию речи, предсказанию погоды и управлению системами различной сложности. Эта новая технология должна сыграть важную роль в управлении энергетическими системами, индустриальными объектами, интеллектуальными роботами и во многих других практически важных приложениях. В частности нейронные сети интересны как основа для разработки параллельных архитектур [1].

            Нейронные сети — новая модель параллельных и распределенных вычислений, один из основных архитектурных принципов построения машин 6-го поколения. В основу искусственных нейросе-тей положены следующие черты живых нейросетей, позволяющие им справляться с нерегулярными задачами [7]:

            1) простой обрабатывающий элемент — нейрон;

            2) участие огромного числа нейронов в обработке информации;

            3) каждый нейрон связан с большим числом других (глобальные связи);

            4) изменяющиеся по весу связи между нейронами;

            5) массовый параллелизм обработки информации.

            Сети, обладающие этими свойствами, принадлежат к классу коннекционистских моделей обработки информации. Основная их черта — использование взвешенных связей между обрабатывающими элементами как средства запоминания информации. Обработка ведется одновременно большим числом элементов, где каждый нейрон связан с большим числом других, поэтому нейронная сеть устойчива к неисправностям и способна к быстрым вычислениям. Задать нейронную сеть для решения конкретной задачи — значит определить [7]:

            Секция «Информационно-управляющие системы»

            1) модель нейрона;

            2) топологию связей;

            Применение нейронных сетей очень распространено, выделяют следующие основные направления [5]:

            1) управление в реальном времени, например:

            а) самолётами и ракетами;

            б) технологическими процессами непрерывного производства (в энергетике, металлургии и др.);

            в) сварочным аппаратом;

            2) распознавание образов:

            а) изображений, человеческих лиц, букв и иероглифов, отпечатков пальцев в криминалистике, речи, сигналов радара и сонара;

            б) элементарных частиц и происходящих с ними физических процессов (эксперименты на ускорителях или наблюдение за космическими лучами);

            3) прогнозирование в реальном времени:

            б) курса акций (и других финансовых показателей);

            в) политических событий (результатов выборов и др.);

            4) оптимизация — поиск наилучших вариантов:

            а) при конструировании технических устройств;

            б) при выборе экономической стратегии;

            5) обработка сигналов при наличии больших шумов;

            6) протезирование («умные протезы») и усиление естественных функций, в том числе — за счёт прямого подключения нервной системы человека к компьютерам (нейрокомпьютерный интерфейс);

            8) информационная безопасность.

            Обучение нейронной сети можно сравнить с обучением маленького ребенка. Например, мы хотим обучить её русскому алфавиту. Мы показываем изображение буквы «А» и ждем ответа, ответ может быть как верный, так и нет. Нам известен верный (желаемый) ответ — в данном случае нам хотелось бы, чтобы на выходе нейронной сети с меткой «А» уровень сигнала был максимален. И так мы много раз предъявляем одну и ту же букву (а также различные изображения одной и той же буквы) нейронной сети, пока не добьемся правильного ответа.

            В качестве примера нейронной сети можно рассмотреть программу Neural Doodle, она сделана на основе свёрточной нейросети, представляет собой скрипт doodle.py, который генерирует изображения, принимая три-четыре картинки в качестве входных параметров. В том числе на вход подаётся простенький набросок (то, что авторы называют «каракулями») и образец стиля с его наброском [3].

            Простой набросок преобразуется в красивую картину

            Конструкция нейросети описана в научной работе автора «Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artworks», которую он подготовил для конференции nucl.ai Conference 2020. Нейросеть использует алгоритм синтеза изображений, который предложен исследователями Чуан Ли (Chuan Li) и Майклом Вандом (Michael Wand) в научной работе «Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis» [3].

            1. Аляутдинов М. А., Галушкин А. И., Казанцев П. А., Остапенко Г. П. Нейрокомпьютеры: от программной к аппаратной реализации. М.: Горячая линия — Телеком, 2008. 152 с.

            2. Горбань А. Н., Россиев Д. А. Нейронные сети на персональном компьютере. Новосибирск: Наука. Сиб. изд. фирма РАН, 1996. 276 с.

            3. Нейросеть превращает каракули в художественные шедевры [Электронный ресурс]. URL: https://geektimes.ru/post/272430/ (дата обращения: 29.03.2020).

            4. Turn your two-bit doodles into fine artworks with deep neural networks! An implementation of Semantic Style Transfer [Электронный ресурс]. URL: https://github.com/alexjc/neural-doodle (дата обращения: 29.03.2020).

            5. Нейрокомпьютер. [Электронный ресурс]. URL: https://ru.wikipedia.org/wiki/Нейрокомпьютер/ (дата обращения: 29.03.2020).

            6. Миркес Е. М. Нейрокомпьютер. Проект стандарта/ под ред В. Л. Дунина-Барковского. Новосибирск : Наука, 1999. 337 с.

            Рецензии на книгу « Нейрокомпьютерная техника: теория и практика »

            Ф. Уоссермен

            Год издания: 1992
            Издательство: Мир

            В книге американского автора в общедоступной форме излагаются основы построения нейрокомпьютеров. Описаны структура нейронных сетей и различные алгоритмы их настройки. Отдельные главы посвящены вопросам реализации нейронных сетей.

            Для специалистов в области вычислительной техники, а также студентов соответствующих специальностей вузов.
            Что такое искусственные нейронные сети? Что они могут делать? Как они работают? Как их можно использовать? Эти и множество подобных вопросов задают специалисты из разных областей. Найти вразумительный ответ нелегко. Университетских курсов мало, семинары слишком дороги, а соответствующая литература слишком обширна и специализированна. Готовящиеся к печати превосходные книги могут обескуражить начинающих. Часто написанные на техническом жаргоне, многие из них предполагают свободное владение разделами высшей математики, редко используемыми в других областях.

            Лучшая подборка с книгой

            В списке приведены основные источники, необходимые для изучения того или иного направления искусственного интеллекта.

            Предисловие
            Благодарности
            Введение
            Почему именно искусственные нейронные сети?
            Свойства искусственных нейронных сетей
            Исторический аспект
            Искусственные нейронные сети сегодня
            Перспективы на будущее
            Выводы
            Основы искусственных нейронных сетей
            Биологический прототип
            Искусственный нейрон
            Однослойные искусственные нейронные сети
            Многослойные искусственные нейронные сети
            Терминология, обозначения и схематическое изображение искусственных нейронных сетей
            Пролог
            Персептроны
            Персептроны и зарождение искусственных нейронных сетей
            Персептронная представляемость
            Обучение персептрона
            Алгоритм обучения персептрона
            Процедура обратного распространения
            Введение в процедуру обратного распространения
            Обучающий алгоритм обратного распространения
            Обзор обучения
            Дальнейшие алгоритмические разработки
            Применения
            Предостережение
            Сети встречного распространения
            Введение в сети встречного распространения
            Структура сети
            Нормальное функционирование
            Обучение слоя Кохонена
            Обучение слоя Гроссберга
            Сеть встречного распространения полностью
            Приложение: сжатие данных
            Обсуждение
            Стохастические методы
            Использование обучения
            Приложения к общим нелинейным задачам оптимизации
            Обратное распространение и обучение коши
            Сети Хопфилда
            Конфигурации сетей с обратными связями
            Приложения
            Обсуждение
            Выводы
            Двунаправленная ассоциативная память
            Структура ДАП
            Восстановление запомненных ассоциаций
            Кодирование ассоциаций
            Емкость памяти
            Непрерывная ДАП
            Адаптивная ДАП
            Конкурирующая ДАП
            Заключение
            Адаптивная резонансная теория
            Архитектура Apt
            Реализация Apt
            Пример обучения сети Apt
            Характеристики Apt
            Заключение
            Оптические нейронные сети
            Векторно-матричные умножители
            Голографические корреляторы
            Заключение
            Когнитрон и неокогнитрон
            Когнитрон
            Неокогнитрон
            Заключение
            Приложение а биологические нейронные сети
            Человеческий мозг: биологическая модель для искусственных нейронных сетей
            Организация человеческого мозга
            Компьютеры и человеческий мозг
            Приложение б алгоритмы обучения
            Обучение с учителем и без учителя
            Метод обучения Хэбба
            Входные и выходные звезды
            Обучение персептрона
            Метод обучения Уидроу-Хоффа
            Методы статистического обучения
            Самоорганизация

            236 стр.
            Перевод на русский язык: Ю. А. Зуев, В. А. Точенов

            Нейрокомпьютерный интерфейс: принцип работы, сферы применения, плюсы и минусы

            Постепенно в нашу жизнь входит много нового. Развитие техники не стоит на месте, и завтра может быть возможно то, о чем вчера мы не осмеливались мечтать. Нейрокомпьютерный интерфейс (НКИ) делает реальной связь человеческого мозга с техникой, их частичное взаимодействие.

            Что такое НКИ?

            НКИ – это система обмена информацией между мозгом человека и электронным устройством. Обмен может быть двухсторонним, когда электрические импульсы поступают от устройства в мозг и обратно, или односторонним, когда информацию получает только один объект. Более простым языком, НКИ представляет собой то, что называется «управление силой мысли». Очень важное открытие, которое уже сейчас широко используется во многих сферах жизни.

            Как работает НКИ?

            Нейроны мозга передают друг другу информацию с помощью электрических импульсов. Это очень сложная и запутанная сеть, которую ученые пока не могут проанализировать до конца. Но с помощью НКИ стало возможным считывать часть информации импульсов мозга и передавать ее на электронные устройства. Они, в свою очередь, могут преобразовывать импульсы в действие.

            История изучения НКИ

            Примечательно, что основой для развития НК-интерфейса стали труды русского ученого И. П. Павлова об условных рефлексах. Также немаловажную роль в изучении НКИ сыграла его же работа по теме регулирующей роли коры головного мозга. Исследования И. П. Павлова проходили в начале двадцатого века в Институте экспериментальной медицины в Санкт-Петербурге. Позднее идеи Павлова в направлении НК-интерфейса развили советский физиолог П. К. Анохин и советский и российский нейрофизиолог Н. П. Бехтерева. Глобальные исследования НКИ начались только в 1970-х годах в США. Эксперименты проводили на обезьянах, крысах и других животных. В ходе исследований ученые, работающие с подопытными обезьянами, выяснили, что за движения их конечностей отвечают определенные зоны мозга. С момента этого открытия последующая судьба НКИ была решена.

            Электроэнцефалография (ЭЭГ)

            Электроэнцефалография представляет собой способ считывания электронных импульсов мозга посредством неинвазивного прикрепления электродов к голове человека. Неинвазивный метод – это такой метод, при котором электроды крепятся на голову человека или животного, без непосредственного введения в кору мозга. Метод ЭЭГ появился сравнительно давно и внес большой вклад в развитие нейрокомпьютерного интерфейса. Метод ЭЭГ используется по сей день, потому что он недорогой и действенный.


            Этапы НКИ

            Информация, исходящая из человеческого мозга, обрабатывается электронным устройством в четыре этапа:

            1. Получение сигнала.
            2. Предварительная обработка.
            3. Интерпретация и классификация данных.
            4. Вывод данных.

            Первый этап

            При первом этапе электроды либо вводятся непосредственно в кору головного мозга (инвазивный метод), либо крепятся на поверхность головы (неинвазивный метод). Начинается процесс считывания информации клеток головного мозга. Электроды собирают данные отдельных систем нейронов, отвечающих за различные действия.

            Предварительная обработка

            На втором этапе интерфейса «мозг – компьютер» происходит предварительная обработка полученных сигналов. Устройство извлекает характеристики сигналов, чтобы упростить сложный состав данных, отсеять лишнюю информацию и шум, мешающие четко выделить сигналы мозга.

            Третий этап

            На третьем этапе НК-интерфейса информация интерпретируется из электрических импульсов в цифровой код. Он обозначает действие, сигнал к которому дал мозг. Затем полученные коды классифицируются.

            Вывод данных

            Вывод информации происходит на четвертом этапе. Оцифрованные данные выводятся на соединенное с мозгом устройство, которое выполняет мысленно заданную команду.

            Нейропротезирование

            Одна из главных сфер внедрения мозгового интерфейса – медицина. Нейронные протезы призваны восстановить связь между мозгом человека и действием его органов, заменить поврежденные болезнью или травмой органы с последующим восстановлением функций здорового тела. Особенно хорошо НКИ может помочь людям с параличом или потерей конечностей. В использовании нейронных протезов используется принцип работы нейрокомпьютерного интерфейса. Если говорить очень упрощенно, человеку устанавливают протезы рук или ног, электронные имплантаты от которых ведут к области мозга, отвечающей за движение данной конечности. Нейропротезирование прошло многие тестирования, но сложность его массового использования заключается в том, что НКИ не может полностью прочитать сигналы мозга, а управление протезами в обычной жизни вне лаборатории вызывает сложности. Несколько лет назад в России хотели наладить производство нейропротезов, но до сих пор это не осуществлено.

            Слуховые протезы

            Если протезы конечностей еще не появились на массовом рынке, то кохлеарный имплантат (протез, помогающий восстановить слух) используют довольно давно. Чтобы его получить, пациент должен иметь выраженную степень сенсоневральной тугоухости (то есть такой потери слуха, при которой нарушена способность слухового аппарата принимать и анализировать звуки). К помощи восстановления слуха посредством кохлеарного имплантата прибегают тогда, когда обычный слуховой аппарат не дает ожидаемых результатов. Имплантат вживляется в аппарат уха и прилегающую к нему часть головы в результате хирургической операции. Как и любой другой нейрокомпьютерный интерфейс, кохлеарный имплантат должен полностью подойти владельцу. Чтобы научиться им пользоваться и начать воспринимать имплантат как новое ухо, пациенту нужно пройти долгий курс реабилитации.

            Будущее НКИ

            В последнее время можно везде услышать и прочитать об искусственном интеллекте. Это означает, что мечта многих людей сбывается – скоро наш мозг войдет в симбиоз с техникой. Несомненно, это будет новая эра развития человечества. Новый уровень знаний и возможностей. Благодаря интерфейсу мозг-компьютер, во многих областях науки появится большое количество новых и важных открытий. Помимо использования в медицинских целях, НКИ уже может соединять пользователя с устройствами виртуальной реальности. Такими, как виртуальная компьютерная мышь, клавиатура, герои в играх виртуальной реальности и т. д.

            Управление без рук

            Главной задачей нейрокомпьютерного интерфейса является поиск возможности управления техникой без помощи мышц. Открытия в этой области дадут людям с параличом конечностей больше возможностей в передвижении, управлении транспортом и гаджетами. Уже сейчас НКИ без проблем объединяет мозг человека и компьютерный искусственный интеллект. Это стало возможно благодаря глубокому изучению принципов работы человеческого мозга. Именно на их основе составляются программы, на которых работают НКИ и искусственный интеллект.

            НКИ в робототехнике

            Так как ученые выяснили, что за движение мышц ответственны определенные зоны мозга, у них сразу возникла мысль о том, что человеческий мозг может управлять не только своим телом, но и контролировать человекоподобную машину. Сейчас создается много различных роботизированных машин. В том числе и гуманоидов. Робототехники стремятся в своих человекоподобных работах повторить поведение живых людей. Но пока программирование и искусственный интеллект справляются с данной задачей немного хуже, чем НКИ. С помощью НК-интерфейса можно управлять роботизированными конечностями на расстоянии. Например, в таких местах, куда доступ человека невозможен. Или на работах, которые требуют ювелирной точности.

            НКИ при параличах

            Несомненно, самым востребованным является нейрокомпьютерный интерфейс в медицине. Управление протезами рук, ног, контроль инвалидной коляски с помощью мысли, управление информацией в смартфонах, компьютерах без рук и т. д. Если эти нововведения станут повсеместными, повысится уровень жизни людей, в настоящее время ограниченных в возможностях передвижения. Мозг сразу будет передавать команды в устройства, минуя тело, что поможет человеку с инвалидностью лучше адаптироваться в среде. Но при попытках нейропротезирования специалисты сталкиваются с некоторыми проблемами, которым не могут найти решения по сегодняшний день.

            Плюсы и минусы нейрокомпьютерного интерфейса

            Несмотря на то что плюсов у использования НК-интерфейса много, минусы в его применении тоже есть. Плюсом в развитии НКИ в медицине является тот факт, что головной мозг человека (в особенности его кора) очень хорошо адаптируется к изменениям, благодаря чему возможности НК-интерфейса практически безграничны. Вопрос стоит только за развитием и открытием новых технологий. Но тут возникают некоторые проблемы.

            Несовместимость тканей организма с устройствами

            Во-первых, если вводить имплантаты инвазивным способом (внутрь тканей), очень сложно добиться их полной совместимости с тканями пациента. Те материалы и волокна, которые должны полностью вживиться в органическую ткань, только создаются.

            Несовершенство техники по сравнению с мозгом

            Во-вторых, электроды все же устроены намного проще, чем нейроны мозга. Они пока не способны передавать и принимать всю ту информацию, с которой нервные клетки мозга справляются с легкостью. Поэтому движение конечностей здорового человека происходит намного быстрее и точнее, чем движение нейропротезов, а здоровое ухо воспринимает звуки четче и правильнее, чем ухо с кохлеарным имплантатом. Если наш мозг знает, какую информацию отсеивать, а какую считать за главную, то в устройствах с искусственным интеллектом это делают написанные человеком алгоритмы. Пока они не могут повторить сложные алгоритмы человеческого мозга.

            Большое количество переменных, нуждающихся в контроле

            Некоторые научные институты планируют в скором будущем создать не отдельный нейропротез ноги или руки, а целый экзоскелет для людей с церебральным параличом. При такой форме протеза экзоскелет должен получать информацию не только из головного мозга, но и со спинного. С таким устройством, подключенным ко всем важным нервным окончаниям тела, человека можно будет назвать настоящим киборгом. Ношение экзоскелета позволит полностью парализованному человеку вновь обрести способность двигаться. Но проблема в том, что реализация движения – не все, что требуется от НКИ. Экзоскелет должен учитывать также равновесие, координацию движений, ориентацию в пространстве. Пока задача одновременно осуществить все эти команды трудновыполнима.

            Страх людей перед новым

            Неинвазивный метод установки имплантатов эффективен в лабораторных условиях, но в обычной жизни этот способ вряд ли сможет оправдать возложенные на него надежды. Контакт при таком соединении слабый, используют его в основном для считывания сигналов. Поэтому в медицине и в нейропротезировании, как правило, пользуются хирургическим методом введения электродов в организм. Но мало кто согласится объединять свое тело и неведомую технику. Наслышанные о терминаторах и киборгах из голливудских фильмов, люди боятся прогресса и нововведений, тем более когда они касаются человека непосредственно.

            Реферат: «Разработка, применение и перспективы развития нейрокомпьютеров». Вопросы для самоконтроля. Пример использования нейрокомпьютеров

            Детальный анализ зарубежных разработок нейрокомпьютеров позволил выделить основные перспективные направления современного развития нейрокомпьютерных технологий: нейропакеты, нейросетевые экспертные системы, СУБД с включением нейросетевых алгоритмов, обработка изображений, управление динамическими системами и обработка сигналов, управление финансовой деятельностью, оптические нейрокомпьютеры, виртуальная реальность. Сегодня разработками в этой области занимается более 300 зарубежных компаний, причем число их постоянно увеличивается. Среди них такие гиганты как Intel, DEC, IBM и Motorolla. Сегодня наблюдается тенденция перехода от программной эмуляции к программно-аппаратной реализации нейросетевых алгоритмов с резким увеличением числа разработок СБИС нейрочипов с нейросетевой архитектурой. Резко возросло количество военных разработок, в основном направленных на создание сверхбыстрых, «умных» супервычислителей.

            Если говорить о главном перспективном направлении — интеллектуализации вычислительных систем, придания им свойств человеческого мышления и восприятия, то здесь нейрокомпьютеры — практически единственный путь развития вычислительной техники. Многие неудачи на пути совершенствования искусственного интеллекта на протяжении последних 30 лет связаны с тем, что для решения важных и сложных по постановке задач выбирались вычислительные средства, не адекватные по возможностям решаемой задаче, в основном из числа компьютеров, имеющихся под рукой. При этом как правило не решалась задача, а показывалась принципиальная возможность ее решения. Сегодня активное развитие систем MPP создало объективные условия для построения вычислительных систем, адекватных по возможностям и архитектуре практически любым задачам искусственного интеллекта.

            В Японии с 1993 года принята программа «Real world computing program». Ее основная цель — создание адаптивной, эволюционирующей ЭВМ. Проект рассчитан на 10 лет. Основой разработки является нейротехнология, используемая для распознавания образов, обработки семантической информации, управления информационными потоками и роботами, которые способны адаптироваться к окружающей обстановке. Только в 1996 году было проведено около сотни международных конференций по нейрокомпьютерам и смежным проблемам. Разработки нейрокомпьютеров ведутся во многих странах мира и даже в Австралии создан свой образец коммерческого супернейрокомпьютера.

            Теория нейронных сетей

            В области теории нейронных сетей российская научная школа, которая развивается уже в течение 30 лет, имеет определенный приоритет по сравнению с зарубежными исследованиями. Теория нейронных сетей — алгоритмический базис нейрокомпьютеров, подобно тому как булева алгебра служила основой логики однопроцессорных и многопроцессорных компьютеров.

            Общая методика синтеза многослойных нейронных сетей была разработана сотрудниками Научного центра нейрокомпьютеров еще в конце 60-х годов и постоянно развивалась в течение 30 лет. В результате в России сформировалось направление в области теории нейронных сетей, которое по ряду параметров превосходит уровень зарубежных работ. Например были разработаны методы адаптивной настройки нейронных сетей с произвольным видом нейрона и произвольным числом слоев; с различными видами связей между слоями; с различными видами критериев оптимизации; с различными ограничениями на весовые коэффициенты нейронных сетей.

            Реализованные в известных зарубежных нейропакетах нейросетевые парадигмы имеют по крайней мере два серьезных недостатка:

            • они реализуют нейросетевой алгоритм, не адекватный выбранной задаче;
            • достигают локального эффекта на первомом этапе использования без возможности улучшения для повышения качества решения задачи.

            В таблице 1 представлена сравнительная характеристика зарубежных и отечественных методов настройки многослойных нейронных сетей.

            Таблица 1. Сравнение метода обратного распространения и российских методов адаптации в многослойных нейронных сетях.

            NN Признак Российские методы адаптации в многослойных нейронных сетях Метод обратного распространения Примечание
            1. Срок разработки и опубликования 1965 — 1971, 1970 — 1974 1976 — 1984
            Характеристики входных сигналов
            2. Число классов образов (градаций по уровню сигнала указаний учителя о принадлежности входных образов полученному классу 2, К, континуум 2
            3. Характеристика стационарности входных образов, как случайных сигналов стационарные, нестационарные стационарные
            4. Характеристика «квалификации» учителя произвольная обучение (в=1) редко самообуче ние (в=0)
            5. Собственное мнение учителя о своих способностях +
            6. Априорные вероятности появления классов образов произвольные равные
            Характеристика пространства решений
            7. Количество решений 2, К, континуум 2 для любого варианта числа классов
            8. Априорная информация об условной плотности распределения вероятностей относительно образов классов может быть учтена не учитывается
            Критерии первичной оптимизации
            9. Класс критериев первичной оптимизации средняя функция риска, без учета и при наличии ограничений на составляющие для различных классов, максимум апостериорной информации и другие критерии, соответствующие физике задач энергетическая функция, сред неквадратическая ошибка Российская методика: -min R (средней функции риска) -min R при (составляющей средней фун-ции риска) — min R при и др. критерии
            10. Матрица (функция) потерь произвольная диагональная симметричная
            Структуры многослойных нейронных сетей
            11. Типы структур многослойных нейронных сетей многослойные нейронные сети с полными, и неполными последовательными, перекрестными и обратными связями. Произвольные структуры, адекватные решаемым задачам трехслойные сети с полными последовательными связями
            Функционал вторичной оптимизации
            12. Метод выбора функционала вторичной оптимизации, соответствующего функционалу первичной оптимизации +
            Методы поиска экстремума функционала вторичной оптимизации
            13. Использование комбинированных (градиентных и случайных методов поиска) +
            14. Использование метода стохастической аппроксимации +
            15. Учет информации об ограничениях на настраиваемые коэффициенты (например, по величине или скорости изменения) +
            16. Возможность использования поисковых колебаний +
            17. Возможность фильтрации в контуре адаптации при оценке градиента функционала вторичной оптимизации +
            18. Выбор начальных условий в контуре адаптации весовых коэффициентов +
            Типовые входные сигналы
            19. Выбор типовых входных сигналов +

            Определенная общность отечественных методов развития теории нейронных сетей позволила создать единый подход к разработке нейросетевых алгоритмов решения самых разнообразных задач, сформировав новое направление в вычислительной математике — нейроматематику. Эта область связана с разработкой алгоритмов решения математических задач в нейросетевом логическом базисе. Необходимо отметить, что передовая в этом направлении американская школа разработки нейрокомпьютеров уже трижды в истории развития вычислительной техники совершала принципиальные ошибки.

            Первая из них была сделана в 60-е годы, когда создавались нейрокомпьютеры с ориентацией на элементную базу с адаптацией весовых коэффициентов. Российская школа приняла тогда концепцию разработки нейрокомпьютеров, в которых рабочая, распознающая часть, реализовывалась в виде аналогового блока с фиксированными или перестраиваемыми коэффициентами, а блок адаптации реализовывался на универсальных ЭВМ.

            Вторая ошибка была связана с публикацией работы Минского и Пейперта «Персептроны», где показывалась, якобы, невозможность решения на двухслойной нейронной сети задачи реализации «исключающего или». Российские специалисты, владея в то время общей методикой настройки многослойных нейронных сетей, продолжая работы в этой области, наблюдали практически полное их отсутствие за рубежом вплоть до середины 80-х годов.

            Третья ошибка связана с тем, что в работах американских ученых решение отдельных математических задач в нейросетевом логическом базисе ориентируется на частные нейросетевые парадигмы. В наших работах общий метод синтеза нейронных сетей позволил создать и развивать в дальнейшем единую методику решения любых математических задач, создавая нейроматематику — новый раздел вычислительной математики.

            Нейроматематика

            Всегда звучит вопрос: для какого класса задач наиболее эффективно применение того или иного вычислительного устройства, построенного по новым признакам. По отношению к нейрокомпьютерам ответ на него постоянно меняется в течение уже почти 50 лет.

            Долгое время считалось, что нейрокомпьютеры эффективны для решения неформализуемых и плохо формализуемых задач, связанных с необходимостью включения в алгоритм решения задач процесса обучения на реальном экспериментальном материале — распознавания образов. Конечно неформализуемые задачи являются важным аргументом использования нейрокомпьютеров. Однако необходимо помнить, что это всего лишь частная постановка аппроксимации функций, заданных некоторым множеством значений. При этом главное, что для аппроксимации используются не прежние статистические, в частности, регрессионные, а гибкие нелинейные нейросетевые модели.

            Сегодня к этому классу задач добавляется второй класс задач, иногда не требующих обучения на экспериментальном материале, но хорошо представимых в нейросетевом логическом базисе — это задачи с ярко выраженным естественным параллелизмом: обработка сигналов и обработка изображений. В истории вычислительной техники всегда были задачи, не решаемые компьютерами текущего уровня развития и для них переход к нейросетевому логическому базису характерен в случае резкого увеличения размерности пространства решения или необходимости резкого сокращения времени. Различают три раздела нейроматематики: общая, прикладная и специальная.

            Такие казалось бы простые задачи, как сложение чисел, умножение, деление, извлечение корня, обращение чисел и т.п. многие авторы пытаются решить с помощью нейрокомпьютеров. Действительно, при ориентации на нейросетевую физическую реализацию алгоритмов эти операции можно реализовать значительно эффективнее, чем на известных булевских элементах. В нейронных сетях это функции активации, поэтому сегодня много говорят о решении систем линейных уравнений и неравенств, обращении матриц, сортировки с помощью нейрокомпьютерных технологий.

            Прикладная нейроматематика

            Как правило множество задач прикладной нейроматематики не решается известными типами вычислительных машин.

            Общие задачи

            Это задачи, достаточно просто сводимые к обработке нейронной сетью многомерных векторов вещественных переменных, например:

            • контроль кредитных карточек. Сегодня 60% кредитных карточек в США обрабатываются с помощью нейросетевых технологий;
            • система скрытого обнаружения веществ с помощью системы на базе тепловых нейронов и с помощью нейрокомпьютера на заказных цифровых нейрочипах. Подобная система фирмы SAIC эксплуатируется уже во многих аэропортах США при досмотре багажа для обнаружения наркотиков, взрывчатых веществ, ядерных и других материалов;
            • система автоматизированного контроля безопасного хранения ядерных изделий.

            Обработка изображений

            Наиболее перспективными задачами обработки изображений нейрокомпьютерами являются обработка аэрокосмических изображений (сжатие с восстановлением, сегментация, контрастирование и обработка текстур), выделение на изображении движущихся целей, поиск и распознавание на нем объектов заданной формы, обработка потоков изображений, обработка информации в высокопроизводительных сканерах.

            Обработка сигналов

            В первую очередь это класс задач, связанных с прогнозированием временных зависимостей:


            • прогнозирование финансовых показателей;
            • прогнозирование надежности электродвигателей;
            • упреждение мощности АЭС и прогнозирование надежности систем электропитания на самолетах;
            • обработка траекторных измерений.

            При решении этих задач сейчас все переходят от простейших регрессионных и других статистических моделей прогноза к существенно нелинейным адаптивным экстраполирующим фильтрам, реализованным в виде сложных нейронных сетей.

            При обработке гидролокационных сигналов нейрокомпьютеры применяются при непосредственной обработке сигнала, распознавании типа надводной или подводной цели, определении координат цели. Сейсмические сигналы по структуре весьма близки к гидролокационным. Обработанные нейрокомпьютером позволяют получить с достаточной точностью данные о координатах и мощности землетрясения или ядерного взрыва. Нейрокомпьютеры начали активно использовать при обработке сейсмических сигналов в нефтегазоразведке. В Международном обществе по нейронным сетям для этого создана специальнаягруппа.

            Нейрокомпьютеры в системах управления динамическими объектами

            Это одна из самых перспективных, областей применения нейрокомпьютеров. По крайней мере США и Финляндия ведут работы по использования нейрокомпьютеров для управления химическими реакторами. В нашей стране этим не занимались, в частности, по причине морального устаревания существующих реакторов и нецелесообразности совершенствования их систем управления.

            Перспективной считается разработка нейрокомпьютера для управления двигательной установкой гиперзвукового самолета. Фактически единственным вариантом реализации высокопараллельной вычислительной системы управления зеркалами (100-400 зеркал) адаптивного составного телескопа сегодня является нейрокомпьютер. Адаптивные режимы управления этим сложным объектом по критерию обеспечения максимального высокого качества изображения и компенсации атмосферных возмущений может обеспечить мощный нейрокомпьютер, в свою очередь реализующий адаптивный режим собственного функционирования.

            Весьма адекватной нейрокомпьютеру является задача обучения нейронной сети выработке точного маневра истребителя. Обучение системы с достаточно слабой нейронной сетью требовало 10 часов на ПК 386. Тоже можно сказать и о задаче управления роботами: прямая, обратная кинематические и динамические задачи, планирование маршрута движения робота. Переход к нейрокомпьютерам здесь связан в первую очередь с ограниченностью объемов размещения вычислительных систем, а также с необходимостью реализации эффективного управления в реальном масштабе времени.

            Нейросетевые экспертные системы

            Необходимость реализации экспертных систем в нейросетевом логическом базисе возникает при значительном увеличении числа правил и выводов. Примерами реализации конкретных нейросетевых экспертных систем могут служить система выбора воздушных маневров в ходе воздушного боя и медицинская диагностическая экспертная система для оценки состояния летчика.

            Нейрочипы и нейрокомпьютеры

            В 1995 году была завершена разработка первого отечественного нейрокомпьютера на стандартной микропроцессорной элементной базе, а сегодня проводится разработка на базе отечественных нейрочипов, в том числе супернейрокомпьютера для решения задач, связанных с системами уравнений математической физики: аэро-, гидро-, и газодинамики.

            Главный результат разработки нейростевого алгоритма решения задачи — возможность создания архитектуры нейрочипа, адекватного решаемой задаче. Можно с уверенностью сказать что программная эмуляция нейросетевых алгоритмов на вычислительных средствах, реализованных на элементной базе, не имеющей отношения к нейросетевому логическому базису, либо неэффективна, либо представляет собой временное явление. Для эмуляции нейросетевых алгоритмов с использованием универсальных микропроцессорных средств эффективнее создать архитектуры, ориентированные на выполнение нейросетевых операций, чем использовать стандартные, ориентированные на модификацию однопроцессорных алгоритмов решения задач.

            В отличие от других направлений развития сверхвысокопроизводительной вычислительной техники нейрокомпьютеры дают возможность вести отечественные разработки с использованием имеющегося потенциала электронной промышленности. Необходимо отметить ряд важных особенностей данных работ:

            • это направление позволяет создать уникальные суперкомпьютеры на отечественной элементной базе, поскольку для них не так важен уровень развития технологии;
            • разработки нейрочипов и нейрокомпьютеров характеризуются переходом от цифровой обработки к аналого-цифровой и аналоговой с целью резкого увеличения отношения производительность/цена при контролируемой точности вычислений;
            • для разработки нейрочипов больше подходит полузаказная технология, нежели заказная, из-за относительной «сырости» идей архитектуры алгоритмов и нейрочипов, нехватки времени и средств для проведения работ;
            • нейросетевые архитектуры по сравнению с другими приводят к активизации использования новых технологических направлений реализации: нейросистемы на пластине, оптоэлектронные и оптические нейрокомпьютеры, молекулярные нейрокомпьютеры и нанонейроэлементы;
            • возникает потребность в универсализации САПР нейрочипов. Сейчас основное внимание разработчиков нейрочипов сосредоточено на системах Компас и SPICE, которые становятся базовыми для таких предприятий как НИИ «Квант», АО «Ангстрем», «Ангстрем РТМ», НИИМЭ, НИИ «Научный центр», НИИМА «Прогресс»;
            • рождение технологии систем на пластине и нанотехнологии приведет к появлению новых сверхпараллельных архитектур. Уже сейчас ясна адекватность нейросетевых архитектур технологии на пластине (американская и японская разработки). Поэтому попытки на уровне наноэлементов делать функциональные блоки со старой архитектурой, соответствующей однопроцессорным машинам, можно считать бесплодными. Начиная с нанонейроэлементов, мы вплотную подходим к другим принципиально новым архитектурным элементам, образующим сверхпараллельные высокопроизводительные вычислительные системы.

            Оценка производительности нейрокомпьютеров

            Иллюстрацией преимуществ нейрокомпьютеров по сравнению с другими типами суперкомпьютеров может быть диаграмма из рис. 1, подготовленная известным американским специалистом в области нейрокомпьютеров Хехт-Нильсеном.

            Рис. 1. Сравнительная диаграмма по соотношению цена/производительность.

            Нейрокомпьютеры являются перспективным направлением развития современной высокопроизводительной вычислительной техники, а теория нейронных сетей и нейроматематика представляют собой приоритетные направления российской вычислительной науки, и при соответствующей поддержке, в ближайшее время станут интенсивно развиваться.

            Основой активного развития нейрокомпьютеров является принципиальное отличие нейросетевых алгоритмов решения задач от однопроцессорных, малопроцессорных, а также транспьютерных. Для данного направления развития вычислительной техники не так важен уровень развития отечественной микроэлектроники, поэтому оно позволяет создать основу построения российской элементной базы суперкомпьютеров.

            Сегодня начинает расширяться сфера коммерческой деятельности в области нейрокомпьютеров или подобных им систем, в частности: нейропакеты; нейроплаты (CNAPS и другие); нейрокомпьютеры (Sinapse и другие); видеокурсы; нейросетевые системы управления электроэррозионными станками; охранные системы с нейросетевыми алгоритмами выделения движущихся объектов; системы «электронного ключа» с распознаванием отпечатков пальцев, рисунка радужной оболочки глаза; экспертная система G2.

            Несколько определений

            Нейрокомпьютеры являются предметом исследований сразу нескольких дисциплин, поэтому единое определение нейрокомпьютера можно дать только с учетом различных точек зрения, адекватных разным направлениям науки.

            Математическая статистика. Нейрокомпьютеры — это системы, позволяющие сформировать описания характеристик случайных процессов и совокупности случайных процессов, имеющих в отличие от общепринятого, сложные, зачастую многомодальные или вообще априори неизвестные функции распределения.

            Математическая логика и теория автоматов. Нейрокомпьютеры — это системы, в которых алгоритм решения задачи представлен логической сетью элементов частного вида — нейронов с полным отказом от булевских элементов типа И, ИЛИ, НЕ. Как следствие этого введены специфические связи между элементами, которые являются предметом отдельного рассмотрения.

            Теория управления. В качестве объекта управления выбирается частный случай, хорошо формализуемый объект — многослойная нейронная сеть, а динамический процесс ее настройки представляет собой процесс решения задачи. При этом практически весь аппарат синтеза адаптивных систем управления переносится на нейронную сеть как частный вид объекта управления.

            Вычислительная математика. В отличие от классических методов решения задач нейрокомпьютеры реализуют алгоритмы решения задач, представленные в виде нейронных сетей. Это ограничение позволяет разрабатывать алгоритмы, потенциально более параллельные, чем любая другая их физическая реализация. Множество нейросетевых алгоритмов решения задач составляет новый перспективный раздел вычислительной математики, условно называемый нейроматематикой.

            Вычислительная техника. Нейрокомпьютер — это вычислительная система с архитектурой MSIMD, в которой реализованы два принципиальных технических решения:

            • упрощен до уровня нейрона процессорный элемент однородной структуры и резко усложнены связи между элементами;
            • программирование вычислительной структуры перенесено на изменение весовых связей между процессорными элементами.

            Общее определение нейрокомпьютера может быть представлено в следующем виде. Нейрокомпьютер — это вычислительная система с архитектурой аппаратного и программного обеспечения, адекватной выполнению алгоритмов, представленных в нейросетевом логическом базисе.

            Построение модели структуры расходов семьи.

            4. Перспективы развития нейрокомпьютеров.

            Многолетние усилия многих исследовательских групп привели к тому, что к настоящему моменту накоплено большое число различных «правил обучения» и архитектур нейронных сетей, их аппаратных реализаций и приёмов использования нейронных сетей для решения прикладных задач.

            Эти интеллектуальные изобретения существуют в виде «зоопарка» нейронных сетей. Каждая сеть из зоопарка имеет свою архитектуру, правило обучения и решает конкретный набор задач. В последнее десятилетие прилагаются серьёзные усилия для стандартизации структурных элементов и превращений этого «зоопарка» в «технопарк»: каждая нейронная сеть из зоопарка реализована на идеальном универсальном нейрокомпьютере, имеющем заданную структуру.

            Основные правила выделения функциональных компонентов идеального нейрокомпьютера (по Миркесу):

            · Относительная функциональная обособленность: каждый компонент имеет чёткий набор функций. Его взаимодействие с другими компонентами может быть описано в виде небольшого числа запросов.

            · Возможность взаимозамены различных реализаций любого компонента без изменения других компонентов.

            Постепенно складывается рынок нейрокомпьютеров. В настоящее время широко распространены различные высокопараллельные нейро-ускорители (сопроцессоры) для различных задач. Моделей универсальных нейрокомпьютеров на рынке мало отчасти потому, что большинство из них реализованы для спецприменений. Примерами нейрокомпьютеров являются нейрокомпьютер Synapse (Siemens, Германия), процессор NeuroMatrix. Издаётся специализированный научно-технический журнал «Нейрокомпьютеры: разработка, применение». С технической точки зрения сегодняшние нейрокомпьютеры — это вычислительные системы с параллельными потоками одинаковых команд и множественным потоком данных (MSIMD-архитектура). Это одно из основных направлений развития вычислительных систем с массовым параллелизмом.

            Искусственная нейронная сеть может передаваться от (нейро)компьютера к (нейро)компьютеру, так же как и компьютерная программа. Более того, на её основе могут быть созданы специализированные быстродействующие аналоговые устройства. «Выделяются несколько уровней отчуждения нейронной сети от универсального (нейро)компьютера: от сети, обучающейся на универсальном устройстве и использующей богатые возможности в манипулировании задачником, алгоритмами обучения и модификации архитектуры, до полного отчуждения без возможностей обучения и модификации, только функционирование обученной сети.»

            Одним из способов подготовки нейронной сети для передачи является её вербализация: обученную нейронную сеть минимизируют с сохранением полезных навыков. Описание минимизированной сети компактнее и часто допускает понятную интерпретацию.

            В нейрокомпьютинге постепенно созревает новое направление, основанное на соединении биологических нейронов с электронными элементами. По аналогии с Software (программное обеспечение — «мягкий продукт») и Hardware (электронное аппаратное обеспечение — «твёрдый продукт»), эти разработки получили наименование Wetware «влажный продукт».

            В настоящее время уже существует технология соединения биологических нейронов со сверхминиатюрными полевыми транзисторами с помощью нановолокон (Nanowire). В разработках используется современная нанотехнология. В том числе, для создания соединений между нейронами и электронными устройствами используются углеродные нанотрубки.

            (Распространено также и другое определение термина «Wetware» — человеческий компонент в системах «человек-компьютер».)

            5. Заключение

            Нейронные сети возникли из исследований в области искусственного интеллекта, а именно, из попыток воспроизвести способность биологических нервных систем обучаться и исправлять ошибки.

            Такие системы основывались на высокоуровневом моделировании процесса мышления на обычных компьютерах. Скоро стало ясно, чтобы создать искусственный интеллект, необходимо построить систему с похожей на естественную архитектурой, т. е. перейти от программной реализации процесса мышления к аппаратной.

            Естественным продолжением аппаратного и программного подхода к реализации нейрокомпьютера является программно-аппаратный подход.

            Аппаратный подход связан с созданием нейрокомпьютеров в виде нейроподобных структур (нейросетей) электронно-аналогового, оптоэлектронного и оптического типов. Для таких компьютеров разрабатываются специальные СБИС (нейрочипы).

            Основу нейросетей составляют относительно простые, в большинстве случаев — однотипные, элементы (ячейки), имитирующие работу нейронов мозга — искусственные нейроны. Нейрон обладает группой синапсов – однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон — выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Каждый синапс характеризуется величиной синаптической связи или ее весом, который по физическому смыслу эквивалентен электрической проводимости в электрических связях.

            Для решения отдельных типов задач существуют оптимальные конфигурации нейронных сетей. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации. При этом он руководствуется несколькими основополагающими принципами: возможности сети возрастают с увеличением числа ячеек сети, плотности связей между ними и числом слоев нейронов. Одной из важных особенностью нейронной сети является возможность к обучению. Обучение нейросети может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей. Во втором случае выходы нейросети формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы. После обучения на достаточно большом количестве примеров можно использовать обученную сеть для прогнозирования, предъявляя ей новые входные значения. Это важнейшее достоинство нейрокомпьютера, позволяющие ему решать интеллектуальные задачи, накапливая опыт.

            Список используемой литературы

            1. Галушкин А.И. Некоторые исторические аспекты развития элементной базы вычислительных систем с массовым параллелизмом (80- и 90-е годы) // Нейрокомпьютер. 2000. № 1

            2. Власов А.И. Нейросетевая реализация микропроцессорных систем активной акусто- и виброзащиты // Нейрокомпьютеры: разработка и применение. 2000. № 1.

            Автор реферата, не претендуя на исчерпывающее изложение темы, в рамках небольшой работы, поставила цель изучить такое новшество в техническом мире, как нейрокомпьютеры, последовательно раскрывая историю их разработки, применение и перспективы развития.

            Выбор пал на данную тему из-за ее актуальности. В настоящее время разработка нейрокомпьютеров ведется в большинстве промышленно развитых стран. Нейрокомпьютеры позволяют с высокой эффективностью решать целый ряд интеллектуальных задач. Это задачи распознавания образов, адаптивного управления, прогнозирования, диагностики и т.д. Нейрокомпьютеры отличаются от ЭВМ предыдущих и поколений не просто большими возможностями. Принципиально меняется способ использования машины. Место программирования занимает обучение, нейрокомпьютер учится решать задачи. Поэтому сегодня его развитие становится первоочередной задачей науки.

            2. История нейрокомпьютеров.

            Нейрокомпьютер — устройство переработки информации на основе принципов работы естественных нейронных систем. Эти принципы были формализованы, что позволило говорить о теории искусственных нейронных сетей. «Проблематика же нейрокомпьютеров заключается в построении реальных физических устройств, что позволит не просто моделировать искусственные нейронные сети на обычном компьютере, но так изменить принципы работы компьютера, что станет возможным говорить о том, что они работают в соответствии с теорией искусственных нейронных сетей.» Нейросетевой тематикой занимаются как разработчики вычислительных систем и программисты, так и специалисты в области медицины, финансово-экономические работники, химики, физики и т.п. (т.е. все кому не лень). То, что понятно физику, совершенно не принимается медиком и наоборот — все это породило многочисленные споры и целые терминологические войны по различным направлениям применения всего, где есть приставка нейро-.

            Приведем некоторые наиболее устоявшиеся определения нейрокомпьютера.

            Определение нейровычислительной системы

            Нейрокомпьютер — это вычислительная система автоматически формирующая описание характеристик случайных процессов или их совокупности, имеющих сложные, зачастую многомодальные или вообще априори неизвестные функции распределения.

            Нейрокомпьютер — это вычислительная система алгоритм работы которой представлен логической сетью элементов частного вида — нейронов, с полным отказом от булевых элементов типа И, ИЛИ, НЕ.

            Нейрокомпьютер — это вычислительная система, алгоритм решения задач в которой представлен в виде сети пороговых элементов с динамически перестраиваемыми коэффициентами и алгоритмами настройки, независимыми от размерности сети пороговых элементов и их входного пространства

            Нейрокомпьютер — это вычислительная система с MSIMD архитектурой, в которой процессорный элемент однородной структуры упрощен до уровня нейрона, резко усложнены связи между элементами и программирование перенесено на изменение весовых коэффициентов связей между процессорными элементами.


            Медицина (нейробиологический подход)

            Нейрокомпьютер — это вычислительная система представляющая собой модель взаимодействия клеточного ядра, аксонов и дендридов, связанных синаптическими связями (синапсами) (т.е. модель биохимических процессов протекающих в нервных тканях).

            Экономика и финансы

            Устоявшегося определения нет, но чаще всего под нейровычислителем понимают систему обеспечивающую параллельное выполнение “бизнес”-транзакций.

            Другой импульс развитию нейрокомпьютеров дали теоретические разработки 1980-х годов по теории нейронных сетей (сети Хопфилда, сети Кохонена, метод обратного распространения ошибки).

            Для преодоления этого ограничения применяется следующий подход: для различных классов задач строятся максимально параллельные алгоритмы решения, использующие какую-либо абстрактную архитектуру (парадигму) мелкозернистого параллелизма, а для конкретных параллельных компьютеров создаются средства реализации параллельных процессов заданной абстрактной архитектуры. В результате появляется эффективный аппарат производства параллельных программ.

            Нейроинформатика поставляет универсальные мелкозернистые параллельные архитектуры для решения различных классов задач. Для конкретных задач строится абстрактная нейросетевая реализация алгоритма решения, которая затем реализуется на конкретных параллельных вычислительных устройствах. Таким образом, нейросети позволяют эффективно использовать параллелизм.

            3.2. Практическое применение нейрокомпьютеров.

            3.2.1. Сферы применения

            Несмотря на недостатки, нейрокомпьютеры могут быть успешно использованы в различных областях народного хозяйства:

            Управление в режиме реального времени: самолетами, ракетами и

            технологическими процессами непрерывного производства (металлургического, химического и др.);

            Распознавание образов: человеческих лиц, букв и иероглифов, сигналов радара и сонара, отпечатков пальцев в криминалистике, заболеваний по симптомам (в медицине) и местностей, где следует искать полезные ископаемые (в геологии, по косвенным признакам);

            Прогнозы: погоды, курса акций (и других финансовых показателей), исхода лечения, политических событий (в частности результатов выборов), поведения противников в военном конфликте и в экономической конкуренции;

            Оптимизация и поиск наилучших вариантов: при конструировании технических устройств, выборе экономической стратегии и при лечении больного.

            Этот список можно продолжать, но и сказанного достаточно для того, чтобы понять, что нейрокомпьютеры могут занять достойное место в современном обществе.

            Что же представляет из себя нейрокомпьютер? Нейрокомпьютеры бывают двух типов:

            1. Большие универсальные компьютеры построенные на множестве нейрочипов.

            2. Нейроимитаторы, представляющие собой программы для обычных компьютеров, имитирующие работу нейронов. В основе такой программы заложен алгоритм работы нейрочипа с определенными внутренними связями. Что — то типа “Черного ящика”, по принципу которого он и работает. На вход такой программы подаются исходные данные и на основании закономерностей, связанных с принципом работы головного мозга, делаются выводы о правомерности полученных результатов.

            3.2.2. Применение нейрокомпьютеров в финансовой и экономической деятельности.

            Перечислим основные классы задач, возникающих в финансовой области, которые эффективно решаются с помощью нейронных сетей.

            Пример использования нейрокомпьютеров

            Прогнозирование временных рядов на основе нейросетевых методов обработки

            Валютный курс, спрос и котировки акций, фьючерсные контракты и др.

            Прогнозирование банкротств на основе нейросетевой системы распознавания

            Составление прогнозирующих отчетов

            Применение нейронных сетей к задачам биржевой деятельности

            Определение курсов облигаций и акций предприятий с целью вложения средств в эти предприятия

            Прогнозирование экономической эффективности финансирования экономических и инновационных проектов

            Предсказание результатов вложений

            2. Страховая деятельность банков.

            Оценка риска страхования инвестиций на основе анализа надежности проекта

            Оценка риска страхования вложенных средств

            Применение нейронных сетей для оценки риска страхования особенно эффективно с точки зрения способности анализировать как ранее накопленные данные по результатам страхования, так и коррелирующие данные, определяемые как дополнительные. Возможна оценка надежности проекта на основе нейросетевой системы распознавания надежности.

            3. Прогнозирование банкротств на основе нейросетевой системы распознавания.

            Анализ надежности фирмы с точки зрения возможности ее банкротства с помощью нейросетевой системы распознавания и выдача результата в дискретном виде (да. нет)

            Анализ величины вероятности банкротства фирмы на основе многокритериальной оценки с построением нелинейной модели с помощью нейронных сетей (пример результата — 74% вероятности банкротства).

            Анализ банкротств, использующий финансовые соотношения, является весьма важным по нескольким соображениям. Во-первых, управление фирмы может выявлять потенциальные проблемы, которые требуют внимания. Во-вторых, инвесторы используют финансовые соотношения для оценки фирм. Наконец, аудиторы используют их как инструмент в оценке деятельности фирм. Данные используемые для обанкротившихся фирм могут быть взяты из последних финансовых бюллетеней, вышедших перед тем, как фирмы объявили банкротство.

            4. Определение курсов облигаций и акций предприятий с целью вложения средств в эти предприятия.

            Выделение долгосрочных и краткосрочных скачков курсовой стоимости акций на основе нелинейной нейросетевой модели

            Предсказание изменения стоимости акций на основе нейросетевого анализа временных экономических рядов

            Распознавание ситуаций, когда резкое изменение цены акций является результатом биржевой игры с помощью нейросетевой системы распознавания

            Определение соотношения котировок и спроса

            Прогнозирующая система может состоять из нескольких нейронных сетей, которые обучаются взаимосвязям между различными техническими и экономическими показателями и периодами покупки и продажи акций. Целью прогноза является выбор наилучшего времени для покупки и продажи акций. Здесь рассматриваются также задачи формирования портфеля ценных бумаг и распознавания шаблонов на графике изменения курсов акций, которые позволяют прогнозировать курс акций на последующем отрезке времени. На рынке акций шаблон в диаграмме (графике) изменений курса акций является индикатором важного направления будущего изменения цены акций. Однако никакие методы основанные на правилах не дают хорошего результата, только высококвалифицированные эксперты. «Нейросетевой подход дал весьма многообещающие результаты для Токийской фондовой биржи после обучения сети на 15 обучающих шаблонах треугольника и проверке на одном нейросетевом шаблоне. После чего были проведены 16 экспериментов на данных по ценам акций за последние 3 года. Шаблон треугольника был успешно определен в 15 случаях.»

            5. Применение нейронных сетей к задачам анализа биржевой деятельности.

            Нейросетевая система распознавания всплесков биржевой активности — анализ деятельности биржи на основе нейросетевой модели

            Предсказание цен на товары и сырье с выделением трендов вне зависимости от инфляции и сезонных колебаний — нейросетевая система выделения трендов по методикам и других гистографических источников отображения информации

            Для задач биржевой деятельности наиболее интересным представляется построение системы распознавания природы биржевых событий и выделение основных закономерностей, то есть поиск взаимосвязи резкого изменения биржевой цены и биржевой активности в зависимости от биржевой игры или инфляционных процессов. Эффективным может быть применение нейронной сети для предсказания цен на товары и сырье вне зависимости от сезона и уровня инфляции (выделение трендов).

            6. Прогнозирование экономической эффективности финансирования экономических и инновационных проектов.

            Предсказание на основе анализа реализованных ранее проектов;

            Предсказание на основе соответствия предлагаемого проекта экономической ситуации

            В первом случае используется способность нейронных сетей к предсказанию на основе временных рядов, во втором — построения нелинейной модели на базе нейронной сети.

            7. Предсказание результатов займов.

            Определение возможности кредитования предприятий

            Предоставление кредитов и займов без залога

            Используется (в редком случае) при предоставлении займов без залога на основе анализа дополнительной информации о потребителе кредитов. Оценивает риск займа на основе построения нелинейной модели. Имеющаяся информация основана на исследованиях, производимых международными финансовыми группами.

            8. Общие приложения нейронных сетей

            Применение нейронных сетей в задачах маркетинга и розничной торговли

            Одно из самых применений нейрокомпьютеров в финансовой области. Один из решаемых вопросов — установление цены на новый вид товара на основе многокритериальной оценки.

            Моделирование динамики цен на сельскохозяйственную продукцию в зависимости от климатических условий

            Моделирование работы коммунальных служб на основе нейросетевой модели для многокритериального анализа

            Построение модели структуры расходов семьи.

            Одним из способов подготовки нейронной сети для передачи является её вербализация: обученную нейронную сеть минимизируют с сохранением полезных навыков. Описание минимизированной сети компактнее и часто допускает понятную интерпретацию.

            В нейрокомпьютинге постепенно созревает новое направление, основанное на соединении биологических нейронов с электронными элементами. По аналогии с Software (программное обеспечение — «мягкий продукт») и Hardware (электронное аппаратное обеспечение — «твёрдый продукт»), эти разработки получили наименование Wetware «влажный продукт».

            В настоящее время уже существует технология соединения биологических нейронов со сверхминиатюрными полевыми транзисторами с помощью нановолокон (Nanowire). В разработках используется современная нанотехнология. В том числе, для создания соединений между нейронами и электронными устройствами используются углеродные нанотрубки.

            (Распространено также и другое определение термина «Wetware» — человеческий компонент в системах «человек-компьютер».)


            5. Заключение.

            Нейронные сети возникли из исследований в области искусственного интеллекта, а именно, из попыток воспроизвести способность биологических нервных систем обучаться и исправлять ошибки.

            Такие системы основывались на высокоуровневом моделировании процесса мышления на обычных компьютерах. Скоро стало ясно, чтобы создать искусственный интеллект, необходимо построить систему с похожей на естественную архитектурой, т. е. перейти от программной реализации процесса мышления к аппаратной.

            Естественным продолжением аппаратного и программного подхода к реализации нейрокомпьютера является программно-аппаратный подход.

            Аппаратный подход связан с созданием нейрокомпьютеров в виде нейроподобных структур (нейросетей) электронно-аналогового, оптоэлектронного и оптического типов. Для таких компьютеров разрабатываются специальные СБИС (нейрочипы).

            Основу нейросетей составляют относительно простые, в большинстве случаев — однотипные, элементы (ячейки), имитирующие работу нейронов мозга — искусственные нейроны. Нейрон обладает группой синапсов – однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон — выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Каждый синапс характеризуется величиной синаптической связи или ее весом, который по физическому смыслу эквивалентен электрической проводимости в электрических связях.

            Для решения отдельных типов задач существуют оптимальные конфигурации нейронных сетей. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации. При этом он руководствуется несколькими основополагающими принципами: возможности сети возрастают с увеличением числа ячеек сети, плотности связей между ними и числом слоев нейронов. Одной из важных особенностью нейронной сети является возможность к обучению. Обучение нейросети может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей. Во втором случае выходы нейросети формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы. После обучения на достаточно большом количестве примеров можно использовать обученную сеть для прогнозирования, предъявляя ей новые входные значения. Это важнейшее достоинство нейрокомпьютера, позволяющие ему решать интеллектуальные задачи, накапливая опыт.

            Список используемой литературы.

            1. Галушкин А.И. Некоторые исторические аспекты развития элементной базы вычислительных систем с массовым параллелизмом (80- и 90-е годы) // Нейрокомпьютер. 2000. № 1

            2. Власов А.И. Нейросетевая реализация микропроцессорных систем активной акусто- и виброзащиты // Нейрокомпьютеры: разработка и применение. 2000. № 1.

            3. Ф.Уоссермен, Нейрокомпьютерная техника, М.,Мир, 1992.

            4. Итоги науки и техники: физические и математические модели нейронных сетей, том 1, М., изд. ВИНИТИ, 1990.

            Уоссермен Ф., Нейрокомпьютерная техника — М., Изд. «Мир», 1992. – С.93

            Введение

            Актуальность исследования: Нейроиформатика — область научных исследований, лежащая на пересечении нейронаук и информатики. Уже многие из созданных приложений нейроинформатики способствуют упрощению современной жизни, и используются во многих сферах человеческой жизни, от производства и до криминалистики. Так же высоко оцениваются достижения последнего десятилетия в области теории нейронных сетей, моделирования мозга, приложений нейротехнологии, разработки нейрокомпьютеров, а также оценивались перспективы развития нейрокомпьютинга.

            Объект исследования: Нейроинформатика.

            Предмет исследования: Искусственные нейронные сети, математические модели нейронов как единица искусственной нейронной сети, нейрокомпьютеры.

            Цель исследования: Выявить основные положения нейроинформатики как науки. Улучшить личные знания в данном разделе информатики.

            Ознакомится с теоретическим курсом нейроинформатики.

            Выявить основные положения, проблемы науки.

            Установить достоинство и недостатки методов достижения основных целей нейроинформатики.

            Нейрокомпьютеры

            Нейрокомпьютеры, и их применение в современном обществе

            Нейронные сети, нейрокомпьютеры, ЭВМ, подобные мозгу. Все чаще информация о них мелькает на страницах печати. Это — не фантастика. Уже существуют работающие нейрокомпьютеры и складывается свой рынок этого нового класса перспективных средств вычислительной техники. Фирма Локхид предполагает использование нейрокомпьютеров для управления адаптивной фокусирующей системой управления мощным лазерным оружием при ведении «звездных войн». Ярким примером реализации нейрокомпьютеров в управлении роботами является разработка системы управления механической рукой для космического корабля «Шаттл». Во многих аэропортах США при досмотре багажа для выявления наркотиков, взрывчатых веществ, ядерных и других материалов используются все те же нейрокомпьютеры. 60% кредитных карточек в США проходят контроль с применением нейрокомпьютерной технологии. Нейроконтроллеры при решении задачи управления уровнем температуры жидкости в замкнутом объеме почти вдвое быстрее реагируют на изменение температуры по сравнению с традиционными PI (РID) регуляторами. Эффективность использования нейрокомпьютеров для обработки радио и гидролокационной информации, причем как на уровне первичной, так и на уровне вторичной обработки, уже не новость. Прогнозирование экономических и финансовых показателей, предсказание возможных осложнений у больных в послеоперационный период, диагностика автомобильных и авиационных двигателей, управление атомными электростанциями и даже стиральными машинами, обработка изображений, формируемых электронным сканирующим микроскопом или телекамерой в охранных системах наблюдения и многое. Многое другое — это все те области, где нейрокомпьютеры различного уровня реализации, от специализированных аппаратных средств, до простых нейросетевых пакетов программ для традиционных персональных компьютеров, с каждым годом находят все более широкое применение.

            Огромный интерес к нейрокомпьютерам держится во всем мире без малого уже десять лет. Выкладываются миллиарды долларов, открываются десятки факультетов и кафедр, сотни лабораторий. Число фирм — разработчиков и производителей нейрокомпьютеров — стало уже более сотни.

            Нейронные сети и нейрокомпьютеры в настоящее время быстро становятся одной из тех технологий, на которые делают свои ставки ведущие компании мира как на средство конкурентоспособности в XXI веке. Нейрокомпьютеры — это новый захватывающий мир, мир новых возможностей и профессий. США и Япония, Германия и Финляндия, Франция и ряд других стран развернули государственные проекты по исследованиям, разработкам и прикладному использованию нейрокомпьютеров как в гражданской, так и в военной сферах. Что же касается России, то здесь мы всегда были и остаемся ведущими в мире в области теории нейронных сетей. Не отстаем и в создании прикладных нейросетевых алгоритмов. С разработками же конкурентоспособной промышленной нейрокомпьютерной техники в текущих условиях тяжелейшего экономического состояния страны дела обстоят, честно сказать, не столь хорошо. Но тем не менее готовятся в ВУЗах страны, молодые специалисты, знакомые с нейрокомпьютерной тематикой. Продолжаются проводиться научно — исследовательские работы в Научном центре нейрокомпьютеров Минэкономики РФ (г. Москва) и ряде других организаций страны.

            Конечно для многих людей нейронные сети и нейрокомпьютеры представляются чем то экзотическим и интригующим. Но, прежде всего, пусть никого не вводит в заблуждение употребление слова «нейро». Искусственная нейронная сеть или, как еще говорят, модель нейронной сети похожа на мозг человека не более чем теннисный шарик на планету Марс.

            С математической точки зрения нейронная сеть представляет собой многослойную сетевую структуру, состоящую из однотипных, параллельно работающих процессорных элементов — моделей нейронов. Однако структурно, функционально и алгоритмически модель нейронной сети при обработке информации и выполнении вычислительного процесса в некотором смысле действительно имитирует отдельные свойства естественных нейронных сетей. Ну а для реализации искусственных нейронных сетей как раз и используют нейрокомпьютеры, т.е. вычислительные устройства, которые максимально ориентированы по своей структуре и функциям на эффективное моделирование нейронных сетей и реализацию нейронных алгоритмов решения различных прикладных задач. В целом научное направление, включающее в себя теорию нейронных сетей, разработку нейронных алгоритмов решения прикладных задач и непосредственно создание нейрокомпьютеров на различной элементной базе — цифровой, аналоговой, оптической и др., получило общее название «нейрокомпьютинг».

            Каждая связь представляется как совсем простой элемент, служащий для передачи сигнала. Предельным выражением этой точки зрения может служить лозунг: «структура связей — все, свойства элементов — ничто».

            Совокупность идей и научно-техническое направление, определяемое описанным представлением о мозге, называется коннекционизмом (по-английски connection — связь). Как все это соотносится с реальным мозгом? Так же, как карикатура или шарж со своим прототипом-человеком _ весьма условно. Это нормально: важно не буквальное соответствие живому прототипу, а продуктивность технической идеи.

            С коннекционизмом тесно связан следующий блок идей:

            1) однородность системы (элементы одинаковы и чрезвычайно просты, все определяется структурой связей);

            2) надежные системы из ненадежных элементов и «аналоговый ренессанс» — использование простых аналоговых элементов;

            3) «голографические» системы — при разрушении случайно выбранной части система сохраняет свои полезные свойства.

            Предполагается, что система связей достаточно богата по своим возможностям и достаточно избыточна, чтобы скомпенсировать бедность выбора элементов, их ненадежность, возможные разрушения части связей.

            Коннекционизм и связанные с ним идеи однородности, избыточности и голографичности еще ничего не говорят нам о том, как же такую систему научить решать реальные задачи. Хотелось бы, чтобы это обучение обходилось не слишком дорого.

            На первый взгляд кажется, что коннекционистские системы не допускают прямого программирования, то есть формирования связей по явным правилам. Это, однако, не совсем так. Существует большой класс задач: нейронные системы ассоциативной памяти, статистической обработки, фильтрации и др., для которых связи формируются по явным формулам. Но еще больше (по объему существующих приложений) задач требует неявного процесса. По аналогии с обучением животных или человека этот процесс мы также называем обучением.

            Обучение обычно строится так: существует задачник — набор примеров с заданными ответами. Эти примеры предъявляются системе. Нейроны получают по входным связям сигналы — «условия примера», преобразуют их, несколько раз обмениваются преобразованными сигналами и, наконец, выдают ответ — также набор сигналов. Отклонение от правильного ответа штрафуется. Обучение состоит в минимизации штрафа как (неявной) функции связей. Примерно четверть нашей книги состоит в описании техники такой оптимизации и возникающих при этом дополнительных задач.

            Неявное обучение приводит к тому, что структура связей становится «непонятной» — не существует иного способа ее прочитать, кроме как запустить функционирование сети. Становится сложно ответить на вопрос: «Как нейронная сеть получает результат?» — то есть построить понятную человеку логическую конструкцию, воспроизводящую действия сети.

            Это явление можно назвать «логической непрозрачностью» нейронных сетей, обученных по неявным правилам. В работе с логически непрозрачными нейронными сетями иногда оказываются полезными представления, разработанные в психологии и педагогике, и обращение с обучаемой сетью как с дрессируемой зверушкой или с обучаемым младенцем — это еще один источник идей. Возможно, со временем возникнет такая область деятельности — «нейропедагогика» — обучение искусственных нейронных сетей.

            С другой стороны, при использовании нейронных сетей в экспертных системах на PC возникает потребность прочитать и логически проинтерпретировать навыки, выработанные сетью. Для этого существуют методы контрастирования — получения неявными методами логически прозрачных нейронных сетей. Однако за логическую прозрачность приходится платить снижением избыточности, так как при контрастировании удаляются все связи кроме самых важных, без которых задача не может быть решена.

            Итак, очевидно наличие двух источников идеологии нейроинформатики. Это представления о строении мозга и о процессах обучения. Существуют группы исследователей и научные школы, для которых эти источники идей имеют символическое, а иногда даже мистическое или тотемическое значение.

            В работе доказана теорема, утверждающая, что с помощью линейных комбинаций и суперпозиций линейных функций и одной произвольной нелинейной функции одного аргумента можно сколь угодно точно приблизить любую непрерывную функцию многих переменных.

            Из этой теоремы следует, что Нейронные сети — универсальные аппроксимирующие устройства и могут с любой точностью имитировать любой непрерывный автомат.

            Главный вопрос: что могут нейронные сети. Ответ получен: нейронные сети могут все. Остается открытым другой вопрос: как их этому научить?

            Создание и использование нейрокомпьютеров является целесообразным по двум причинам. Во-первых, их архитектура ориентирована на параллельные вычисления и позволяет выполнять их без тех осложнений, с которыми связано выполнение этих вычислений на традиционных ЭВМ, ориентированных на последовательную обработку данных. Во-вторых, нейрокомпьютеры не работают по жесткому алгоритму, не перепрограммируются под разные задачи, а каждый раз обучаются решению новой проблемы. Конечно, необходимость обучения нельзя считать только достоинством. Отрицательными его сторонами являются как необходимость организации специальных наборов данных для обучения — обучающих выборок, так и затраты времени на их создание. Более того, использование нейрокомпьютеров для решения задач, требующих высокой точности, может оказаться нецелесообразным. Однако при решении задач, для которых не существует алгоритма или решение по алгоритму занимает слишком много времени, нейрокомпьютеры оказываются предпочтительнее традиционных. Здесь сразу возникает их значительное преимущество. Поэтому и возник с конца 80 — х годов этот нейрокомпьютерный бум, который не затихает по настоящее время.

            В докладе второй половины 2000-х представлен краткий обзор аппаратных реализаций нейрокомпьютеров в России и перспективы их развития.

            Необходимость изменения последовательной Фон-неймановской архитектуры классических вычислений диктовалось все возрастающими требованиями к вычислительным ресурсам со стороны новых сложных задач, которые возникали в связи с развитием перспективных технологий.

            Нейросетевые технологии являются одним из наиболее интенсивно развиваемых направлений определения и реализации параллельных вычислений. Эти технологии позволяют не только более эффективно решать старые сложные задачи, но и позволяют реализовывать плохо формализуемые или неформализованные задачи, решение которых ранее не представлялось возможным.

            Соответственно, аппаратная реализация нейросетевых алгоритмов изменяет логическую основу вычислительной математики и является естественным стремлением получить требуемую производительность.
            Практическая реализация аппаратной поддержки нейросетевых вычислений зависит от требований конкретной задачи и возможна лишь в том случае, когда все другие подходы не могут быть использованы. В основном, аппаратная реализация требуется тогда, когда параллельные нейросетевые алгоритмы не могут быть достаточно эффективно реализованы с помощью традиционных вычислительных средств, включая кластерные конфигурации.

            С самого начала использования нейросетевых подходов к решению отдельных задач (более 40 лет назад) проблемам их аппаратной реализации уделялось большое внимание, т.к. значительные вычислительные мощности, не говоря о кластерных конфигурациях, были не доступны.
            Рост производительности и новые архитектурные решения реализации вычислений только увеличили внимание к данной проблеме, привлекая к ее решению все новые технические средства от использования аналоговых операционных усилителей до применения FPGA большой интеграции как основы для реализации фрагментов нейронных сетей. Соответственно, росла производительность аппаратной поддержки нейросетевых вычислений.

            В работе описаны основные аппаратные реализации нейрокомпьютеров с начала их существования (50-ые годы) до 2000 г.
            За эту книгу автору присуждена Премия Правительства Российской Федерации за 2002 г.
            Отмечено, что необходимость в аппаратной поддержке нейровычислений возникала каждый раз тогда, когда программная реализация нейрокомпьютеров на универсальных ЭВМ не удовлетворяла требованиям заказчика по времени вычислений или весам и габаритам.

            Первыми аппаратными реализациями нейрокомпьютеров в России, выполненными еще в конце 60-ых годов прошлого столетия были реализации в виде аналоговых блоков с сетью настраиваемых резисторов и блоком настройки (вычисления значений коэффициентов), реализуемом на универсальной цифровой ЭВМ.
            Первая такая реализация, выполненная в виде двух аналоговых вычислительных машин МН-4 и специализированного блока, была сделана в 1968 г. и логически представляла собой трехслойную нейронную сеть.
            Реализация 1970 г. ориентированная на распознавание объектов по характеристикам отраженного радиолокационного сигнала представляла собой более сложную нейронную сеть.
            Вариант простой трехслойной нейронной сети, ориентированной на два класса образов и пять признаков, предназначался для решения задач медицинской диагностики (1972 г.). Более сложный вариант 1974-ого г. исполнения, был реализован в виде настольного блока с выносным пультом индикации.

            В те же годы был реализован макетный образец континуального (с континуумом признаков) аналогово-цифрового нейрокомпьютера, ориентированного на распознавание по форме реограмм.
            При решении задачи распознавания периодических сигналов по форме, аналогово-цифровое преобразование приводило к значительной размерности пространства признаков (число дискрет на периоде существования сигнала), и следовательно к резкому усложнению цифровой части нейрокомпьютера.

            Еще в 70-ые годы профессором А.И. Галушкиным было предложено, используя предельный переход: реализовать нейроны первого слоя аналого-цифрового нейрокомпьютера. Эта схема была использована для реализации в середине 70-ых годов аналогового нейрокомпьютера для распознавания патологических реограмм с получением весовых функций на универсальной ЭВМ обработкой архива реограмм. Далее отмечено, что этот принцип был успешно использован через 20 лет на базе современной технологии микроэлектроники при реализации более современного нейрокомпьютера, предназначенного для распознавания сигналов по форме.

            Активное развитие микропроцессоров в период с 1975 по 1987 гг. приостановило линию аппаратной реализации нейрокомпьютеров, т.к. наиболее эффективной в эти годы была программная реализация нейрокомпьютеров на микропроцессорах.

            Однако в середине 80-ых годов развитие технологии микроэлектроники и высоких технологий, ставящих все более и более сложные задачи, привело к очередному всплеску развития нейрокомпьютеров уже с аппаратной реализацией групп нейронов в кристалле. Переходными здесь были микропроцессорные реализации нейрокомпьютеров в виде специализированных вычислительных систем с архитектурой, адаптированной к нейросетевым операциям (вычислениям). Типичным примером такой разработки был отечественный нейрокомпьютер “Геркулес”.

            В начале 90-ых годов экономическая ситуация в России привела к необходимости практически полного отказа от технологии заказных СБИС при реализации нейрочипов. Разработчики пытались сохранить научно-технический потенциал в этой области, используя технологию полузаказных СБИС, базовых матричных кристаллов (БМК) и программируемых логических интегральных схем (ПЛИС).

            Были сделаны попытки реализовать нейрочипы и нейроплаты на отечественных БМК “Исполин 60Т” и “Такт 100Т”. В середине 90-ых годов в Научном центре нейрокомпьютеров для реализации нейрочипов, нейроплат и нейроблоков была окончательно выбрана линия использования ПЛИС (FPGA фирмы Xilinx). Были реализованы нейрочипы, нейроплаты и нейроблок на FPGA объемом 400 тысяч вентилей на кристалле. В настоящее время ведутся работы использованию для этих целей FPGA Virtex 2 Pro объемом 6-10 млн. вентилей на кристалле.

            Параллельно с этим была реализована разработка континуального нейрокомпьютера для распознавания сигналов по форме в виде трехслойной нейронной сети. Первый слой содержал восемь континуальных аналого-цифровых нейронов с весовой функцией, загружаемой в аналоговый умножитель из ПЗУ через ЦАП.

            В настоящее время уделяется значительное внимание анализу состояния и определению перспектив разработок нейрочипов во всем мире. К наиболее важным направлениям этих работ можно отнести:

            • цифровые нейрочипы;
            • аналоговые и аналого-цифровые нейрочипы;
            • клеточные нейрочипы;
            • нейрочипы с частотно-импульсной модуляцией сигналов;
            • специализированные нейрочипы;
            • оптические и оптоэлектронные нейрочипы.

            При этом важной задачей является поиск для реализации практических задач, требующих для своего решения аппаратной поддержки в виде нейроплат и нейроблоков на базе нейрочипов. Это наиболее сложные задачи, инициируемые развитием высоких технологий и которые невозможно решить вычислительными системами других типов при наличии реальных ограничений на время решения и объемы и веса вычислительной системы.

            Литература
            1. Галушкин А.И. Нейрокомпьютеры. Серия “Нейрокомпьютеры и их применение” книга 3, Изд-во “Радиотехника”, М., 2002 г.
            Об авторе: НИИ автоматической аппаратуры Научный центр нейроком,
            Материалы международной конференции SORUCOM 2006 (3–7 июля 2006 года)


            masterok

            Мастерок.жж.рф

            Хочу все знать

            Ученые из Стэнфордского университета разработали и изготовили опытный образец компьютера, работа которого подражает работе головного мозга. За счет этого компьютер, который пока еще представляет собой печатную плату с установленными на нем чипами, размером с планшетный компьютер, демонстрирует на определенном виде задач производительность в 9 тысяч раз превышающую производительность обычного настольного персонального компьютера.

            Давайте узнаем подробнее про это исследование …

            При создании электронного нейрокомпьютера учеными была использована их фирменная архитектура под названием Neurogrid. На плате нейрокомпьютера установлены 16 специализированных процессоров Neurocore, которые в сумме могут моделировать работу 1 миллиона нейронов и несколько миллиардов связей между нейронами, синапсов. За счет такого высокого уровня интеграции новый нейрокомпьютер демонстрирует в 40 тысяч большую эффективность с точки зрения соотношения вычислительной мощности к потребляемой энергии, чем процессоры обычных компьютеров.

            Эффективность работы процессоров Neurocore достигается за счет того, что одни и те же элементы электронных схем могут использоваться для обеспечения работы сразу нескольких моделей нейронов и синапсов. Это позволяет процессорам Neurocore строить более обширные и сложные нейронные сети, нежели это могут сделать нейропроцессоры, созданные другими группами ученых.

            Следующим шагом, который намерены предпринять Стэнфордские ученые, станет разработка программного обеспечения, при помощи которого инженеры и программисты смогут создавать программы для нейрокомпьютера Neurogrid, не имея обширных знаний в области нейробиологии и об архитектуре нейрокомпьютера.

            «Сейчас программирование нашего нейрокомпьютера является весьма сложной задачей, требующей достаточно большого количества высокоинтеллектуального труда» — рассказывает Квабена Боуэн (Kwabena Boahen), один из исследователей, принимавших участие в создании нейрокомпьютера, — «Мы же хотим создать такой пакет для разработки программного обеспечения, при помощи которого каждый человек, ничего не знающий о нейронах и синапсах, сможет разрабатывать программы, которые будут максимально эффективно использовать все возможности нейрокомпьютера Neurogrid».

            Еще одной задачей, которая очень остро стоит перед исследователями, является задача снижения стоимости нейропроцессоров Neurocore. Сейчас изготовление нейрокомпьютера обходится приблизительно в 40 тысяч долларов, но ученые планирую снизить эту сумму до 400 долларов путем замены нейропроцессоров, изготовленных при помощи технологий 15-летней давности, на нейропроцессоры, изготовленные на современных технологических линиях с новыми возможностями. Параллельно с этим ученые планируют привести энергетическую эффективность будущего нейрокомпьютера к уровню, сопоставимому с эффективностью работы мозга человека. Ведь человеческий мозг, насчитывающий в 80 тысяч раз больше нейронов, потребляет всего в три раза большее количество энергии, нежели нейрокомпьютер Neurogrid.

            Немного теории. Человеческий мозг содержит порядка нескольких миллиардов вычислительных элементов, называемых нейронами. Нейроны связаны между собой в сложную сеть. Эта сеть отвечает за все явления, которые мы называем мыслями, эмоциями, познанием и так далее, то есть на физиологическом уровне образует то, что называется на самом деле нервной системой, в свою очередь совокупность явлений в нервной системе можно назвать психикой, люди же обычные, особо не обремененные научной пунктуальностью, часто именуют последнюю словом «интеллект». Каждый нейрон состоит из трех основных частей: самой клетки (сомы) и двух типов древовидных отростков — дендритов (их обычно очень много) и аксонов (обычно он один). Вообще-то, для нервной системы позвоночных характерны мультиполярные нейроны. В таком нейроне от клеточного тела отходят несколько дендритов и аксон. По правде говоря, структура, размеры и форма нейронов сильно варьируются. Например, периферические чувствительные нейроны вовсе не идентичны нейронам, составляющим мозг. Дендриты выполняют роль своеобразных «входов» для нервных импульсов, а аксон — «выхода».

            Скорость передачи нервных импульсов сравнительно мала, но несмотря на это скорость обработки информации в мозге огромна. Достигается это за счет того, что внешняя информация распределяется по множеству нейронов и обрабатывается ими одновременно, то есть реализуется максимально распараллеленная обработка информации. Но это все относится к вопросам биологического устройства, нас же больше интересует искусственная модель нейрона, та модель, которая была предложена учеными.

            Общие принципы работы модели нейрона можно описать следующим образом: на входы нейрона поступают нервные сигналы от других нейронов. Каждый вход характеризуется собственным некоторым весовым коэффициентом, определяющим важность получаемой информации. Вдаваясь в грубую аналогию, весовой коэффициент объясняют как своего рода сопротивление (резистор, если нервный сигнал рассматривается как аналоговый электрический сигнал), оказываемое поступающему на конкретный вход нейрона нервному сигналу. Предварительно устанавливая величину такого «сопротивления» или же динамически изменяя его величину по определенным правилам в процессе работы нейронной сети, осуществляется как бы задание степени значимости информации, поступающей по данному входу нейрона, то есть в буквальном смысле задание меры подавления нервного сигнала.

            Далее: полученные уже после весовых коэффициентов сигналы суммируются, затем итоговый сигнал операции суммирования преобразуется следом так называемой активационной функцией и подается на выход нейрона. Активационную функцию прокомментировать можно как механизм, обеспечивающий порог срабатывания, отзывчивости нейрона на сумму входных сигналов, перевод его в состояние возбуждения, а также возвращение в состояние покоя, то есть торможения. Затем выходной сигнал нейрона поступает на вход следующего нейрона, и все повторяется, пока не будет достигнут желаемый, то есть «запрограммированный» устройством нейронной сети результат.

            Такая модель нейрона лишь в общих чертах отражает работу истинного нейрона головного мозга: активационная функция моделирует возбуждение нейрона, а весовые коэффициенты по входам имитируют прохождение сигналов через синапсы нейрона. Синапсы — специализированные функциональные контакты между возбудимыми клетками, служащие для передачи и преобразования сигналов. Кроме того, нейроны группируются в нейронные слои и образуют нейронную сеть.

            Тип соединения нейронов и их количество в нейронной сети полностью определяет возможности последней: ее мощность и спектр задач, которые она призвана решать. В настоящее время существует более 200 разновидностей нейронных сетей. Но основной, самой распространенной и простой является сеть, получившая название многослойный персептрон. Персептрон, перцептрон (от латинского perceptio — понимание, познавание, восприятие) — математическая модель процесса восприятия. Модель восприятия (персептивная модель) может быть представлена в виде трех слоев нейронов: рецепторного слоя, слоя преобразующих нейронов и слоя реагирующих нейронов. Персептрон же состоит из слоя входных нейронов, слоя выходных и нескольких промежуточных слоев.

            Многослойные нейронные сети обладают различной мощностью. Мощность нейронной сети, очевидно, будет зависеть от числа слоев и числа нейронов в каждом слое. Интуитивно можно предположить, что с увеличением количества слоев и нейронов качество нейронной сети улучшится, и это действительно так, но до некоторого предела, когда наращивание объема становится неэффективным. Уровень порога связан с размерностями входных и выходных данных, а также с внутренней структурой обрабатываемых данных.

            Для того чтобы созданная сеть начала работать, ее необходимо обучить. Необученная сеть не имеет даже «рефлексов» — на любые внешние воздействия ее реакция будет хаотичной. Обучение состоит в многократном предъявлении множества чуть-чуть отличающихся характерных примеров распознаваемого элемента до тех пор, пока сеть не станет давать на выходе ожидаемый отклик.

            Существуют алгоритмы обучения с учителем и без него. В первом случае в выработке весовых коэффициентов (обучении) участвует человек. Объясним доходчиво суть такого обучения: человек подает на вход спроектированной нейронной сети пример распознаваемого элемента, затем вручную, или посредством поддерживаемых сетью специальных возможностей, или вспомогательными утилитами сервисного обслуживания сетей настраивает весовые коэффициенты (буквально «подкручивает сопротивления») у разных нейронов обучаемой сети, чтобы на ее выходе получился сигнал такой-то величины. Затем подает на вход сети следующий пример, едва-едва отличающийся от предыдущего, и теперь «подкручивает сопротивления» таким образом, чтобы и на прошлый, и на новый пример обучаемая нейронная сеть давала на выходе сигнал заданной или очень близкой к ней величины. То есть человек-учитель пытается достичь в настройках весовых коэффициентов как бы золотой середины. Следующий пример на вход — и следующая подстройка коэффициентов. В конце концов обученная таким образом сеть готова рефлекторно откликаться в форме заданного уровня сигнала на выходе при появлении на входе распознаваемого элемента, причем тот, в зависимости от длительности обучения, опознается в весьма широком диапазоне вариаций его появления.

            Кстати, эти особенности обусловили значительную направленность нейронных сетей на задачи распознавания, в числе которых оказывается не только распознавание изображений, но и уверенная идентификация неких явлений, фаз изменения, преподнесенных на вход нейронной сети в виде состояний соответствующих «участников» явления, фазы или прочего; скажем, прогнозирование изменения курса валют требует идентификации, распознавания экономических состояний. В то же время указанные особенности нейронных сетей все-таки не способствуют воспроизведению актов подлинного мышления. Видимо, не нашлась пока уникальная свежая идея на этот счет.

            Во втором случае — в случае обучения без учителя — сеть справляется сама, выполняя в принципе те же действия по подстройке весовых коэффициентов, только самообучение инициируется здесь фактом обнаруженного противоречия с имеющимися в нейронной сети знаниями, когда поступивший на вход элемент очень слабо или вовсе не распознается, но его непременно требуется как-то классифицировать.

            Кратко объясним суть и этого обучения. В первую очередь для таких сетей предполагается, что они имеют в своем составе достаточный запас нейронных узлов, в которых будут храниться знания в виде настроенных весовых коэффициентов, или же что сеть в состоянии «выращивать» такие узлы, создавать и подключать их к себе самостоятельно. Во вторую очередь считается, что изначально заданы предельные границы расхождения результатов распознавания с наколенными знаниями, после которых элемент признается неизвестным. Грубо скажем, если более 50 процентов деталей элемента не распознаются, он считается неизвестным, вызывающим противоречие.

            Итак, пусть сеть в начальный момент времени не обучена. На входе появляется подлежащий распознаванию элемент. Рождается противоречие с накопленным знанием, так как элемент вообще неизвестен, так как расхождение со знаниями в этом случае измеряется сотней процентов. Одному из свободных узлов сети передаются на вход зафиксированные сигналы от элемента, выход узла подразумевается быть всегда равным величине сигнала «опознал» (условно назовем так этот сигнал) или «тишина», и уже внутри узла выполняется автоматическая подстройка весовых коэффициентов, заменяя ручную подгонку как в случае обучения с учителем.

            Пусть теперь на вход сети поступил прошлый элемент, чуть измененный в вариации. Обученный нейронный узел, который тоже подключен ко входной магистрали, опознает элемент с погрешностью, допустим, в 30 процентов. Понятно, что выходной сигнал узла мы назвали в исключительной форме «опознал» для удобства, на самом же деле он изменяется в пределах от «тишина» (это же «опознал на 0 процентов») до «опознал на 100 процентов». Сеть, не обнаружив выхода за пределы границы расхождения, передает тому же узлу новый пример элемента, чтобы узел подстроил весовые коэффициенты на удачное опознание и первого примера, и второго примера одного и того же элемента.

            Как только на входе появился неизвестный элемент, то есть когда ни один из обученных узлов не опознал элемент с точностью свыше 50 процентов, сеть передает сигналы от элемента следующему незадействованному в системе знаний узлу, который тоже по описанному выше сценарию попадает в систему накопленных нейронной сетью знаний. Этим и обеспечивается обучение сети без учителя, и как правило, подобный процесс происходит качественно, если удачно организовано взаимодействие сети с нейронными узлами.

            День сегодняшний

            Сейчас нейросетевые технологии применяют во многих областях. Например, когда необходимо решить задачи такого рода: неизвестен алгоритм решения, но имеется множество примеров; исходные данные искажены или противоречивы; имеются большие объемы входной информации. Нейронные сети применяются для решения задач классификации, распознавания образов, оптимизации, прогнозирования и для многих других. Нейротехнологии используются также для распознавания текста со сканеров, проверок достоверности подписей, прогнозирования экономических показателей (например, прогнозирования курса валют), управления технологическими процессами и робототехникой, и прочее, прочее, прочее…

            Стоит особо отметить, что нейронные сети не нуждаются для решения задач в заранее составленном математическом алгоритме, они сами вырабатывают методику решения задачи в процессе обучения. В этом коренное отличие нейросетевых компьютеров от компьютеров классических, и их главное преимущество. Математический аппарат работы нейронных сетей несложен. Программирование не требует профессиональных изощрений: на каждом шагу — умножение вектора на матрицу с накоплением суммы. Сложность представляет адаптация алгоритма обучения нейронной сети под конкретную задачу — подбор и моделирование сети, предварительная обработка информации, оценка результатов.

            Также нейронные сети имеют возможность роста. При этом сохраняется их структура и значительно увеличивается эффективность обработки информации. Достаточно сложно организованная сеть способна сама себя развивать. Это свойство может очень широко использоваться программистами будущего, которые смогут создавать небольшие нейронные сети и «доращивать» их до необходимой информационной мощности и емкости.

            Вот еще вам научные на мой взгляд любопытные статейки: вот например Зачем скрестили козу и паука ? и почему предок именно Почему именно Homo sapiens ?. А что вы например знаете про Число «фи» и Кто такие перфекционисты ?

            Выводы

            Разработки в области НКИ набирают темп. Если в 1994 году было всего 6 исследовательских групп, занимавшихся BCI, то на первый международный съезд по BCI в 1999 году приехали исследователи из 2-х десятков лабораторий. На втором съезде в 2002 году были исследователи, представлявшие 38 исследовательских групп, включая США, Германию, Китай, Финляндию, Швейцарию, Англию, Канаду и др.

            Растет и финансирование этих разработок:

            • · В 1999-2001 годах Европейский Союз профинансировал международный проект по созданию адаптивной BCI системы, способной к дальнейшему обучению в ходе ее использования — Adaptive Brain Interface (ABI).
            • · Национальный институт здоровья (NIH) США в 2002 году выделил $3.3 млн. на дальнейшую разработку клинических BCI систем.
            • · Американское Агентство Передовых Исследовательских Проектов (DARPA), известное своим ключевым вкладом в появление технологии Интернет, выделило $26 млн. на улучшении технологии инвазивной BCI.

            Начиная с 2001 года, раз в 2 года проводится соревнование между НКИ системами.

            Этот прогресс подогревается огромным спросом на технологии мысленного управления:

            • · медицина: искусственные конечности, восстановление зрения, управление инвалидной коляской;
            • · игровая индустрия: управление традиционными играми «силой мысли» и новые типы игр, основанные на свойствах мозговой активности;
            • · управление техникой: роботы, традиционные и беспилотные транспортные средства.

            Еще лет десять тому назад об устройствах, позволяющих управлять компьютером силой мысли, можно было прочитать лишь в фантастических романах. Однако эти и другие примеры вполне убедительно показывают, что подобные технологии не только существуют на самом деле, но и готовы к выходу на рынок.

            Разумеется, на данном этапе ожидать чудес не стоит: первые модели обладают весьма скромными функциональными возможностями. Но это вполне закономерно: первые образцы мышей тоже были далеки от совершенства. Существует даже мнение, что уже через 3-5 лет компьютерная мышь уступит место новым интерактивным средствам взаимодействия человека с компьютером.

            Одна из недавних новостей гласит, что британские ученые создают технологию, которая сможет передавать информацию на все пять органов чувств человека и, таким образом, целиком погрузить его в виртуальную реальность. Первый виртуальный шлем с такими возможностями планируется выпустить в течение 3-5 лет.

            Его стоимость составит около $3 тыс. Это означает, что подобную технику уже в ближайшие годы смогут приобрести многие люди.

            А если ещё учесть подвижки к чипизации населения Земли, то можно с уверенностью утверждать — интеграция человека и машины идёт полным ходом. И, наряду с восхищёнными возгласами, предостережений на этот счёт так же прозвучало не мало. Но ни то, ни другое на этот процесс уже не повлияет. Остаётся только каждому решить, насколько он позволит машине стать частью себя (или себе стать частью машины).

            Нейрокомпьютер

            II. Нейрокомпьютеры 3

            a. Что такое нейрокомпьютер 3

            b. История нейрокомпьютеров 5

            c. Преимущества нейрокомпьютеров. 8

            d. Недостатки нейрокомпьютеров. 8

            e. Практическое применение нейрокомпьютеров. 9

            III. Основы нейроинформатики 10

            IV. Задачи для нейронных сетей 12

            V. Заключение 12

            VI. Список используемой литературы: 14

            4. http://therocker.narod.ru/doc/neuro.htm#comp1 14

            5. http://www.bmstu.ru 14

            6. http://neurnews.iu4.bmstu.ru 14

            7. http://www.module.ru. 14

            Введение

            Прошло уже много лет с того момента, когда появилась первая ЭВМ. За это время сменилось уже несколько поколений вычислительных машин. Менялись элементная база, конструктивные решения, языки программирования, программ­ное обеспечение, но основы архитектуры, заложенные при создании машин первого поколения, практически без изменения перешли на машины последующих и успешно работают до настоящего времени. Нет сомнений, что идеи машин первого поколения ещё послужат человеку. Однако всё настоятельнее требуются системы, наделённые элементами интеллекта при обработке колоссального объёма информации и в то же время работающие в темпе управляемых процессов.

            В таких прикладных областях деятельности человека, как космология, молекулярная биология, гидрология, охрана окружающей среды, медицина, экономика и многих других, сформулированы проблемы, решение которых потребует вычислительных машин, обладающих колоссальными ресурсами.

            На сегодняшний день высокие технические характеристики реализуется только с помощью дорогостоящих уникальных архитектур от CRAY, SGI, Fujitsu, Hitachi с несколькими тысячами процессоров.

            В настоящее время концептуально разработаны методы достижения высокого быстродействия, которые охватывают все уровни проектирования вычислительных систем. На самом нижнем уровне – это передовая технология конструирования и изготовления быстродействующей элементной базы и плат с высокой плотностью монтажа.

            Теоретически совершенствование элементной базы – самый простой метод повышения производительности вычислительных систем. Однако на практике он приводит к существенному удорожанию новых разработок. Следовательно, требуется разработка новых принципов вычислений, позволяющих ставить и решать задачи подобного типа, а также способных значительно повысить скорость обработки традиционных вычислительных алгоритмов. К числу новых направлений можно отнести и нейрокомпьютеры.

            Нейрокомпьютеры


            Что такое нейрокомпьютер

            Нейрокомпьютеры — это системы, в которых алгоритм решения задачи представлен логической сетью элементов частного вида — нейронов с полным отказом от булевских элементов типа И, ИЛИ, НЕ. Как следствие этого введены специфические связи между элементами, которые являются предметом отдельного рассмотрения. В отличие от классических методов решения задач нейрокомпьютеры реализуют алгоритмы решения задач, представленные в виде нейронных сетей. Это ограничение позволяет разрабатывать алгоритмы, потенциально более параллельные, чем любая другая их физическая реализация.

            Нейросетевая тематика является междисциплинарной, что обусловило значительные разночтения в общих терминологических подходах. Нейросетевой тематикой занимаются как разработчики вычислительных систем и программисты, так и специалисты в области медицины, финансово-экономические работники, химики, физики и т.п. (т.е. все кому не лень). То, что понятно физику, совершенно не принимается медиком и наоборот — все это породило многочисленные споры и целые терминологические войны по различным направлениям применения всего где есть приставка нейро-.

            Приведем некоторые наиболее устоявшиеся определения нейрокомпьютера

            Определение нейровычислительной системы

            Нейрокомпьютер — это вычислительная система автоматически формирующая описание характеристик случайных процессов или их совокупности, имеющих сложные, зачастую многомодальные или вообще априори неизвестные функции распределения.

            Нейрокомпьютер — это вычислительная система алгоритм работы которой представлен логической сетью элементов частного вида — нейронов, с полным отказом от булевых элементов типа И, ИЛИ, НЕ.

            Нейрокомпьютер — это вычислительная система, алгоритм решения задач в которой представлен в виде сети пороговых элементов с динамически перестраиваемыми коэффициентами и алгоритмами настройки, независимыми от размерности сети пороговых элементов и их входного пространства

            Нейрокомпьютер — это вычислительная система с MSIMD архитектурой, в которой процессорный элемент однородной структуры упрощен до уровня нейрона, резко усложнены связи между элементами и программирование перенесено на изменение весовых коэффициентов связей между процессорными элементами.

            Медицина (нейробиологический подход)

            Нейрокомпьютер — это вычислительная система представляющая собой модель взаимодействия клеточного ядра, аксонов и дендридов, связанных синаптическими связями (синапсами) (т.е. модель биохимических процессов протекающих в нервных тканях).

            Экономика и финансы

            Устоявшегося определения нет, но чаще всего под нейровычислителем понимают систему обеспечивающую параллельное выполнение “бизнес”-транзакций.

            В дальнейшем под нейрокомпьютером будем понимать вычислительную систему с архитектурой MSIMD, в которой реализованы два принципиальных технических решения: упрощен до уровня нейрона процессорный элемент однородной структуры и резко усложнены связи между элементами; программирование вычислительной структуры перенесено на изменение весовых связей между процессорными элементами.

            Общее определение нейрокомпьютера может быть представлено в следующем виде:

            Нейрокомпьютер — это вычислительная система с архитектурой аппаратного и программного обеспечения, адекватной выполнению алгоритмов, представленных в нейросетевом логическом базисе

            История нейрокомпьютеров

            Нейрокомпьютеры – это ЭВМ нового поколения, качественно отличающиеся от других классов вычислительных систем параллельного типа тем, что для решения задач они используют не заранее разработанные алгоритмы, а специальным образом подобранные примеры, на которых учатся. Их появление обусловлено объективными причинами: развитие элементной базы, позволяющее на одной плате реализовать персональный компьютер – полнофункциональный компьютер (модель нейрона), и необходимость решения важных практических задач, поставленных действительностью. Попытки создания ЭВМ, моделирующих работу мозга, предпринимались ещё в 40-х гг. специалистами по нейронной кибернетике. Они стремились разработать самоорганизующиеся системы, способные обучаться интеллектуальному поведению в процессе взаимодействия с окружающим миром, причём компонентами их систем обычно являлись модели нервных клеток. Однако зарождавшаяся в это же время вычислительная техника и связанные с нею науки, особенно математическая логика и теория автоматов, оказали сильное влияние на области исследования, связанные с мозгом.

            К концу 50-х гг. сформировался логико-символьный подход к моделированию интеллекта. Его развитие создало такие направления, как эвристическое программирование и машинный интеллект, и способствовало угасанию интереса к нейронным сетям. К началу 80-х гг. были созданы условия для возрождения интереса к нейросетевым моделям. Это было связано с накоплением новых данных при экспериментальных исследованиях мозга.

            К настоящему времени сформировался обширный рынок нейросетевых продуктов. Подавляющее большинство продуктов представлено в виде моделирующего программного обеспечения. Ведущие фирмы разрабатывают также и специализированные нейрочипы или нейроплаты в виде приставок персональным ЭВМ. Наиболее ярким прототипом супернейрокомпьютера является система обработки аэрокосмических изображений, разработанная в США по программе «Силиконовый мозг». Объявленная производительность супернейрокомпьютера составляет 80 PFLOPS (80?10 15 операций с плавающей точкой в 1 с) при физическом объёме, равном объёму человеческого мозга, и потребляемой мощности 20 Вт.

            В июле 1992 г. в Японии была принята Пятая Программа (действующая и поныне), связанная с созданием координационного исследовательского центра по реализации международного проекта Real World Computing Partnership (RWCP), основной целью которого являлась разработка практических методов решения реальных задач на основе гибких и перспективных информационных технологий.

            В настоящее время в рамках развития этого проекта создана трансконтинентальная сеть на базе гетерогенной вычислительной среды, объединяющей Суперкомпьютерный центр в Штутгарте (Германия), Компьютерный центр в Питсбурге (шт. Пенсильвания), Электротехническую лабораторию в Тшукубе (Япония), Компьютерный центр в Манчестере (Великобритания), в которой часть пользовательских компьютеров выполнена по нейросетевой технологии. Пиковая производительность образованного сверхсуперкомпьютера составила 2.2 TFLOPS.

            Считается, что теория нейронных сетей, как научное направление, впервые была обозначена в классической работе МакКаллока и Питтса[1] 1943 г., в которой утверждалось, что, в принципе, любую арифметическую или логическую функцию можно реализовать с помощью простой нейронной сети. В 1958 г. Фрэнк Розенблатт [2] придумал нейронную сеть, названную перцептроном, и построил первый нейрокомпьютер Марк-1 . Перцептрон был предназначен для классификации объектов. На этапе обучения “учитель” сообщает перцептрону к какому классу принадлежит предъявленный объект. Обученный перцептрон способен классифицировать объекты, в том числе не использовавшиеся при обучении, делая при этом очень мало ошибок. Примерно в это же время вышла работа Минского и Пейперта[3], указавшая ограниченные возможности простейшего перцептрона. Результаты Минского и Пейперта погасили энтузиазм большинства исследователей, особенно тех, кто работал в области вычислительных наук.

            С начала 80-х годов ИНС вновь привлекли интерес исследователей, что связано с энергетическим подходом Хопфилда[4] и алгоритмом обратного распространения для обучения многослойного перцептрона (многослойные сети прямого распространения), впервые предложенного Вербосом[5] . При этом важную роль сыграли работы группы PDP (Parallel Distributed Processing) . В них рассматривались нейронные сети, названные многослойными перцептронами, которые оказались весьма эффективными для решения задач распознавания, управления и предсказания. (Многослойные перцептроны занимают ведущее положение, как по разнообразию возможностей использования, так и по количеству успешно решенных прикладных задач .)

            Преимущества нейрокомпьютеров.

            По сравнению с обычными компьютерами нейрокомпьютеры обладают рядом преимуществ.

            Во первых — высокое быстродействие, связанное с тем, что алгоритмы нейроинформатики обладают высокой степенью параллельности.

            Во вторых — нейросистемы делаются очень устойчивыми к помехам и разрушениям.

            В третьих — устойчивые и надежные нейросистемы могут создаваться из ненадежных элементов, имеющих значительный разброс параметров.

            Недостатки нейрокомпьютеров.

            Несмотря на перечисленные выше преимущества эти устройства имеют ряд недостатков:

            1. Они создаются специально для решения конкретных задач, связанных с нелинейной логикой и теорией самоорганизации. Решение таких задач на обычных компьютерах возможно только численными методами.

            2. В силу своей уникальности эти устройства достаточно дорогостоящи.

            Практическое применение нейрокомпьютеров.

            Несмотря на недостатки, нейрокомпьютеры могут быть успешно использованы в различных областях народного хозяйства.

            — Управление в режиме реального времени: самолетами, ракетами и технологическими процессами непрерывного производства (металлургического, химического и др.);

            — Распознавание образов: человеческих лиц, букв и иероглифов, сигналов радара и сонара, отпечатков пальцев в криминалистике, заболеваний по симптомам (в медицине) и местностей, где следует искать полезные ископаемые (в геологии, по косвенным признакам);

            — Прогнозы: погоды, курса акций (и других финансовых показателей), исхода лечения, политических событий (в частности результатов выборов), поведения противников в военном конфликте и в экономической конкуренции;

            — Оптимизация и поиск наилучших вариантов: при конструировании технических устройств, выборе экономической стратегии и при лечении больного.

            Этот список можно продолжать, но и сказанного достаточно для того, чтобы понять, что нейрокомпьютеры могут занять достойное место в современном обществе.

            Что же представляет из себя нейрокомпьютер? Нейрокомпьютеры бывают двух типов:

            1. Большие универсальные компьютеры построенные на множестве нейрочипов.

            2. Нейроимитаторы, представляющие собой программы для обычных компьютеров, имитирующие работу нейронов. В основе такой программы заложен алгоритм работы нейрочипа с определенными внутренними связями. Что — то типа “Черного ящика”, по принципу которого он и работает. На вход такой программы подаются исходные данные и на основании закономерностей, связанных с принципом работы головного мозга, делаются выводы о правомерности полученных результатов.

            Основы нейроинформатики

            Нейронные сети это всего-навсего сети, состоящие из связанных между собой простых элементов формальных нейронов. Большая часть работ по нейроинформатике посвящена переносу различных алгоритмов решения задач на такие сети.

            В основу концепции положена идея о том, что нейроны можно моделировать довольно простыми автоматами, а вся сложность мозга, гибкость его функционирования и другие важнейшие качества определяются связями между нейронами. Каждая связь представляется как совсем простой элемент, служащий для передачи сигнала. Коротко эту мысль можно выразить так: “структура связей все, свойства элементов ничто”.

            Совокупность идей и научно-техническое направление, определяемое описанным представлением о мозге, называется коннекционизмом (connection связь). С реальным мозгом все это соотносится примерно так же, как карикатура или шарж со своим прототипом. Важно не буквальное соответствие оригиналу, а продуктивность технической идеи.

            С коннекционизмом тесно связан следующий блок идей:

            однородность системы (элементы одинаковы и чрезвычайно просты, все определяется структурой связей);

            надежные системы из ненадежных элементов и “аналоговый ренессанс” использование простых аналоговых элементов;

            “голографические” системы при разрушении случайно выбранной части система сохраняет свои свойства.

            Предполагается, что широкие возможности систем связей компенсируют бедность выбора элементов, их ненадежность и возможные разрушения части связей.

            Для описания алгоритмов и устройств в нейроинформатике выработана специальная “схемотехника”, в которой элементарные устройства (сумматоры, синапсы, нейроны и т.п.) объединяются в сети, предназначенные для решения задач. Для многих начинающих кажется неожиданным, что ни в аппаратной реализации нейронных сетей, ни в профессиональном программном обеспечении эти элементы вовсе не обязательно реализуются как отдельные части или блоки. Используемая в нейроинформатике идеальная схемотехника представляет собой особый язык описания нейронных сетей и их обучения. При программной и аппаратной реализации выполненные на этом языке описания переводятся на более подходящие языки другого уровня.

            Самый важный элемент нейросистем адаптивный сумматор, который вычисляет скалярное произведение вектора входного сигнала x на вектор параметров a. Адаптивным он называется из-за наличия вектора настраиваемых параметров a.

            Нелинейный преобразователь сигнала получает скалярный входной сигнал x и переводит его в заданную нелинейную функцию f(x).

            Точка ветвления служит для рассылки одного сигнала по нескольким адресам. Она получает скалярный входной сигнал x и передает его на все свои выходы.

            Стандартный формальный нейрон состоит из входного сумматора, нелинейного преобразователя и точки ветвления на выходе.

            Линейная связь синапс отдельно от сумматоров не встречается, однако для некоторых рассуждений бывает удобно выделить этот элемент. Он умножает входной сигнал x на “вес синапса” a.

            Итак, мы коротко описали основные элементы, из которых состоят нейронные сети.

            Задачи для нейронных сетей

            Многие задачи, для решения которых используются нейронные сети, могут рассматриваться как частные случаи следующих основных проблем:

            построение функции по конечному набору значений;

            построение отношений на множестве объектов;

            распределенный поиск информации и ассоциативная память;

            Нейрокомпьютерная техника


            страница 2/14
            Дата 12.07.2020
            Размер 2.17 Mb.
            Тип Обзор
    Навигация по данной странице:
  • СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ
  • Абстрагирование
  • Применимость
  • ИСТОРИЧЕСКИЙ АСПЕКТ
  • ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ
  • ПЕРСПЕКТИВЫ НА БУДУЩЕЕ
  • Искусственные нейронные сети и экспертные системы
  • Соображения надежности

Введение

ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ?

Это возрождение интереса было вызвано как теоретическими, так и прикладными достижениями. Неожиданно открылись возможности использования вычислений в сферах, до этого относящихся лишь к области человеческого интеллекта, возможности создания машин, способность которых учиться и запоминать удивительным образом напоминает мыслительные процессы человека, и наполнения новым значительным содержанием критиковавшегося термина «искусственный интеллект».

СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

Несмотря на такое функциональное сходство, даже самый оптимистичный их защитник не предположит, что в скором будущем искусственные нейронные сети будут дублировать функции человеческого мозга. Реальный «интеллект», демонстрируемый самыми сложными нейронными сетями, находится ниже уровня дождевого червя, и энтузиазм должен быть умерен в соответствии с современными реалиями. Однако равным образом было бы неверным игнорировать удивительное сходство в функционировании некоторых нейронных сетей с человеческим мозгом. Эти возможности, как бы они ни были ограничены сегодня, наводят на мысль, что глубокое проникновение в человеческий интеллект, а также множество революционных приложений, могут быть не за горами.

Обучение

Обобщение

Абстрагирование

Эта способность извлекать идеальное из несовершенных входов ставит интересные философские вопросы. Она напоминает концепцию идеалов, выдвинутую Платоном в его «Республике». Во всяком случае способность извлекать идеальные прототипы является у людей весьма ценным качеством.

Применимость

ИСТОРИЧЕСКИЙ АСПЕКТ

Нейробиологи и нейроанатомы достигли значительного прогресса. Усердно изучая структуру и функции нервной системы человека, они многое поняли в «электропроводке» мозга, но мало узнали о его функционировании. В процессе накопления ими знаний выяснилось, что мозг имеет ошеломляющую сложность. Сотни миллиардов нейронов, каждый из которых соединен с сотнями или тысячами других, образуют систему, далеко превосходящую наши самые смелые мечты о суперкомпьютерах. Тем не менее мозг постепенно выдает свои секреты в процессе одного из самых напряженных и честолюбивых исследований в истории человечества.

Лучшее понимание функционирования нейрона и картины его связей позволило исследователям создать математические модели для проверки своих теорий. Эксперименты теперь могут проводиться на цифровых компьютерах без привлечения человека или животных, что решает многие практические и морально-этические проблемы. В первых же работах выяснилось, что эти модели не только повторяют функции мозга, но и способны выполнять функции, имеющие свою собственную ценность. Поэтому возникли и остаются в настоящее время две взаимно обогащающие друг-друга цели нейронного моделирования: первая – понять функционирование нервной системы человека на уровне физиологии и психологии и вторая – создать вычислительные системы (искусственные нейронные сети), выполняющие функции, сходные с функциями мозга. Именно эта последняя цель и находится в центре внимания этой книги.

Параллельно с прогрессом в нейроанатомии и нейрофизиологии психологами были созданы модели человеческого обучения. Одной из таких моделей, оказавшейся наиболее плодотворной, была модель Д. Хэбба, который в 1949г. предложил закон обучения, явившийся стартовой точкой для алгоритмов обучения искусственных нейронных сетей. Дополненный сегодня множеством других методов он продемонстрировал ученым того времени, как сеть нейронов может обучаться.

В пятидесятые и шестидесятые годы группа исследователей, объединив эти биологические и физиологические подходы, создала первые искусственные нейронные сети. Выполненные первоначально как электронные сети, они были позднее перенесены в более гибкую среду компьютерного моделирования, сохранившуюся и в настоящее время. Первые успехи вызвали взрыв активности и оптимизма. Минский, Розенблатт, Уидроу и другие разработали сети, состоящие из одного слоя искусственных нейронов. Часто называемые персептронами, они были использованы для такого широкого класса задач, как предсказание погоды, анализ электрокардиограмм и искусственное зрение. В течение некоторого времени казалось, что ключ к интеллекту найден и воспроизведение человеческого мозга является лишь вопросом конструирования достаточно большой сети.

Но эта иллюзия скоро рассеялась. Сети не могли решать задачи, внешне весьма сходные с теми, которые они успешно решали. С этих необъяснимых неудач начался период интенсивного анализа. Минский, используя точные математические методы, строго доказал ряд теорем, относящихся к функционированию сетей.

Его исследования привели к написанию книги [4], в которой он вместе с Пайпертом доказал, что используемые в то время однослойные сети теоретически неспособны решить многие простые задачи, в том числе реализовать функцию «Исключающее ИЛИ». Минский также не был оптимистичен относительно потенциально возможного здесь прогресса:

Персептрон показал себя заслуживающим изучения, несмотря на жесткие ограничения (и даже благодаря им). У него много привлекательных свойств: линейность, занимательная теорема об обучении, простота модели параллельных вычислений. Нет оснований полагать, что эти достоинства сохраняться при переходе к многослойным системам. Тем не менее мы считаем важной задачей для исследования подкрепление (или опровержение) нашего интуитивного убеждения, что такой переход бесплоден.

Возможно, будет открыта какая-то мощная теорема о сходимости или найдена глубокая причина неудач дать интересную «теорему обучения» для многослойных машин ([4], с.231-232).

Блеск и строгость аргументации Минского, а также его престиж породили огромное доверие к книге – ее выводы были неуязвимы. Разочарованные исследователи оставили поле исследований ради более обещающих областей, а правительства перераспределили свои субсидии, и искусственные нейронные сети были забыты почти на два десятилетия.

Тем не менее несколько наиболее настойчивых ученых, таких как Кохонен, Гроссберг, Андерсон продолжили исследования. Наряду с плохим финансированием и недостаточной оценкой ряд исследователей испытывал затруднения с публикациями. Поэтому исследования, опубликованные в семидесятые и начале восьмидесятых годов, разбросаны в массе различных журналов, некоторые из которых малоизвестны. Постепенно появился теоретический фундамент, на основе которого сегодня конструируются наиболее мощные многослойные сети. Оценка Минского оказалась излишне пессимистичной, многие из поставленных в его книге задач решаются сейчас сетями с помощью стандартных процедур.

За последние несколько лет теория стала применяться в прикладных областях и появились новые корпорации, занимающиеся коммерческим использованием этой технологии. Нарастание научной активности носило взрывной характер. В 1987 г. было проведено четыре крупных совещания по искусственным нейронным сетям и опубликовано свыше 500 научных сообщений – феноменальная скорость роста.

Урок, который можно извлечь из этой истории, выражается законом Кларка, выдвинутым писателем и ученым Артуром Кларком. В нем утверждается, что, если крупный уважаемый ученый говорит, что нечто может быть выполнено, то он (или она) почти всегда прав. Если же ученый говорит, что это не может быть выполнено, то он (или она) почти всегда не прав. История науки является летописью ошибок и частичных истин. То, что сегодня не подвергается сомнениям, завтра отвергается. Некритическое восприятие «фактов» независимо от их источника может парализовать научный поиск. С одной стороны, блестящая научная работа Минского задержала развитие искусственных нейронных сетей. Нет сомнений, однако, в том, что область пострадала вследствие необоснованного оптимизма и отсутствия достаточной теоретической базы. И возможно, что шок, вызванный книгой «Персептроны», обеспечил необходимый для созревания этой научной области период.

ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ

Как подчеркивается в следующих главах, обратное распространение не свободно от проблем. Прежде всего нет гарантии, что сеть может быть обучена за конечное время. Много усилий, израсходованных на обучение, пропадает напрасно после затрат большого количества машинного времени. Когда это происходит, попытка обучения повторяется – без всякой уверенности, что результат окажется лучше. Нет также уверенности, что сеть обучится наилучшим возможным образом. Алгоритм обучения может попасть в «ловушку» так называемого локального минимума и будет получено худшее решение.

Разработано много других сетевых алгоритмов обучения, имеющих свои специфические преимущества. Некоторые из них обсуждаются в последующих главах. Следует подчеркнуть, что никакая из сегодняшних сетей не является панацеей, все они страдают от ограничений в своих возможностях обучаться и вспоминать.

Мы имеем дело с областью, продемонстрировавшей свою работоспособность, имеющей уникальные потенциальные возможности, много ограничений и множество открытых вопросов. Такая ситуация настраивает на умеренный оптимизм. Авторы склонны публиковать свои успехи, но не неудачи, создавая тем самым впечатление, которое может оказаться нереалистичным. Те, кто ищет капитал, чтобы рискнуть и основать новые фирмы, должны представить убедительный проект последующего осуществления и прибыли. Существует, следовательно, опасность, что искусственные нейронные сети начнут продавать раньше, чем придет их время, обещая функциональные возможности, которых пока невозможно достигнуть. Если это произойдет, то область в целом может пострадать от потери кредита доверия и вернется к застойному периоду семидесятых годов. Для улучшения существующих сетей требуется много основательной работы. Должны быть развиты новые технологии, улучшены существующие методы и расширены теоретические основы, прежде чем данная область сможет полностью реализовать свои потенциальные возможности.

ПЕРСПЕКТИВЫ НА БУДУЩЕЕ

Искусственные нейронные сети и экспертные системы

Эта точка зрения подкрепляется тем, как люди функционируют в нашем мире. Распознавание образов отвечает за активность, требующую быстрой реакции. Так как действия совершаются быстро и бессознательно, то этот способ функционирования важен для выживания во враждебном окружении. Вообразите только, что было бы, если бы наши предки вынуждены были обдумывать свою реакцию на прыгнувшего хищника?

Когда наша система распознавания образов не в состоянии дать адекватную интерпретацию, вопрос передается в высшие отделы мозга. Они могут запросить добавочную информацию и займут больше времени, но качество полученных в результате решений может быть выше.

Можно представить себе искусственную систему, подражающую такому разделению труда. Искусственная нейронная сеть реагировала бы в большинстве случаев подходящим образом на внешнюю среду. Так как такие сети способны указывать доверительный уровень каждого решения, то сеть «знает, что она не знает» и передает данный случай для разрешения экспертной системе. Решения, принимаемые на этом более высоком уровне, были бы конкретными и логичными, но они могут нуждаться в сборе дополнительных фактов для получения окончательного заключения. Комбинация двух систем была бы более мощной, чем каждая из систем в отдельности, следуя при этом высокоэффективной модели, даваемой биологической эволюцией.

Соображения надежности

Подобно людям, структуру мозга которых они копируют, искусственные нейронные сети сохраняют в определенной мере непредсказуемость. Единственный способ точно знать выход состоит в испытании всех возможных входных сигналов. В большой сети такая полная проверка практически неосуществима и должны использоваться статистические методы для оценки функционирования. В некоторых случаях это недопустимо. Например, что является допустимым уровнем ошибок для сети, управляющей системой космической обороны? Большинство людей скажет, любая ошибка недопустима, так как ведет к огромному числу жертв и разрушений. Это отношение не меняется от того обстоятельства, что человек в подобной ситуации также может допускать ошибки.

Проблема возникает из-за допущения полной безошибочности компьютеров. Так как искусственные нейронные сети иногда будут совершать ошибки даже при правильном функционировании, то, как ощущается многими, это ведет к ненадежности – качеству, которое мы считаем недопустимым для наших машин.

Сходная трудность заключается в неспособности традиционных искусственных нейронных сетей «объяснить», как они решают задачу. Внутреннее представление, получающееся в результате обучения, часто настолько сложно, что его невозможно проанализировать, за исключением самых простых случаев. Это напоминает нашу неспособность объяснить, как мы узнаем человека, несмотря на различие в расстоянии, угле, освещении и на прошедшие годы. Экспертная система может проследить процесс своих рассуждений в обратном порядке, так что человек может проверить ее на разумность. Сообщалось о встраивании этой способности в искусственные нейронные сети [З], что может существенно повлиять на приемлемость этих систем.

ВЫВОДЫ

Теория искусственных нейронных сетей развивается стремительно, но в настоящее время она недостаточна, чтобы быть опорой для наиболее оптимистических проектов. В ретроспективе видно, что теория развивалась быстрее, чем предсказывали пессимисты, но медленнее, чем надеялись оптимисты, – типичная ситуация. Сегодняшний взрыв интереса привлек к нейронным сетям тысячи исследователей. Резонно ожидать быстрого роста нашего понимания искусственных нейронных сетей, ведущего к более совершенным сетевым парадигмам и множеству прикладных возможностей.

Нейрокомпьютер

Рис.1. Нейронная сеть

В теоретической работе Тьюринга 1936 года была предложена гипотетическая машина для формализации действий человека. Затем, в так и не законченном отчете фон Неймана в 1945 году, были обобщены уроки создания первой ЭВМ ENIAC и предложены методы конструирования вычислительных машин. Фон Нейман, использовал не только идеи Тьюринга. Так, в качестве базовых элементов ЭВМ фон Нейман предложил модифицированные формальные нейроны (!) Мак-Каллока и Питтса — основателей нейросетевой архитектуры.
В статье, опубликованной в 1943 г., они доказали, что сети из таких пороговых элементов способны решать тот же класс задач, что и машина Тьюринга.
Интерес к реализации нейроподобных систем, способных решать интеллектуальные задачи, возрос в конце пятидесятых годов. В это время появился ряд научных работ, раскрывающих фундаментальные принципы переработки информации в живых системах.
В конце 50-х — начале 60-х с этим направлением связывали большие надежды, в основном благодаря Фрэнку Розенблатту, разработавшему первое обучаемое нейросетевое устройство для распознавания образов, персептрон (от английского perception — восприятие).
Персептрон был впервые смоделирован в 1958 году, причем его обучение требовало около получаса машинного времени на одной из самых мощных в то время ЭВМ IBM-704. Аппаратный вариант — Mark I Perceptron — был построен в 1960 г. и предназначался для распознавания зрительных образов. Его рецепторное поле состояло из матрицы фотоприемников 20×20, и он успешно справлялся с решением ряда задач — мог, например, различать транспаранты некоторых букв.
Тогда же возникли первые коммерческие нейрокомпьютинговые компании. Энтузиазм этого героического периода «бури и натиска» был так велик, что многие, увлекшись, предсказывали появление думающих машин в самом ближайшем будущем. В 1969 году бывший однокашник Розенблатта по Высшей научной школе в Бронксе Марвин Минский, сам в свое время отдавший дань конструированию нейрокомпьютеров, решил положить этому конец, выпустив вместе с южноафриканским математиком Пейпертом книгу «Персептроны». В этой роковой для нейрокомпьютинга книге была строго доказана принципиальная, как тогда казалось, ограниченность персептронов. Утверждалось, что им доступен лишь очень узкий круг задач. В действительности критика относилась лишь к персептрону с одним слоем обучающихся нейронов. Но для многослойных нейронных сетей алгоритм обучения, предложенный Розенблаттом, не годился. Холодный душ критики, умерив пыл энтузиастов, затормозил развитие нейрокомпьютинга на многие годы. Исследования в этом направлении были свернуты вплоть до 1983 года, когда они, наконец, получили финансирование от Агентства перспективных военных исследований США (DARPA). Этот факт стал сигналом к началу нового нейросетевого бума.
Интерес широкой научной общественности к нейросетям пробудился вновь после теоретической работы физика Джона Хопфилда (1982 г.), предложившего модель ассоциативной памяти в нейронных ансамблях. Холфилд и его многочисленные последователи обогатили теорию нейросетей многими идеями из арсенала физики, такими как коллективные взаимодействия нейронов, энергия сети, температура обучения и т. д. Однако настоящий бум практического применения нейросетей начался после публикации в 1986 году Дэвидом Румельхартом с соавторами метода обучения многослойного персептрона, названного ими методом обратного распространения ошибки (error back-propagation). Ограничения персептронов, о которых писали Минский и Пайперт, оказались преодолимыми, а возможности вычислительной техники — достаточными для решения широкого круга прикладных задач. В 90-х годах производительность компьютеров возросла настолько, что это позволило моделировать с их помощью работу параллельных нейронных сетей с числом нейронов от нескольких сотен до десятков тысяч. Такие эмуляторы нейросетей способны решать многие интересные с практической точки зрения задачи. В свою очередь, нейросетевые программные комплексы станут тем носителем, который выведет на технологическую орбиту настоящие параллельные нейросетевые компьютеры.
Нейронные сети возникли из исследований в области искусственного интеллекта, а именно, из попыток воспроизвести способность биологических нервных систем обучаться и исправлять ошибки, моделируя низкоуровневую структуру мозга (Patterson, 1996). Основной областью исследований по искусственному интеллекту в 60-е — 80-е годы были экспертные системы. Такие системы основывались на высокоуровневом моделировании процесса мышления (в частности, на представлении, что процесс нашего мышления построен на манипуляциях с символами). Скоро стало ясно, что подобные системы, хотя и могут принести пользу в некоторых областях, но не отражают ключевые аспекты человеческого интеллекта. Согласно одной из точек зрения, причина состоит в том, что современные вычислительные системы не в состоянии воспроизвести структуру мозга и чтобы создать искусственный интеллект, необходимо построить систему с похожей на естественную архитектурой, т. е. перейти от программной реализации процесса мышления к аппаратной.
Ситуация резко изменилась с начала восьмидесятых годов. Имитация работы мозга программными методами испытывала все большие трудности, связанные с принципиальными различиями между конструкциями мозга и компьютера. В связи с этим, был предложен ряд электронных, оптических, электронно-оптических приборов, позволяющих создавать архитектурные модели нейронных структур.
Естественным продолжением аппаратного и программного подхода к реализации нейрокомпьютера является программно-аппаратный подход. Этот подход получил наибольшее развитие и применение. Существующие компьютеры дополнялись специальными нейро-платами. Так, например, фирмой TRW (США) в 1985 году был разработан компьютер Mark3, который был реализован в виде дополнительной многопроцессорной платы к мини-компьютерам серии VAX, дальнейшим развитием системы Mark3 была система Mark4.
Наиболее интересное применение нашли нейрокомпьютеры в странах европейского сообщества. Еще в 1955 году было принято Шенгенское соглашение, по которому при досмотре в аэропортах европейских стран будут сравниваться отпечатки пальцев, это задача для нейрокомпьютера. В дальнейшем планируется ввести сравнение по радужной оболочке глаз, по полному описанию лица человека. В настоящее время появились новые возможности для реализации этой задачи.
Наиболее яркими примерами нейрокомпьютеров являются: Нейрокомпьютер Synaps 1 (Siemens, Герания), нейрокомпьютер «Силиконовый мозг» (созданный в США по программе «Электронный мозг», предназначен для обработки арокосмических изображений, производительность 80 петафлоп (80х1015 операций в секунду, потребляеая мощность 20 Вт.), нейрокомпьютер Эмбрион (Россия).

Рис.2. Общий вид нейрокомпьютера Sinaps1

Нейрокомпьютер Эмбрион разработан под руководством член-корреспондента МАИ, к.т.н. Владимира Дмитриевича Цыганкова. На сегодня известно несколько модификаций данного нейрокомпьютера, для различных приложений: датчик случайных многомерных управляемых импульсных потоков «ЭМБРИОН-1», интерсенсорный перенос «глаз»-«рука», техническая диагностика неисправностей энергогенератора самолетной электростанции («Эмбрион-2»), управление нестационарным объектом в реальном масштабе времени («Эмбрион-3» и «Эмбрион-4»), орган технического зрения («Эмбрион-5»), управление тактильно очувствленным адаптивным промышленным роботом «Универсал-5А» при обслуживании карусельной плавильной печи на стекольном заводе («Поиск-1»), управление тактильно очувствленным адаптивным промышленным роботом «Р-2» с искусственными мышцами при сборке и покраске («Поиск-2»), управление тактильно очувствленным мобильным автономным роботом «Краб-1» при взаимодействии с неориентированными предметами и др.

Рис.3. Компьютер «Neuro Engine»

Фирма NEC (Япония) в 1988 предложила нейрокомпьютер «Neuro Engine» в виде одноплатного сопроцессора к персональному компьютеру IBM PC. Фирмой Adaptive Solutions была разработана параллельная система SNAPS на 256 процессорах, позволяющая выполнять до 10 млрд. операций в сек. для решения задач обработки изображений и реконструкции объектов.
Аппаратный подход связан с созданием нейрокомпьютеров в виде нейроподобных структур (нейросетей) электронно-аналогового, оптоэлектронного и оптического типов. Для таких компьютеров разрабатываются специальные СБИС (нейрочипы) (Рис.4).

Рис.4. Нерочип МА16 (Siemens)

В 1988 г. фирма Havard изготовила СБИС на 256 аналоговых элементах, включающую 25 тысяч транзисторов, 100 тысяч резисторов.
Основу нейросетей составляют относительно простые, в большинстве случаев — однотипные, элементы (ячейки), имитирующие работу нейронов мозга — искусственные нейроны. Каждый нейрон характеризуется своим текущим состоянием, по аналогии с нервными клетками головного мозга, которые могут быть возбуждены или заторможены. На рисунке 5 показан биологический нейрон. На рисунке 6 математическая модель нейрона.

Рис.5. Биологический нейрон

Рис.6. Математическая модель нейрона

Он обладает группой синапсов — однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон — выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Каждый синапс характеризуется величиной синаптической связи или ее весом wi, который по физическому смыслу эквивалентен электрической проводимости.
Текущее состояние нейрона определяется, как взвешенная сумма его входов:

Выход нейрона есть функция его состояния:

В качестве примера простейшей нейросети рассмотрим трехнейронный перцептрон (Рис.7), то есть такую сеть, нейроны которой имеют активационную функцию в виде единичного скачка. На n входов поступают сигналы, проходящие по синапсам на 3 нейрона, образующие единственный слой этой нейросети и выдающие три выходных сигнала.

Очевидно, что все весовые коэффициенты синапсов одного слоя нейронов можно свести в матрицу W, в которой каждый элемент wij задает величину i-ой синаптической связи j-ого нейрона. Таким образом, процесс, происходящий в нейросети, может быть записан в матричной форме:

где X и Y — соответственно входной и выходной сигнальные векторы, F( V) — активационная функция, применяемая поэлементно к компонентам вектора V.
Практически всегда множество искусственных нейронов в искусственной нейронной сети поделено на подмножества, которые называют слоями или плоскостями (Рис.8). Теоретически число слоев и число нейронов в каждом слое может быть произвольным, однако фактически оно ограничено ресурсами компьютера, в случае программной реализации, или возможностями специализированных микросхем, на которых обычно реализуются нейронные сети. Чем сложнее нейронная сеть, тем масштабнее задачи, подвластные ей.

Рис.8. Структура трехслойной сети прямого распространения

Для решения отдельных типов задач уже существуют оптимальные, на сегодняшний день конфигурации. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации. При этом он руководствуется несколькими основополагающими принципами: возможности сети возрастают с увеличением числа ячеек сети, плотности связей между ними и числом выделенных слоев (Рис.9).

Рис.9. Примеры реализации нейросетей

Введение обратных связей, наряду с увеличением возможностей сети, поднимает вопрос о динамической устойчивости; сложность алгоритмов функционирования сети (в том числе, например, введение нескольких типов синапсов — возбуждающих, тромозящих и др.) также способствует усилению мощи нейросети.
Вопрос о необходимых и достаточных свойствах сети для решения того или иного рода задач представляет собой целое направление нейрокомпьютерной науки. Одной из важных особенностей нейронной сети является возможность к обучению.
Обучение нейросети может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей. Во втором случае выходы нейросети формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы.
Существует великое множество различных алгоритмов обучения, которые делятся на два больших класса: детерминированные и стохастические. В первом из них подстройка весов представляет собой жесткую последовательность действий, во втором — она производится на основе действий, подчиняющихся некоторому случайному процессу.
Рассмотрим более подробно вопрос обучения нейросети (Рис. 10) на примере трехнейронного перцептрона при обучении с учителем. Для обучения необходимо:
1. Задать элементы весовой матрицы W (обычно небольшие случайные значения).
2. Подать на входы один из входных векторов, которые сеть должна научиться различать, и вычислить выходы сети.
3. Если выход правильный, перейти на шаг 4. Иначе вычислить разницу между идеальным и полученным значениями выхода и модифицировать веса так, чтобы уменьшить ошибку.
4. Цикл с шага 2, пока сеть не перестанет ошибаться.

На втором шаге поочередно в случайном порядке предъявляются все возможные входные вектора.

Рис.10. Процесс обучения нейросети

После обучения на достаточно большом количестве примеров можно использовать обученную сеть для прогнозирования, предъявляя ей новые входные значения. Это важнейшее достоинство нейрокомпьютера, позволяющие ему решать интеллектуальные задачи, накапливая опыт.
В оптических компьютерах матрица весов может реализовываться на управляемом транспаранте на жидких или фоторефрактерных кристаллах (от рефракция). При этом оптические веса могут настраиваться цепью обратного распространения ошибки, которая подправляет степень влияния синаптических связей в соответствии с величиной (или хотя бы, знаком) конечной ошибки, указанной человеком-оператором («учителем»). То же самое может происходить и при самообучении, когда нейросеть автономно оптимизируется по мере набора опыта.
История развития техники показывает, что далеко не всегда имитация природы — самый лучший или самый быстрый способ достичь желаемого. Прогресс в понимании работы мозга пока не настолько велик, чтобы указать с определенностью, какие именно черты реальных нейронов существенны для гибкого поведения мозга, а какие — нет. Одно очевидно: естественные нейронные сети имеют весьма сложную структуру. А подход, принятый в построении искусственных нейронных сетей, предполагает, что начальная структура сети достаточно проста.
Пока нет весомых оснований полагать, что именно искусственные нейронные сети станут основой будущих мыслящих систем, способных к гибкому поведению. Исследования нейронных сетей — лишь первый этап на пути к таким системам. В ближайшей перспективе следует ожидать появления более необычных моделей, о которых пока можно лишь фантазировать. Эти модели должны сочетать простую и универсальную схему функционирования, характерную для моделей нейронных сетей, с возможностями систем искусственного интеллекта: логический вывод, планирование действий, построение и использование моделей окружающей среды.
Ну а сегодня нейросетевые программы помогают считывать рукописные чеки и налоговые декларации, предсказывают рыночные курсы и улавливают изменения конъюнктуры, ставят диагнозы больным, используются военными.
Очередная революция ожидается в информационных технологиях, сравнимая по масштабам с внедрением в массы персональных компьютеров, а может, и превосходящая это событие- и не в последнюю очередь благодаря искусственным нейронным сетям.
Нейросетевые технологии уже используются службами ассоциативного поиска и персональной рассылки документов. Следующим шагом станет создание семантического агента, способного составлять по заказу «тематические обзоры» по любым предметам. Объединившись, такие самообучающиеся агенты смогут радикально изменить способы поиска и организации информации в Сети. Потому что они способны не просто индексировать информацию в базах данных, а умеют понимать смысл данных и связывать данные между собой в ассоциативные распределенные базы знаний. Автоформализация знаний — ключевой элемент превращения Сети из гиперкниги в гипермозг, самостоятельно осознающий свое собственное содержание.
Вначале повсеместное распространение персональных компьютеров создало предпосылки для их объединения в Сеть.
Возникновение и бурное развитие глобальной Сети привело эволюцию компьютеров к следующему неизбежному этапу — появлению сетевого разума. Вслед за компьютерами-калькуляторами и послушными исполнителями готовых алгоритмов в ближайшем будущем появятся обучающиеся программные агенты. Их объединение в сетевое сообщество взаимодействующих друг с другом (и, конечно, со своими хозяевами) агентов создаст самообучающуюся среду, вполне аналогичную по своей способности к самоорганизации человеческому мозгу. Человеко-машинный симбиоз, каким уже давно и является современное общество, перейдет на новый качественный уровень.
И свидетелями зарождения этого развивающегося коллективного разума Сети будем уже мы с вами, наше поколение. Потому что все компоненты этого гипермозга уже существуют: инфраструктура Сети, выходящая на массового пользователя, нейросетевые агенты, электронные деньги. Им осталось лишь собраться воедино, чтобы включились обратные связи и начался отсчет новой эры — зарождения коллективного искусственного интеллекта.
Компьютеры наконец обретут способность видеть, слышать и ощущать иными, неведомыми человеку, органами чувств. Робототехника наконец-то освободит людей от утомительной роли «подай-принеси» на современном производстве. Умные домашние приборы обеспечат новый уровень бытового комфорта.

Не нашли то, что искали? Воспользуйтесь поиском:

Лучшие изречения: Студент — человек, постоянно откладывающий неизбежность. 10532 — | 7319 — или читать все.

Илон Маск рекомендует:  Что такое код swf_placeobject
Понравилась статья? Поделиться с друзьями:
Кодинг, CSS и SQL