Нейрокомпьютерная техника пролог

Нейрокомпьютерная техника пролог

Нейрокомпьютинг — это научное направление, занимающееся разработкой вычислительных систем шестого поколения — нейрокомпьютеров, которые состоят из большого числа параллельно работающих простых вычислительных элементов (нейронов). Элементы связаны между собой, образуя нейронную сеть. Они выполняют единообразные вычислительные действия и не требуют внешнего управления. Большое число параллельно работающих вычислительных элементов обеспечивают высокое быстродействие.

В настоящее время разработка нейрокомпьютеров ведется в большинстве промышленно развитых стран.

Нейрокомпьютеры позволяют с высокой эффективностью решать целый ряд интеллектуальных задач. Это задачи распознавания образов, адаптивного управления, прогнозирования, диагностики и т.д.

Нейрокомпьютеры отличаются от ЭВМ предыдущихи поколений не просто большими возможностями. Принципиально меняется способ использования машины. Место программирования занимает обучение, нейрокомпьютер учится решать задачи.

Обучение — корректировка весов связей, в результате которой каждое входное воздействие приводит к формированию соответствующего выходного сигнала. После обучения сеть может применять полученные навыки к новым входным сигналам. При переходе от программирования к обучению повышается эффективность решения интеллектуальных задач.

Вычисления в нейронных сетях существенно отличаются от традиционных, в силу высокой параллеленности их можно рассматривать как коллективное явление. В нейронной сети нет локальных областей, в которых запоминается конкретная информация. Вся информация запоминается во всей сети.

Толчком к развитию нейрокомпьютинга послужили биологические исследования. По данным нейробиологии нервная система человека и животных состоит из отдельных клеток — нейронов. В мозге человека их число достигает 1.0e10 — 1.0e12. Каждый нейрон связан с 1.0e3 — 1.0e4 другими нейронами и выполняет сравнительно простые действия. Время срабатывания нейрона — 2-5 мс. Совокупная работа всех нейронов обуславливает сложную работу мозга, который в реальном времени решает сложнейшие задачи. Отличия нейрокомпьютеров от вычислительных устройств предыдущих поколений:

• параллельная работа очень большого числа простых вычислительных устройств обеспечивает огромное быстродействие;
• нейронная сеть способна к обучению, которое осуществляется путем настройки параметров сети;
• высокая помехо- и отказоустойчивость нейронных сетей;
• простое строение отдельных нейронов позволяет использовать новые физические принципы обработки информации для аппаратных реализаций нейронных сетей.

Нейронные сети находят свое применение в системах распознавания образов, обработки сигналов, предсказания и диагностики, в робототехнических и бортовых системах. Нейронные сети обеспечивают решение сложных задач за времена порядка времен срабатывания цепочек электронных и/или оптических элементов. Решение слабо зависит от неисправности отдельного нейрона. Это делает их привлекательными для использования в бортовых интеллектуальных системах.

Разработки в области нейрокомпьютеров поддерживаются целым рядом международных и национальных программ. В настоящее время эксплуатируется не менее 50 нейросистем в самых различных областях — от финансовых прогнозов до экспертизы.

Разработки в области нейрокомпьютинга ведутся по следующим направлениям:

• разработка нейроалгоритмов;
• создание специализированного программного обеспечения для моделирования нейронных сетей;
• разработка специализированных процессорных плат для имитации нейросетей;
• электронные реализации нейронных сетей;
• оптоэлектронные реализации нейронных сетей.

В настоящее время наиболее массовым направлением нейрокомпьютинга является моделирование нейронных сетей на обычных компьютерах, прежде всего персональных. Моделирование сетей выполняется для их научного исследования, для решения практических задач, а также при определении значений параметров электронных и оптоэлектронных нейрокомпьютеров.

2. Нейронные сети — основные понятия и определения

В основу искусственных нейронных сетей положены следующие черты живых нейронных сетей, позволяющие им хорошо справляться с нерегулярными задачами:

• простой обрабатывающий элемент — нейрон;
• очень большое число нейронов участвует в обработке информации;
• один нейрон связан с большим числом других нейронов (глобальные связи);
• изменяющиеся веса связей между нейронами;
• массированная параллельность обработки информации.

Прототипом для создания нейрона послужил биологический нейрон головного мозга. Биологический нейрон имеет тело, совокупность отростков — дендридов, по которым в нейрон поступают входные сигналы, и отросток — аксон, передающий выходной сигнал нейрона другим клеткам. Точка соединения дендрида и аксона называется синапсом. Упрощенно функционирование нейрона можно представить следующим образом:

• нейрон получает от дендридов набор (вектор) входных сигналов;
• в теле нейрона оценивается суммарное значение входных сигналов. Однако входы нейрона неравнозначны. Каждый вход характеризуется некоторым весовым коэффициентом, определяющим важность поступающей по нему информации. Таким образом, нейрон не просто суммирует значения входных сигналов, а вычисляет скалярное произведение вектора входных сигналов и вектора весовых коэффициентов;
• нейрон формирует выходной сигнал, интенсивность которого зависит от значения вычисленного скалярного произведения. Если оно не превышает некоторого заданного порога, то выходной сигнал не формируется вовсе — нейрон «не срабатывает»;
• выходной сигнал поступает на аксон и передается дендридам других нейронов.

Поведение искусственной нейронной сети зависит как от значения весовых параметров, так и от функции возбуждения нейронов. Известны три основных вида функции возбуждения: пороговая, линейная и сигмоидальная. Для пороговых элементов выход устанавливается на одном из двух уровней в зависимости от того, больше или меньше суммарный сигнал на входе нейрона некоторого порогового значения. Для линейных элементов выходная активность пропорциональна суммарному взвешенному входу нейрона.

Для сигмоидальных элементов в зависимости от входного сигнала, выход варьируется непрерывно, но не линейно, по мере изменения входа. Сигмоидальные элементы имеют больше сходства с реальными нейронами, чем линейные или пороговые, но любой из этих типов можно рассматривать лишь как приближение.

Нейронная сеть представляет собой совокупность большого числа сравнительно простых элементов — нейронов, топология соединений которых зависит от типа сети. Чтобы создать нейронную сеть для решения какой-либо конкретной задачи, мы должны выбрать, каким образом следует соединять нейроны друг с другом, и соответствующим образом подобрать значения весовых параметров на этих связях. Может ли влиять один элемент на другой, зависит от установленных соединений. Вес соединения определяет силу влияния.

3. Модели нейронных сетей

3.1. Модель Маккалоха

Теоретические основы нейроматематики были заложены в начале 40-х годов. В 1943 году У. Маккалох и его ученик У. Питтс сформулировали основные положения теории деятельности головного мозга. Ими были получены следующие результаты:

• разработана модель нейрона как простейшего процессорного элемента, выполняющего вычисление переходной функции от скалярного произведения вектора входных сигналов и вектора весовых коэффициентов;
• предложена конструкция сети таких элементов для выполнения логических и арифметических операций;
• сделано основополагающее предположение о том, что такая сеть способна обучаться, распознавать образы, обобщать полученную информацию.

Несмотря на то, что за прошедшие годы нейроматематика ушла далеко вперед, многие утверждения Макклоха остаются актуальными и поныне. В частности, при большом разнообразии моделей нейронов принцип их действия, заложенный Макклохом и Питтсом, остается неизменным. Недостатком данной модели является сама модель нейрона «пороговой» вид переходной функции. В формализме У. Маккалоха и У. Питтса нейроны имеют состояния 0, 1 и пороговую логику перехода из состояния в состояние. Каждый нейрон в сети определяет взвешенную сумму состояний всех других нейронов и сравнивает ее с порогом, чтобы определить свое собственное состояние.

Пороговый вид функции не предоставляет нейронной сети достаточную гибкость при обучении и настройке на заданную задачу. Если значение вычисленного скалярного произведения, даже незначительно, не достигает до заданного порога, то выходной сигнал не формируется вовсе и нейрон «не срабатывает». Это значит, что теряется интенсивность выходного сигнала (аксона) данного нейрона и, следовательно, формируется невысокое значение уровня на взвешенных входах в следующем слое нейронов.

3.2. Модель Розенблата

Серьезное развитие нейрокибернетика получила в работах американского нейрофизиолога Френсиса Розенблата (Корнелльский университет). В 1958 году он предложил свою модель нейронной сети. Розенблат ввел в модель Маккаллока и Питтса способность связей к модификации, что сделало ее обучаемой. Эта модель была названа перцептроном. Первоначально перцептрон представлял собой однослойную структуру с жесткой пороговой функцией процессорного элемента и бинарными или многозначными входами. Первые перцептроны были способны распознавать некоторые буквы латинского алфавита. Впоследствии модель перцептрона была значительно усовершенствована.

Перцептрон применялся для задачи автоматической классификации, которая в общем случае состоит в разделении пространства признаков между заданным количеством классов. В двухмерном случае требуется провести линию на плоскости, отделяющую одну область от другой. Перцептрон способен делить пространство только прямыми линиями (плоскостями).

Алгоритм обучения перцептрона выглядит следующим образом:

• системе предъявляется эталонный образ;
• если выходы системы срабатывают правильно, весовые коэффициенты связей не изменяются;
• если выходы срабатывают неправильно, весовым коэффициентам дается небольшое приращение в сторону повышения качества распознавания.

Серьезным недостатком перцептрона является то, что не всегда существует такая комбинация весовых коэффициентов, при которой имеющееся множество образов будет распознаваться данным перцептроном. Причина этого недостатка состоит в том, что лишь небольшое количество задач предполагает, что линия, разделяющая эталоны, будет прямой. Обычно это достаточно сложная кривая, замкнутая или разомкнутая. Если учесть, что однослойный перцептрон реализует только линейную разделяющую поверхность, применение его там, где требуется нелинейная, приводит к неверному распознаванию (эта проблема называется линейной неразделимостью пространства признаков). Выходом из этого положения является использование многослойного перцептрона, способного строить ломаную границу между распознаваемыми образами.

Описанная проблема не является единственной трудностью, возникающей при работе с перцептронами — также слабо формализовани метод обучения перцептрона.

Перцептрон поставил ряд вопросов, работа над решением которых привела к созданию более «разумных» нейронных сетей и разработке методов, нашедших применение не только в нейрокибернетике (например, метод группового учета аргументов, применяемый для идентификации математических моделей).

3.3. Модель Хопфилда

В 70-е годы интерес к нейронным сетям значительно упал, однако работы по их исследованию продолжались. Был предложен ряд интересных разработок, таких, например, как когнитрон, и т.п.), позволяющих распознавать образы независимо от поворота и изменения масштаба изображения.

Автором когнитрона является японский ученый И. Фукушима.

Новый виток быстрого развития моделей нейронных сетей, который начался лет 15 тому назад, связан с работами Амари, Андерсона, Карпентера, Кохонена и других, и в особенности, Хопфилда, а также под влиянием обещающих успехов оптических технологий и зрелой фазы развития СБИС для реализации новых архитектур.

Начало современному математическому моделированию нейронных вычислений было положено работами Хопфилда в 1982 году, в которых была сформулирована математическая модель ассоциативной памяти на нейронной сети.

Показано, что для однослойной нейронной сети со связями типа «все на всех» характерна сходимость к одной из конечного множества равновесных точек, которые являются локальными минимумами функции энергии, содержащей в себе всю структуру взаимосвязей в сети. Понимание такой динамики в нейронной сети было и у других исследователей. Однако, Хопфилд и Тэнк показали как конструировать функцию энергии для конкретной оптимизационной задачи и как использовать ее для отображения задачи в нейронную сеть. Этот подход получил развитие и для решения других комбинаторных оптимизационных задач. Привлекательность подхода Хопфилда состоит в том, что нейронная сеть для конкретной задачи может быть запрограммирована без обучающих итераций. Веса связей вычисляются на основании вида функции энергии, сконструированной для этой задачи.

Развитием модели Хопфилда для решения комбинаторных оптимизационных задач и задач искусственного интеллекта является машина Больцмана, предложенная и исследованная Джефери Е. Хинтоном и Р. Земелом. В ней, как и в других моделях, нейрон имеет состояния 1, 0 и связь между нейронами обладает весом. Каждое состояние сети характеризуется определенным значением функции консенсуса (аналог функции энергии). Максимум функции консенсуса соответствует оптимальному решению задачи.

3.4. Модель сети с обратным распространением

Способом обратного распространения (back propogation) называется способ обучения многослойных нейронных сетей (НС).

Многослойная нейронная сеть

В таких НС связи между собой имеют только соседние слои, при этом каждый нейрон предыдущего слоя связан со всеми нейронами последующего слоя. Нейроны обычно имеют сигмоидальную функцию возбуждения. Первый слой нейронов называется входным и содержит число нейронов соответствующее распознаваемому образу. Последний слой нейронов называется выходным и содержит столько нейронов, сколько классов образов распознается. Между входным и выходным слоями располагается один или более скрытых (теневых) слоев. Определение числа скрытых слоев и числа нейронов в каждом слое для конкретной задачи является неформальной задачей. Принцип обучения такой нейронной сети базируется на вычислении отклонений значений сигналов на выходных процессорных элементах от эталонных и обратном «прогоне» этих отклонений до породивших их элементов с целью коррекции ошибки.

Еще в 1974 году Поль Дж. Вербос изобрел значительно более эффективную процедуру для вычисления величины, называемой производной ошибки по весу, когда работал над своей докторской диссертацией в Гарвардском университете. Процедура, известная теперь как алгоритм обратного распространения, стала одним из наиболее важных инструментов в обучении нейронных сетей. Однако этому алгоритму свойственны и недостатки, главный из которых — отсутствие сколько-нибудь приемлемых оценок времени обучения. Понимание, что сеть в конце концов обучится, мало утешает, если на это могут уйти годы. Тем не менее, алгоритм обратного распространения имеет широчайшее применение.

4. Задачи, решаемые на основе нейронных сетей

В литературе встречается значительное число признаков, которыми должна обладать задача, чтобы применение НС было оправдано и НС могла бы ее решить:

• отсутствует алгоритм или не известны принципы решения задач, но накоплено достаточное число примеров;
• проблема характеризуется большими объемами входной информации;
• данные неполны или избыточны, зашумлены, частично противоречивы.

Таким образом, НС хорошо подходят для распознавания образов и решения задач классификации, оптимизации и прогнозирования. Ниже приведен перечень возможных промышленных применений нейронных сетей, на базе которых либо уже созданы коммерческие продукты, либо реализованы демонстрационные прототипы.

Банки и страховые компании:

• автоматическое считывание чеков и финансовых документов;
• проверка достоверности подписей;
• оценка риска для займов;
• прогнозирование изменений экономических показателей.

Административное обслуживание:

• автоматическое считывание документов;
• автоматическое распознавание штриховых кодов.

Нефтяная и химическая промышленность:

• анализ геологической информации;
• идентификация неисправностей оборудования;
• разведка залежей минералов по данным аэрофотосъемок;
• анализ составов примесей;
• управление процессами.

Военная промышленность и аэронавтика:

• обработка звуковых сигналов (разделение, идентификация, локализация);
• обработка радарных сигналов (распознавание целей, идентификация и локализация источников);
• обработка инфракрасных сигналов (локализация);
• обобщение информации;
• автоматическое пилотирование.

Промышленное производство:

• управление манипуляторами;
• управление качеством;
• управление процессами;
• обнаружение неисправностей;
• адаптивная робототехника;
• управление голосом.

Служба безопасности:

• распознавание лиц, голосов, отпечатков пальцев.

Биомедицинская промышленность:

• анализ рентгенограмм;
• обнаружение отклонений в ЭКГ.

Телевидение и связь:

• адаптивное управление сетью связи;
• сжатие и восстановление изображения.

Представленный перечень далеко не полон. Можно найти еще области, где оправданно применение НС.

5. Способы реализации нейронных сетей

Нейронные сети могут быть реализованы двумя путями: первый — это программная модель НС, второй — аппаратная.

Основными коммерческими аппаратными изделиями на основе НС являются и, вероятно, в ближайшее время будут оставаться нейроБИС.

Среди разрабатываемых в настоящее время нейроБИС выделяются модели фирмы Adaptive Solutions (США) и Hitachi (Япония). НейроБИС фирмы Adaptive Solutions, вероятно, станет одной из самых быстродействующих: объявленная скорость обработки составляет 1,2 млрд. соединений/с. (НС содержит 64 нейрона и 262144 синапса). НейроБИС фирмы Hitachi позволяет реализовать НС, содержащую до 576 нейронов. Эти нейроБИС, несомненно, станут основой новых нейрокомпьютеров и специализированных многопроцессорных изделий.

Большинство сегодняшних нейрокомпьютеров представляют собой просто персональный компьютер или рабочую станцию, в состав которых входит дополнительная нейроплата. К их числу относятся, например, компьютеры серии FMR фирмы Fujitsu. Такие системы имеют бесспорное право на существование, поскольку их возможностей вполне достаточно для разработки новых алгоритмов и решения большого числа прикладных задач методами нейроматематики.

Однако наибольший интерес представляют специализированные нейрокомпьютеры, непосредственно реализующие принципы НС.

Типичными представителями таких систем являются компьютеры семейства Mark фирмы TRW (первая реализация перцептрона, разработанная Розенблатом, называлась Mark I).

Модель Mark III фирмы TRW представляют собой рабочую станцию, содержащую до 15 процессоров семейства Motorola 68000 с математическими сопроцессорами. Все процессоры объединены шиной VME. Архитектура системы, поддерживающая до 65 000 виртуальных процессорных элементов с более чем 1 млн. настраиваемых соединений, позволяет обрабатывать до 450 тыс. межсоединений/с.

Mark IV — это однопроцессорный суперкомпьютер с конвейерной архитектурой. Он поддерживает до 236 тыс. виртуальных процессорных элементов, что позволяет обрабатывать до 5 млн. межсоединений/с.

Компьютеры семейства Mark имеют общую программную оболочку ANSE (Artificial Neural System Environment), обеспечивающую программную совместимость моделей.

Помимо указанных моделей фирмы TRW предлагает также пакет Mark II — программный эмулятор НС.

Другой интересной моделью является нейрокомпьютер NETSIM, созданный фирмой Texas Instruments на базе разработок Кембриджского университета. Его топология представляет собой трехмерную решетку стандартных вычислительных узлов на базе процессоров 80188. Компьютер NETSIM используется для моделирования таких моделей НС, как сеть Хопфилда — Кохонена и НС с обратным распространением. Его производительность достигает 450 млн. межсоединений/с.

Фирма Computer Recognitiion Systems (CRS) продает серию нейрокомпьютеров WIZARD/CRS 1000, предназначенных для обработки видеоизображений. Размер входной изображения 512 x 512 пиксел. Модель CRS 1000 уже нашла применение в промышленных системах автоматического контроля.

6. Выводы

Нейрокомпьютеры являются перспективным направлением развития современной высокопроизводительной вычислительной техники, а теория нейронных сетей и нейроматематика представляют собой приоритетные направления российской вычислительной науки. Основой активного развития нейрокомпьютеров является принципиальное отличие нейросетевых алгоритмов решения задач от однопроцессорных, малопроцессорных, а также транспьютерных. Для данного направления развития вычислительной техники не так важен уровень развития отечественной микроэлектроники, поэтому оно позволяет создать основу построения российской элементной базы суперкомпьютеров.

В России уже успешно функционирует один из первых мощных нейрокомпьютеров для финансового применения — CNAPS PC/128 на базе 4-х нейроБИС фирмы Alaptive Solutions. По данным фирмы «Торацентр» в число организаций, использующих нейронные сети для решения своих задач, уже вошли: Центробанк, МЧС, Налоговая Инспекция, более 30 банков и более 60 финансовых компаний.

В заключение необходимо отметить, что использование нейронных сетей во всех областях человеческой деятельности, в том числе в области финансовых приложений, движется по нарастающей, отчасти по необходимости и из-за широких возможностей для одних, из-за престижности для других и из-за интересных приложений для третьих. Не следует пугаться того, что появление столь мощных и эффективных средств перевернет финансовый рынок, или «отменит» традиционные математические и эконометрические методы технического анализа, или сделает ненужной работу высококлассных экспертов — говорить об этом, мягко говоря, преждевременно. В качестве нового эффективного средства для решения самых различных задач нейронные сети просто приходят — и используются теми людьми, которые их понимают, которые в них нуждаются и которым они помогают решать многие профессиональные проблемы. Не обязательно «насаждать» нейронные сети, или пытаться доказать их неэффективность путем выделения присущих им особенностей и недостатков — нужно просто относиться к ним как к неизбежному следствию развития вычислительной математики, информационных технологий и современной элементной базы. Оптические процессоры

Кибернетика — наука об управлении системами

Если кибернетику скрестить с математикой — получится кибенематика («Математики тоже шутят»).

А если кибернетику скрестить с философией — получится кабернетикэ (Шурику пошутили).

Пока с трудом провожу границы между математикой, информационными технологиями, кибернетикой и менеджментом (а ведь с информацией и управлением еще связана лингвистика, семиотика и психология). Что в чем. Может быть — так:

То есть, информатика обслуживает математику технически, а математика информатику — теоретически. Обе обслуживают кибернетику, которая, фактически, включает часть разделов математики, и часть — информатики. Также, эти «царицы наук и техники» обслуживают лингвистику, и, в то же время, часть лингвистики содержится в информатике, а математика сама является, по существу, «языком». Таким образом, лингвистика, информатика и математика являются взаимно спаянным обслуживающим триумвиратом — «тремя слугами» Киплинга: WHAT, WHY, HOW (что, почему и как?).

Разделы страницы о кибернетике и системах управления:

• Разделы кибернетики
• Общие ресурсы по кибернетике
• Робототехника и роботостроение
• Искусственный интеллект и нейропрограммирование
• Литература по нейроинформатике и нейрокомпьютерной технике

Разделы кибернетики

Приведём 2 внутренние классификации кибернетики и ее направлений:

1. Кибернетика — Классификация по ГРНТИ (раздел 28).
2. Кибернетика — Классификация по УДК в разделе 51 (Математика).

Основные разделы кибернетики по ГРНТИ

Раздел кибернетики

Состав раздела 28 «Кибернетика» согласно ГРНТИ (щёлкайте на ветках для их раскрытия или схлопывания):

• 28.01 Общие вопросы кибернетики
  • 28.01.01 Руководящие материалы [справочники и стандарты]
  • 28.01.05 Материалы общего характера
  • 28.01.09 История кибернетики. Персоналия
  • 28.01.13 Научные и технические общества, съезды, конгрессы, конференции, симпозиумы, семинары, выставки
  • 28.01.17 Международное сотрудничество
  • 28.01.21 Организация научно-исследовательских работ
  • 28.01.29 Информационная деятельность
  • 28.01.33 Терминология. Справочная литература. Учебная литература
  • 28.01.45 Преподавание
  • 28.01.75 Экономика, организация, управление, планирование и прогнозирование
  • 28.01.79 Кадры
  • 28.01.80 Правовые вопросы
• 28.15 Теория систем автоматического управления [28.15-28.19, 28.27-28.29 — системология]
  • 28.15.15 Линейные детерминированные системы
  • 28.15.19 Нелинейные детерминированные системы
  • 28.15.23 Стохастические системы автоматического управления, следящие системы
• 28.17 Теория моделирования
  • 28.17.15 Физическое моделирование
  • 28.17.19 Математическое моделирование
  • 28.17.23 Моделирование физических процессов
  • 28.17.27 Моделирование логических структур
  • 28.17.31 Моделирование процессов управления [в т.ч. бизнес-анализ?]
  • 28.17.33 Компьютерное моделирование реальности. Виртуальная реальность
• 28.19 Теория кибернетических систем управления
  • 28.19.15 Оптимальные системы
  • 28.19.19 Экстремальные системы
  • 28.19.23 Адаптивные и обучающие системы
  • 28.19.27 Самоорганизующиеся системы
  • 28.19.31 Идентификация систем
• 28.21 Теория информации [28.21-28.25 — обработка и передача информации (информатика)]
  • 28.21.15 Теория сигналов
  • 28.21.19 Теория кодирования
  • 28.21.27 Структуры систем передачи данных
• 28.23 Искусственный интеллект [и психолингвистика]
  • 28.23.01 Общие вопросы искусственного интеллекта
  • 28.23.02 Общие проблемы искусственного интеллекта
  • 28.23.11 Языки для представления знаний
  • 28.23.13 Инженерия знаний. Представление знаний
  • 28.23.15 Распознавание образов. Обработка изображений
  • 28.23.17 Логика в искусственном интеллекте
  • 28.23.19 Эвристические методы
  • 28.23.20 Формирование решений в интеллектуальной среде. Модели рассуждений
  • 28.23.21 Модели дискурса
  • 28.23.23 Модели когнитивной психологии
  • 28.23.24 Модели восприятия информации в интеллектуальных системах
  • 28.23.25 Модели и системы обучения
  • 28.23.27 Интеллектуальные робототехнические системы
  • 28.23.29 Программная реализация интеллектуальных систем
  • 28.23.33 Аппаратная реализация интеллектуальных систем
  • 28.23.35 Экспертные системы
  • 28.23.37 Нейронные сети
  • 28.23.39 Интеллектуальные базы знаний
• 28.25 Теория конечных автоматов и формальных языков
  • 28.25.15 Анализ и синтез конечных автоматов
  • 28.25.19 Абстрактные машины
  • 28.25.23 Кибернетические аспекты структурно-логической теории алгоритмов и программирования
• 28.27 Теория надежности
  • 28.27.15 Оптимизация надежности
  • 28.27.19 Количественные характеристики
  • 28.27.23 Надежность эргатических систем
  • 28.27.27 Методы оценки надежности
  • 28.27.31 Структурно-функциональная избыточность
• 28.29 Системный анализ
  • 28.29.01 Общие вопросы
  • 28.29.03 Теория полезности и принятия решений
  • 28.29.05 Теория игр и ее применение в кибернетических системах
  • 28.29.07 Теория массового обслуживания и ее приложения
  • 28.29.15 Методы исследования операций
  • 28.29.51 Технические приложения вероятностно-статистических методов
  • 28.29.53 Программно-целевое планирование
  • 28.29.55 Теория планирования эксперимента
  • 28.29.57 Эргатические системы
  • 28.29.59 Программированное обучение

Раздел математической кибернетики

Состав раздела 27.47 «Математическая кибернетика» (внутри раздела 27 «Математика») согласно ГРНТИ:

• 27.47.15 Математическая теория управляющих систем
• 27.47.17 Математическая теория информации
• 27.47.19 Исследование операций
• 27.47.23 Математические проблемы искусственного интеллекта
• 27.47.25 Математические вопросы семиотики

Примечания (термины и определения)

1. Эргатическая система — система управления, одним из элементов которой является человек или группа людей. Основными особенностями таких систем являются социально-психологические аспекты («человеческий фактор»). Наряду с недостатками, эргатические системы обладают рядом преимуществ, таких как нечеткая логика, эволюционирование, принятие решений в нестандартных ситуациях.

Состав кибернетических дисциплин по УДК

В разделе 51 «Математика» имеется подраздел 519.7 “Математическая кибернетика, включая теорию управляющих систем [кибернетических и автоматических?], теорию информации и математические вопросы семиотики.” [!] Также имеется подраздел 51-7 “Применение математических методов исследования в других областях знания” — “Приложения теоретико-вероятностных методов, математическая экономика [эконометрика?], кибернетика.”

А в разделе 68 «Техника» имеется подраздел 681.5 “Автоматика. Теория, методы расчета и аппаратура систем автоматического управления и регулирования. Техническая кибернетика. Техника автоматизации.”.

Общие ресурсы по кибернетике

История вычислительной техники (обзоры и находки)

Порталы о технической кибернетике и компьютерном управлении

• Кибернетизация.ру Тематический портал о кибернетике и компьютерах.

Кибернетика и системология (статьи)

• Как выделить главное: принципы конфайнмент(R)-моделированияю
• Формула P=?NP.

Робототехника и роботостроение

Великий фантаст Айзек Азимов в 1942 году сформулировал три закона робототехники. Первый из них гласит: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред».

Центры робототехники и технической кибернетики

Новости по роботостроению и киборгостроению

• В лондонский аквариум запустили рыб-роботов.
• Девушка-робот.
• Роботы от Microsoft.


• Япония отправит на Луну человекоподобных роботов.
• Ученые создали жуков-киборгов.
• Статьи о жуках-киборгах и их изобретателе — Мишеле Махарбизе.

Искусственный интеллект и нейропрограммирование

Центры исследований и разработок в сфере искусственного интеллекта

Порталы и сборники статей по искусственному интеллекту

• Портал искусственного интеллекта, роботы с искусственным интеллектом.
• 5GL — Системы искусственного интеллекта и нейронные сети.

Языки программирования искусственного интеллекта и нейросетей (5GL)

Язык логического программирования предназначен для представления и использования знаний о некоторой предметной области. Программы на этом языке состоят из некоторого множества отношений, а ее выполнение сводится к выводу нового отношения на основе заданных.

Нейроязыки Prolog, Lisp, Smalltalk — языки грамматического разбора и обработки текста.

О нейропрограммировании и искусственном интеллекте

• Lisp & Prolog — Язык Искусственного Интеллекта. Нейроинформатика 2002
• Язык искусственного интеллекта. Как это было.
• Языки искусственного интеллекта.
• Сайт по автоматному программированию и мотивации к творчеству. Санкт-Петербургский Государственный Университет Информационных Технологий, Механики и Оптики. Кафедра «Технологии программирования».
• SoftCraft — Технологии информационного поиска. Сайт преподавателя информатики и заведующего кафедрой НейроЭВМ Красноярского государственного технического университета Легалова Александра Ивановича о теории и технологиях транслирования, кодирования, параллельных вычислений, нейроинформатики и др.

Язык Lisp (Лисп) — 1960 г.

Язык Lisp (Лисп) предложен в конце 1958 г. [письменно — в 1960 г.] математиком Джоном Маккарти (John McCarthy) из МТИ (ему же принадлежит идея создания систем с разделением времени). Название идет от List Processing language (язык обработки списков), но из-за изобилия скобок в шутку расшифровывается также как Lots of Idiotic Silly Parentheses (масса идиотских скобок). Язык ориентирован на разработку программ для решения задач не численного характера — в первую очередь для обработки символьной информации.

Официальное название хорошо подчеркивает основную область его применения. Понятие “список” оказалось очень емким. Программа на этом языке и большая часть структур данных представляют собой связанные списки. В виде списков удобно представлять алгебраические выражения, графы, элементы конечных групп, множества, правила вывода и многие другие сложные объекты. Списки являются наиболее гибкой формой представления информации в памяти компьютеров. Базовыми операциями языка являются операции над списками. Неудивительно, что этот удобный язык, специально предназначенный для обработки списков, быстро завоевал популярность.

Это язык функционального программирования, базирующийся на лямбда-исчислении и используемый для задач искусственного интеллекта (ИИ). Это был также первый ЯВУ, в котором при работе с динамически распределяемой памятью производится автоматическая «сборка мусора» (garbage collection).

Большим достоинством Лиспа является его функциональная направленность, т. е. программирование ведется с помощью функций. Причем функция понимается как правило, сопоставляющее элементам некоторого класса соответствующие элементы другого класса. Сам процесс сопоставления не оказывает никакого влияния на работу программы, важен только его результат – значение функции. Это позволяет относительно легко писать и отлаживать большие программные комплексы. Ясность программ, четкое разграничение их функций, отсутствие каверзных побочных эффектов при их выполнении является обязательными требованиями к программированию таких логически сложных задач, каковыми являются задачи искусственного интеллекта. Дисциплина в программировании становится особенно важной, когда над программой работает не один человек, а целая группа программистов.

На протяжении почти 40-летней истории его существования появился ряд диалектов этого языка: Common LISP, Mac LISP (MacLisp), Inter LISP (INTERLISP), Standard LISP, MuLISP фирмы Soft Warehouse для РС и другие: Honolulu, Havaii. Различия между ними не носят принципиального характера и в основном сводятся к несколько отличающемуся набору встроенных функций и некоторой разнице в форме записи программ. Поэтому программист, научившийся работать на одном из них без труда сможет освоить и любой другой.

Существуют и другие диалекты ЛИСПа. Arc — предельно упрощённая версия Lisp с мощной поддержкой макросов, позволяющей любые «грязные хаки» в стиле лиспа. Clojure — современный диалект Лиспа, язык программирования общего назначения с поддержкой разработки в интерактивном режиме, поощряющий функциональное программирование и упрощающий поддержку многопоточности. Clojure работает на платформах JVM и CLR.

После появления Лиспа различными авторами был предложен целый ряд других алгоритмических языков, ориентированных на решение задач в области искусственного интеллекта, среди которых можно отметить Плэнер, Снобол, Рефал, Пролог (см. ниже). Однако это не помешало Лиспу остаться наиболее популярным языком для решения таких задач.

Язык Prolog (Пролог)

Язык Prolog (Programmation en Logique — «программирование на основе логики» — Пролог) — декларативный язык программирования для задач искусственного интеллекта, обработки естественных языков и др. Его разработали в 1971-1972 годах Алэн Колмероэ (Alain Colmerauer) и Филипп Рассель (Philippe Roussel) в университете в Лумини (г. Марсель). В дальнейшем Пролог развивали различные коллективы, среди которых следует выделить группу Эдинбургского университета.

В Прологе реализован декларативный подход, при котором достаточно описать задачу с помощью правил и утверждений относительно заданных объектов. Если это описание является достаточно точным, то ЭВМ может самостоятельно найти требуемое решение.

Первая реализация — Prolog 10 (Дэвид Уоррен и др.) на PDP-10. Отсюда термин — эдинбургский синтаксис, или синтаксис DEC10. В настоящее время имеется обширное семейство языков логического программирования, построенных на базе языка Пролог, например, Prolog-2, Prolog++, Prolog-Linda, Prolog-III, Turbo Prolog, PDS Prolog и др.
(Англо-русский компьютерный словарь)

Язык Smalltalk

Язык SmallTalk (Смолток, Смолтолк — досл. «короткий разговор») — его разработали в 1972 г. Алан Кей (Alan Kay) и сотрудники исследовательской группы Software Concept Group фирмы Xerox PARK (США). Первый объектно-ориентированный язык сверхвысокого уровня.

Характеризуется интерактивным графическим взаимодействием с пользователем. В нём использованы концепции классов и сообщений из языка Simula-67.

Язык прошел следующие версии: Smalltalk-72, Smalltalk-74, Smalltalk-76, Smalltalk-78, Smalltalk-80, GNU Smalltalk, Smalltalk/V.

Диалектом языка Smalltalk является язык программирования Squeak, имеющий кросс-платформенную реализацию. Первоначально Squeak был разработан группой программистов Apple Computer, в которую входили некоторые разработчики Smalltalk-80.

Литература по нейроинформатике и нейрокомпьютерной технике

• Горбань А. Н., Россиев Д. А.Нейронные сети на персональном компьютере. Новосибирск: Наука, 1996.
• Ежов А. А., Шумский С. А.Нейрокомпьютеринг и его приложения в экономике и бизнесе. М.: Изд-во МИФИ, 1998.
• Искусственный интеллект. Справочник. В 3-х т./ Под ред. Д. А. Поспелова. Т. 2. Модели и методы. М.: Радио и связь, 1990.
• Нейроинформатика / А. Н. Горбань, В. А. Дунин-Барковский, А. Н. Кирдин и др. Новосибирск: Наука., 1998.
• Нейронные сети и их применение в системах управления и связи. Комашинский В.И.. Изд-во , 2003. 94 с.
  Изложены основы теории искусственных нейронных сетей. Показано место нейронных сетей в эволюции интеллектуальных систем управления. Рассмотрены общие вопросы применения искусственных нейронных сетей в системах управления и связи. Отмечены преимущества, которые дает применение нейроинформационных технологий при решении многих как нетрадиционных, так и традиционных задач управления и связи.
  Заказать на Библионе,
• Плотников В. М., Суханов В. А.Системы, основанные на знаниях. М. 1995.
• Толковый словарь по искусственному интеллекту. М.: Радио и связь, 1992.
• Уоссерман Ф.Нейрокомпьютерная техника: Теория и практика. М.: Мир, 1992.

Нейрокомпьютерные технологии

Дата добавления: 2014-05-22 ; просмотров: 2828 ; Нарушение авторских прав

Нейрокомпьютерные технологии используют взаимодействующие друг с другом специальные нейрокомпоненты на базе микропроцессоров. Такой подход основан на моделировании поведения нервных клеток (нейронов).

Нейрон (биологический) – одна из 1015 клеток мозга, способная генерировать электрический импульс, в случае, когда суммарный потенциал превысит критическую величину. Соединяясь друг с другом, нейроны образуют сеть, по которой путешествуют электрические импульсы. Контакты между нейронами (синапсы), могут менять эффективность передачи сигналов (вес связи) от нейрона к нейрону. Самая популярная на сегодняшний день гипотеза основана на том, что именно нейронные сети мозга обрабатывают информацию. При этом «обучение» сети и запоминание информации базируется на настройке значений весов связей между нейронами [8].

С самого начала развития компьютерной техники были намечены два принципиально разных подхода к обработке информации: принцип последовательной обработки сигналов и параллельное распознавание образов. Последовательная обработка была реализована в виде общераспространенных процессоров электронно-вычислительных машин, что определило основное занятие ЭВМ на десятилетия вперед — решение задач с помощью запрограммированных человеком алгоритмов.

В то же время описание операций над многобитовыми образами при использовании последовательного принципа обработки команд оказалось невозможным, из-за большой сложности описания образов. Требовались качественно другие подходы и модели обработки информации. За основу новых решений были приняты принципы функционирования биологических нейронных сетей, которые составляют основу деятельности человеческого мозга с «образами» внешнего мира — распознавание сенсорной информации и выработка адекватной реакции на внешние воздействия. Появились аналоги биологических нейронных сетей в виде искусственных нейросетей, реализуемых на компьютерах. Основная задача нейросетей — не выполнение внешних алгоритмов, а выработка собственных в процессе обучения — отбраковки неверных решений, т.е. устранения ошибок каждого нейрона.

В настоящее время нейрокомпьютерная технология является одним из наиболее перспективных направлений развития вычислительной техники, основой которой являются искусственные нейронные сети (рис. 17), представляющие собой устройства параллельных вычислений, состоящие из множества простых процессоров. Для представления и обработки данных в искусственных нейронных сетях могут быть использованы позиционные и непозиционные системы счисления. Позиционные системы являются традиционными и для согласования их с нейронными сетями используются искусственные приемы, которые снижают положительные свойства нейронных сетей, связанные с параллельными вычислениями. Непозиционные системы счисления, в частности, система остаточных классов, является параллельной системой и обеспечивает параллелизм на уровне выполнения элементарных операций, т.е. система остаточных классов является естественной основой представления данных в нейронных сетях, обеспечивая их новыми свойствами и возможностями.

Рис. 17. Архитектура нейронной сети

Искусственная нейронная сеть (artificial neural network) – это параллельная система обработки информации, состоящая из обрабатывающих элементов (нейронов), которые локально выполняют операции над поступающими сигналами и могут обладать локальной памятью. Элементы связаны друг с другом однонаправленными каналами передачи сигналов. Каждый обрабатывающий элемент имеет единственный выход, иногда разветвляющийся на несколько каналов (связей), по каждому из которых передается один и тот же выходной (результирующий) сигнал обрабатывающего элемента. Правила образования результирующего сигнала (правила обработки информации внутри элемента) могут варьироваться в широких пределах, важно лишь, чтобы обработка была локальной. Это означает, что обработка должна зависеть от текущих значений входных сигналов, поступающих на элемент через связи и от значений, хранящихся в локальной памяти элемента.

Считается, что теория нейронных сетей, как научное направление, впервые была обозначена в классической работе МакКаллока и Питтса 1943 г., в которой утверждалось, что, в принципе, любую арифметическую или логическую функцию можно реализовать с помощью простой нейронной сети. В 1958 г. Фрэнк Розенблатт придумал нейронную сеть, названную перцептроном, и построил первый нейрокомпьютер Марк-1 . Перцептрон был предназначен для классификации объектов. На этапе обучения «учитель» сообщает перцептрону к какому классу принадлежит предъявленный объект. Обученный перцептрон способен классифицировать объекты, в том числе не использовавшиеся при обучении, делая при этом очень мало ошибок [31].

Новый взлет теории нейронных сетей начался в 1983-1986 г. г. При этом важную роль сыграли работы группы PDP (Parallel Distributed Processing) . В них рассматривались нейронные сети, названные многослойными перцептронами, которые оказались весьма эффективными для решения задач распознавания, управления и предсказания. (Многослойные перцептроны занимают ведущее положение, как по разнообразию возможностей использования, так и по количеству успешно решенных прикладных задач).

Отличительной чертой нейросетей является глобальность связей. Нейроны изначально нацелены на работу с векторной информацией, поскольку каждый нейрон, как правило, связан со всеми нейронами предыдущего слоя обработки данных. Специализация связей возникает лишь на этапе их настройки — обучения на конкретных данных. Архитектура процессора или, иначе говоря, алгоритм решения конкретной задачи проявляется по мере обучения. Каждый нейрон производит простейшую операцию — взвешивает значения своих входов со своими локально хранимыми синаптическими весами и производит над их суммой нелинейное преобразование. Нелинейность выходной функции активации принципиальна, поскольку при ее линейности любая последовательность нейронов производила бы линейное преобразование и, следовательно, была бы эквивалентна одному слоя нейронов. Нелинейность разрушает линейную суперпозицию и приводит к тому, что возможности нейросети много выше возможностей отдельных нейронов.

В основе обучения нейросетей лежит метод градиентной оптимизации — итерационное изменение синаптических весов, постепенно понижающее ошибку обработки нейросетью обучающих примеров. Причем изменения весов происходят с учетом локального градиента функции ошибки. Эффективным методом нахождения этого градиента является так называемый алгоритм обратного распространения ошибки.

Отличия ответов нейросети от заданных распространяются по сети навстречу потоку сигналов. В итоге каждый нейрон может определить вклад каждого своего веса в ошибку сети простым умножением невязки на значение соответствующего входа. Таким образом, одна и та же структура связей используется эффективно и для функционирования и для обучения нейросети. Эта структура позволяет вычислять градиент целевой функции почти так же быстро, как и саму функцию, причем с использованием распределенных вычислений нейронов.

Привлекательные черты обработки информации в нейросетях:

1. Из-за глобальности связей между нейронами, нейросетям присущ параллелизм обработки информации, причем структура сети не фиксирована, а проявляется под каждую конкретную задачу по мере обучения.

2. Единый и эффективный принцип обучения нейросетей — минимизация эмпирической ошибки методом ее обратного распространения по сети. Извне задается лишь цель обучения — сеть сама себя конфигурирует, минимизируя эту ошибку.

3. Нейросети могут вырабатывать собственные, достаточно сложные алгоритмы обработки данных и, таким образом, решать неформализованные задачи.

Детальный анализ разработок нейрокомпьютеров [26; 41; 42; 43] позволяет выделить основные перспективные направления современного развития нейрокомпьютерных технологий: нейропакети, нейросетевые экспертные системы, СУБД с включением нейросетевых алгоритмов, обработка изображений, управление динамическими системами и обработка сигналов, управление финансовой деятельностью, оптические нейрокомпьютеры, виртуальная реальность. Разработками в этой области занимается более 300 заграничных компаний, причем число их постоянно увеличивается. Среди них такие гиганты, как Intel, IBM и Motorolla. Сегодня наблюдается тенденция перехода от программных реализаций к программно-аппаратной реализации нейросетевых алгоритмов с резким увеличением числа разработок нейрочипів с нейросетевой архитектурой. Резко выросло количество военных разработок, в основном направленных на создание сверхскоростных, «умных» супервычислителей.

Если говорить про основное направление — интеллектуализацию вычислительных систем, придание им свойств человеческого мышления и восприятия, то здесь нейрокомпьютеры — практически единственный путь развития вычислительной техники. Большинство неудач на пути усовершенствования искусственного интеллекта на протяжении последних 30 лет связано с тем, что для решения важных и сложных по постановке задач выбирались вычислительные средства, не адекватные по возможностям решаемой задаче, в основном из числа традиционных компьютеров. При этом, как правило, не решалась задача, а показывалась принципиальная возможность ее решения. Сегодня активное развитие компьютерных технологий создал объективные условия для построения вычислительных систем, адекватных по возможностям и архитектуре практически любым задачам искусственного интеллекта.

В Японии с 1993 года принята программа «Real world computing program». Ее основная цель — создание эволюционирующей адаптивной ЭВМ. Проект рассчитан на 10 лет. Основой разработки является нейротехнология, которая используется для распознавания образов, обработки семантической информации, управления информационными потоками и роботами, способных адаптироваться к окружающей среде. Только в 1996 году было проведено около сотни международных конференций по нейрокомпьютерам и смежным проблемам. Разработки нейрокомпьютеров ведутся в многих странах мира, в частности, в Австрали создан образец коммерческого супернейрокомпьютера.

Для какого класса задач эффективно применение вычислительного устройства, построенного по новой технологии? Относительно нейрокомпьютеров ответ на этот вопрос постоянно меняется на протяжении 50 лет.

В истории вычислительной техники всегда были задачи, не решаемые традиционными компьютерами с архитектурой фон Неймана и для них переход к нейросетевым технологиям закономерен в случае увеличения размерности пространства или сокращения времени обработки. Можно выделить три участка применения нейросетевым технологий: общий, прикладной и специальный.

Общие задачисводятся к обработке нейронною сетью многомерных массивов переменных, например:

— контроль кредитных карточек. Сегодня 60% кредитных карточек в США обрабатываются с помощью нейросетевых технологий;

— система выявления скрытых веществ с помощью системы на базе тепловых нейронов и с помощью нейрокомпьютера на заказанных цифровых нейрочипах. Подобная система фирмы SAIC эксплуатируется во многих аэропортах США при обзоре багажа для выявления наркотиков, взрывных веществ, ядерных и других материалов;

— система автоматизированного контроля безопасного сохранения ядерных изделий.

Прикладные задачи.Перспективными задачами обработки изображений нейрокомпьютеров является обработка аэрокосмических изображений (сжатие с восстановлением, сегментация, обработка изображений), поиск, выделение и распознавание на изображении подвижных объектов заданной формы, обработка потоков изображений, обработка информации в высокопроизводительных сканерах.

Обработка сигналов.В первую очередь это класс задач, связанный с прогнозированием временных зависимостей:

— прогнозирование финансовых показателей;

— прогнозирование надежности электродвигателей;

— предвидение мощности АЭС и прогнозирование надежности систем электропитания на самолетах.

При решении этих задач наблюдается переход от простейших регрессионных и других статистических моделей прогноза до нелинейных адаптивных экстраполирующих фильтров, реализованных в виде сложных нейронных сетей.

Системы управления динамическими объектами.Это одна из самых перспективных, областей применения нейрокомпьютеров. В США и Финляндия ведут работы по использованию нейрокомпьютеров для управления химическими реакторами. В странах СНГ этим не занимались, в частности, через моральное устарение существующих реакторов и нецелесообразность усовершенствования их систем управления.

Перспективной считается разработка нейрокомпьютера для управления подвижной установкой гиперзвукового самолета. Актуальной для решения с помощью нейрокомпьютера является задача обучения нейронной сети изготовлению точного маневра истребителя, задача управления роботами: прямая, обратная кинематическая и динамическая задачи, планирование маршрута движения работа. Переход к нейрокомпьютерам связан в первую очередь с ограниченностью объемов размещения вычислительных систем, а также с необходимостью реализации эффективного управления в реальном масштабе времени.

Нейросетевые экспертные системы.Необходимость реализации экспертных систем с алгоритмом нейросетей возникает при значительном увеличении числа правил и выводов. Примерами реализации конкретных нейросетевых экспертных систем могут служить система выбора воздушных маневров в ходе воздушного боя и медицинская диагностическая экспертная система для оценки состояния летчика.

Нейрочипы и нейрокомпьютеры.Главным результатом разработки нейросетевых алгоритмов решения задачи является возможность создания архитектуры нейрочипа, адекватной решаемой задаче. Для реализации нейросетевых алгоритмов с использованием универсальных микропроцессорных средств эффективней создать архитектуру, ориентированную на выполнение нейросетевых операций, чем использовать стандартные алгоритмы, ориентированные на модификацию решения задачи.

В отличие от других направлений развития сверхпродуктивной вычислительной техники, нейрокомпьютеры дают возможность вести разработки с использованием имеющегося потенциала электронной промышленности. Необходимо отметить ряд важных особенностей данных работ:

— это направление разрешает создавать уникальные суперкомпьютеры на имеющейся элементной базе;

— разработки нейрочипов и нейрокомпьютеров характеризуются переходом от цифровой обработки до аналого-цифровой и аналоговой;

— нейросетевые архитектуры по сравнению с другими приводят к активизации использования новых технологических направлений реализации: нейросистемы на пластмассе, оптоэлектронные и оптические нейрокомпьютеры, молекулярные нейрокомпьютеры и нанонейроэлементы; возникает потребность в универсализации САПР нейрочипов.

— создание технологии систем на пластмассе и нанотехнологии может привести к появлению новых сверхпараллельных архитектур. Начиная с нанонейроэлементов, мы вплотную подходим к принципиально новым архитектурным элементам, образующие сверхпараллельные высокопроизводительные вычислительные системы.

Таким образом, нейрокомпьютеры являются перспективным направлением развития современной высокопроизводительной вычислительной техники, а теория нейронных сетей представляет собой приоритетные направления вычислительной науки, и при соответствующей поддержке интенсивно развиваются.

Нейрокомпьютеры: от разработки до применения

I.Введение Прошло уже много лет с того момента, когда появилась первая ЭВМ. За это время сменилось уже несколько поколений вычислительных машин. Менялись элементная база, конструктивные решения, языки программирования, программ­ное обеспечение, но основы архитектуры, заложенные при создании машин первого поколения, практически без изменения перешли на машины последующих и успешно работают до настоящего времени.Нет сомнений, что идеи […]

Февраль 09th, 2010

Прошло уже много лет с того момента, когда появилась первая ЭВМ. За это время сменилось уже несколько поколений вычислительных машин. Менялись элементная база, конструктивные решения, языки программирования, программ­ное обеспечение, но основы архитектуры, заложенные при создании машин первого поколения, практически без изменения перешли на машины последующих и успешно работают до настоящего времени.Нет сомнений, что идеи машин первого поколения ещё послужат человеку. Однако всё настоятельнее требуются системы, наделённые элементами интеллекта при обработке колоссального объёма информации и в то же время работающие в темпе управляемых процессов.

В таких прикладных областях деятельности человека, как космология, молекулярная биология, гидрология, охрана окружающей среды, медицина, экономика и многих других, сформулированы проблемы, решение которых потребует вычислительных машин, обладающих колоссальными ресурсами.

На сегодняшний день высокие технические характеристики реализуется только с помощью дорогостоящих уникальных архитектур от CRAY, SGI, Fujitsu, Hitachi с несколькими тысячами процессоров.

В настоящее время концептуально разработаны методы достижения высокого быстродействия, которые охватывают все уровни проектирования вычислительных систем. На самом нижнем уровне – это передовая технология конструирования и изготовления быстродействующей элементной базы и плат с высокой плотностью монтажа.

Теоретически совершенствование элементной базы – самый простой метод повышения производительности вычислительных систем. Однако на практике он приводит к существенному удорожанию новых разработок. Следовательно, требуется разработка новых принципов вычислений, позволяющих ставить и решать задачи подобного типа, а также способных значительно повысить скорость обработки традиционных вычислительных алгоритмов. К числу новых направлений можно отнести и нейрокомпьютеры.

1. Что такое нейрокомпьютер

Нейрокомпьютеры — это системы, в которых алгоритм решения задачи представлен логической сетью элементов частного вида — нейронов с полным отказом от булевских элементов типа И, ИЛИ, НЕ. Как следствие этого введены специфические связи между элементами, которые являются предметом отдельного рассмотрения. В отличие от классических методов решения задач нейрокомпьютеры реализуют алгоритмы решения задач, представленные в виде нейронных сетей. Это ограничение позволяет разрабатывать алгоритмы, потенциально более параллельные, чем любая другая их физическая реализация.

Нейросетевая тематика является междисциплинарной, что обусловило значительные разночтения в общих терминологических подходах. Нейросетевой тематикой занимаются как разработчики вычислительных систем и программисты, так и специалисты в области медицины, финансово-экономические работники, химики, физики и т.п. (т.е. все кому не лень). То, что понятно физику, совершенно не принимается медиком и наоборот — все это породило многочисленные споры и целые терминологические войны по различным направлениям применения всего где есть приставка нейро-.

Приведем некоторые наиболее устоявшиеся определения нейрокомпьютера

Илон Маск рекомендует:  Многозадачность в javame при http соединении

В дальнейшем под нейрокомпьютером будем понимать вычислительную систему с архитектурой MSIMD, в которой реализованы два принципиальных технических решения: упрощен до уровня нейрона процессорный элемент однородной структуры и резко усложнены связи между элементами; программирование вычислительной структуры перенесено на изменение весовых связей между процессорными элементами.

Общее определение нейрокомпьютера может быть представлено в следующем виде:

Нейрокомпьютер — это вычислительная система с архитектурой аппаратного и программного обеспечения, адекватной выполнению алгоритмов, представленных в нейросетевом логическом базисе

2. История нейрокомпьютеров

Нейрокомпьютеры – это ЭВМ нового поколения, качественно отличающиеся от других классов вычислительных систем параллельного типа тем, что для решения задач они используют не заранее разработанные алгоритмы, а специальным образом подобранные примеры, на которых учатся. Их появление обусловлено объективными причинами: развитие элементной базы, позволяющее на одной плате реализовать персональный компьютер – полнофункциональный компьютер (модель нейрона), и необходимость решения важных практических задач, поставленных действительностью. Попытки создания ЭВМ, моделирующих работу мозга, предпринимались ещё в 40-х гг. специалистами по нейронной кибернетике. Они стремились разработать самоорганизующиеся системы, способные обучаться интеллектуальному поведению в процессе взаимодействия с окружающим миром, причём компонентами их систем обычно являлись модели нервных клеток. Однако зарождавшаяся в это же время вычислительная техника и связанные с нею науки, особенно математическая логика и теория автоматов, оказали сильное влияние на области исследования, связанные с мозгом.

К концу 50-х гг. сформировался логико-символьный подход к моделированию интеллекта. Его развитие создало такие направления, как эвристическое программирование и машинный интеллект, и способствовало угасанию интереса к нейронным сетям. К началу 80-х гг. были созданы условия для возрождения интереса к нейросетевым моделям. Это было связано с накоплением новых данных при экспериментальных исследованиях мозга.

К настоящему времени сформировался обширный рынок нейросетевых продуктов. Подавляющее большинство продуктов представлено в виде моделирующего программного обеспечения. Ведущие фирмы разрабатывают также и специализированные нейрочипы или нейроплаты в виде приставок персональным ЭВМ. Наиболее ярким прототипом супернейрокомпьютера является система обработки аэрокосмических изображений, разработанная в США по программе «Силиконовый мозг». Объявленная производительность супернейрокомпьютера составляет 80 PFLOPS (80?1015 операций с плавающей точкой в 1 с) при физическом объёме, равном объёму человеческого мозга, и потребляемой мощности 20 Вт.

В июле 1992 г. в Японии была принята Пятая Программа (действующая и поныне), связанная с созданием координационного исследовательского центра по реализации международного проекта Real World Computing Partnership (RWCP), основной целью которого являлась разработка практических методов решения реальных задач на основе гибких и перспективных информационных технологий.

В настоящее время в рамках развития этого проекта создана трансконтинентальная сеть на базе гетерогенной вычислительной среды, объединяющей Суперкомпьютерный центр в Штутгарте (Германия), Компьютерный центр в Питсбурге (шт. Пенсильвания), Электротехническую лабораторию в Тшукубе (Япония), Компьютерный центр в Манчестере (Великобритания), в которой часть пользовательских компьютеров выполнена по нейросетевой технологии. Пиковая производительность образованного сверхсуперкомпьютера составила 2.2 TFLOPS.

Считается, что теория нейронных сетей, как научное направление, впервые была обозначена в классической работе МакКаллока и Питтса[1] 1943 г., в которой утверждалось, что, в принципе, любую арифметическую или логическую функцию можно реализовать с помощью простой нейронной сети. В 1958 г. Фрэнк Розенблатт [2] придумал нейронную сеть, названную перцептроном, и построил первый нейрокомпьютер Марк-1 . Перцептрон был предназначен для классификации объектов. На этапе обучения “учитель” сообщает перцептрону к какому классу принадлежит предъявленный объект. Обученный перцептрон способен классифицировать объекты, в том числе не использовавшиеся при обучении, делая при этом очень мало ошибок. Примерно в это же время вышла работа Минского и Пейперта[3], указавшая ограниченные возможности простейшего перцептрона. Результаты Минского и Пейперта погасили энтузиазм большинства исследователей, особенно тех, кто работал в области вычислительных наук.

С начала 80-х годов ИНС вновь привлекли интерес исследователей, что связано с энергетическим подходом Хопфилда[4] и алгоритмом обратного распространения для обучения многослойного перцептрона (многослойные сети прямого распространения), впервые предложенного Вербосом[5] . При этом важную роль сыграли работы группы PDP (Parallel Distributed Processing) . В них рассматривались нейронные сети, названные многослойными перцептронами, которые оказались весьма эффективными для решения задач распознавания, управления и предсказания. (Многослойные перцептроны занимают ведущее положение, как по разнообразию возможностей использования, так и по количеству успешно решенных прикладных задач .)

3. Преимущества нейрокомпьютеров.

По сравнению с обычными компьютерами нейрокомпьютеры обладают рядом преимуществ.

Во первых — высокое быстродействие, связанное с тем, что алгоритмы нейроинформатики обладают высокой степенью параллельности.

Во вторых — нейросистемы делаются очень устойчивыми к помехам и разрушениям.

В третьих — устойчивые и надежные нейросистемы могут создаваться из ненадежных элементов, имеющих значительный разброс параметров.

4. Недостатки нейрокомпьютеров.

Несмотря на перечисленные выше преимущества эти устройства имеют ряд недостатков:

1. Они создаются специально для решения конкретных задач, связанных с нелинейной логикой и теорией самоорганизации. Решение таких задач на обычных компьютерах возможно только численными методами.

2. В силу своей уникальности эти устройства достаточно дорогостоящи.

5. Практическое применение нейрокомпьютеров.

Несмотря на недостатки, нейрокомпьютеры могут быть успешно использованы в различных областях народного хозяйства.

— Управление в режиме реального времени: самолетами, ракетами и технологическими процессами непрерывного производства (металлургического, химического и др.);

— Распознавание образов: человеческих лиц, букв и иероглифов, сигналов радара и сонара, отпечатков пальцев в криминалистике, заболеваний по симптомам (в медицине) и местностей, где следует искать полезные ископаемые (в геологии, по косвенным признакам);

— Прогнозы: погоды, курса акций (и других финансовых показателей), исхода лечения, политических событий (в частности результатов выборов), поведения противников в военном конфликте и в экономической конкуренции;

— Оптимизация и поиск наилучших вариантов: при конструировании технических устройств, выборе экономической стратегии и при лечении больного.

Этот список можно продолжать, но и сказанного достаточно для того, чтобы понять, что нейрокомпьютеры могут занять достойное место в современном обществе.

Что же представляет из себя нейрокомпьютер? Нейрокомпьютеры бывают двух типов:

1. Большие универсальные компьютеры построенные на множестве нейрочипов.

2. Нейроимитаторы, представляющие собой программы для обычных компьютеров, имитирующие работу нейронов. В основе такой программы заложен алгоритм работы нейрочипа с определенными внутренними связями. Что — то типа “Черного ящика”, по принципу которого он и работает. На вход такой программы подаются исходные данные и на основании закономерностей, связанных с принципом работы головного мозга, делаются выводы о правомерности полученных результатов.

Нейронные сети это всего-навсего сети, состоящие из связанных между собой простых элементов формальных нейронов. Большая часть работ по нейроинформатике посвящена переносу различных алгоритмов решения задач на такие сети.

В основу концепции положена идея о том, что нейроны можно моделировать довольно простыми автоматами, а вся сложность мозга, гибкость его функционирования и другие важнейшие качества определяются связями между нейронами. Каждая связь представляется как совсем простой элемент, служащий для передачи сигнала. Коротко эту мысль можно выразить так: “структура связей все, свойства элементов ничто”.

Совокупность идей и научно-техническое направление, определяемое описанным представлением о мозге, называется коннекционизмом (connection связь). С реальным мозгом все это соотносится примерно так же, как карикатура или шарж со своим прототипом. Важно не буквальное соответствие оригиналу, а продуктивность технической идеи.

С коннекционизмом тесно связан следующий блок идей:

однородность системы (элементы одинаковы и чрезвычайно просты, все определяется структурой связей);
надежные системы из ненадежных элементов и “аналоговый ренессанс” использование простых аналоговых элементов;
“голографические” системы при разрушении случайно выбранной части система сохраняет свои свойства.

Предполагается, что широкие возможности систем связей компенсируют бедность выбора элементов, их ненадежность и возможные разрушения части связей.

Для описания алгоритмов и устройств в нейроинформатике выработана специальная “схемотехника”, в которой элементарные устройства (сумматоры, синапсы, нейроны и т.п.) объединяются в сети, предназначенные для решения задач. Для многих начинающих кажется неожиданным, что ни в аппаратной реализации нейронных сетей, ни в профессиональном программном обеспечении эти элементы вовсе не обязательно реализуются как отдельные части или блоки. Используемая в нейроинформатике идеальная схемотехника представляет собой особый язык описания нейронных сетей и их обучения. При программной и аппаратной реализации выполненные на этом языке описания переводятся на более подходящие языки другого уровня.

Самый важный элемент нейросистем адаптивный сумматор, который вычисляет скалярное произведение вектора входного сигнала x на вектор параметров a. Адаптивным он называется из-за наличия вектора настраиваемых параметров a.

Нелинейный преобразователь сигнала получает скалярный входной сигнал x и переводит его в заданную нелинейную функцию f(x).

Точка ветвления служит для рассылки одного сигнала по нескольким адресам. Она получает скалярный входной сигнал x и передает его на все свои выходы.

Стандартный формальный нейрон состоит из входного сумматора, нелинейного преобразователя и точки ветвления на выходе.

Линейная связь синапс отдельно от сумматоров не встречается, однако для некоторых рассуждений бывает удобно выделить этот элемент. Он умножает входной сигнал x на “вес синапса” a.

Итак, мы коротко описали основные элементы, из которых состоят нейронные сети.

IV.Задачи для нейронных сетей

Многие задачи, для решения которых используются нейронные сети, могут рассматриваться как частные случаи следующих основных проблем:

построение функции по конечному набору значений;
оптимизация;
построение отношений на множестве объектов;
распределенный поиск информации и ассоциативная память;
фильтрация;
сжатие информации;
идентификация динамических систем и управление ими;
нейросетевая реализация классических задач и алгоритмов вычислительной математики: решение систем линейных уравнений, решение задач математической физики сеточными методами и др.

Нейронные сети возникли из исследований в области искусственного интеллекта, а именно, из попыток воспроизвести способность биологических нервных систем обучаться и исправлять ошибки.
Такие системы основывались на высокоуровневом моделировании процесса мышления на обычных компьютерах. Скоро стало ясно, чтобы создать искусственный интеллект, необходимо построить систему с похожей на естественную архитектурой, т. е. перейти от программной реализации процесса мышления к аппаратной.
Естественным продолжением аппаратного и программного подхода к реализации нейрокомпьютера является программно-аппаратный подход.
Аппаратный подход связан с созданием нейрокомпьютеров в виде нейроподобных структур (нейросетей) электронно-аналогового, оптоэлектронного и оптического типов. Для таких компьютеров разрабатываются специальные СБИС (нейрочипы).
Основу нейросетей составляют относительно простые, в большинстве случаев — однотипные, элементы (ячейки), имитирующие работу нейронов мозга — искусственные нейроны. Нейрон обладает группой синапсов — однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон — выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Каждый синапс характеризуется величиной синаптической связи или ее весом, который по физическому смыслу эквивалентен электрической проводимости в электрических связях.
Для решения отдельных типов задач существуют оптимальные конфигурации нейронных сетей. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации. При этом он руководствуется несколькими основополагающими принципами: возможности сети возрастают с увеличением числа ячеек сети, плотности связей между ними и числом слоев нейронов. Одной из важных особенностью нейронной сети является возможность к обучению. Обучение нейросети может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей. Во втором случае выходы нейросети формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы. После обучения на достаточно большом количестве примеров можно использовать обученную сеть для прогнозирования, предъявляя ей новые входные значения. Это важнейшее достоинство нейрокомпьютера, позволяющие ему решать интеллектуальные задачи, накапливая опыт.

VI.Список используемой литературы:

А.Горбань, Д. Россиев. Нейронные сети на персональном компьютере. //Новосибирск: Наука, 1996.
Ф.Уоссермен, Нейрокомпьютерная техника, М.,Мир, 1992.
Итоги науки и техники: физические и математические модели нейронных сетей, том 1, М., изд. ВИНИТИ, 1990.

Нейрокомпьютеры (стр. 1 из 4)

Что такое нейронные сети?. 2

Биологический нейрон. 5

СЕТЬ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ ПОЛНОСТЬЮ 64

ПРИЛОЖЕНИЕ: СЖАТИЕ ДАННЫХ 66

ГЛАВА 5. СТОХАСТИЧЕСКИЕ МЕТОДЫ 68

ИСПОЛЬЗОВАНИЕ ОБУЧЕНИЯ 68

ПРИЛОЖЕНИЯ К ОБЩИМ НЕЛИНЕЙНЫМ ЗАДАЧАМ ОПТИМИЗАЦИИ 75

ОБРАТНОЕ РАСПРОСТРАНЕНИЕ И ОБУЧЕНИЕ КОШИ 76

ГЛАВА 6. СЕТИ ХОПФИЛДА 81

КОНФИГУРАЦИИ СЕТЕЙ С ОБРАТНЫМИ СВЯЗЯМИ 82

ГЛАВА 7. ДВУНАПРАВЛЕННАЯ АССОЦИАТИВНАЯ ПАМЯТЬ 98

СТРУКТУРА ДАП 99

ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХ АССОЦИАЦИЙ 100

КОДИРОВАНИЕ АССОЦИАЦИЙ 102

ЕМКОСТЬ ПАМЯТИ 102

НЕПРЕРЫВНАЯ ДАП 102

АДАПТИВНАЯ ДАП 102

КОНКУРИРУЮЩАЯ ДАП 102

ГЛАВА 8. АДАПТИВНАЯ РЕЗОНАНСНАЯ ТЕОРИЯ 102

АРХИТЕКТУРА APT 102

РЕАЛИЗАЦИЯ APT 102

ПРИМЕР ОБУЧЕНИЯ СЕТИ APT 102

ХАРАКТЕРИСТИКИ APT 102

ГЛАВА 9. ОПТИЧЕСКИЕ НЕЙРОННЫЕ СЕТИ 102

ВЕКТОРНО-МАТРИЧНЫЕ УМНОЖИТЕЛИ 102

ГОЛОГРАФИЧЕСКИЕ КОРРЕЛЯТОРЫ 102

ГЛАВА 10. КОГНИТРОН И НЕОКОГНИТРОН 102

ПРИЛОЖЕНИЕ А. БИОЛОГИЧЕСКИЕ НЕЙРОННЫЕ СЕТИ 102

ЧЕЛОВЕЧЕСКИЙ МОЗГ: БИОЛОГИЧЕСКАЯ МОДЕЛЬ ДЛЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 102

ОРГАНИЗАЦИЯ ЧЕЛОВЕЧЕСКОГО МОЗГА 102

КОМПЬЮТЕРЫ И ЧЕЛОВЕЧЕСКИЙ МОЗГ 102

ПРИЛОЖЕНИЕ Б. АЛГОРИТМЫ ОБУЧЕНИЯ 102

ОБУЧЕНИЕ С УЧИТЕЛЕМ И БЕЗ УЧИТЕЛЯ 102

МЕТОД ОБУЧЕНИЯ ХЭББА 102

ВХОДНЫЕ И ВЫХОДНЫЕ ЗВЕЗДЫ 102

ОБУЧЕНИЕ ПЕРСЕПТРОНА 102

МЕТОД ОБУЧЕНИЯ УИДРОУ-ХОФФА 102

МЕТОДЫ СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ 102

Что такое искусственные нейронные сети? Что они могут делать? Как они работают? Как их можно использовать? Эти и множество подобных вопросов задают специалисты из разных областей. Найти вразумительный ответ нелегко. Университетских курсов мало, семинары слишком дороги, а соответствующая литература слишком обширна и специализированна. Готовящиеся к печати превосходные книги могут обескуражить начинающих. Часто написанные на техническом жаргоне, многие из них предполагают свободное владение разделами высшей математики, редко используемыми в других областях.

Эта книга является систематизированным вводным курсом для профессионалов, не специализирующихся в математике. Все важные понятия формулируются сначала обычным языком. Математические выкладки используются, если они делают изложение более ясным. В конце глав помещены сложные выводы и доказательства, а также приводятся ссылки на другие работы. Эти .

Рубрики

Все материалы представлены исключительно для ознакомления. Ни создатели библиотеки, ни хостинг-провайдер, ни кто-либо еще не несут никакой ответственности за собранные здесь материалы. Все авторские права принадлежат их владельцам.

Нейрокомпьютерная техника

страница	1/14
Дата	12.07.2020
Размер	2.17 Mb.
Тип	Обзор

Илон Маск рекомендует:  Что такое код hw_api >srcanchors

Навигация по данной странице:
• Предисловие
• БЛАГОДАРНОСТИ

Ф. Уоссермен Нейрокомпьютерная техника: Теория и практика В книге американского автора в общедоступной форме излагаются основы построения нейрокомпьютеров. Описаны структура нейронных сетей и различные алгоритмы их настройки. Отдельные главы посвящены вопросам реализации нейронных сетей. Для специалистов в области вычислительной техники, а также студентов соответствующих специальностей вузов. Перевод на русский язык, Ю. А. Зуев, В. А. Точенов, 1992. ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ? 5 СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 5 ИСТОРИЧЕСКИЙ АСПЕКТ 6 ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ 8 ПЕРСПЕКТИВЫ НА БУДУЩЕЕ 8 Глава 1. Основы искусственных нейронных сетей 10 БИОЛОГИЧЕСКИЙ ПРОТОТИП 10 ИСКУССТВЕННЫЙ НЕЙРОН 11 ОДНОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 14 МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 14 ТЕРМИНОЛОГИЯ, ОБОЗНАЧЕНИЯ И СХЕМАТИЧЕСКОЕ ИЗОБРАЖЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 16 Глава 2. Персептроны 18 ПЕРСЕПТРОНЫ И ЗАРОЖДЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 18 ПЕРСЕПТРОННАЯ ПРЕДСТАВЛЯЕМОСТЬ 19 ОБУЧЕНИЕ ПЕРСЕПТРОНА 25 АЛГОРИТМ ОБУЧЕНИЯ ПЕРСЕПТРОНА 25 Глава 3. Процедура обратного распространения 28 ОБУЧАЮЩИЙ АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 28 Обзор обучения 30 ДАЛЬНЕЙШИЕ АЛГОРИТМИЧЕСКИЕ РАЗРАБОТКИ 35 Глава 4. Сети встречного распространения 37 ВВЕДЕНИЕ В СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ 37 СТРУКТУРА СЕТИ 37 НОРМАЛЬНОЕ ФУНКЦИОНИРОВАНИЕ 38 ОБУЧЕНИЕ СЛОЯ КОХОНЕНА 39 ОБУЧЕНИЕ СЛОЯ ГРОССБЕРГА 43 СЕТЬ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ ПОЛНОСТЬЮ 43 ПРИЛОЖЕНИЕ: СЖАТИЕ ДАННЫХ 44 Глава 5. Стохастические методы 46 ИСПОЛЬЗОВАНИЕ ОБУЧЕНИЯ 46 ПРИЛОЖЕНИЯ К ОБЩИМ НЕЛИНЕЙНЫМ ЗАДАЧАМ ОПТИМИЗАЦИИ 50 ОБРАТНОЕ РАСПРОСТРАНЕНИЕ И ОБУЧЕНИЕ КОШИ 51 Глава 6. Сети Хопфилда 53 КОНФИГУРАЦИИ СЕТЕЙ С ОБРАТНЫМИ СВЯЗЯМИ 54 Глава 7. Двунаправленная ассоциативная память 65 СТРУКТУРА ДАП 65 ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХ АССОЦИАЦИЙ 66 КОДИРОВАНИЕ АССОЦИАЦИЙ 67 ЕМКОСТЬ ПАМЯТИ 69 НЕПРЕРЫВНАЯ ДАП 69 АДАПТИВНАЯ ДАП 70 КОНКУРИРУЮЩАЯ ДАП 70 Глава 8. Адаптивная резонансная теория 71 АРХИТЕКТУРА APT 71 РЕАЛИЗАЦИЯ APT 77 ПРИМЕР ОБУЧЕНИЯ СЕТИ APT 79 ХАРАКТЕРИСТИКИ APT 81 Глава 9. Оптические нейронные сети 84 ВЕКТОРНО-МАТРИЧНЫЕ УМНОЖИТЕЛИ 84 ГОЛОГРАФИЧЕСКИЕ КОРРЕЛЯТОРЫ 89 Глава 10. Когнитрон и неокогнитрон 93 Приложение А. Биологические нейронные сети 107 БИОЛОГИЧЕСКАЯ МОДЕЛЬ ДЛЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 107 ОРГАНИЗАЦИЯ ЧЕЛОВЕЧЕСКОГО МОЗГА 107 КОМПЬЮТЕРЫ И ЧЕЛОВЕЧЕСКИЙ МОЗГ 112 Приложение Б. Алгоритмы обучения 114 ОБУЧЕНИЕ С УЧИТЕЛЕМ И БЕЗ УЧИТЕЛЯ 114 ВХОДНЫЕ И ВЫХОДНЫЕ ЗВЕЗДЫ 115 ОБУЧЕНИЕ ПЕРСЕПТРОНА 117 МЕТОД ОБУЧЕНИЯ УИДРОУ-ХОФФА 118 МЕТОДЫ СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ 118 Предисловие Эта книга является систематизированным вводным курсом для профессионалов, не специализирующихся в математике. Все важные понятия формулируются сначала обычным языком. Математические выкладки используются, если они делают изложение более ясным. В конце глав помещены сложные выводы и доказательства, а также приводятся ссылки на другие работы. Эти ссылки составляют обширную библиографию важнейших работ в областях, связанных с искусственными нейронными сетями. Такой многоуровневый подход не только предоставляет читателю обзор по искусственным нейронным сетям, но также позволяет заинтересованным лицам серьезнее и глубже изучить предмет. Значительные усилия были приложены, чтобы сделать книгу понятной и без чрезмерного упрощения материала. Читателям, пожелавшим продолжить более углубленное теоретическое изучение, не придется переучиваться. При упрощенном изложении даются ссылки на более подробные работы. Книгу не обязательно читать от начала до конца. Каждая глава предполагается замкнутой, поэтому для понимания достаточно лишь знакомства с содержанием гл. 1 и 2. Хотя некоторое повторение материала неизбежно, большинству читателей это не будет обременительно. Книга имеет практическую направленность. Если главы внимательно изучены, то большую часть сетей оказывается возможным реализовать на обычном компьютере общего назначения. Читателю настоятельно рекомендуется так и поступать. Никакой другой метод не позволит добиться столь же глубокого понимания. БЛАГОДАРНОСТИ Я хотел бы поблагодарить моих друзей и коллег, которые так великодушно дарили мне свое время и знания, исправляли мои ошибки и создавали атмосферу, способствующую развитию идей. Я хотел бы выразить мою особую признательность Dr. Surapol Dasananda, Santa Clara University; Dr. Elizabeth Center, College of Notre Dame; Dr. Peter Rowe, College of Notre Dame; Caries Rockwell, Microlog Corp.; Tom Schwartz, The Schwartz Associates; Dennis Reinhardt, Dair Corp.; Сое Miles-Schlichting; and Douglas Marquardt. Благодарю также Kyla Carlson и Nang Cao за помощь в подготовке иллюстраций. На мне лежит, разумеется, ответственность за все оставшиеся неисправленными ошибки, так как мои друзья и коллеги не могли опекать меня ежеминутно. Нейрокомпьютерная техника пролог Нейрокомпьютерная техника: Теория и практика В книге американского автора в общедоступной форме излагаются основы построения нейрокомпьютеров. Описаны структура нейронных сетей и различные алгоритмы их настройки. Отдельные главы посвящены вопросам реализации нейронных сетей. Для специалистов в области вычислительной техники, а также студентов соответствующих специальностей вузов. Перевод на русский язык, Ю. А. Зуев, В. А. Точенов, 1992. ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ? 5 СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 5 ИСТОРИЧЕСКИЙ АСПЕКТ 6 ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ 8 ПЕРСПЕКТИВЫ НА БУДУЩЕЕ 8 Глава 1. Основы искусственных нейронных сетей 10 БИОЛОГИЧЕСКИЙ ПРОТОТИП 10 ИСКУССТВЕННЫЙ НЕЙРОН 11 ОДНОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 14 МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 14 ТЕРМИНОЛОГИЯ, ОБОЗНАЧЕНИЯ И СХЕМАТИЧЕСКОЕ ИЗОБРАЖЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 16 Глава 2. Персептроны 18 ПЕРСЕПТРОНЫ И ЗАРОЖДЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 18 ПЕРСЕПТРОННАЯ ПРЕДСТАВЛЯЕМОСТЬ 19 ОБУЧЕНИЕ ПЕРСЕПТРОНА 25 АЛГОРИТМ ОБУЧЕНИЯ ПЕРСЕПТРОНА 25 Глава 3. Процедура обратного распространения 28 ВВЕДЕНИЕ В ПРОЦЕДУРУ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 28 ОБУЧАЮЩИЙ АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 28 Обзор обучения 30 ДАЛЬНЕЙШИЕ АЛГОРИТМИЧЕСКИЕ РАЗРАБОТКИ 35 Глава 4. Сети встречного распространения 37 ВВЕДЕНИЕ В СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ 37 СТРУКТУРА СЕТИ 37 НОРМАЛЬНОЕ ФУНКЦИОНИРОВАНИЕ 38 ОБУЧЕНИЕ СЛОЯ КОХОНЕНА 39 ОБУЧЕНИЕ СЛОЯ ГРОССБЕРГА 43 СЕТЬ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ ПОЛНОСТЬЮ 43 ПРИЛОЖЕНИЕ: СЖАТИЕ ДАННЫХ 44 Глава 5. Стохастические методы 46 ИСПОЛЬЗОВАНИЕ ОБУЧЕНИЯ 46 ПРИЛОЖЕНИЯ К ОБЩИМ НЕЛИНЕЙНЫМ ЗАДАЧАМ ОПТИМИЗАЦИИ 50 ОБРАТНОЕ РАСПРОСТРАНЕНИЕ И ОБУЧЕНИЕ КОШИ 51 Глава 6. Сети Хопфилда 53 КОНФИГУРАЦИИ СЕТЕЙ С ОБРАТНЫМИ СВЯЗЯМИ 54 Глава 7. Двунаправленная ассоциативная память 65 СТРУКТУРА ДАП 65 ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХ АССОЦИАЦИЙ 66 КОДИРОВАНИЕ АССОЦИАЦИЙ 67 ЕМКОСТЬ ПАМЯТИ 69 НЕПРЕРЫВНАЯ ДАП 69 АДАПТИВНАЯ ДАП 70 КОНКУРИРУЮЩАЯ ДАП 70 Глава 8. Адаптивная резонансная теория 71 АРХИТЕКТУРА APT 71 РЕАЛИЗАЦИЯ APT 77 ПРИМЕР ОБУЧЕНИЯ СЕТИ APT 79 ХАРАКТЕРИСТИКИ APT 81 Глава 9. Оптические нейронные сети 84 ВЕКТОРНО-МАТРИЧНЫЕ УМНОЖИТЕЛИ 84 ГОЛОГРАФИЧЕСКИЕ КОРРЕЛЯТОРЫ 89 Глава 10. Когнитрон и неокогнитрон 93 Приложение А. Биологические нейронные сети 107 БИОЛОГИЧЕСКАЯ МОДЕЛЬ ДЛЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 107 ОРГАНИЗАЦИЯ ЧЕЛОВЕЧЕСКОГО МОЗГА 107 КОМПЬЮТЕРЫ И ЧЕЛОВЕЧЕСКИЙ МОЗГ 112 Приложение Б. Алгоритмы обучения 114 ОБУЧЕНИЕ С УЧИТЕЛЕМ И БЕЗ УЧИТЕЛЯ 114 МЕТОД ОБУЧЕНИЯ ХЭББА 114 ВХОДНЫЕ И ВЫХОДНЫЕ ЗВЕЗДЫ 115 ОБУЧЕНИЕ ПЕРСЕПТРОНА 117 МЕТОД ОБУЧЕНИЯ УИДРОУ-ХОФФА 118 МЕТОДЫ СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ 118 Предисловие Эта книга является систематизированным вводным курсом для профессионалов, не специализирующихся в математике. Все важные понятия формулируются сначала обычным языком. Математические выкладки используются, если они делают изложение более ясным. В конце глав помещены сложные выводы и доказательства, а также приводятся ссылки на другие работы. Эти ссылки составляют обширную библиографию важнейших работ в областях, связанных с искусственными нейронными сетями. Такой многоуровневый подход не только предоставляет читателю обзор по искусственным нейронным сетям, но также позволяет заинтересованным лицам серьезнее и глубже изучить предмет. Значительные усилия были приложены, чтобы сделать книгу понятной и без чрезмерного упрощения материала. Читателям, пожелавшим продолжить более углубленное теоретическое изучение, не придется переучиваться. При упрощенном изложении даются ссылки на более подробные работы. Книгу не обязательно читать от начала до конца. Каждая глава предполагается замкнутой, поэтому для понимания достаточно лишь знакомства с содержанием гл. 1 и 2. Хотя некоторое повторение материала неизбежно, большинству читателей это не будет обременительно. Книга имеет практическую направленность. Если главы внимательно изучены, то большую часть сетей оказывается возможным реализовать на обычном компьютере общего назначения. Читателю настоятельно рекомендуется так и поступать. Никакой другой метод не позволит добиться столь же глубокого понимания. БЛАГОДАРНОСТИ Я хотел бы поблагодарить моих друзей и коллег, которые так великодушно дарили мне свое время и знания, исправляли мои ошибки и создавали атмосферу, способствующую развитию идей. Я хотел бы выразить мою особую признательность Dr. Surapol Dasananda, Santa Clara University; Dr. Elizabeth Center, College of Notre Dame; Dr. Peter Rowe, College of Notre Dame; Caries Rockwell, Microlog Corp.; Tom Schwartz, The Schwartz Associates; Dennis Reinhardt, Dair Corp.; Сое Miles-Schlichting; and Douglas Marquardt. Благодарю также Kyla Carlson и Nang Cao за помощь в подготовке иллюстраций. На мне лежит, разумеется, ответственность за все оставшиеся неисправленными ошибки, так как мои друзья и коллеги не могли опекать меня ежеминутно. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика — файл n1.doc Доступные файлы (1): n1.doc 3552kb. 03.01.2000 17:20 скачать n1.doc Нейрокомпьютерная техника: Теория и практика В книге американского автора в общедоступной форме излагаются основы построения нейрокомпьютеров. Описаны структура нейронных сетей и различные алгоритмы их настройки. Отдельные главы посвящены вопросам реализации нейронных сетей. Для специалистов в области вычислительной техники, а также студентов соответствующих специальностей вузов. Перевод на русский язык, Ю. А. Зуев, В. А. Точенов, 1992. ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ? 5 СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 5 ИСТОРИЧЕСКИЙ АСПЕКТ 6 ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ 8 ПЕРСПЕКТИВЫ НА БУДУЩЕЕ 8 Глава 1. Основы искусственных нейронных сетей 10 БИОЛОГИЧЕСКИЙ ПРОТОТИП 10 ИСКУССТВЕННЫЙ НЕЙРОН 11 ОДНОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 14 МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 14 ТЕРМИНОЛОГИЯ, ОБОЗНАЧЕНИЯ И СХЕМАТИЧЕСКОЕ ИЗОБРАЖЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 16 Глава 2. Персептроны 18 ПЕРСЕПТРОНЫ И ЗАРОЖДЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 18 ПЕРСЕПТРОННАЯ ПРЕДСТАВЛЯЕМОСТЬ 19 ОБУЧЕНИЕ ПЕРСЕПТРОНА 25 АЛГОРИТМ ОБУЧЕНИЯ ПЕРСЕПТРОНА 25 Глава 3. Процедура обратного распространения 28 ВВЕДЕНИЕ В ПРОЦЕДУРУ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 28 ОБУЧАЮЩИЙ АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 28 Обзор обучения 30 ДАЛЬНЕЙШИЕ АЛГОРИТМИЧЕСКИЕ РАЗРАБОТКИ 35 Глава 4. Сети встречного распространения 37 ВВЕДЕНИЕ В СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ 37 СТРУКТУРА СЕТИ 37 НОРМАЛЬНОЕ ФУНКЦИОНИРОВАНИЕ 38 ОБУЧЕНИЕ СЛОЯ КОХОНЕНА 39 ОБУЧЕНИЕ СЛОЯ ГРОССБЕРГА 43 СЕТЬ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ ПОЛНОСТЬЮ 43 ПРИЛОЖЕНИЕ: СЖАТИЕ ДАННЫХ 44 Глава 5. Стохастические методы 46 ИСПОЛЬЗОВАНИЕ ОБУЧЕНИЯ 46 ПРИЛОЖЕНИЯ К ОБЩИМ НЕЛИНЕЙНЫМ ЗАДАЧАМ ОПТИМИЗАЦИИ 50 ОБРАТНОЕ РАСПРОСТРАНЕНИЕ И ОБУЧЕНИЕ КОШИ 51 Глава 6. Сети Хопфилда 53 КОНФИГУРАЦИИ СЕТЕЙ С ОБРАТНЫМИ СВЯЗЯМИ 54 Глава 7. Двунаправленная ассоциативная память 65 СТРУКТУРА ДАП 65 ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХ АССОЦИАЦИЙ 66 КОДИРОВАНИЕ АССОЦИАЦИЙ 67 ЕМКОСТЬ ПАМЯТИ 69 НЕПРЕРЫВНАЯ ДАП 69 АДАПТИВНАЯ ДАП 70 КОНКУРИРУЮЩАЯ ДАП 70 Глава 8. Адаптивная резонансная теория 71 АРХИТЕКТУРА APT 71 РЕАЛИЗАЦИЯ APT 77 ПРИМЕР ОБУЧЕНИЯ СЕТИ APT 79 ХАРАКТЕРИСТИКИ APT 81 Глава 9. Оптические нейронные сети 84 ВЕКТОРНО-МАТРИЧНЫЕ УМНОЖИТЕЛИ 84 ГОЛОГРАФИЧЕСКИЕ КОРРЕЛЯТОРЫ 89 Глава 10. Когнитрон и неокогнитрон 93 Приложение А. Биологические нейронные сети 107 ЧЕЛОВЕЧЕСКИЙ МОЗГ: БИОЛОГИЧЕСКАЯ МОДЕЛЬ ДЛЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 107 ОРГАНИЗАЦИЯ ЧЕЛОВЕЧЕСКОГО МОЗГА 107 КОМПЬЮТЕРЫ И ЧЕЛОВЕЧЕСКИЙ МОЗГ 112 Приложение Б. Алгоритмы обучения 114 ОБУЧЕНИЕ С УЧИТЕЛЕМ И БЕЗ УЧИТЕЛЯ 114 МЕТОД ОБУЧЕНИЯ ХЭББА 114 ВХОДНЫЕ И ВЫХОДНЫЕ ЗВЕЗДЫ 115 ОБУЧЕНИЕ ПЕРСЕПТРОНА 117 МЕТОД ОБУЧЕНИЯ УИДРОУ-ХОФФА 118 МЕТОДЫ СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ 118 Предисловие Что такое искусственные нейронные сети? Что они могут делать? Как они работают? Как их можно использовать? Эти и множество подобных вопросов задают специалисты из разных областей. Найти вразумительный ответ нелегко. Университетских курсов мало, семинары слишком дороги, а соответствующая литература слишком обширна и специализированна. Готовящиеся к печати превосходные книги могут обескуражить начинающих. Часто написанные на техническом жаргоне, многие из них предполагают свободное владение разделами высшей математики, редко используемыми в других областях. Эта книга является систематизированным вводным курсом для профессионалов, не специализирующихся в математике. Все важные понятия формулируются сначала обычным языком. Математические выкладки используются, если они делают изложение более ясным. В конце глав помещены сложные выводы и доказательства, а также приводятся ссылки на другие работы. Эти ссылки составляют обширную библиографию важнейших работ в областях, связанных с искусственными нейронными сетями. Такой многоуровневый подход не только предоставляет читателю обзор по искусственным нейронным сетям, но также позволяет заинтересованным лицам серьезнее и глубже изучить предмет. Значительные усилия были приложены, чтобы сделать книгу понятной и без чрезмерного упрощения материала. Читателям, пожелавшим продолжить более углубленное теоретическое изучение, не придется переучиваться. При упрощенном изложении даются ссылки на более подробные работы. Книгу не обязательно читать от начала до конца. Каждая глава предполагается замкнутой, поэтому для понимания достаточно лишь знакомства с содержанием гл. 1 и 2. Хотя некоторое повторение материала неизбежно, большинству читателей это не будет обременительно. Книга имеет практическую направленность. Если главы внимательно изучены, то большую часть сетей оказывается возможным реализовать на обычном компьютере общего назначения. Читателю настоятельно рекомендуется так и поступать. Никакой другой метод не позволит добиться столь же глубокого понимания. БЛАГОДАРНОСТИ Прежде всего самую глубокую признательность я хотел бы выразить своей жене Саре за то, что она воодушевляла меня, а также за ее терпение в течение тех месяцев, которые я провел за пишущей машинкой. Я хотел бы поблагодарить моих друзей и коллег, которые так великодушно дарили мне свое время и знания, исправляли мои ошибки и создавали атмосферу, способствующую развитию идей. Я хотел бы выразить мою особую признательность Dr. Surapol Dasananda, Santa Clara University; Dr. Elizabeth Center, College of Notre Dame; Dr. Peter Rowe, College of Notre Dame; Caries Rockwell, Microlog Corp.; Tom Schwartz, The Schwartz Associates; Dennis Reinhardt, Dair Corp.; Сое Miles-Schlichting; and Douglas Marquardt. Благодарю также Kyla Carlson и Nang Cao за помощь в подготовке иллюстраций. На мне лежит, разумеется, ответственность за все оставшиеся неисправленными ошибки, так как мои друзья и коллеги не могли опекать меня ежеминутно. Нейрокомпьютерная техника пролог Используемые здесь обозначения и графические представления были выбраны как наиболее широко используемые в настоящее время (опубликованных стандартов не имеется), они сохраняются на протяжении всей книги. БИОЛОГИЧЕСКИЙ ПРОТОТИП Несмотря на то что связь с биологией слаба и зачастую несущественна, искусственные нейронные сети продолжают сравниваться с мозгом. Их функционирование часто напоминает человеческое познание, поэтому трудно избежать этой аналогии. К сожалению, такие сравнения неплодотворны и создают неоправданные ожидания, неизбежно ведущие к разочарованию. Исследовательский энтузиазм, основанный на ложных надеждах, может испариться, столкнувшись с суровой действительностью, как это уже однажды было в шестидесятые годы, и многообещающая область снова придет в упадок, если не будет соблюдаться необходимая сдержанность. Несмотря на сделанные предупреждения, полезно все же знать кое-что о нервной системе млекопитающих, так как она успешно решает задачи, к выполнению которых лишь стремятся искусственные системы. Последующее обсуждение весьма кратко. Приложение А содержит более обширное (но ни в коем случае не полное) рассмотрение нервной системы млекопитающих для тех, кто хочет узнать больше об этом восхитительном предмете. Нервная система человека, построенная из элементов, называемых нейронами, имеет ошеломляющую сложность. Около 10 11 нейронов участвуют в примерно 10 15 передающих связях, имеющих длину метр и более. Каждый нейрон обладает многими качествами, общими с другими элементами тела, но его уникальной способностью является прием, обработка и передача электрохимических сигналов по нервным путям, которые образуют коммуникационную систему мозга. Рис. 1.1. Биологический нейрон На рис. 1.1 показана структура пары типичных биологических нейронов. Дендриты идут от тела нервной клетки к другим нейронам, где они принимают сигналы в точках соединения, называемых синапсами. Принятые синапсом входные сигналы подводятся к телу нейрона. Здесь они суммируются, причем одни входы стремятся возбудить нейрон, другие – воспрепятствовать его возбуждению. Когда суммарное возбуждение в теле нейрона превышает некоторый порог, нейрон возбуждается, посылая по аксону сигнал другим нейронам. У этой основной функциональной схемы много усложнений и исключений, тем не менее большинство искусственных нейронных сетей моделируют лишь эти простые свойства. ИСКУССТВЕННЫЙ НЕЙРОН Рис. 1.2. Искусственный нейрон Активационные функции где К – постоянная, пороговой функции OUT = 1, если NET > T, OUT = 0 в остальных случаях, где Т – некоторая постоянная пороговая величина, или же функцией, более точно моделирующей нелинейную передаточную характеристику биологического нейрона и представляющей нейронной сети большие возможности. Рис. 1.3. Искусственный нейрон с активационной функцией На рис. 1.3 блок, обозначенный F, принимает сигнал NET и выдает сигнал OUT. Если блок F сужает диапазон изменения величины NET так, что при любых значениях NET значения OUT принадлежат некоторому конечному интервалу, то F называется «сжимающей» функцией. В качестве «сжимающей» функции часто используется логистическая или «сигмоидальная» (S-образная) функция, показанная на рис. 1.4а. Эта функция математически выражается как F(x) = 1/(1 + е — x ). Таким образом, По аналогии с электронными системами активационную функцию можно считать нелинейной усилительной характеристикой искусственного нейрона. Коэффициент усиления вычисляется как отношение приращения величины OUT к вызвавшему его небольшому приращению величины NET. Он выражается наклоном кривой при определенном уровне возбуждения и изменяется от малых значений при больших отрицательных возбуждениях (кривая почти горизонтальна) до максимального значения при нулевом возбуждении и снова уменьшается, когда возбуждение становится большим положительным. Гроссберг (1973) обнаружил, что подобная нелинейная характеристика решает поставленную им дилемму шумового насыщения. Каким образом одна и та же сеть может обрабатывать как слабые, так и сильные сигналы? Слабые сигналы нуждаются в большом сетевом усилении, чтобы дать пригодный к использованию выходной сигнал. Однако усилительные каскады с большими коэффициентами усиления могут привести к насыщению выхода шумами усилителей (случайными флуктуациями), которые присутствуют в любой физически реализованной сети. Сильные входные сигналы в свою очередь также будут приводить к насыщению усилительных каскадов, исключая возможность полезного использования выхода. Центральная область логистической функции, имеющая большой коэффициент усиления, решает проблему обработки слабых сигналов, в то время как области с падающим усилением на положительном и отрицательном концах подходят для больших возбуждений. Таким образом, нейрон функционирует с большим усилением в широком диапазоне уровня входного сигнала. Рис. 1.4а. Сигмоидальная логистическая функция Другой широко используемой активационной функцией является гиперболический тангенс. По форме она сходна с логистической функцией и часто используется биологами в качестве математической модели активации нервной клетки. В качестве активационной функции искусственной нейронной сети она записывается следующим образом: Рис. 1.4б. Функция гиперболического тангенса Подобно логистической функции гиперболический тангенс является S-образной функцией, но он симметричен относительно начала координат, и в точке NET = 0 значение выходного сигнала OUT равно нулю (см. рис. 1.4б). В отличие от логистической функции гиперболический тангенс принимает значения различных знаков, что оказывается выгодным для ряда сетей (см. гл. 3). Рассмотренная простая модель искусственного нейрона игнорирует многие свойства своего биологического двойника. Например, она не принимает во внимание задержки во времени, которые воздействуют на динамику системы. Входные сигналы сразу же порождают выходной сигнал. И, что более важно, она не учитывает воздействий функции частотной модуляции или синхронизирующей функции биологического нейрона, которые ряд исследователей считают решающими. Несмотря на эти ограничения, сети, построенные из этих нейронов, обнаруживают свойства, сильно напоминающие биологическую систему. Только время и исследования смогут ответить на вопрос, являются ли подобные совпадения случайными или следствием того, что в модели верно схвачены важнейшие черты биологического нейрона. ОДНОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ Рис. 1.5. Однослойная нейронная сеть Хотя один нейрон и способен выполнять простейшие процедуры распознавания, сила нейронных вычислений проистекает от соединений нейронов в сетях. Простейшая сеть состоит из группы нейронов, образующих слой, как показано в правой части рис. 1.5. Отметим, что вершины-круги слева служат лишь для распределения входных сигналов. Они не выполняют каких- либо вычислений, и поэтому не будут считаться слоем. По этой причине они обозначены кругами, чтобы отличать их от вычисляющих нейронов, обозначенных квадратами. Каждый элемент из множества входов Х отдельным весом соединен с каждым искусственным нейроном. А каждый нейрон выдает взвешенную сумму входов в сеть. В искусственных и биологических сетях многие соединения могут отсутствовать, все соединения показаны в целях общности. Могут иметь место также соединения между выходами и входами элементов в слое. Такие конфигурации рассматриваются в гл. 6. Удобно считать веса элементами матрицы W. Матрица имеет т строк и п столбцов, где m – число входов, а n – число нейронов. Например, w2,3 – это вес, связывающий третий вход со вторым нейроном. Таким образом, вычисление выходного вектора N, компонентами которого являются выходы OUT нейронов, сводится к матричному умножению N = XW, где N и Х – векторы-строки. МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ Более крупные и сложные нейронные сети обладают, как правило, и большими вычислительными возможностями. Хотя созданы сети всех конфигураций, какие только можно себе представить, послойная организация нейронов копирует слоистые структуры определенных отделов мозга. Оказалось, что такие многослойные сети обладают большими возможностями, чем однослойные (см. гл. 2), и в последние годы были разработаны алгоритмы для их обучения. Рис. 1.6. Двухслойная нейронная сеть Многослойные сети могут образовываться каскадами слоев. Выход одного слоя является входом для последующего слоя. Подобная сеть показана на рис. 1.6 и снова изображена со всеми соединениями. Нелинейная активационная функция Так как умножение матриц ассоциативно, то Это показывает, что двухслойная линейная сеть эквивалентна одному слою с весовой матрицей, равной произведению двух весовых матриц. Следовательно, любая многослойная линейная сеть может быть заменена эквивалентной однослойной сетью. В гл. 2 показано, что однослойные сети весьма ограниченны по своим вычислительным возможностям. Таким образом, для расширения возможностей сетей по сравнению с однослойной сетью необходима нелинейная активационная функция. Сети с обратными связями ТЕРМИНОЛОГИЯ, ОБОЗНАЧЕНИЯ И СХЕМАТИЧЕСКОЕ ИЗОБРАЖЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ Терминология Дифференциальные уравнения или разностные уравнения Если моделировать искусственную нейронную сеть на аналоговом компьютере, то весьма желательно использовать представление с помощью дифференциальных уравнений. Однако сегодня большинство работ выполняется на цифровых компьютерах, что заставляет отдавать предпочтение конечно-разностной форме как наиболее легко программируемой. По этой причине на протяжении всей книги используется конечно-разностное представление. Графическое представление Обучение искусственных нейронных сетей Цель обучения Обучение с учителем Обучение без учителя Алгоритмы обучения В искусственной нейронной сети, использующей обучение по Хэббу, наращивание весов определяется произведением уровней возбуждения передающего и принимающего нейронов. Это можно записать как где wij(n) – значение веса от нейрона i к нейрону j до подстройки, wij(n+1) – значение веса от нейрона i к нейрону j после подстройки, α – коэффициент скорости обучения, OUTi – выход нейрона i и вход нейрона j, OUTj – выход нейрона j. Сети, использующие обучение по Хэббу, конструктивно развивались, однако за последние 20 лет были развиты более эффективные алгоритмы обучения. В частности, в работах [4 – 6] и многих других были развиты алгоритмы обучения с учителем, приводящие к сетям с более широким диапазоном характеристик обучающих входных образов и большими скоростями обучения, чем использующие простое обучение по Хэббу. В настоящее время используется огромное разнообразие обучающих алгоритмов. Потребовалась бы значительно большая по объему книга, чем эта, для рассмотрения этого предмета полностью. Чтобы рассмотреть этот предмет систематически, если и не исчерпывающе, в каждой из последующих глав подробно описаны алгоритмы обучения для рассматриваемой в главе парадигмы. В дополнение в приложении Б представлен общий обзор, в определенной мере более обширный, хотя и не очень глубокий. В нем дан исторический контекст алгоритмов обучения, их общая таксономия, ряд преимуществ и ограничений. В силу необходимости это приведет к повторению части материала, оправданием ему служит расширение взгляда на предмет. ПРОЛОГ Упор сделан на интуитивные и алгоритмические, а не математические аспекты. Книга адресована скорее пользователю искусственных нейронных сетей, чем теоретику. Сообщается, следовательно, достаточно информации, чтобы дать читателю возможность понимать основные идеи. Те, кто знаком с программированием, смогут реализовать любую из этих сетей. Сложные математические выкладки опущены, если только они не имеют прямого отношения к реализации сети. Для заинтересованного читателя приводятся ссылки на более строгие и полные работы. Понравилась статья? Поделиться с друзьями: Вам также может быть интересно Обучение программированию Эффект линзы (watcom c) Эффект линзы (watcom c) Просветляющие покрытия от ZEISS Высококачественные линзы требуют высоколассного подхода: защита, Обучение программированию Язык xml xml в microsoft internet explorer 5 0 Основы XML для начинающих пользователей Введение в правильную разметку XML означает Extensible Markup Language, Обучение программированию Языки программирования Языки программирования Язык программирования — искусственный (формальный) язык, предназначенный для записи программ для исполнителя Обучение программированию Эффект пламени По-настоящему яркие ролики: эффект огня для видеомонтажа Как поразить зрителей с первых кадров? Самый Обучение программированию Язык xml введение Язык xml введение XML технологии и средства разработки Gupta Team Developer: XML технологии (Часть Обучение программированию Якоря HTML Что такое ссылка якорь в HTML и как ее сделать? Когда мы имеем дело Обучение программированию Эффект разбитого текста Создаем эффект разрушающегося текста при помощи Stipplism В сегодняшнем уроке мы создадим эффект разрушающегося Обучение программированию Язык xml использование java xml обработчиков Java XML J ava Development Kit поставляется с двумя парсерами XML: DOM и SAX, Обучение программированию Яндекс — крупнейшая поисковая система русскоязычного Интернета! Поисковые системы интернета – Полный список всех поисковых систем Чтобы увеличить посещаемость вашего сайта, Обучение программированию Эффект скручивания Как добиться эффекта скручивания? Люди добрые помогите! Как сделать так чтобы здание скрутилось вокруг Обучение программированию Язык xml описание технологии Синтаксис и основные понятия языка XML, создание валидных документов Понятие о языке XML XML Обучение программированию Ячейка заголовка 17 Таблицы 17.1 Введение в таблицы Таблицы представляют отношения между данными. Авторы определяют эти Обучение программированию Эффективное использование gnu make Эффективное использование gnu make Создание данного текста не имело своей целью дать полное описание Обучение программированию Язык xml практическое введение Описание данных с помощью XML Если вы программируете на Java, за последние пару лет Обучение программированию Эффективный копирайтинг, как писать копирайтинг Как написать эффективный продающий текст. Часть первая. Подготовка Грамотно написанный продающий текст позволяет превращать Обучение программированию Язык xml просмотр xml документов Чем открыть XML Web — это место, где миллионы людей ежедневно связываются друг с Обучение программированию Эффективный способ применения интерфейсов в mdi приложениях Многооконный интерфейс. Создание MDI-приложения , страница 3 Вместо дополнительных байт окна приложение может использовать Обучение программированию Язык xml стилевые таблицы xsl Отображение XML с использованием XSLT При помощи XSLT вы можете преобразовывать XML документ в Обучение программированию Эффекты с изображениями Как сделать — визуальные эффекты изображениям Узнайте, как добавить визуальные эффекты к изображениям. Фильтры Обучение программированию Язык xml схемы данных Понимание XML Узнайте, как Расширяемый язык разметки (Extensible Markup Language — XML) облегчает универсальный Обучение программированию Юмор пиво для программиста ХАЙФХАК: ПРОГРАММИСТ ВЗЛОМАЛ СИСТЕМУ, ЧТОБЫ ПОПИТЬ ПИВО БЕСПЛАТНО / пиво :: geek новости :: Обучение программированию Язык обработки данных awk Примеры команды AWK в Linux Введение AWK назван в честь фамилии его авторов: Альфред Обучение программированию Я загружаю timagelist динамически как сделать картинки из timagelist прозрачными Я загружаю timagelist динамически как сделать картинки из timagelist прозрачными? Элемент управления ImageList содержит Обучение программированию Язык преобразований xsl (xslt) Введение в XSLT XSLT представляет собой способ для XML-документов в другие XML или документы