Нейрокомпьютерная техника


Содержание

Введение

Актуальность исследования: Нейроиформатика — область научных исследований, лежащая на пересечении нейронаук и информатики. Уже многие из созданных приложений нейроинформатики способствуют упрощению современной жизни, и используются во многих сферах человеческой жизни, от производства и до криминалистики. Так же высоко оцениваются достижения последнего десятилетия в области теории нейронных сетей, моделирования мозга, приложений нейротехнологии, разработки нейрокомпьютеров, а также оценивались перспективы развития нейрокомпьютинга.

Объект исследования: Нейроинформатика.

Предмет исследования: Искусственные нейронные сети, математические модели нейронов как единица искусственной нейронной сети, нейрокомпьютеры.

Цель исследования: Выявить основные положения нейроинформатики как науки. Улучшить личные знания в данном разделе информатики.

— Ознакомится с теоретическим курсом нейроинформатики.

— Выявить основные положения, проблемы науки.

-Установить достоинство и недостатки методов достижения основных целей нейроинформатики.

Нейрокомпьютеры

Нейрокомпьютеры, и их применение в современном обществе

Нейронные сети, нейрокомпьютеры, ЭВМ, подобные мозгу. Все чаще информация о них мелькает на страницах печати. Это — не фантастика. Уже существуют работающие нейрокомпьютеры и складывается свой рынок этого нового класса перспективных средств вычислительной техники. Фирма Локхид предполагает использование нейрокомпьютеров для управления адаптивной фокусирующей системой управления мощным лазерным оружием при ведении «звездных войн». Ярким примером реализации нейрокомпьютеров в управлении роботами является разработка системы управления механической рукой для космического корабля «Шаттл». Во многих аэропортах США при досмотре багажа для выявления наркотиков, взрывчатых веществ, ядерных и других материалов используются все те же нейрокомпьютеры. 60% кредитных карточек в США проходят контроль с применением нейрокомпьютерной технологии. Нейроконтроллеры при решении задачи управления уровнем температуры жидкости в замкнутом объеме почти вдвое быстрее реагируют на изменение температуры по сравнению с традиционными PI (РID) регуляторами. Эффективность использования нейрокомпьютеров для обработки радио и гидролокационной информации, причем как на уровне первичной, так и на уровне вторичной обработки, уже не новость. Прогнозирование экономических и финансовых показателей, предсказание возможных осложнений у больных в послеоперационный период, диагностика автомобильных и авиационных двигателей, управление атомными электростанциями и даже стиральными машинами, обработка изображений, формируемых электронным сканирующим микроскопом или телекамерой в охранных системах наблюдения и многое. Многое другое — это все те области, где нейрокомпьютеры различного уровня реализации, от специализированных аппаратных средств, до простых нейросетевых пакетов программ для традиционных персональных компьютеров, с каждым годом находят все более широкое применение.

Огромный интерес к нейрокомпьютерам держится во всем мире без малого уже десять лет. Выкладываются миллиарды долларов, открываются десятки факультетов и кафедр, сотни лабораторий. Число фирм — разработчиков и производителей нейрокомпьютеров — стало уже более сотни.

Нейронные сети и нейрокомпьютеры в настоящее время быстро становятся одной из тех технологий, на которые делают свои ставки ведущие компании мира как на средство конкурентоспособности в XXI веке. Нейрокомпьютеры — это новый захватывающий мир, мир новых возможностей и профессий. США и Япония, Германия и Финляндия, Франция и ряд других стран развернули государственные проекты по исследованиям, разработкам и прикладному использованию нейрокомпьютеров как в гражданской, так и в военной сферах. Что же касается России, то здесь мы всегда были и остаемся ведущими в мире в области теории нейронных сетей. Не отстаем и в создании прикладных нейросетевых алгоритмов. С разработками же конкурентоспособной промышленной нейрокомпьютерной техники в текущих условиях тяжелейшего экономического состояния страны дела обстоят, честно сказать, не столь хорошо. Но тем не менее готовятся в ВУЗах страны, молодые специалисты, знакомые с нейрокомпьютерной тематикой. Продолжаются проводиться научно — исследовательские работы в Научном центре нейрокомпьютеров Минэкономики РФ (г. Москва) и ряде других организаций страны.

Конечно для многих людей нейронные сети и нейрокомпьютеры представляются чем то экзотическим и интригующим. Но, прежде всего, пусть никого не вводит в заблуждение употребление слова «нейро». Искусственная нейронная сеть или, как еще говорят, модель нейронной сети похожа на мозг человека не более чем теннисный шарик на планету Марс.

С математической точки зрения нейронная сеть представляет собой многослойную сетевую структуру, состоящую из однотипных, параллельно работающих процессорных элементов — моделей нейронов. Однако структурно, функционально и алгоритмически модель нейронной сети при обработке информации и выполнении вычислительного процесса в некотором смысле действительно имитирует отдельные свойства естественных нейронных сетей. Ну а для реализации искусственных нейронных сетей как раз и используют нейрокомпьютеры, т.е. вычислительные устройства, которые максимально ориентированы по своей структуре и функциям на эффективное моделирование нейронных сетей и реализацию нейронных алгоритмов решения различных прикладных задач. В целом научное направление, включающее в себя теорию нейронных сетей, разработку нейронных алгоритмов решения прикладных задач и непосредственно создание нейрокомпьютеров на различной элементной базе — цифровой, аналоговой, оптической и др., получило общее название «нейрокомпьютинг».

Каждая связь представляется как совсем простой элемент, служащий для передачи сигнала. Предельным выражением этой точки зрения может служить лозунг: «структура связей — все, свойства элементов — ничто».

Совокупность идей и научно-техническое направление, определяемое описанным представлением о мозге, называется коннекционизмом (по-английски connection — связь). Как все это соотносится с реальным мозгом? Так же, как карикатура или шарж со своим прототипом-человеком _ весьма условно. Это нормально: важно не буквальное соответствие живому прототипу, а продуктивность технической идеи.

С коннекционизмом тесно связан следующий блок идей:

1) однородность системы (элементы одинаковы и чрезвычайно просты, все определяется структурой связей);

2) надежные системы из ненадежных элементов и «аналоговый ренессанс» — использование простых аналоговых элементов;

3) «голографические» системы — при разрушении случайно выбранной части система сохраняет свои полезные свойства.

Предполагается, что система связей достаточно богата по своим возможностям и достаточно избыточна, чтобы скомпенсировать бедность выбора элементов, их ненадежность, возможные разрушения части связей.

Коннекционизм и связанные с ним идеи однородности, избыточности и голографичности еще ничего не говорят нам о том, как же такую систему научить решать реальные задачи. Хотелось бы, чтобы это обучение обходилось не слишком дорого.

На первый взгляд кажется, что коннекционистские системы не допускают прямого программирования, то есть формирования связей по явным правилам. Это, однако, не совсем так. Существует большой класс задач: нейронные системы ассоциативной памяти, статистической обработки, фильтрации и др., для которых связи формируются по явным формулам. Но еще больше (по объему существующих приложений) задач требует неявного процесса. По аналогии с обучением животных или человека этот процесс мы также называем обучением.

Обучение обычно строится так: существует задачник — набор примеров с заданными ответами. Эти примеры предъявляются системе. Нейроны получают по входным связям сигналы — «условия примера», преобразуют их, несколько раз обмениваются преобразованными сигналами и, наконец, выдают ответ — также набор сигналов. Отклонение от правильного ответа штрафуется. Обучение состоит в минимизации штрафа как (неявной) функции связей. Примерно четверть нашей книги состоит в описании техники такой оптимизации и возникающих при этом дополнительных задач.

Неявное обучение приводит к тому, что структура связей становится «непонятной» — не существует иного способа ее прочитать, кроме как запустить функционирование сети. Становится сложно ответить на вопрос: «Как нейронная сеть получает результат?» — то есть построить понятную человеку логическую конструкцию, воспроизводящую действия сети.

Это явление можно назвать «логической непрозрачностью» нейронных сетей, обученных по неявным правилам. В работе с логически непрозрачными нейронными сетями иногда оказываются полезными представления, разработанные в психологии и педагогике, и обращение с обучаемой сетью как с дрессируемой зверушкой или с обучаемым младенцем — это еще один источник идей. Возможно, со временем возникнет такая область деятельности — «нейропедагогика» — обучение искусственных нейронных сетей.

С другой стороны, при использовании нейронных сетей в экспертных системах на PC возникает потребность прочитать и логически проинтерпретировать навыки, выработанные сетью. Для этого существуют методы контрастирования — получения неявными методами логически прозрачных нейронных сетей. Однако за логическую прозрачность приходится платить снижением избыточности, так как при контрастировании удаляются все связи кроме самых важных, без которых задача не может быть решена.

Итак, очевидно наличие двух источников идеологии нейроинформатики. Это представления о строении мозга и о процессах обучения. Существуют группы исследователей и научные школы, для которых эти источники идей имеют символическое, а иногда даже мистическое или тотемическое значение.

В работе [9] доказана теорема, утверждающая, что с помощью линейных комбинаций и суперпозиций линейных функций и одной произвольной нелинейной функции одного аргумента можно сколь угодно точно приблизить любую непрерывную функцию многих переменных.

Из этой теоремы следует, что Нейронные сети — универсальные аппроксимирующие устройства и могут с любой точностью имитировать любой непрерывный автомат.

Главный вопрос: что могут нейронные сети. Ответ получен: нейронные сети могут все. Остается открытым другой вопрос: как их этому научить?

Создание и использование нейрокомпьютеров является целесообразным по двум причинам. Во-первых, их архитектура ориентирована на параллельные вычисления и позволяет выполнять их без тех осложнений, с которыми связано выполнение этих вычислений на традиционных ЭВМ, ориентированных на последовательную обработку данных. Во-вторых, нейрокомпьютеры не работают по жесткому алгоритму, не перепрограммируются под разные задачи, а каждый раз обучаются решению новой проблемы. Конечно, необходимость обучения нельзя считать только достоинством. Отрицательными его сторонами являются как необходимость организации специальных наборов данных для обучения — обучающих выборок, так и затраты времени на их создание. Более того, использование нейрокомпьютеров для решения задач, требующих высокой точности, может оказаться нецелесообразным. Однако при решении задач, для которых не существует алгоритма или решение по алгоритму занимает слишком много времени, нейрокомпьютеры оказываются предпочтительнее традиционных. Здесь сразу возникает их значительное преимущество. Поэтому и возник с конца 80 — х годов этот нейрокомпьютерный бум, который не затихает по настоящее время.

Изучаем нейронные сети: с чего начать

В данной статье собраны материалы — в основном русскоязычные — для базового изучения искусственных нейронных сетей.

Искусственная нейронная сеть, или ИНС — математическая модель, а также ее программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма. Наука нейронных сетей существует достаточно давно, однако именно в связи с последними достижениями научно-технического прогресса данная область начинает обретать популярность.

Книги

Начнем подборку с классического способа изучения — с помощью книг. Мы подобрали русскоязычные книги с большим количеством примеров:

  • Ф. Уоссермен, Нейрокомпьютерная техника: Теория и практика. 1992 г.
    В книге в общедоступной форме излагаются основы построения нейрокомпьютеров. Описана структура нейронных сетей и различные алгоритмы их настройки. Отдельные главы посвящены вопросам реализации нейронных сетей.
  • С. Хайкин, Нейронные сети: Полный курс. 2006 г.
    Здесь рассматриваются основные парадигмы искусственных нейронных сетей. Представленный материал содержит строгое математическое обоснование всех нейросетевых парадигм, иллюстрируется примерами, описанием компьютерных экспериментов, содержит множество практических задач, а также обширную библиографию.

Видео

Нет ничего доступнее и понятнее, чем визуальное обучение при помощи видео:

  • Чтобы понять,что такое вообще машинное обучение, посмотрите вот эти две лекции от ШАДа Яндекса.
  • Введение в основные принципы проектирования нейронных сетей — отлично подходит для продолжения знакомства с нейронными сетями.
  • Курс лекций по теме «Компьютерное зрение» от ВМК МГУ. Компьютерное зрение — теория и технология создания искусственных систем, которые производят обнаружение и классификацию объектов в изображениях и видеозаписях. Эти лекции можно отнести к введению в эту интересную и сложную науку.

Образовательные ресурсы и полезные ссылки


  • Портал искусственного интеллекта.
  • Лаборатория «Я — интеллект».
  • Нейронные сети в Matlab.
  • Нейронные сети в Python (англ.):
    • Классификация текста с помощью нейронных сетей и TensorFlow;
    • Простой классификатор изображений.
  • Нейронная сеть на JavaScript.

Серия наших публикаций по теме

Ранее у нас публиковался уже курс #neuralnetwork@tproger по нейронным сетям. В этом списке публикации для вашего удобства расположены в порядке изучения:

Нейрокомпьютерная техника: Теория и практика

Читайте также:

  1. A) Естественно-правовая теория
  2. CОЦИОЛОГИЯ ПРАВА КАК ТЕОРИЯ СРЕДНЕГО УРОВНЯ
  3. III. Теория реального (объективного) конфликта.
  4. III. Теория реального (объективного) конфликта.
  5. Labeling — теория стигматизации
  6. Labeling — теория стигматизации
  7. Q – теория инвестиций Джеймса Тобина.
  8. А. Теория vs практика
  9. Административная теория А. Файоля
  10. Ассоциативно-рефлекторная теория обучения
  11. Атаманчук Г.В. Теория государственного управления. Омега-Л, 2004.-301
  12. Атрибутивная теория мотивации и эмоций Вейнера

Стандарти CDROM

§ CD-DA (Compact Disk Digital Audio) — використовується для запису аудіодисків. Одиницею інформації є аудіо-сектор. Аудіодоріжки містять звукові фрагменти, кожний з яких займає одну доріжку. В початкові доріжки записують службовий код довжиною 2 с. Аудіотреки представляють собою трохи перероблений wav-файл в форматі 44 кГц на 16 біт стерео.

§ ISO 9660 Level 1 — найрозповюдженіший формат на файлову систему CD. Імена файлів можуть містити тільки малі латинські букви і цифри в форматі 8.3.

§ Joliet — розширення попереднього стандарту фірмою Microsoft, використовує довгі імена довжиною до 64 символів.

§ ISO 9660 Level 2 — допускає довгі імена і велику кількість рівнів піддиректорій, що не підтримується DOS.

5.25.3 Програми підготовки і запису компакт-дисків

§ Adaptec Easy CD Creator

§ WinOnCD

§ Nero

§ Golden Hawk Technology CDRWin

Література

  1. Чепмн Найджел, Чепмен Дженна. Цифрові технології мультимедія. – М.: Вільямс, 2006.-624с.
  2. Миано Дж. Формати и алгоритми сжатия изображения в действии. Учеб. пособ. – М.: Триумф, 2003. – 336с.
  3. Водески Рон. Графика для Web. Библия дизайнера. – к.: Диалектика, 1997. – 608с.
  4. Медников В.В. Основи комп’ютерной музики. – Спб.: БХВ – Петербург, 2002. – 336с.
  5. Фролов А.В., Фролов Г.В. Мультимедиа для Windows. Руководство програмиста. – М.: Диалог – МИФИ, 1996. – 284с.
  6. Гринберг А.Д., Гринберг С. Цифровиє изображения: Практического руководство. – Мн.: ооо “Попури”, 1997. – 400с.
  7. Резник Ю.А. Графика, звук, видео на ПК. Популярний самоучитель. – СПб.: Наука и техника, 2003. – 320с.
  8. Блінов Т.О., порєв В.М. Комп’ютерна графіка. – К.: юніон, 2004. – 456с.
  9. Пройдаков Е.М., Теплицький Л.А. Англо-український тлумачний словник з обчислювальної техніки, Інтернету і програмування. – К.: СофтПрес, 2005. – 552с.

В книге американского автора в общедоступной форме излагаются основы построения нейрокомпьютеров. Описаны структура нейронных сетей и различные алгоритмы их настройки. Отдельные главы посвящены вопросам реализации нейронных сетей.

Для специалистов в области вычислительной техники, а также студентов соответствующих специальностей вузов.

Перевод на русский язык, Ю. А. Зуев, В. А. Точенов, 1992.

ОГЛАВЛЕНИЕ

ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ. 5

СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ. 5

ИСТОРИЧЕСКИЙ АСПЕКТ. 7

ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ. 10

ПЕРСПЕКТИВЫ НА БУДУЩЕЕ. 11

Глава 1. Основы искусственных нейронных сетей. 14

БИОЛОГИЧЕСКИЙ ПРОТОТИП. 14

ИСКУССТВЕННЫЙ НЕЙРОН. 16

ОДНОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ. 19

МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ. 20

ТЕРМИНОЛОГИЯ, ОБОЗНАЧЕНИЯ И СХЕМАТИЧЕСКОЕ ИЗОБРАЖЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ. 22

Глава 2. Персептроны. 26

ПЕРСЕПТРОНЫ И ЗАРОЖДЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ. 26

ПЕРСЕПТРОННАЯ ПРЕДСТАВЛЯЕМОСТЬ. 28

ОБУЧЕНИЕ ПЕРСЕПТРОНА. 36

АЛГОРИТМ ОБУЧЕНИЯ ПЕРСЕПТРОНА. 37

Глава 3. Процедура обратного распространения. 41


ВВЕДЕНИЕ В ПРОЦЕДУРУ ОБРАТНОГО РАСПРОСТРАНЕНИЯ. 41

ОБУЧАЮЩИЙ АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ. 42

Обзор обучения. 44

ДАЛЬНЕЙШИЕ АЛГОРИТМИЧЕСКИЕ РАЗРАБОТКИ. 51

Глава 4. Сети встречного распространения. 55

ВВЕДЕНИЕ В СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ. 55

СТРУКТУРА СЕТИ. 55

НОРМАЛЬНОЕ ФУНКЦИОНИРОВАНИЕ. 56

ОБУЧЕНИЕ СЛОЯ КОХОНЕНА. 58

ОБУЧЕНИЕ СЛОЯ ГРОССБЕРГА. 64

СЕТЬ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ ПОЛНОСТЬЮ. 64

ПРИЛОЖЕНИЕ: СЖАТИЕ ДАННЫХ. 66

Глава 5. Стохастические методы. 68

ИСПОЛЬЗОВАНИЕ ОБУЧЕНИЯ. 68

ПРИЛОЖЕНИЯ К ОБЩИМ НЕЛИНЕЙНЫМ ЗАДАЧАМ ОПТИМИЗАЦИИ. 75

ОБРАТНОЕ РАСПРОСТРАНЕНИЕ И ОБУЧЕНИЕ КОШИ. 76

Глава 6. Сети Хопфилда. 81

КОНФИГУРАЦИИ СЕТЕЙ С ОБРАТНЫМИ СВЯЗЯМИ. 82

Глава 7. Двунаправленная ассоциативная память. 88

СТРУКТУРА ДАП. 88

ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХ АССОЦИАЦИЙ. 88

КОДИРОВАНИЕ АССОЦИАЦИЙ. 88

ЕМКОСТЬ ПАМЯТИ. 88

НЕПРЕРЫВНАЯ ДАП. 88

АДАПТИВНАЯ ДАП. 88

КОНКУРИРУЮЩАЯ ДАП. 88

Глава 8. Адаптивная резонансная теория. 88

АРХИТЕКТУРА APT. 88

РЕАЛИЗАЦИЯ APT. 88

ПРИМЕР ОБУЧЕНИЯ СЕТИ APT. 88

ХАРАКТЕРИСТИКИ APT. 88

Глава 9. Оптические нейронные сети. 88

ВЕКТОРНО-МАТРИЧНЫЕ УМНОЖИТЕЛИ. 88

ГОЛОГРАФИЧЕСКИЕ КОРРЕЛЯТОРЫ. 88

Глава 10. Когнитрон и неокогнитрон. 88

Приложение А. Биологические нейронные сети. 88

ЧЕЛОВЕЧЕСКИЙ МОЗГ: БИОЛОГИЧЕСКАЯ МОДЕЛЬ ДЛЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 88

ОРГАНИЗАЦИЯ ЧЕЛОВЕЧЕСКОГО МОЗГА. 88

КОМПЬЮТЕРЫ И ЧЕЛОВЕЧЕСКИЙ МОЗГ. 88

Приложение Б. Алгоритмы обучения. 88

ОБУЧЕНИЕ С УЧИТЕЛЕМ И БЕЗ УЧИТЕЛЯ. 88

МЕТОД ОБУЧЕНИЯ ХЭББА. 88

ВХОДНЫЕ И ВЫХОДНЫЕ ЗВЕЗДЫ. 88

ОБУЧЕНИЕ ПЕРСЕПТРОНА. 88

МЕТОД ОБУЧЕНИЯ УИДРОУ-ХОФФА. 88

МЕТОДЫ СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ. 88


Предисловие

Что такое искусственные нейронные сети? Что они могут делать? Как они работают? Как их можно использовать? Эти и множество подобных вопросов задают специалисты из разных областей. Найти вразумительный ответ нелегко. Университетских курсов мало, семинары слишком дороги, а соответствующая литература слишком обширна и специализированна. Готовящиеся к печати превосходные книги могут обескуражить начинающих. Часто написанные на техническом жаргоне, многие из них предполагают свободное владение разделами высшей математики, редко используемыми в других областях.

Эта книга является систематизированным вводным курсом для профессионалов, не специализирующихся в математике. Все важные понятия формулируются сначала обычным языком. Математические выкладки используются, если они делают изложение более ясным. В конце глав помещены сложные выводы и доказательства, а также приводятся ссылки на другие работы. Эти ссылки составляют обширную библиографию важнейших работ в областях, связанных с искусственными нейронными сетями. Такой многоуровневый подход не только предоставляет читателю обзор по искусственным нейронным сетям, но также позволяет заинтересованным лицам серьезнее и глубже изучить предмет.

Значительные усилия были приложены, чтобы сделать книгу понятной и без чрезмерного упрощения материала. Читателям, пожелавшим продолжить более углубленное теоретическое изучение, не придется переучиваться. При упрощенном изложении даются ссылки на более подробные работы.

Книгу не обязательно читать от начала до конца. Каждая глава предполагается замкнутой, поэтому для понимания достаточно лишь знакомства с содержанием гл. 1 и 2. Хотя некоторое повторение материала неизбежно, большинству читателей это не будет обременительно.

Книга имеет практическую направленность. Если главы внимательно изучены, то большую часть сетей оказывается возможным реализовать на обычном компьютере общего назначения. Читателю настоятельно рекомендуется так и поступать. Никакой другой метод не позволит добиться столь же глубокого понимания.

Дата добавления: 2014-12-23 ; Просмотров: 166 ; Нарушение авторских прав? ;

Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет

Нейрокомпьютерная техника. Теория и практика. Уоссермен Ф.

Что такое Форекс — Советы по Форекс
02.11.11 13:07
Название: Нейрокомпьютерная техника. Теория и практика.

Автор: Уоссермен Ф.

В книге американского автора в общедоступной форме излагаются основы построения нейрокомпьютеров. Описаны структура нейронных сетей и различные алгоритмы их настройки. Отдельные главы посвящены вопросам реализации нейронных сетей.
Для специалистов в области вычислительной техники, а также студентов соответствующих специальностей ВУЗов.

Что такое искусственные нейронные сети? Что они могут делать? Как они работают? Как их можно использовать? Эти и множество подобных вопросов задают специалисты из разных областей. Найти вразумительный ответ нелегко. Университетских курсов мало, семинары слишком дороги, а соответствующая литература слишком обширна и специализированна. Готовящиеся к печати превосходные книги могут обескуражить начинающих. Часто написанные на техническом жаргоне, многие из них предполагают свободное владение разделами высшей математики, редко используемыми в других областях.
Эта книга является систематизированным вводным курсом для профессионалов, не специализирующихся в математике. Все важные понятия формулируются сначала обычным языком. Математические выкладки используются, если они делают изложение более ясным. В конце глав помещены сложные выводы и доказательства, а также приводятся ссылки на другие работы. Эти ссылки составляют обширную библиографию важнейших работ в областях, связанных с искусственными нейронными сетями. Такой многоуровневый подход не только предоставляет читателю обзор по искусственным нейронным сетям, но также позволяет заинтересованным лицам серьезнее и глубже изучить предмет.

ОГЛАВЛЕНИЕ
ПРЕДИСЛОВИЕ 4
БЛАГОДАРНОСТИ 4
ВВЕДЕНИЕ 5
ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ? 5
СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 5
ИСТОРИЧЕСКИЙ АСПЕКТ 7
ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ 10
ПЕРСПЕКТИВЫ НА БУДУЩЕЕ 11
ВЫВОДЫ 12
ГЛАВА 1. ОСНОВЫ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 14
БИОЛОГИЧЕСКИЙ ПРОТОТИП 14
ИСКУССТВЕННЫЙ НЕЙРОН 16
ОДНОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 19
МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 20
ТЕРМИНОЛОГИЯ, ОБОЗНАЧЕНИЯ И СХЕМАТИЧЕСКОЕ ИЗОБРАЖЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 22
ПРОЛОГ 25
ГЛАВА 2. ПЕРСЕПТРОНЫ 26
ПЕРСЕПТРОНЫ И ЗАРОЖДЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 26
ПЕРСЕПТРОННАЯ ПРЕДСТАВЛЯЕМОСТЬ 28
ОБУЧЕНИЕ ПЕРСЕПТРОНА 36
АЛГОРИТМ ОБУЧЕНИЯ ПЕРСЕПТРОНА 37
ГЛАВА 3. ПРОЦЕДУРА ОБРАТНОГО РАСПРОСТРАНЕНИЯ 41
ВВЕДЕНИЕ В ПРОЦЕДУРУ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 41
ОБУЧАЮЩИЙ АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 42
ОБЗОР ОБУЧЕНИЯ 44
ДАЛЬНЕЙШИЕ АЛГОРИТМИЧЕСКИЕ РАЗРАБОТКИ 51
ПРИМЕНЕНИЯ 52
ПРЕДОСТЕРЕЖЕНИЕ 52
ГЛАВА 4. СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ 55
ВВЕДЕНИЕ В СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ 55
СТРУКТУРА СЕТИ 55
НОРМАЛЬНОЕ ФУНКЦИОНИРОВАНИЕ 56
ОБУЧЕНИЕ СЛОЯ КОХОНЕНА 58
ОБУЧЕНИЕ СЛОЯ ГРОССБЕРГА 64
СЕТЬ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ ПОЛНОСТЬЮ 64
ПРИЛОЖЕНИЕ: СЖАТИЕ ДАННЫХ 66
ОБСУЖДЕНИЕ 67
ГЛАВА 5. СТОХАСТИЧЕСКИЕ МЕТОДЫ 68
ИСПОЛЬЗОВАНИЕ ОБУЧЕНИЯ 68
ПРИЛОЖЕНИЯ К ОБЩИМ НЕЛИНЕЙНЫМ ЗАДАЧАМ ОПТИМИЗАЦИИ 75
ОБРАТНОЕ РАСПРОСТРАНЕНИЕ И ОБУЧЕНИЕ КОШИ 76
ГЛАВА 6. СЕТИ ХОПФИЛДА 81
КОНФИГУРАЦИИ СЕТЕЙ С ОБРАТНЫМИ СВЯЗЯМИ 82
ПРИЛОЖЕНИЯ 88
ОБСУЖДЕНИЕ 88
ВЫВОДЫ 88
ГЛАВА 7. ДВУНАПРАВЛЕННАЯ АССОЦИАТИВНАЯ ПАМЯТЬ 88
СТРУКТУРА ДАП 88
ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХ АССОЦИАЦИЙ 88
КОДИРОВАНИЕ АССОЦИАЦИЙ 88
ЕМКОСТЬ ПАМЯТИ 88
НЕПРЕРЫВНАЯ ДАП 88
АДАПТИВНАЯ ДАП 88
КОНКУРИРУЮЩАЯ ДАП 88
ЗАКЛЮЧЕНИЕ 88
ГЛАВА 8. АДАПТИВНАЯ РЕЗОНАНСНАЯ ТЕОРИЯ 88
АРХИТЕКТУРА APT 88
РЕАЛИЗАЦИЯ APT 88
ПРИМЕР ОБУЧЕНИЯ СЕТИ APT 88
ХАРАКТЕРИСТИКИ APT 88
ЗАКЛЮЧЕНИЕ 88
ГЛАВА 9. ОПТИЧЕСКИЕ НЕЙРОННЫЕ СЕТИ 88
ВЕКТОРНО-МАТРИЧНЫЕ УМНОЖИТЕЛИ 88
ГОЛОГРАФИЧЕСКИЕ КОРРЕЛЯТОРЫ 88
ЗАКЛЮЧЕНИЕ 88
ГЛАВА 10. КОГНИТРОН И НЕОКОГНИТРОН 88
КОГНИТРОН 88
НЕОКОГНИТРОН 88
ЗАКЛЮЧЕНИЕ 88
ПРИЛОЖЕНИЕ А. БИОЛОГИЧЕСКИЕ НЕЙРОННЫЕ СЕТИ 88
ЧЕЛОВЕЧЕСКИЙ МОЗГ: БИОЛОГИЧЕСКАЯ МОДЕЛЬ ДЛЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 88
ОРГАНИЗАЦИЯ ЧЕЛОВЕЧЕСКОГО МОЗГА 88
КОМПЬЮТЕРЫ И ЧЕЛОВЕЧЕСКИЙ МОЗГ 88
ПРИЛОЖЕНИЕ Б. АЛГОРИТМЫ ОБУЧЕНИЯ 88
ОБУЧЕНИЕ С УЧИТЕЛЕМ И БЕЗ УЧИТЕЛЯ 88
МЕТОД ОБУЧЕНИЯ ХЭББА 88
ВХОДНЫЕ И ВЫХОДНЫЕ ЗВЕЗДЫ 88
ОБУЧЕНИЕ ПЕРСЕПТРОНА 88
МЕТОД ОБУЧЕНИЯ УИДРОУ-ХОФФА 88
МЕТОДЫ СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ 88
САМООРГАНИЗАЦИЯ 88

Нейрокомпьютеры: от разработки до применения

I.Введение Прошло уже много лет с того момента, когда появилась первая ЭВМ. За это время сменилось уже несколько поколений вычислительных машин. Менялись элементная база, конструктивные решения, языки программирования, программ­ное обеспечение, но основы архитектуры, заложенные при создании машин первого поколения, практически без изменения перешли на машины последующих и успешно работают до настоящего времени.Нет сомнений, что идеи […]

Февраль 09th, 2010

Прошло уже много лет с того момента, когда появилась первая ЭВМ. За это время сменилось уже несколько поколений вычислительных машин. Менялись элементная база, конструктивные решения, языки программирования, программ­ное обеспечение, но основы архитектуры, заложенные при создании машин первого поколения, практически без изменения перешли на машины последующих и успешно работают до настоящего времени.Нет сомнений, что идеи машин первого поколения ещё послужат человеку. Однако всё настоятельнее требуются системы, наделённые элементами интеллекта при обработке колоссального объёма информации и в то же время работающие в темпе управляемых процессов.

В таких прикладных областях деятельности человека, как космология, молекулярная биология, гидрология, охрана окружающей среды, медицина, экономика и многих других, сформулированы проблемы, решение которых потребует вычислительных машин, обладающих колоссальными ресурсами.

На сегодняшний день высокие технические характеристики реализуется только с помощью дорогостоящих уникальных архитектур от CRAY, SGI, Fujitsu, Hitachi с несколькими тысячами процессоров.

В настоящее время концептуально разработаны методы достижения высокого быстродействия, которые охватывают все уровни проектирования вычислительных систем. На самом нижнем уровне – это передовая технология конструирования и изготовления быстродействующей элементной базы и плат с высокой плотностью монтажа.

Теоретически совершенствование элементной базы – самый простой метод повышения производительности вычислительных систем. Однако на практике он приводит к существенному удорожанию новых разработок. Следовательно, требуется разработка новых принципов вычислений, позволяющих ставить и решать задачи подобного типа, а также способных значительно повысить скорость обработки традиционных вычислительных алгоритмов. К числу новых направлений можно отнести и нейрокомпьютеры.

1. Что такое нейрокомпьютер

Нейрокомпьютеры — это системы, в которых алгоритм решения задачи представлен логической сетью элементов частного вида — нейронов с полным отказом от булевских элементов типа И, ИЛИ, НЕ. Как следствие этого введены специфические связи между элементами, которые являются предметом отдельного рассмотрения. В отличие от классических методов решения задач нейрокомпьютеры реализуют алгоритмы решения задач, представленные в виде нейронных сетей. Это ограничение позволяет разрабатывать алгоритмы, потенциально более параллельные, чем любая другая их физическая реализация.

Нейросетевая тематика является междисциплинарной, что обусловило значительные разночтения в общих терминологических подходах. Нейросетевой тематикой занимаются как разработчики вычислительных систем и программисты, так и специалисты в области медицины, финансово-экономические работники, химики, физики и т.п. (т.е. все кому не лень). То, что понятно физику, совершенно не принимается медиком и наоборот — все это породило многочисленные споры и целые терминологические войны по различным направлениям применения всего где есть приставка нейро-.

Приведем некоторые наиболее устоявшиеся определения нейрокомпьютера


1. Они создаются специально для решения конкретных задач, связанных с нелинейной логикой и теорией самоорганизации. Решение таких задач на обычных компьютерах возможно только численными методами.

2. В силу своей уникальности эти устройства достаточно дорогостоящи.

5. Практическое применение нейрокомпьютеров.

Несмотря на недостатки, нейрокомпьютеры могут быть успешно использованы в различных областях народного хозяйства.

— Управление в режиме реального времени: самолетами, ракетами и технологическими процессами непрерывного производства (металлургического, химического и др.);

— Распознавание образов: человеческих лиц, букв и иероглифов, сигналов радара и сонара, отпечатков пальцев в криминалистике, заболеваний по симптомам (в медицине) и местностей, где следует искать полезные ископаемые (в геологии, по косвенным признакам);

— Прогнозы: погоды, курса акций (и других финансовых показателей), исхода лечения, политических событий (в частности результатов выборов), поведения противников в военном конфликте и в экономической конкуренции;

— Оптимизация и поиск наилучших вариантов: при конструировании технических устройств, выборе экономической стратегии и при лечении больного.

Этот список можно продолжать, но и сказанного достаточно для того, чтобы понять, что нейрокомпьютеры могут занять достойное место в современном обществе.

Что же представляет из себя нейрокомпьютер? Нейрокомпьютеры бывают двух типов:

1. Большие универсальные компьютеры построенные на множестве нейрочипов.

2. Нейроимитаторы, представляющие собой программы для обычных компьютеров, имитирующие работу нейронов. В основе такой программы заложен алгоритм работы нейрочипа с определенными внутренними связями. Что — то типа “Черного ящика”, по принципу которого он и работает. На вход такой программы подаются исходные данные и на основании закономерностей, связанных с принципом работы головного мозга, делаются выводы о правомерности полученных результатов.

Нейронные сети это всего-навсего сети, состоящие из связанных между собой простых элементов формальных нейронов. Большая часть работ по нейроинформатике посвящена переносу различных алгоритмов решения задач на такие сети.

В основу концепции положена идея о том, что нейроны можно моделировать довольно простыми автоматами, а вся сложность мозга, гибкость его функционирования и другие важнейшие качества определяются связями между нейронами. Каждая связь представляется как совсем простой элемент, служащий для передачи сигнала. Коротко эту мысль можно выразить так: “структура связей все, свойства элементов ничто”.

Совокупность идей и научно-техническое направление, определяемое описанным представлением о мозге, называется коннекционизмом (connection связь). С реальным мозгом все это соотносится примерно так же, как карикатура или шарж со своим прототипом. Важно не буквальное соответствие оригиналу, а продуктивность технической идеи.

С коннекционизмом тесно связан следующий блок идей:

однородность системы (элементы одинаковы и чрезвычайно просты, все определяется структурой связей);
надежные системы из ненадежных элементов и “аналоговый ренессанс” использование простых аналоговых элементов;
“голографические” системы при разрушении случайно выбранной части система сохраняет свои свойства.

Предполагается, что широкие возможности систем связей компенсируют бедность выбора элементов, их ненадежность и возможные разрушения части связей.

Для описания алгоритмов и устройств в нейроинформатике выработана специальная “схемотехника”, в которой элементарные устройства (сумматоры, синапсы, нейроны и т.п.) объединяются в сети, предназначенные для решения задач. Для многих начинающих кажется неожиданным, что ни в аппаратной реализации нейронных сетей, ни в профессиональном программном обеспечении эти элементы вовсе не обязательно реализуются как отдельные части или блоки. Используемая в нейроинформатике идеальная схемотехника представляет собой особый язык описания нейронных сетей и их обучения. При программной и аппаратной реализации выполненные на этом языке описания переводятся на более подходящие языки другого уровня.

Самый важный элемент нейросистем адаптивный сумматор, который вычисляет скалярное произведение вектора входного сигнала x на вектор параметров a. Адаптивным он называется из-за наличия вектора настраиваемых параметров a.

Нелинейный преобразователь сигнала получает скалярный входной сигнал x и переводит его в заданную нелинейную функцию f(x).

Точка ветвления служит для рассылки одного сигнала по нескольким адресам. Она получает скалярный входной сигнал x и передает его на все свои выходы.

Стандартный формальный нейрон состоит из входного сумматора, нелинейного преобразователя и точки ветвления на выходе.

Линейная связь синапс отдельно от сумматоров не встречается, однако для некоторых рассуждений бывает удобно выделить этот элемент. Он умножает входной сигнал x на “вес синапса” a.

Итак, мы коротко описали основные элементы, из которых состоят нейронные сети.

IV.Задачи для нейронных сетей

Многие задачи, для решения которых используются нейронные сети, могут рассматриваться как частные случаи следующих основных проблем:

построение функции по конечному набору значений;
оптимизация;
построение отношений на множестве объектов;
распределенный поиск информации и ассоциативная память;
фильтрация;
сжатие информации;
идентификация динамических систем и управление ими;
нейросетевая реализация классических задач и алгоритмов вычислительной математики: решение систем линейных уравнений, решение задач математической физики сеточными методами и др.

Нейронные сети возникли из исследований в области искусственного интеллекта, а именно, из попыток воспроизвести способность биологических нервных систем обучаться и исправлять ошибки.
Такие системы основывались на высокоуровневом моделировании процесса мышления на обычных компьютерах. Скоро стало ясно, чтобы создать искусственный интеллект, необходимо построить систему с похожей на естественную архитектурой, т. е. перейти от программной реализации процесса мышления к аппаратной.
Естественным продолжением аппаратного и программного подхода к реализации нейрокомпьютера является программно-аппаратный подход.
Аппаратный подход связан с созданием нейрокомпьютеров в виде нейроподобных структур (нейросетей) электронно-аналогового, оптоэлектронного и оптического типов. Для таких компьютеров разрабатываются специальные СБИС (нейрочипы).
Основу нейросетей составляют относительно простые, в большинстве случаев — однотипные, элементы (ячейки), имитирующие работу нейронов мозга — искусственные нейроны. Нейрон обладает группой синапсов — однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон — выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Каждый синапс характеризуется величиной синаптической связи или ее весом, который по физическому смыслу эквивалентен электрической проводимости в электрических связях.
Для решения отдельных типов задач существуют оптимальные конфигурации нейронных сетей. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации. При этом он руководствуется несколькими основополагающими принципами: возможности сети возрастают с увеличением числа ячеек сети, плотности связей между ними и числом слоев нейронов. Одной из важных особенностью нейронной сети является возможность к обучению. Обучение нейросети может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей. Во втором случае выходы нейросети формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы. После обучения на достаточно большом количестве примеров можно использовать обученную сеть для прогнозирования, предъявляя ей новые входные значения. Это важнейшее достоинство нейрокомпьютера, позволяющие ему решать интеллектуальные задачи, накапливая опыт.

VI.Список используемой литературы:

А.Горбань, Д. Россиев. Нейронные сети на персональном компьютере. //Новосибирск: Наука, 1996.
Ф.Уоссермен, Нейрокомпьютерная техника, М.,Мир, 1992.
Итоги науки и техники: физические и математические модели нейронных сетей, том 1, М., изд. ВИНИТИ, 1990.

Нейрокомпьютерная техника

Нейрокомпьютерная техника:
Теория и практика

В книге американского автора в общедоступной форме излагаются основы построения нейрокомпьютеров. Описаны структура нейронных сетей и различные алгоритмы их настройки. Отдельные главы посвящены вопросам реализации нейронных сетей.

Для специалистов в области вычислительной техники, а также студентов соответствующих специальностей вузов.

Перевод на русский язык, Ю. А. Зуев, В. А. Точенов, 1992.

Глава 3. Процедура обратного распространения

ВВЕДЕНИЕ В ПРОЦЕДУРУ ОБРАТНОГО РАСПРОСТРАНЕНИЯ

ОБУЧАЮЩИЙ АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ

ДАЛЬНЕЙШИЕ АЛГОРИТМИЧЕСКИЕ РАЗРАБОТКИ

Долгое время не было теоретически обоснованного алгоритма для обучения многослойных искусственных нейронных сетей. А так как возможности представления с помощью однослойных нейронных сетей оказались весьма ограниченными, то и вся область в целом пришла в упадок.

Разработка алгоритма обратного распространения сыграла важную роль в возрождении интереса к искусственным нейронным сетям. Обратное распространение – это систематический метод для обучения многослойных искусственных нейронных сетей. Он имеет солидное математическое обоснование. Несмотря на некоторые ограничения, процедура обратного распространения сильно расширила область проблем, в которых могут быть использованы искусственные нейронные сети, и убедительно продемонстрировала свою мощь.

Интересна история разработки процедуры. В [7] было дано ясное и полное описание процедуры. Но как только эта работа была опубликована, оказалось, что она была предвосхищена в [4]. А вскоре выяснилось, что еще раньше метод был описан в [12]. Авторы работы [7] сэкономили бы свои усилия, знай они о работе [12]. Хотя подобное дублирование является обычным явлением для каждой научной области, в искусственных нейронных сетях положение с этим намного серьезнее из-за пограничного характера самого предмета исследования. Исследования по нейронным сетям публикуются в столь различных книгах и журналах, что даже самому квалифицированному исследователю требуются значительные усилия, чтобы быть осведомленным о всех важных работах в этой области.

Рис. 3.1. Искусственный нейрон с активационнной функцией

Нейрон. На рис. 3.1 показан нейрон, используемый в качестве основного строительного блока в сетях обратного распространения. Подается множество входов, идущих либо извне, либо от предшествующего слоя. Каждый из них умножается на вес, и произведения суммируются. Эта сумма, обозначаемая NET, должна быть вычислена для каждого нейрона сети. После того, как величина NET вычислена, она модифицируется с помощью активационной функции и получается сигнал OUT.

Рис. 3.2. Сигмоидальная активационная функция.


На рис. 3.2 показана активационная функция, обычно используемая для обратного распространения.

Как показывает уравнение (3.2), эта функция, называемая сигмоидом, весьма удобна, так как имеет простую производную, что используется при реализации алгоритма обратного распространения.

Сигмоид, который иногда называется также логистической, или сжимающей функцией, сужает диапазон изменения NET так, что значение OUT лежит между нулем и единицей. Как указывалось выше, многослойные нейронные сети обладают большей представляющей мощностью, чем однослойные, только в случае присутствия нелинейности. Сжимающая функция обеспечивает требуемую нелинейность.

В действительности имеется множество функций, которые могли бы быть использованы. Для алгоритма обратного распространения требуется лишь, чтобы функция была всюду дифференцируема. Сигмоид удовлетворяет этому требованию. Его дополнительное преимущество состоит в автоматическом контроле усиления. Для слабых сигналов (величина NET близка к нулю) кривая вход-выход имеет сильный наклон, дающий большое усиление. Когда величина сигнала становится больше, усиление падает. Таким образом, большие сигналы воспринимаются сетью без насыщения, а слабые сигналы проходят по сети без чрезмерного ослабления.

На рис. 3.3 изображена многослойная сеть, которая может обучаться с помощью процедуры обратного распространения. (Для ясности рисунок упрощен.) Первый слой нейронов (соединенный с входами) служит лишь в качестве распределительных точек, суммирования входов здесь не производится. Входной сигнал просто проходит через них к весам на их выходах. А каждый нейрон последующих слоев выдает сигналы NET и OUT, как описано выше.

Рис. 3.3. Двухслойная сеть обратного распространения ( e – желаемый сигнал).

В литературе нет единообразия относительно того, как считать число слоев в таких сетях. Одни авторы используют число слоев нейронов (включая несуммирующий входной слой), другие – число слоев весов. Так как последнее определение функционально описательное, то оно будет использоваться на протяжении книги. Согласно этому определению, сеть на рис. 3.3 рассматривается как двухслойная. Нейрон объединен с множеством весов, присоединенных к его входу. Таким образом, веса первого слоя оканчиваются на нейронах первого слоя. Вход распределительного слоя считается нулевым слоем.

Процедура обратного распространения применима к сетям с любым числом слоев. Однако для того, чтобы продемонстрировать алгоритм, достаточно двух слоев. Сейчас будут рассматриваться лишь сети прямого действия, хотя обратное распространение применимо и к сетям с обратными связями. Эти случаи будут рассмотрены в данной главе позднее.

Целью обучения сети является такая подстройка ее весов, чтобы приложение некоторого множества входов приводило к требуемому множеству выходов. Для краткости эти множества входов и выходов будут называться векторами. При обучении предполагается, что для каждого входного вектора существует парный ему целевой вектор, задающий требуемый выход. Вместе они называются обучающей парой. Как правило, сеть обучается на многих парах. Например, входная часть обучающей пары может состоять из набора нулей и единиц, представляющего двоичный образ некоторой буквы алфавита. На рис. 3.4 показано множество входов для буквы “А”, нанесенной на сетке. Если через квадрат проходит линия, то соответствующий нейронный вход равен единице, в противном случае он равен нулю. Выход может быть числом, представляющим букву “А”, или другим набором из нулей и единиц, который может быть использован для получения выходного образа. При необходимости распознавать с помощью сети все буквы алфавита, потребовалось бы 26 обучающих пар. Такая группа обучающих пар называется обучающим множеством.

Рис. 3.4. Распознавание изображении

Перед началом обучения всем весам должны быть присвоены небольшие начальные значения, выбранные случайным образом. Это гарантирует, что в сети не произойдет насыщения большими значениями весов, и предотвращает ряд других патологических случаев. Например, если всем весам придать одинаковые начальные значения, а для требуемого функционирования нужны неравные значения, то сеть не сможет обучиться.

Обучение сети обратного распространения требует выполнения следующих операций:

Выбрать очередную обучающую пару из обучающего множества; подать входной вектор на вход сети.

Вычислить выход сети.

Вычислить разность между выходом сети и требуемым выходом (целевым вектором обучающей пары).

Подкорректировать веса сети так, чтобы минимизировать ошибку.

Повторять шаги с 1 по 4 для каждого вектора обучающего множества до тех пор, пока ошибка на всем множестве не достигнет приемлемого уровня.

Операции, выполняемые шагами 1 и 2, сходны с теми, которые выполняются при функционировании уже обученной сети, т. е. подается входной вектор и вычисляется получающийся выход. Вычисления выполняются послойно. На рис. 3.3 сначала вычисляются выходы нейронов слоя j , затем они используются в качестве входов слоя k , вычисляются выходы нейронов слоя k , которые и образуют выходной вектор сети.

На шаге 3 каждый из выходов сети, которые на рис. 3.3 обозначены OUT, вычитается из соответствующей компоненты целевого вектора, чтобы получить ошибку. Эта ошибка используется на шаге 4 для коррекции весов сети, причем знак и величина изменений весов определяются алгоритмом обучения (см. ниже).

После достаточного числа повторений этих четырех шагов разность между действительными выходами и целевыми выходами должна уменьшиться до приемлемой величины, при этом говорят, что сеть обучилась. Теперь сеть используется для распознавания и веса не изменяются.

На шаги 1 и 2 можно смотреть как на “проход вперед”, так как сигнал распространяется по сети от входа к выходу. Шаги 3, 4 составляют “обратный проход”, здесь вычисляемый сигнал ошибки распространяется обратно по сети и используется для подстройки весов. Эти два прохода теперь будут детализированы и выражены в более математической форме.

Проход вперед. Шаги 1 и 2 могут быть выражены в векторной форме следующим образом: подается входной вектор Х и на выходе получается вектор Y . Векторная пара вход-цель Х и Т берется из обучающего множества. Вычисления проводятся над вектором X , чтобы получить выходной вектор Y .

Как мы видели, вычисления в многослойных сетях выполняются слой за слоем, начиная с ближайшего к входу слоя. Величина NET каждого нейрона первого слоя вычисляется как взвешенная сумма входов нейрона. Затем активационная функция F “сжимает” NET и дает величину OUT для каждого нейрона в этом слое. Когда множество выходов слоя получено, оно является входным множеством для следующего слоя. Процесс повторяется слой за слоем, пока не будет получено заключительное множество выходов сети.

Этот процесс может быть выражен в сжатой форме с помощью векторной нотации. Веса между нейронами могут рассматриваться как матрица W . Например, вес от нейрона 8 в слое 2 к нейрону 5 слоя 3 обозначается w 8,5 . Тогда NET-вектор слоя N может быть выражен не как сумма произведений, а как произведение Х и W . В векторном обозначении N = XW. Покомпонентным применением функции F к NET-вектору N получается выходной вектор О . Таким образом, для данного слоя вычислительный процесс описывается следующим выражением:

Выходной вектор одного слоя является входным вектором для следующего, поэтому вычисление выходов последнего слоя требует применения уравнения (3.3) к каждому слою от входа сети к ее выходу.

Обратный проход. Подстройка весов выходного слоя. Так как для каждого нейрона выходного слоя задано целевое значение, то подстройка весов легко осуществляется с использованием модифицированного дельта-правила из гл. 2. Внутренние слои называют “скрытыми слоями”, для их выходов не имеется целевых значений для сравнения. Поэтому обучение усложняется.

На рис. 3.5 показан процесс обучения для одного веса от нейрона р в скрытом слое j к нейрону q в выходном слое k. Выход нейрона слоя k, вычитаясь из целевого значения (Target), дает сигнал ошибки. Он умножается на производную сжимающей функции [OUT(1 – OUT)], вычисленную для этого нейрона слоя k , давая, таким образом, величину δ .

δ = OUT(1 – OUT)(Target – OUT) (3.4)

Затем δ умножается на величину OUT нейрона j , из которого выходит рассматриваемый вес. Это произведение в свою очередь умножается на коэффициент скорости обучения η (обычно от 0,01 до 1,0), и результат прибавляется к весу. Такая же процедура выполняется для каждого веса от нейрона скрытого слоя к нейрону в выходном слое.

Следующие уравнения иллюстрируют это вычисление:

Δ w pq,k = η δ q,k OUT (3.5)

w pq,k (n+1) = w pq,k (n) + Δ w pq,k (3.6)

где w pq,k (n) – величина веса от нейрона p в скрытом слое к нейрону q в выходном слое на шаге n (до коррекции); отметим, что индекс k относится к слою, в котором заканчивается данный вес, т. е., согласно принятому в этой книге соглашению, с которым он объединен; w pq,k (n+1) – величина веса на шаге n + 1 (после коррекции); δ q,k – величина δ для нейрона q , в выходном слое k ; OUT p,j – величина OUT для нейрона р в скрытом слое j .

Рис. 3.5. Настройка веса в выходном слое

Подстройка весов скрытого слоя. Рассмотрим один нейрон в скрытом слое, предшествующем выходному слою. При проходе вперед этот нейрон передает свой выходной сигнал нейронам в выходном слое через соединяющие их веса. Во время обучения эти веса функционируют в обратном порядке, пропуская величину δ от выходного слоя назад к скрытому слою. Каждый из этих весов умножается на величину δ нейрона, к которому он присоединен в выходном слое. Величина δ, необходимая для нейрона скрытого слоя, получается суммированием всех таких произведений и умножением на производную сжимающей функции:

(см. рис. 3.6). Когда значение δ получено, веса, питающие первый скрытый уровень, могут быть подкорректированы с помощью уравнений (3.5) и (3.6), где индексы модифицируются в соответствии со слоем.

Рис. 3.6 . Настройка веса в скрытом слое

. Для каждого нейрона в данном скрытом слое должно быть вычислено δ и подстроены все веса, ассоциированные с этим слоем. Этот процесс повторяется слой за слоем по направлению к входу, пока все веса не будут подкорректированы.

С помощью векторных обозначений операция обратного распространения ошибки может быть записана значительно компактнее. Обозначим множество величин δ выходного слоя через D k и множество весов выходного слоя как массив W k . Чтобы получить D j , δ -вектор выходного слоя, достаточно следующих двух операций:

Умножить о-вектор выходного слоя D k на транспонированную матрицу весов W’ k , соединяющую скрытый уровень с выходным уровнем.


Умножить каждую компоненту полученного произведения на производную сжимающей функции соответствующего нейрона в скрытом слое.

В символьной записи

D j = D k W’ k $ [ 0 j $ ( I – 0 j )], (3.8)

где оператор $ в данной книге обозначает покомпонентное произведение векторов , О j – выходной вектор слоя j и I – вектор, все компоненты которого равны 1.

Добавление нейронного смещения. Во многих случаях желательно наделять каждый нейрон обучаемым смещением. Это позволяет сдвигать начало отсчета логистической функции, давая эффект, аналогичный подстройке порога персептронного нейрона, и приводит к ускорению процесса обучения. Эта возможность может быть легко введена в обучающий алгоритм с помощью добавляемого к каждому нейрону веса, присоединенного к +1. Этот вес обучается так же, как и все остальные веса, за исключением того, что подаваемый на него сигнал всегда равен +1, а не выходу нейрона предыдущего слоя.

Импульс. В работе [7] описан метод ускорения обучения для алгоритма обратного распространения, увеличивающий также устойчивость процесса. Этот метод, названный импульсом, заключается в добавлении к коррекции веса члена, пропорционального величине предыдущего изменения веса. Как только происходит коррекция, она “запоминается” и служит для модификации всех последующих коррекций. Уравнения коррекции модифицируются следующим образом:

Δ w pq,k (n+1)= η δ q,k OUT p,j + a Δ w pq,k (n) (3.9)

w pq,k (n+1) = w pq,k (n) + Δ w pq,k (n+1) (3.10)

где ( a – коэффициент импульса, обычно устанавливается около 0,9.

Используя метод импульса, сеть стремится идти по дну узких оврагов поверхности ошибки (если таковые имеются), а не двигаться от склона к склону. Этот метод, по-видимому, хорошо работает на некоторых задачах, но дает слабый или даже отрицательный эффект на других.

В работе [8] описан сходный метод, основанный на экспоненциальном сглаживании, который может иметь преимущество в ряде приложений.

Δ w pq,k (n+1)= (1- a ) δ q,k OUT p,j + a Δ w pq,k (n) (3.9)

Затем вычисляется изменение веса

w pq,k (n+1) = w pq,k (n) + ηΔ w pq,k (n+1), (3.10)

где a коэффициент сглаживания, варьируемый и диапазоне от 0,0 до 1,0. Если a равен 1,0, то новая коррекция игнорируется и повторяется предыдущая. В области между 0 и 1 коррекция веса сглаживается величиной, пропорциональной a . По-прежнему, η является коэффициентом скорости обучения, служащим для управления средней величиной изменения веса.

Многими исследователями были предложены улучшения и обобщения описанного выше основного алгоритма обратного распространения. Литература в этой области слишком обширна, чтобы ее можно было здесь охватить. Кроме того, сейчас еще слишком рано давать окончательные оценки. Некоторые из этих подходов могут оказаться действительно фундаментальными, другие же со временем исчезнут. Некоторые из наиболее многообещающих разработок обсуждаются в этом разделе.

В [5] описан метод ускорения сходимости алгоритма обратного распространения. Названный обратным распространением второго порядка, он использует вторые производные для более точной оценки требуемой коррекции весов. В [5] показано, что этот алгоритм оптимален в том смысле, что невозможно улучшить оценку, используя производные более высокого порядка. Метод требует дополнительных вычислений по сравнению с обратным распространением первого порядка, и необходимы дальнейшие эксперименты для доказательства оправданности этих затрат.

В [9] описан привлекательный метод улучшения характеристик обучения сетей обратного распространения. В работе указывается, что общепринятый от 0 до 1 динамический диапазон входов и выходов скрытых нейронов неоптимален. Так как величина коррекции веса Δ w pq,k пропорциональна выходному уровню нейрона, порождающего OUT p,j , то нулевой уровень ведет к тому, что вес не меняется. При двоичных входных векторах половина входов в среднем будет равна нулю, и веса, с которыми они связаны, не будут обучаться! Решение состоит в приведении входов к значениям ± ½ и добавлении смещения к сжимающей функции, чтобы она также принимала значения ±½. Новая сжимающая функция выглядит следующим образом:

С помощью таких простых средств время сходимости сокращается в среднем от 30 до 50%. Это является одним из примеров практической модификации, существенно улучшающей характеристику алгоритма.

В [6] и [1] описана методика применения обратного распространения к сетям с обратными связями, т. е. к таким сетям, у которых выходы подаются через обратную связь на входы. Как показано в этих работах, обучение в подобных системах может быть очень быстрым и критерии устойчивости легко удовлетворяются.

Обратное распространение было использовано в широкой сфере прикладных исследований. Некоторые из них описываются здесь, чтобы продемонстрировать мощь этого метода.

Фирма NEC в Японии объявила недавно, что обратное распространение было ею использовано для визуального распознавания букв, причем точность превысила 99%. Это улучшение было достигнуто с помощью комбинации обычных алгоритмов с сетью обратного распространения, обеспечивающей дополнительную проверку.

В работе [8] достигнут впечатляющий успех с Net-Talk, системой, которая превращает печатный английский текст в высококачественную речь. Магнитофонная запись процесса обучения сильно напоминает звуки ребенка на разных этапах обучения речи.

В [2] обратное распространение использовалось в машинном распознавании рукописных английских слов. Буквы, нормализованные по размеру, наносились на сетку, и брались проекции линий, пересекающих квадраты сетки. Эти проекции служили затем входами для сети обратного распространения. Сообщалось о точности 99,7% при использовании словарного фильтра.

В [3] сообщалось об успешном применении обратного распространения к сжатию изображений, когда образы представлялись одним битом на пиксель, что было восьмикратным улучшением по сравнению с входными данными .

Несмотря на многочисленные успешные применения обратного распространения, оно не является панацеей. Больше всего неприятностей приносит неопределенно долгий процесс обучения. В сложных задачах для обучения сети могут потребоваться дни или даже недели, она может и вообще не обучиться. Длительное время обучения может быть результатом неоптимального выбора длины шага. Неудачи в обучении обычно возникают по двум причинам: паралича сети и попадания в локальный минимум.

В процессе обучения сети значения весов могут в результате коррекции стать очень большими величинами. Это может привести к тому, что все или большинство нейронов будут функционировать при очень больших значениях OUT, в области, где производная сжимающей функции очень мала. Так как посылаемая обратно в процессе обучения ошибка пропорциональна этой производной, то процесс обучения может практически замереть. В теоретическом отношении эта проблема плохо изучена. Обычно этого избегают уменьшением размера шага η , но это увеличивает время обучения. Различные эвристики использовались для предохранения от паралича или для восстановления после него, но пока что они могут рассматриваться лишь как экспериментальные.

Обратное распространение использует разновидность градиентного спуска, т. е. осуществляет спуск вниз по поверхности ошибки, непрерывно подстраивая веса в направлении к минимуму. Поверхность ошибки сложной сети сильно изрезана и состоит из холмов, долин, складок и оврагов в пространстве высокой размерности. Сеть может попасть в локальный минимум (неглубокую долину), когда рядом имеется гораздо более глубокий минимум. В точке локального минимума все направления ведут вверх, и сеть неспособна из него выбраться. Статистические методы обучения могут помочь избежать этой ловушки, но они медленны. В [10] предложен метод, объединяющий статистические методы машины Коши с градиентным спуском обратного распространения и приводящий к системе, которая находит глобальный минимум, сохраняя высокую скорость обратного распространения. Это обсуждается в гл. 5.

Внимательный разбор доказательства сходимости в [7] показывает, что коррекции весов предполагаются бесконечно малыми. Ясно, что это неосуществимо на практике, так как ведет к бесконечному времени обучения. Размер шага должен браться конечным, и в этом вопросе приходится опираться только на опыт. Если размер шага очень мал, то сходимость слишком медленная, если же очень велик, то может возникнуть паралич или постоянная неустойчивость. В [11] описан адаптивный алгоритм выбора шага, автоматически корректирующий размер шага в процессе обучения .

Если сеть учится распознавать буквы, то нет смысла учить “Б”, если при этом забывается “А”. Процесс обучения должен быть таким, чтобы сеть обучалась на всем обучающем множестве без пропусков того, что уже выучено. В доказательстве сходимости [7] это условие выполнено, но требуется также, чтобы сети предъявлялись все векторы обучающего множества прежде, чем выполняется коррекция весов. Необходимые изменения весов должны вычисляться на всем множестве, а это требует дополнительной памяти; после ряда таких обучающих циклов веса сойдутся к минимальной ошибке. Этот метод может оказаться бесполезным, если сеть находится в постоянно меняющейся внешней среде, так что второй раз один и тот же вектор может уже не повториться. В этом случае процесс обучения может никогда не сойтись, бесцельно блуждая или сильно осциллируя. В этом смысле обратное распространение не похоже на биологические системы. Как будет указано в гл. 8, это несоответствие (среди прочих) привело к системе ART, принадлежащей Гроссбергу.

Almeida L. B. 1987. Neural computaters. Proceedings of NATO ARW on Neural Computers, Dusseldorf. Heidelberg: Springer-Verlag.

Burr D. J. 1987. Experiments with a connecnionlist text reader. In Proceedings of the IEEE First International Conferense on Neural Networks, eds. M. Caudill and C.Butler, vol. 4, pp. 717-24. San Diego, CA: SOS Printing.

Cottrell G. W., Munro P., Zipser D. 1987. Image compression by backpropagation: An example of extensional programming. ICS Report 8702, University of California, San Diego.

Parker D. B. 1982. Learning logic. Invention Report S81-64, File 1, Office of Technology Licensing, Stanford University, Stanford, CA.

Parker D. B. 1987. Second order back propagation: Implementing an optimal 0(n) approximation to Newton’s method as an artificial newral network. Manuscript submitted for publication.

Pineda F. J. 1988. Generalization of backpropagation to recurrent and higher order networks. In Newral information processing systems, ed. Dana Z. Anderson, pp. 602-11. New York: American Institute of Phisycs.

Rumelhart D. E., Hinton G. E., Williams R. J. 1986. Learning internal reprentations by error propagation. In Parallel distributed processing, vol. 1, pp. 318-62. Cambridge, MA: MIT Press.


Sejnowski T. J., Rosenberg C. R. 1987. Parallel networks that learn to pronounce English text. Complex Systems 1:145-68.

Stornetta W. S., Huberman B. A. 1987. An improwed three-layer, backpropagation algorithm. In Proceedings of the IEEE First International Conference on Newral Networks, eds. M. Caudill and C. Butler. San Diego, CA: SOS Printing.

Wasserman P. D. 1988a. Combined backpropagation/Cauchy machine. Proceedings of the International Newral Network Society. New York: Pergamon Press.

Wasserman P. D. 1988b. Experiments in translating Chinese characters using backpropagation. Proceedings of the Thirty-Third IEEE Computer Society International Conference. Washington, D. C.: Computer Society Press of the IEEE.

Werbos P. J. 1974. Beyond regression: New tools for prediction and analysis in the behavioral sciences. Masters thesis, Harward University.

masterok

Мастерок.жж.рф

Хочу все знать

Ученые из Стэнфордского университета разработали и изготовили опытный образец компьютера, работа которого подражает работе головного мозга. За счет этого компьютер, который пока еще представляет собой печатную плату с установленными на нем чипами, размером с планшетный компьютер, демонстрирует на определенном виде задач производительность в 9 тысяч раз превышающую производительность обычного настольного персонального компьютера.

Давайте узнаем подробнее про это исследование …

При создании электронного нейрокомпьютера учеными была использована их фирменная архитектура под названием Neurogrid. На плате нейрокомпьютера установлены 16 специализированных процессоров Neurocore, которые в сумме могут моделировать работу 1 миллиона нейронов и несколько миллиардов связей между нейронами, синапсов. За счет такого высокого уровня интеграции новый нейрокомпьютер демонстрирует в 40 тысяч большую эффективность с точки зрения соотношения вычислительной мощности к потребляемой энергии, чем процессоры обычных компьютеров.

Эффективность работы процессоров Neurocore достигается за счет того, что одни и те же элементы электронных схем могут использоваться для обеспечения работы сразу нескольких моделей нейронов и синапсов. Это позволяет процессорам Neurocore строить более обширные и сложные нейронные сети, нежели это могут сделать нейропроцессоры, созданные другими группами ученых.

Следующим шагом, который намерены предпринять Стэнфордские ученые, станет разработка программного обеспечения, при помощи которого инженеры и программисты смогут создавать программы для нейрокомпьютера Neurogrid, не имея обширных знаний в области нейробиологии и об архитектуре нейрокомпьютера.

«Сейчас программирование нашего нейрокомпьютера является весьма сложной задачей, требующей достаточно большого количества высокоинтеллектуального труда» — рассказывает Квабена Боуэн (Kwabena Boahen), один из исследователей, принимавших участие в создании нейрокомпьютера, — «Мы же хотим создать такой пакет для разработки программного обеспечения, при помощи которого каждый человек, ничего не знающий о нейронах и синапсах, сможет разрабатывать программы, которые будут максимально эффективно использовать все возможности нейрокомпьютера Neurogrid».

Еще одной задачей, которая очень остро стоит перед исследователями, является задача снижения стоимости нейропроцессоров Neurocore. Сейчас изготовление нейрокомпьютера обходится приблизительно в 40 тысяч долларов, но ученые планирую снизить эту сумму до 400 долларов путем замены нейропроцессоров, изготовленных при помощи технологий 15-летней давности, на нейропроцессоры, изготовленные на современных технологических линиях с новыми возможностями. Параллельно с этим ученые планируют привести энергетическую эффективность будущего нейрокомпьютера к уровню, сопоставимому с эффективностью работы мозга человека. Ведь человеческий мозг, насчитывающий в 80 тысяч раз больше нейронов, потребляет всего в три раза большее количество энергии, нежели нейрокомпьютер Neurogrid.

Немного теории. Человеческий мозг содержит порядка нескольких миллиардов вычислительных элементов, называемых нейронами. Нейроны связаны между собой в сложную сеть. Эта сеть отвечает за все явления, которые мы называем мыслями, эмоциями, познанием и так далее, то есть на физиологическом уровне образует то, что называется на самом деле нервной системой, в свою очередь совокупность явлений в нервной системе можно назвать психикой, люди же обычные, особо не обремененные научной пунктуальностью, часто именуют последнюю словом «интеллект». Каждый нейрон состоит из трех основных частей: самой клетки (сомы) и двух типов древовидных отростков — дендритов (их обычно очень много) и аксонов (обычно он один). Вообще-то, для нервной системы позвоночных характерны мультиполярные нейроны. В таком нейроне от клеточного тела отходят несколько дендритов и аксон. По правде говоря, структура, размеры и форма нейронов сильно варьируются. Например, периферические чувствительные нейроны вовсе не идентичны нейронам, составляющим мозг. Дендриты выполняют роль своеобразных «входов» для нервных импульсов, а аксон — «выхода».

Скорость передачи нервных импульсов сравнительно мала, но несмотря на это скорость обработки информации в мозге огромна. Достигается это за счет того, что внешняя информация распределяется по множеству нейронов и обрабатывается ими одновременно, то есть реализуется максимально распараллеленная обработка информации. Но это все относится к вопросам биологического устройства, нас же больше интересует искусственная модель нейрона, та модель, которая была предложена учеными.

Общие принципы работы модели нейрона можно описать следующим образом: на входы нейрона поступают нервные сигналы от других нейронов. Каждый вход характеризуется собственным некоторым весовым коэффициентом, определяющим важность получаемой информации. Вдаваясь в грубую аналогию, весовой коэффициент объясняют как своего рода сопротивление (резистор, если нервный сигнал рассматривается как аналоговый электрический сигнал), оказываемое поступающему на конкретный вход нейрона нервному сигналу. Предварительно устанавливая величину такого «сопротивления» или же динамически изменяя его величину по определенным правилам в процессе работы нейронной сети, осуществляется как бы задание степени значимости информации, поступающей по данному входу нейрона, то есть в буквальном смысле задание меры подавления нервного сигнала.

Далее: полученные уже после весовых коэффициентов сигналы суммируются, затем итоговый сигнал операции суммирования преобразуется следом так называемой активационной функцией и подается на выход нейрона. Активационную функцию прокомментировать можно как механизм, обеспечивающий порог срабатывания, отзывчивости нейрона на сумму входных сигналов, перевод его в состояние возбуждения, а также возвращение в состояние покоя, то есть торможения. Затем выходной сигнал нейрона поступает на вход следующего нейрона, и все повторяется, пока не будет достигнут желаемый, то есть «запрограммированный» устройством нейронной сети результат.

Такая модель нейрона лишь в общих чертах отражает работу истинного нейрона головного мозга: активационная функция моделирует возбуждение нейрона, а весовые коэффициенты по входам имитируют прохождение сигналов через синапсы нейрона. Синапсы — специализированные функциональные контакты между возбудимыми клетками, служащие для передачи и преобразования сигналов. Кроме того, нейроны группируются в нейронные слои и образуют нейронную сеть.

Тип соединения нейронов и их количество в нейронной сети полностью определяет возможности последней: ее мощность и спектр задач, которые она призвана решать. В настоящее время существует более 200 разновидностей нейронных сетей. Но основной, самой распространенной и простой является сеть, получившая название многослойный персептрон. Персептрон, перцептрон (от латинского perceptio — понимание, познавание, восприятие) — математическая модель процесса восприятия. Модель восприятия (персептивная модель) может быть представлена в виде трех слоев нейронов: рецепторного слоя, слоя преобразующих нейронов и слоя реагирующих нейронов. Персептрон же состоит из слоя входных нейронов, слоя выходных и нескольких промежуточных слоев.

Многослойные нейронные сети обладают различной мощностью. Мощность нейронной сети, очевидно, будет зависеть от числа слоев и числа нейронов в каждом слое. Интуитивно можно предположить, что с увеличением количества слоев и нейронов качество нейронной сети улучшится, и это действительно так, но до некоторого предела, когда наращивание объема становится неэффективным. Уровень порога связан с размерностями входных и выходных данных, а также с внутренней структурой обрабатываемых данных.

Для того чтобы созданная сеть начала работать, ее необходимо обучить. Необученная сеть не имеет даже «рефлексов» — на любые внешние воздействия ее реакция будет хаотичной. Обучение состоит в многократном предъявлении множества чуть-чуть отличающихся характерных примеров распознаваемого элемента до тех пор, пока сеть не станет давать на выходе ожидаемый отклик.

Существуют алгоритмы обучения с учителем и без него. В первом случае в выработке весовых коэффициентов (обучении) участвует человек. Объясним доходчиво суть такого обучения: человек подает на вход спроектированной нейронной сети пример распознаваемого элемента, затем вручную, или посредством поддерживаемых сетью специальных возможностей, или вспомогательными утилитами сервисного обслуживания сетей настраивает весовые коэффициенты (буквально «подкручивает сопротивления») у разных нейронов обучаемой сети, чтобы на ее выходе получился сигнал такой-то величины. Затем подает на вход сети следующий пример, едва-едва отличающийся от предыдущего, и теперь «подкручивает сопротивления» таким образом, чтобы и на прошлый, и на новый пример обучаемая нейронная сеть давала на выходе сигнал заданной или очень близкой к ней величины. То есть человек-учитель пытается достичь в настройках весовых коэффициентов как бы золотой середины. Следующий пример на вход — и следующая подстройка коэффициентов. В конце концов обученная таким образом сеть готова рефлекторно откликаться в форме заданного уровня сигнала на выходе при появлении на входе распознаваемого элемента, причем тот, в зависимости от длительности обучения, опознается в весьма широком диапазоне вариаций его появления.

Кстати, эти особенности обусловили значительную направленность нейронных сетей на задачи распознавания, в числе которых оказывается не только распознавание изображений, но и уверенная идентификация неких явлений, фаз изменения, преподнесенных на вход нейронной сети в виде состояний соответствующих «участников» явления, фазы или прочего; скажем, прогнозирование изменения курса валют требует идентификации, распознавания экономических состояний. В то же время указанные особенности нейронных сетей все-таки не способствуют воспроизведению актов подлинного мышления. Видимо, не нашлась пока уникальная свежая идея на этот счет.

Во втором случае — в случае обучения без учителя — сеть справляется сама, выполняя в принципе те же действия по подстройке весовых коэффициентов, только самообучение инициируется здесь фактом обнаруженного противоречия с имеющимися в нейронной сети знаниями, когда поступивший на вход элемент очень слабо или вовсе не распознается, но его непременно требуется как-то классифицировать.

Кратко объясним суть и этого обучения. В первую очередь для таких сетей предполагается, что они имеют в своем составе достаточный запас нейронных узлов, в которых будут храниться знания в виде настроенных весовых коэффициентов, или же что сеть в состоянии «выращивать» такие узлы, создавать и подключать их к себе самостоятельно. Во вторую очередь считается, что изначально заданы предельные границы расхождения результатов распознавания с наколенными знаниями, после которых элемент признается неизвестным. Грубо скажем, если более 50 процентов деталей элемента не распознаются, он считается неизвестным, вызывающим противоречие.

Итак, пусть сеть в начальный момент времени не обучена. На входе появляется подлежащий распознаванию элемент. Рождается противоречие с накопленным знанием, так как элемент вообще неизвестен, так как расхождение со знаниями в этом случае измеряется сотней процентов. Одному из свободных узлов сети передаются на вход зафиксированные сигналы от элемента, выход узла подразумевается быть всегда равным величине сигнала «опознал» (условно назовем так этот сигнал) или «тишина», и уже внутри узла выполняется автоматическая подстройка весовых коэффициентов, заменяя ручную подгонку как в случае обучения с учителем.

Пусть теперь на вход сети поступил прошлый элемент, чуть измененный в вариации. Обученный нейронный узел, который тоже подключен ко входной магистрали, опознает элемент с погрешностью, допустим, в 30 процентов. Понятно, что выходной сигнал узла мы назвали в исключительной форме «опознал» для удобства, на самом же деле он изменяется в пределах от «тишина» (это же «опознал на 0 процентов») до «опознал на 100 процентов». Сеть, не обнаружив выхода за пределы границы расхождения, передает тому же узлу новый пример элемента, чтобы узел подстроил весовые коэффициенты на удачное опознание и первого примера, и второго примера одного и того же элемента.

Как только на входе появился неизвестный элемент, то есть когда ни один из обученных узлов не опознал элемент с точностью свыше 50 процентов, сеть передает сигналы от элемента следующему незадействованному в системе знаний узлу, который тоже по описанному выше сценарию попадает в систему накопленных нейронной сетью знаний. Этим и обеспечивается обучение сети без учителя, и как правило, подобный процесс происходит качественно, если удачно организовано взаимодействие сети с нейронными узлами.

День сегодняшний

Сейчас нейросетевые технологии применяют во многих областях. Например, когда необходимо решить задачи такого рода: неизвестен алгоритм решения, но имеется множество примеров; исходные данные искажены или противоречивы; имеются большие объемы входной информации. Нейронные сети применяются для решения задач классификации, распознавания образов, оптимизации, прогнозирования и для многих других. Нейротехнологии используются также для распознавания текста со сканеров, проверок достоверности подписей, прогнозирования экономических показателей (например, прогнозирования курса валют), управления технологическими процессами и робототехникой, и прочее, прочее, прочее…

Стоит особо отметить, что нейронные сети не нуждаются для решения задач в заранее составленном математическом алгоритме, они сами вырабатывают методику решения задачи в процессе обучения. В этом коренное отличие нейросетевых компьютеров от компьютеров классических, и их главное преимущество. Математический аппарат работы нейронных сетей несложен. Программирование не требует профессиональных изощрений: на каждом шагу — умножение вектора на матрицу с накоплением суммы. Сложность представляет адаптация алгоритма обучения нейронной сети под конкретную задачу — подбор и моделирование сети, предварительная обработка информации, оценка результатов.

Также нейронные сети имеют возможность роста. При этом сохраняется их структура и значительно увеличивается эффективность обработки информации. Достаточно сложно организованная сеть способна сама себя развивать. Это свойство может очень широко использоваться программистами будущего, которые смогут создавать небольшие нейронные сети и «доращивать» их до необходимой информационной мощности и емкости.

Вот еще вам научные на мой взгляд любопытные статейки: вот например Зачем скрестили козу и паука ? и почему предок именно Почему именно Homo sapiens ?. А что вы например знаете про Число «фи» и Кто такие перфекционисты ?

Нейрокомпьютерная техника

Перед читателями — научный бестселлер американского писателя Джона Дербишира, удостоенный премии имени Эйлера за лучшее популярное изложение математической проблемы. Книга посвящена великой догадке немецкого математика Бернхарда Римана, выдвинутой им в работе «О числе простых чисел, не превышающих. (Подробнее)

Перед Вами — блистательное исследование чилийских ученых-биологов Умберто Матураны и Франсиско Варелы. В нем представлены основы альтернативной теории познания, главные положения которой противопоставлены классической теории отображения действительности (репрезентационизму).

Сюжетом этой книги. (Подробнее)

Перед читателями — уникальный своеобразный путеводитель по марксизму, в который вошли извлечения из классических работ В.И.Ленина, посвященные системе взглядов и учению Карла Маркса. Составитель хрестоматии, академик АН СССР В.В.Адоратский, выбрал работы Ленина с таким расчетом, чтобы получилось. (Подробнее)

В последние 30 лет на передовых рубежах научного знания формируется принципиально новый взгляд на феномен жизни, в рамках которого жизнь предстает как системное явление. Все больше внимания уделяется вопросам, связанным с теорией сложности, с понятиями сетей и моделей организации, что. (Подробнее)


В настоящей книге представлен подробный перечень дат жизни и деятельности великого немецкого философа, основоположника научного коммунизма, экономиста, социолога, политического журналиста Карла Маркса, составленный на основе источников по его биографии и по истории марксизма Институтом Маркса—Энгельса—Ленина. (Подробнее)

Ведущие исследователи работ Маркса предлагают неожиданную радикальную интерпретацию марксизма, объясняющую провалы неолиберализма и закладывающую основания для новой политики освобождения. Не проводя плоских сравнений между мировоззрением Маркса и нашей сегодняшней политической ситуацией, Славой Жижек. (Подробнее)

Данная книга — первая русскоязычная монография о великом шотландском философе эпохи Просвещения Дэвиде Юме, охватывающая все стороны его жизни и творчества и все его труды. Автор разъясняет ключевые идеи Юма, сохраняющие значение в наши дни, подробно рассказывает о его жизни, а также детально. (Подробнее)

Перед читателем — удивительная книга, переведенная на все основные языки мира и ставшая мировым интеллектуальным бестселлером. Она повествует об истории одного математика, Петроса Папахристоса, оставшегося до конца верным великой идее познания истины, всю свою жизнь посвятившего поиску решения одной-единственной. (Подробнее)

Всемирно известный американский ученый Иммануил Валлерстайн — отец-основатель мир-системного анализа и автор четырехтомника «Современная мир-система» («Мир-система Модерна») — в предлагаемой читателю книге в сжатом виде излагает свои взгляды на капиталистическую систему. Он анализирует экономическое. (Подробнее)

Очередная «несерьезная» книга из широко популярной серии сборников научного юмора, уже несколько лет выходящей в издательстве URSS. В новом сборнике представлены в сокращенном варианте как уже изданные бестселлеры «Математики тоже шутят», «Географы и туристы шутят» и «Медики шутят, пока. (Подробнее)

Выберите страну доставки

Для получения полной информации о книгах
нужно указать страну доставки
Вашего возможного заказа:

Введение

Актуальность исследования: Нейроиформатика — область научных исследований, лежащая на пересечении нейронаук и информатики. Уже многие из созданных приложений нейроинформатики способствуют упрощению современной жизни, и используются во многих сферах человеческой жизни, от производства и до криминалистики. Так же высоко оцениваются достижения последнего десятилетия в области теории нейронных сетей, моделирования мозга, приложений нейротехнологии, разработки нейрокомпьютеров, а также оценивались перспективы развития нейрокомпьютинга.

Объект исследования: Нейроинформатика.

Предмет исследования: Искусственные нейронные сети, математические модели нейронов как единица искусственной нейронной сети, нейрокомпьютеры.

Цель исследования: Выявить основные положения нейроинформатики как науки. Улучшить личные знания в данном разделе информатики.

— Ознакомится с теоретическим курсом нейроинформатики.

— Выявить основные положения, проблемы науки.

-Установить достоинство и недостатки методов достижения основных целей нейроинформатики.

Нейрокомпьютеры

Нейрокомпьютеры, и их применение в современном обществе

Нейронные сети, нейрокомпьютеры, ЭВМ, подобные мозгу. Все чаще информация о них мелькает на страницах печати. Это — не фантастика. Уже существуют работающие нейрокомпьютеры и складывается свой рынок этого нового класса перспективных средств вычислительной техники. Фирма Локхид предполагает использование нейрокомпьютеров для управления адаптивной фокусирующей системой управления мощным лазерным оружием при ведении «звездных войн». Ярким примером реализации нейрокомпьютеров в управлении роботами является разработка системы управления механической рукой для космического корабля «Шаттл». Во многих аэропортах США при досмотре багажа для выявления наркотиков, взрывчатых веществ, ядерных и других материалов используются все те же нейрокомпьютеры. 60% кредитных карточек в США проходят контроль с применением нейрокомпьютерной технологии. Нейроконтроллеры при решении задачи управления уровнем температуры жидкости в замкнутом объеме почти вдвое быстрее реагируют на изменение температуры по сравнению с традиционными PI (РID) регуляторами. Эффективность использования нейрокомпьютеров для обработки радио и гидролокационной информации, причем как на уровне первичной, так и на уровне вторичной обработки, уже не новость. Прогнозирование экономических и финансовых показателей, предсказание возможных осложнений у больных в послеоперационный период, диагностика автомобильных и авиационных двигателей, управление атомными электростанциями и даже стиральными машинами, обработка изображений, формируемых электронным сканирующим микроскопом или телекамерой в охранных системах наблюдения и многое. Многое другое — это все те области, где нейрокомпьютеры различного уровня реализации, от специализированных аппаратных средств, до простых нейросетевых пакетов программ для традиционных персональных компьютеров, с каждым годом находят все более широкое применение.

Огромный интерес к нейрокомпьютерам держится во всем мире без малого уже десять лет. Выкладываются миллиарды долларов, открываются десятки факультетов и кафедр, сотни лабораторий. Число фирм — разработчиков и производителей нейрокомпьютеров — стало уже более сотни.

Нейронные сети и нейрокомпьютеры в настоящее время быстро становятся одной из тех технологий, на которые делают свои ставки ведущие компании мира как на средство конкурентоспособности в XXI веке. Нейрокомпьютеры — это новый захватывающий мир, мир новых возможностей и профессий. США и Япония, Германия и Финляндия, Франция и ряд других стран развернули государственные проекты по исследованиям, разработкам и прикладному использованию нейрокомпьютеров как в гражданской, так и в военной сферах. Что же касается России, то здесь мы всегда были и остаемся ведущими в мире в области теории нейронных сетей. Не отстаем и в создании прикладных нейросетевых алгоритмов. С разработками же конкурентоспособной промышленной нейрокомпьютерной техники в текущих условиях тяжелейшего экономического состояния страны дела обстоят, честно сказать, не столь хорошо. Но тем не менее готовятся в ВУЗах страны, молодые специалисты, знакомые с нейрокомпьютерной тематикой. Продолжаются проводиться научно — исследовательские работы в Научном центре нейрокомпьютеров Минэкономики РФ (г. Москва) и ряде других организаций страны.

Конечно для многих людей нейронные сети и нейрокомпьютеры представляются чем то экзотическим и интригующим. Но, прежде всего, пусть никого не вводит в заблуждение употребление слова «нейро». Искусственная нейронная сеть или, как еще говорят, модель нейронной сети похожа на мозг человека не более чем теннисный шарик на планету Марс.

С математической точки зрения нейронная сеть представляет собой многослойную сетевую структуру, состоящую из однотипных, параллельно работающих процессорных элементов — моделей нейронов. Однако структурно, функционально и алгоритмически модель нейронной сети при обработке информации и выполнении вычислительного процесса в некотором смысле действительно имитирует отдельные свойства естественных нейронных сетей. Ну а для реализации искусственных нейронных сетей как раз и используют нейрокомпьютеры, т.е. вычислительные устройства, которые максимально ориентированы по своей структуре и функциям на эффективное моделирование нейронных сетей и реализацию нейронных алгоритмов решения различных прикладных задач. В целом научное направление, включающее в себя теорию нейронных сетей, разработку нейронных алгоритмов решения прикладных задач и непосредственно создание нейрокомпьютеров на различной элементной базе — цифровой, аналоговой, оптической и др., получило общее название «нейрокомпьютинг».

Каждая связь представляется как совсем простой элемент, служащий для передачи сигнала. Предельным выражением этой точки зрения может служить лозунг: «структура связей — все, свойства элементов — ничто».

Совокупность идей и научно-техническое направление, определяемое описанным представлением о мозге, называется коннекционизмом (по-английски connection — связь). Как все это соотносится с реальным мозгом? Так же, как карикатура или шарж со своим прототипом-человеком _ весьма условно. Это нормально: важно не буквальное соответствие живому прототипу, а продуктивность технической идеи.

С коннекционизмом тесно связан следующий блок идей:

1) однородность системы (элементы одинаковы и чрезвычайно просты, все определяется структурой связей);

2) надежные системы из ненадежных элементов и «аналоговый ренессанс» — использование простых аналоговых элементов;

3) «голографические» системы — при разрушении случайно выбранной части система сохраняет свои полезные свойства.

Предполагается, что система связей достаточно богата по своим возможностям и достаточно избыточна, чтобы скомпенсировать бедность выбора элементов, их ненадежность, возможные разрушения части связей.

Коннекционизм и связанные с ним идеи однородности, избыточности и голографичности еще ничего не говорят нам о том, как же такую систему научить решать реальные задачи. Хотелось бы, чтобы это обучение обходилось не слишком дорого.

На первый взгляд кажется, что коннекционистские системы не допускают прямого программирования, то есть формирования связей по явным правилам. Это, однако, не совсем так. Существует большой класс задач: нейронные системы ассоциативной памяти, статистической обработки, фильтрации и др., для которых связи формируются по явным формулам. Но еще больше (по объему существующих приложений) задач требует неявного процесса. По аналогии с обучением животных или человека этот процесс мы также называем обучением.

Обучение обычно строится так: существует задачник — набор примеров с заданными ответами. Эти примеры предъявляются системе. Нейроны получают по входным связям сигналы — «условия примера», преобразуют их, несколько раз обмениваются преобразованными сигналами и, наконец, выдают ответ — также набор сигналов. Отклонение от правильного ответа штрафуется. Обучение состоит в минимизации штрафа как (неявной) функции связей. Примерно четверть нашей книги состоит в описании техники такой оптимизации и возникающих при этом дополнительных задач.

Неявное обучение приводит к тому, что структура связей становится «непонятной» — не существует иного способа ее прочитать, кроме как запустить функционирование сети. Становится сложно ответить на вопрос: «Как нейронная сеть получает результат?» — то есть построить понятную человеку логическую конструкцию, воспроизводящую действия сети.

Это явление можно назвать «логической непрозрачностью» нейронных сетей, обученных по неявным правилам. В работе с логически непрозрачными нейронными сетями иногда оказываются полезными представления, разработанные в психологии и педагогике, и обращение с обучаемой сетью как с дрессируемой зверушкой или с обучаемым младенцем — это еще один источник идей. Возможно, со временем возникнет такая область деятельности — «нейропедагогика» — обучение искусственных нейронных сетей.

С другой стороны, при использовании нейронных сетей в экспертных системах на PC возникает потребность прочитать и логически проинтерпретировать навыки, выработанные сетью. Для этого существуют методы контрастирования — получения неявными методами логически прозрачных нейронных сетей. Однако за логическую прозрачность приходится платить снижением избыточности, так как при контрастировании удаляются все связи кроме самых важных, без которых задача не может быть решена.

Итак, очевидно наличие двух источников идеологии нейроинформатики. Это представления о строении мозга и о процессах обучения. Существуют группы исследователей и научные школы, для которых эти источники идей имеют символическое, а иногда даже мистическое или тотемическое значение.

В работе [9] доказана теорема, утверждающая, что с помощью линейных комбинаций и суперпозиций линейных функций и одной произвольной нелинейной функции одного аргумента можно сколь угодно точно приблизить любую непрерывную функцию многих переменных.

Из этой теоремы следует, что Нейронные сети — универсальные аппроксимирующие устройства и могут с любой точностью имитировать любой непрерывный автомат.

Главный вопрос: что могут нейронные сети. Ответ получен: нейронные сети могут все. Остается открытым другой вопрос: как их этому научить?

Создание и использование нейрокомпьютеров является целесообразным по двум причинам. Во-первых, их архитектура ориентирована на параллельные вычисления и позволяет выполнять их без тех осложнений, с которыми связано выполнение этих вычислений на традиционных ЭВМ, ориентированных на последовательную обработку данных. Во-вторых, нейрокомпьютеры не работают по жесткому алгоритму, не перепрограммируются под разные задачи, а каждый раз обучаются решению новой проблемы. Конечно, необходимость обучения нельзя считать только достоинством. Отрицательными его сторонами являются как необходимость организации специальных наборов данных для обучения — обучающих выборок, так и затраты времени на их создание. Более того, использование нейрокомпьютеров для решения задач, требующих высокой точности, может оказаться нецелесообразным. Однако при решении задач, для которых не существует алгоритма или решение по алгоритму занимает слишком много времени, нейрокомпьютеры оказываются предпочтительнее традиционных. Здесь сразу возникает их значительное преимущество. Поэтому и возник с конца 80 — х годов этот нейрокомпьютерный бум, который не затихает по настоящее время.

Интеллектуальные развлечения. Интересные иллюзии, логические игры и загадки.

Добро пожаловать В МИР ЗАГАДОК, ОПТИЧЕСКИХ
ИЛЛЮЗИЙ И ИНТЕЛЛЕКТУАЛЬНЫХ РАЗВЛЕЧЕНИЙ
Стоит ли доверять всему, что вы видите? Можно ли увидеть то, что никто не видел? Правда ли, что неподвижные предметы могут двигаться? Почему взрослые и дети видят один и тот же предмет по разному? На этом сайте вы найдете ответы на эти и многие другие вопросы.

Log-in.ru© — мир необычных и интеллектуальных развлечений. Интересные оптические иллюзии, обманы зрения, логические флеш-игры.

Привет! Хочешь стать одним из нас? Определись
Если ты уже один из нас, то вход тут.

Интересно

Четверть костей в вашем теле находятся в ногах.

Нейрокомпьютерная техника: Теория и практика. Ф. Уоссермен (Уоссермен Ф.)

В книге американского автора в общедоступной форме излагаются основы построения нейрокомпьютеров. Описаны структура нейронных сетей и различные алгоритмы их настройки. Отдельные главы посвящены вопросам реализации нейронных сетей.

От себя. Неплохой обзорный материал для первоначального ознакомления с нейронными сетями. На глубину изложения книга не претендует, но для тех, кто впервый слышит «нейронная сеть» вполне подойдет.

Илон Маск рекомендует:  Что такое код asp hcnocompressionforproxies
Понравилась статья? Поделиться с друзьями:
Кодинг, CSS и SQL