ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ?

Нейрокомпьютерная техника: Теория и практика

ОГЛАВЛЕНИЕ

Предисловие........................................................................................................... 3

БЛАГОДАРНОСТИ................................................................................................... 3

Введение................................................................................................................... 3

ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ?............................ 3

СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ....................................... 4

ИСТОРИЧЕСКИЙ АСПЕКТ...................................................................................... 5

ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ.............................................. 6

ПЕРСПЕКТИВЫ НА БУДУЩЕЕ............................................................................... 7

ВЫВОДЫ................................................................................................................... 8

Глава 1. Основы искусственных нейронных сетей..................... 9

БИОЛОГИЧЕСКИЙ ПРОТОТИП.............................................................................. 9

ИСКУССТВЕННЫЙ НЕЙРОН................................................................................ 10

ОДНОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ.................................... 13

МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ............................. 13

ТЕРМИНОЛОГИЯ, ОБОЗНАЧЕНИЯ И СХЕМАТИЧЕСКОЕ ИЗОБРАЖЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ............................................................................................. 15

ПРОЛОГ................................................................................................................... 17

Глава 2. Персептроны...................................................................................... 17

ПЕРСЕПТРОНЫ И ЗАРОЖДЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ. 17

ПЕРСЕПТРОННАЯ ПРЕДСТАВЛЯЕМОСТЬ......................................................... 18

ОБУЧЕНИЕ ПЕРСЕПТРОНА.................................................................................. 25

АЛГОРИТМ ОБУЧЕНИЯ ПЕРСЕПТРОНА............................................................. 25

Глава 3. Процедура обратного распространения......................... 28

ВВЕДЕНИЕ В ПРОЦЕДУРУ ОБРАТНОГО РАСПРОСТРАНЕНИЯ....................... 28

ОБУЧАЮЩИЙ АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ...................... 28

Обзор обучения....................................................................................................... 30

ДАЛЬНЕЙШИЕ АЛГОРИТМИЧЕСКИЕ РАЗРАБОТКИ........................................ 35

ПРИМЕНЕНИЯ........................................................................................................ 35

ПРЕДОСТЕРЕЖЕНИЕ............................................................................................. 36

Глава 4. Сети встречного распространения.................................... 37

ВВЕДЕНИЕ В СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ................................. 37

СТРУКТУРА СЕТИ.................................................................................................. 38

НОРМАЛЬНОЕ ФУНКЦИОНИРОВАНИЕ............................................................. 39

ОБУЧЕНИЕ СЛОЯ КОХОНЕНА............................................................................. 39

ОБУЧЕНИЕ СЛОЯ ГРОССБЕРГА........................................................................... 44

СЕТЬ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ ПОЛНОСТЬЮ................................. 44

ПРИЛОЖЕНИЕ: СЖАТИЕ ДАННЫХ..................................................................... 45

ОБСУЖДЕНИЕ........................................................................................................ 46

Глава 5. Стохастические методы........................................................... 47

ИСПОЛЬЗОВАНИЕ ОБУЧЕНИЯ............................................................................ 47

ПРИЛОЖЕНИЯ К ОБЩИМ НЕЛИНЕЙНЫМ ЗАДАЧАМ ОПТИМИЗАЦИИ........ 52

ОБРАТНОЕ РАСПРОСТРАНЕНИЕ И ОБУЧЕНИЕ КОШИ.................................... 53

Глава 6. Сети Хопфилда................................................................................. 55

КОНФИГУРАЦИИ СЕТЕЙ С ОБРАТНЫМИ СВЯЗЯМИ....................................... 56

ПРИЛОЖЕНИЯ........................................................................................................ 62

ОБСУЖДЕНИЕ........................................................................................................ 65

ВЫВОДЫ................................................................................................................. 66

Глава 7. Двунаправленная ассоциативная память.................... 68

СТРУКТУРА ДАП.................................................................................................... 68

ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХ АССОЦИАЦИЙ.................................... 69

КОДИРОВАНИЕ АССОЦИАЦИЙ.......................................................................... 70

ЕМКОСТЬ ПАМЯТИ............................................................................................... 72

НЕПРЕРЫВНАЯ ДАП.............................................................................................. 73

АДАПТИВНАЯ ДАП............................................................................................... 73

КОНКУРИРУЮЩАЯ ДАП...................................................................................... 73

ЗАКЛЮЧЕНИЕ........................................................................................................ 74

Глава 8. Адаптивная резонансная теория......................................... 74

АРХИТЕКТУРА APT............................................................................................... 75

РЕАЛИЗАЦИЯ APT................................................................................................. 81

ПРИМЕР ОБУЧЕНИЯ СЕТИ APT............................................................................ 83

ХАРАКТЕРИСТИКИ APT........................................................................................ 85

ЗАКЛЮЧЕНИЕ........................................................................................................ 87

Глава 9. Оптические нейронные сети.................................................. 89

ВЕКТОРНО-МАТРИЧНЫЕ УМНОЖИТЕЛИ......................................................... 90

ГОЛОГРАФИЧЕСКИЕ КОРРЕЛЯТОРЫ................................................................. 94

ЗАКЛЮЧЕНИЕ........................................................................................................ 98

Глава 10. Когнитрон и неокогнитрон................................................... 99

КОГНИТРОН......................................................................................................... 100

НЕОКОГНИТРОН.................................................................................................. 107

ЗАКЛЮЧЕНИЕ...................................................................................................... 112

Приложение А. Биологические нейронные сети....................... 114

ЧЕЛОВЕЧЕСКИЙ МОЗГ: БИОЛОГИЧЕСКАЯ МОДЕЛЬ ДЛЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ.................................................................................................................... 114

ОРГАНИЗАЦИЯ ЧЕЛОВЕЧЕСКОГО МОЗГА..................................................... 114

КОМПЬЮТЕРЫ И ЧЕЛОВЕЧЕСКИЙ МОЗГ........................................................ 119

Приложение Б. Алгоритмы обучения................................................. 121

ОБУЧЕНИЕ С УЧИТЕЛЕМ И БЕЗ УЧИТЕЛЯ...................................................... 121

МЕТОД ОБУЧЕНИЯ ХЭББА................................................................................. 121

ВХОДНЫЕ И ВЫХОДНЫЕ ЗВЕЗДЫ............ Ошибка! Закладка не определена.

ОБУЧЕНИЕ ПЕРСЕПТРОНА................................................................................ 123

МЕТОД ОБУЧЕНИЯ УИДРОУ-ХОФФА.............................................................. 124

МЕТОДЫ СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ.................................................... 124

САМООРГАНИЗАЦИЯ......................................................................................... 125

Предисловие

Что такое искусственные нейронные сети? Что они могут делать? Как они работают? Как их можно использовать? Эти и множество подобных вопросов задают специалисты из разных областей. Найти вразумительный ответ нелегко. Университетских курсов мало, семинары слишком дороги, а соответствующая литература слишком обширна и специализированна. Готовящиеся к печати превосходные книги могут обескуражить начинающих. Часто написанные на техническом жаргоне, многие из них предполагают свободное владение разделами высшей математики, редко используемыми в других областях.

Эта книга является систематизированным вводным курсом для профессионалов, не специализирующихся в математике. Все важные понятия формулируются сначала обычным языком. Математические выкладки используются, если они делают изложение более ясным. В конце глав помещены сложные выводы и доказательства, а также приводятся ссылки на другие работы. Эти ссылки составляют обширную библиографию важнейших работ в областях, связанных с искусственными нейронными сетями. Такой многоуровневый подход не только предоставляет читателю обзор по искусственным нейронным сетям, но также позволяет заинтересованным лицам серьезнее и глубже изучить предмет.

Значительные усилия были приложены, чтобы сделать книгу понятной и без чрезмерного упрощения материала. Читателям, пожелавшим продолжить более углубленное теоретическое изучение, не придется переучиваться. При упрощенном изложении даются ссылки на более подробные работы.

Книгу не обязательно читать от начала до конца. Каждая глава предполагается замкнутой, поэтому для понимания достаточно лишь знакомства с содержанием гл. 1 и 2. Хотя некоторое повторение материала неизбежно, большинству читателей это не будет обременительно.

Книга имеет практическую направленность. Если главы внимательно изучены, то большую часть сетей оказывается возможным реализовать на обычном компьютере общего назначения. Читателю настоятельно рекомендуется так и поступать. Никакой другой метод не позволит добиться столь же глубокого понимания.

БЛАГОДАРНОСТИ

Прежде всего самую глубокую признательность я хотел бы выразить своей жене Саре за то, что она воодушевляла меня, а также за ее терпение в течение тех месяцев, которые я провел за пишущей машинкой.

Я хотел бы поблагодарить моих друзей и коллег, которые так великодушно дарили мне свое время и знания, исправляли мои ошибки и создавали атмосферу, способствующую развитию идей. Я хотел бы выразить мою особую признательность Dr. Surapol Dasananda, Santa Clara University; Dr. Elizabeth Center, College of Notre Dame; Dr. Peter Rowe, College of Notre Dame; Caries Rockwell, Microlog Corp.; Tom Schwartz, The Schwartz Associates; Dennis Reinhardt, Dair Corp.; Сое Miles-Schlichting; and Douglas Marquardt. Благодарю также Kyla Carlson и Nang Cao за помощь в подготовке иллюстраций.

На мне лежит, разумеется, ответственность за все оставшиеся неисправленными ошибки, так как мои друзья и коллеги не могли опекать меня ежеминутно.

Введение

ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ?

После двух десятилетий почти полного забвения интерес к искусственным нейронным сетям быстро вырос за последние несколько лет. Специалисты из таких далеких областей, как техническое конструирование, философия, физиология и психология, заинтригованы возможностями, предоставляемыми этой технологией, и ищут приложения им внутри своих дисциплин.

Это возрождение интереса было вызвано как теоретическими, так и прикладными достижениями. Неожиданно открылись возможности использования вычислений в сферах, до этого относящихся лишь к области человеческого интеллекта, возможности создания машин, способность которых учиться и запоминать удивительным образом напоминает мыслительные процессы человека, и наполнения новым значительным содержанием критиковавшегося термина «искусственный интеллект».

Не нашли, что искали? Воспользуйтесь поиском: