Рекуррентные нейронные сети на базе персептрона

Функционирование распределенной телекоммуникационной сети можно представить в виде рекуррентного процесса. Представление ее в виде НС позволяет получить ряд важных результатов. Многослойные рекуррентные сети представляют собой развитие однонаправленных сетей персептронного типа за счет добавления в них соответствующих обратных связей. Обратная связь может исходить либо из выходного, либо из скрытого слоя нейронов. В каждом контуре такой связи присутствует элемент единичной задержки, благодаря которому поток информации может считаться однонаправленным (выходной сигнал предыдущего временного цикла рассматривается как априори заданный, который просто увеличивает размерность входного вектора сети). Представленная подобным образом рекуррентная сеть, с учетом способа формирования выходного сигнала, функционирует как однонаправленная персептронная сеть. Тем не менее, алгоритм обучения такой сети, адаптирующий значения синаптических весов, является более сложным из-за зависимости сигналов в момент времени от их значений в предыдущие моменты и соответственно из-за более громоздкой формулы для расчета вектора градиента.

При обсуждении рекуррентных сетей, в которых в качестве выходного элемента используется многослойный персептрон, рассмотрим наиболее известные структуры сетей RMLP, RTRN, Эльмана.

Персептронная сеть с обратной связью. Один из простейших способов построения рекуррентной сети на базе однонаправленной НС состоит во введении в персептронную сеть обратной связи. В дальнейшем мы будем сокращенно называть такую сеть RMLP (Recurrent MultiLayer Perceptron – рекуррентный многослойный персептрон). Ее обобщенная структура представлена на рис.11.6 ( - единичные элементы запаздывания).

Это динамическая сеть, которая характеризуется запаздыванием входных и выходных сигналов, объединяемых во входной вектор сети.

Рис.11.6. Структура сети RMLP

Рассуждения будут касаться только одного входного узла и одного выходного нейрона, а также одного скрытого слоя. Такая система реализует отображение:

(11.16)

где - количество задержек входного сигнала, а - количество задержек выходного сигнала. Обозначим количество нейронов в скрытом слое. В этом случае сеть RMLP можно характеризовать тройкой чисел . Подаваемый на вход сети вектор имеет вид:

(11.17)

Допустим, что все нейроны имеют сигмоидальную функцию активации. Обозначим взвешенную сумму сигналов -го нейрона скрытого слоя, а - взвешенную сумму сигналов выходного нейрона. При введенных обозначениях выходные сигналы конкретных нейронов описываются зависимостями

; ; ; .

Сеть RMLP может успешно применяться для моделирования динамических процессов в режиме «онлайн». Типичным примером ее приложения может служить имитация нелинейных динамических объектов, для которых сеть RMLP выступает в роли модели, а алгоритм уточнения весов – в роли процедуры идентификации параметров этой модели (рис.11.7). Из сопоставления алгоритмов управления (раздел 6) и алгоритма на рис.11.7 следует их общность структур. Невязка в схеме рис.11.7 используется для управления RMPL, а - служит в качестве эталонного сигнала.

Рис. 11.7. Схема включения сети RMPL при решении задачи идентификации

В результате сравнения выходного сигнала модели с выходным сигналом динамического объекта рассматривается значение погрешности (невязки) , управляющей процессом уточнения параметров нейронной сети. Символом на рис.11.7 обозначен коэффициент усиления модуля, масштабирующего выходной сигнал сети таким образом, чтобы его динамический уровень лежал в том же диапазоне, что и уровень выходного сигнала динамического объекта .

Не нашли, что искали? Воспользуйтесь поиском: