ТОР 5 статей: Методические подходы к анализу финансового состояния предприятия Проблема периодизации русской литературы ХХ века. Краткая характеристика второй половины ХХ века Характеристика шлифовальных кругов и ее маркировка Служебные части речи. Предлог. Союз. Частицы КАТЕГОРИИ:
|
Больцмановское обучениеЭтот стохастический метод непосредственно применим к обучению искусственных нейронных сетей: 1. Определить переменную Т, представляющую искусственную температуру. Придать Т большое начальное значение. 2. Предъявить сети множество входов и вычислить выходы и целевую функцию. 3. Дать случайное изменение весу и пересчитать выход сети и изменение целевой функции в соответствии со сделанным изменением веса. 4. Если целевая функция уменьшилась (улучшилась), то сохранить изменение веса. Если изменение веса приводит к увеличению целевой функции, то вероятность сохранения этого изменения вычисляется с помощью распределения Больцмана: P (c) = exp(– c / kT) (5.2) где Р (с) – вероятность изменения с в целевой функции; k – константа, аналогичная константе Больцмана, выбираемая в зависимости от задачи; Т – искусственная температура. Выбирается случайное число r из равномерного распределения от нуля до единицы. Если Р(с) больше, чем r, то изменение сохраняется, в противном случае величина веса возвращается к предыдущему значению. Это позволяет системе делать случайный шаг в направлении, портящем целевую функцию, позволяя ей тем самым вырываться из локальных минимумов, где любой малый шаг увеличивает целевую функцию. Для завершения больцмановского обучения повторяют шаги 3 и 4 для каждого из весов сети, постепенно уменьшая температуру Т, пока не будет достигнуто допустимо низкое значение целевой функции. В этот момент предъявляется другой входной вектор и процесс обучения повторяется. Сеть обучается на всех векторах обучающего множества, с возможным повторением, пока целевая функция не станет допустимой для всех них. Величина случайного изменения веса на шаге 3 может определяться различными способами. Например, подобно тепловой системе весовое изменение w может выбираться в соответствии с гауссовским распределением: P (w) = exp(– w 2/ T 2) (5.2)
где P(w) – вероятность изменения веса на величину w, Т – искусственная температура. Такой выбор изменения веса приводит к системе, аналогичной [З]. Так как нужна величина изменения веса Δ w, а не вероятность изменения веса, имеющего величину w, то метод Монте-Карло может быть использован следующим образом: 1. Найти кумулятивную вероятность, соответствующую P (w). Это есть интеграл от P(w) в пределах от 0 до w. Так как в данном случае P (w) не может быть проинтегрирована аналитически, она должна интегрироваться численно, а результат необходимо затабулировать. 2. Выбрать случайное число из равномерного распределения на интервале (0,1). Используя эту величину в качестве значения P(w}, найти в таблице соответствующее значение для величины изменения веса. Свойства машины Больцмана широко изучались. В работе [1] показано, что скорость уменьшения температуры должна быть обратно пропорциональна логарифму времени, чтобы была достигнута сходимость к глобальному минимуму. Скорость охлаждения в такой системе выражается следующим образом: (5.4) где T (t) – искусственная температура как функция времени; Т 0 – начальная искусственная температура; t – искусственное время. Этот разочаровывающий результат предсказывает очень медленную скорость охлаждения (и данные вычисления). Этот вывод подтвердился экспериментально. Машины Больцмана часто требуют для обучения очень большого ресурса времени. Обучение Коши В работе [6] развит метод быстрого обучения подобных систем. В этом методе при вычислении величины шага распределение Больцмана заменяется на распределение Коши. Распределение Коши имеет, как показано на рис. 5.3, более длинные «хвосты», увеличивая тем самым вероятность больших шагов. В действительности распределение Коши имеет бесконечную (неопределенную) дисперсию. С помощью такого простого изменения максимальная скорость уменьшения температуры становится обратно пропорциональной линейной величине, а не логарифму, как для алгоритма обучения Больцмана. Это резко уменьшает время обучения. Эта связь может быть выражена следующим образом: (5.5) Распределение Коши имеет вид (5.6) где Р (х) есть вероятность шага величины х.
Рис. 5.3. Распределение Коши и распределение Больцмана В уравнении (5.6) Р (х) может быть проинтегрирована стандартными методами. Решая относительно х, получаем x c = r T (t) tg(P (x)), (5.7) где r – коэффициент скорости обучения; х c – изменение веса. Теперь применение метода Монте Карло становится очень простым. Для нахождения х в этом случае выбирается случайное число из равномерного распределения на открытом интервале (–p/2, p/2) (необходимо ограничить функцию тангенса). Оно подставляется в формулу (5.7) в качестве Р (х), и с помощью текущей температуры вычисляется величина шага. Не нашли, что искали? Воспользуйтесь поиском:
|