Теорема 1 о сходимости метода градиентного спуска спуска с постоянным шагом.

Пусть , функция f дифференцируема, ограничена снизу. Пусть выполняется условие Липшица для градиента : :. Пусть .

Тогда при любом выборе начального приближения.

В условиях теоремы градиентный метод обеспечивает сходимость либо к точной нижней грани (если функция f(x) не имеет минимума) либо к значению Существуют примеры, когда в точке x* реализуется седло, а не минимум. Тем не менее, на практике методы градиентного спуска обычно обходят седловые точки и находят локальные минимумы целевой функции.

Определение. Дифференцируемая функция f называется сильно выпуклой (с константой ), если для любых x и y из Rⁿ справедливо

Не нашли, что искали? Воспользуйтесь поиском: