Методы первого порядка

МЕТОД СПУСКА ПО ГРАДИЕНТУ.
МЕТОД НАИСКОРЕЙШЕГО СПУСКА

Направление одномерного спуска
совпадает

Величина рабочего шага
в направлении градиента
зависит от величины градиента
и

1. Задается

.

2. Вычисляется градиент

3. Определение длины шага

Алгоритмы коррекции шага:

а) без коррекции

=h=cons

б) шаг увеличивается
вдали от минимума
и уменьшается
при подходе к

б) с помощью метода одномерной
оптимизации определяется значение

такое, что

Метод

4. Переход в новую точку

5. Вычисляется градиент
в новой точке

6. Проверяются условия окончания.
Если они не выполняются,
то повтор с

Критерии окончания спуска к минимуму
Основной:
Дополнительные:
-- выполнение критического числа итераций n>M

МЕТОД СОПРЯЖЕННЫХ
ГРАДИЕНТОВ
(ФЛЕТЧЕРА-РИВСА)

Направление поиска на текущем
шаге строится как линейная
комбинация наискорейшего спуска
на

Векторы x1 и x2 называются
сопряженными
(относительно положительно
определенного самосопряженного
оператора A), если

В методе ФЛЕТЧЕРА-РИВСА
при выборе
весов используется только
текущий градиент и

Первый шаг аналогичен первому
шагу метода наискорейшего спуска,
второй и следующий

Шаг спуска