При какой минимальной длине шага градиентный спуск не сможет найти минимум функции

При какой минимальной длине шага градиентный спуск не сможет найти минимум функции при наличии х0(начальная точка) и f(x)?

Добавлено через 3 часа 26 минут
Может стоит просто численно решить задачу?

0

Если длина шага равна , где делитель - макс.собственное число матрицы Гессе функции f().
Что делает х0 в задании - ХЗ.

0

Я думал, что х0 возможно для численного расчет(для меня это python).Спасибо, а где это можно прочесть?

0

В учебниках по градиентной оптимизации.
В одномерном случае при гипотезе о квадратичности функции f() и разложении её в ряд Тейлора - оптимальный (приводящий сразу в минимум) шаг будет равен . Т.е. шаг, приводящий ровно к тому же значению f(), но по другую сторону от минимума, будет, соответственно, ровно в 2 раза больше.
А где для многомерного аргумента (когда х - вектор) распишут всё про обусловленность матрицы Гессе - лень вспоминать. Просто см на Ньютоновский метод оптимизации - там опт.шаг выходит в виде обратной матрицы Гессе, т.е. не единственная вторая производная в -1ой степени, а вся матрица вторых частных производных в -1ой степени. Ну а град.спуску в многомерном случае всё равно нужен шаг в виде скаляра - вот матрица и "сжимается" до некоторой её скалярной характеристики.

Ну а х0 - он просто будет входить аргументом функции при вычислении её первых-вторых производных. Т.е. если записывать конкретные формулы - то не просто относительно абстрактной f(), а именно про f(x0).

Т.е. если про метод Ньютона и/или про многомерную оптимизацию не рассказывали - то нужным преподу ответом, наверное, будет , а до свойств матрицы Гессе добираться не нужно.

0

Спасибо, на всякий случай уточняю - приданном шаге у меня не будет достигнут минимум?

0

При данном шаге не будет прогресса в улучшении значения функции (от одного шага алгоритма градиентного спуска к другому). Т.е. да, не будет достигнут минимум.
При бОльшем шаге - оптимизация будет расходиться (будем получать всё бОльшие и бОльшие значения).
Т.е. это именно минимальный шаг, при котором не сможет.

Но это условие именно на точку х0 - в каждой последующей точке х1, х2,... может/должен выполняться аналогичный пересчёт ограничений на шаг. Особенно если знаем, что оптимизируемая функция неквадратичная, т.е. когда служебные вычисления/оценки на основе каких-то упрощающих предположений (в данном случае - при предположении о квадратичности в окрестности текущей точки или минимума функции) могут быстро терять актуальность.

0

Данный шаг является же минимальным? У меня не совсем квадратичная функция f(x) = cos(2) + (x-1)^4.

0