Бустинг называется градиентным, потому что он использует метод градиентного спуска в функциональном пространстве для построения последовательности моделей, которые минимизируют функцию потерь. В отличие от обычного бустинга, где каждая новая модель корректирует ошибки предыдущей путём обучения на остатках (residuals), градиентный бустинг делает это более обоснованно — с использованием градиента функции потерь.

🔹 Что такое бустинг в целом?

Бустинг (boosting) — это техника ансамблевого обучения, при которой несколько слабых моделей обучаются последовательно, каждая последующая — с учётом ошибок предыдущих. Основная идея — превращать множество слабых моделей (например, мелких деревьев решений) в одну сильную.

🔹 Классический бустинг (например, AdaBoost)

В алгоритмах вроде AdaBoost обучение идёт на основе ошибок предыдущей модели: алгоритм пересчитывает веса объектов — примеры, предсказанные с ошибкой, получают больший вес в следующей итерации. Это не использует явных производных или градиентов.

🔹 В чём суть "градиентности"?

Градиентный бустинг обобщает бустинг, заменяя обучение на ошибках градиентным спуском по произвольной функции потерь.

Шаг за шагом:

1. Имеется целевая функция потерь L(y,F(x))L(y, F(x)), где:

   • yy — истинное значение,

   • F(x)F(x) — текущая модель,

   • LL — любая дифференцируемая функция потерь (например, MSE, Log-loss и т.д.).

2. Вместо того чтобы обучать следующую модель на ошибках (остатках), мы:

   • Вычисляем градиенты функции потерь по предсказаниям модели:
     gi(m)=∂L(yi,F(xi))∂F(xi)∣F(xi)=Fm−1(xi)g_i^{(m)} = \left. \frac{\partial L(y_i, F(x_i))}{\partial F(x_i)} \right|_{F(x_i)=F_{m-1}(x_i)}
   • Эти градиенты показывают направление и величину "ошибки" модели на каждом объекте.

3. Следующая модель hm(x)h_m(x) обучается не просто на y−y^y - \hat{y}, а на отрицательных градиентах (аналог направления наискорейшего убывания функции потерь).

Таким образом, обучение каждой следующей модели аналогично градиентному шагу по параметрам модели, но не в параметрическом пространстве, а в пространстве функций (то есть шаг делает не один коэффициент, а вся новая модель).

🔹 Почему важно именно использование градиента?

Использование градиента позволяет градиентному бустингу быть:

• Универсальным — он работает с любой дифференцируемой функцией потерь (не только MSE, но и логарифмическая, экспоненциальная, Huber и т.д.).

• Адаптивным — градиенты учитывают не просто факт ошибки, а её величину и направление, что даёт более точную корректировку модели.

• Математически обоснованным — градиентный бустинг можно рассматривать как метод функционального градиентного спуска, где каждая итерация приближает модель к минимуму функции потерь.

🔹 Функциональный градиентный спуск

Обычный градиентный спуск минимизирует функцию f(θ)f(\theta), изменяя вектор параметров θ\theta в направлении отрицательного градиента.

В градиентном бустинге минимизируется функционал J(F)J(F), зависящий от функции F(x)F(x), то есть:

J(F)=∑i=1nL(yi,F(xi))J(F) = \\sum_{i=1}^{n} L(y_i, F(x_i))

Мы ищем такую функцию FF, которая минимизирует потери. В каждой итерации к FF добавляется новая функция hh, которая приближает направление наискорейшего уменьшения J(F)J(F), то есть отрицательный градиент.

🔹 Пример: MSE и градиенты

Функция потерь:

L(y,F(x))=12(y−F(x))2L(y, F(x)) = \\frac{1}{2}(y - F(x))^2

Градиент:

∂L∂F(x)=F(x)−y\\frac{\\partial L}{\\partial F(x)} = F(x) - y

Соответственно, отрицательный градиент:

−∂L∂F(x)=y−F(x)- \\frac{\\partial L}{\\partial F(x)} = y - F(x)

В данном случае обучение на отрицательных градиентах совпадает с обучением на остатках, как в классическом бустинге.

🔹 Но если функция потерь — логарифмическая (Log-loss)?

Функция потерь для бинарной классификации:

L(y,p)=−\[ylog⁡(p)+(1−y)log⁡(1−p)\],где p=σ(F(x))L(y, p) = -\[y \\log(p) + (1 - y) \\log(1 - p)\], \\quad \\text{где } p = \\sigma(F(x))

Градиент уже не совпадает с остатками, и обучение на простых ошибках становится неэффективным. Именно здесь использование градиента функции потерь становится необходимым.

🔹 Аналогия с нейронными сетями

В нейронных сетях градиентный спуск — это способ корректировки весов. В градиентном бустинге — способ корректировки всей модели. Но идея та же: использовать градиент как направление наискорейшего улучшения.

🔹 Сравнение с AdaBoost

🔹 Почему это важно на практике?

• Благодаря градиентному подходу можно легко адаптировать алгоритм под разные задачи — бинарную классификацию, многоклассовую, регрессию, ранжирование и т.д.

• Градиентный бустинг позволяет использовать функции потерь, которые учитывают нестабильные данные, шум, выбросы, что делает его гибким инструментом.

Градиентный бустинг получил своё название, потому что именно градиенты функции потерь определяют, как должна быть построена следующая модель, чтобы минимизировать общее отклонение от истинных значений. Это отличает его от простых методов бустинга, где ориентируются только на грубые ошибки.