Переобучение модели (англ. overfitting) — это ситуация, когда модель машинного обучения слишком хорошо подстраивается под обучающие данные, включая их шум, выбросы и случайные закономерности, которые не являются общими для новых, ранее не встречавшихся данных. В результате такая модель показывает высокую точность на обучающем наборе данных, но плохо обобщает на тестовых или реальных данных, демонстрируя низкую производительность вне обучающей выборки.

Почему происходит переобучение?

Переобучение возникает тогда, когда модель:

• Слишком сложна для доступных данных — например, имеет большое количество параметров по сравнению с количеством обучающих примеров.

• Слишком долго обучается, в процессе чего начинает “запоминать” особенности обучающей выборки, вместо того чтобы выделять обобщаемые закономерности.

• Не использует регуляризацию — механизмы, которые ограничивают сложность модели.

• Получает данные с шумом или нерелевантными признаками, которые модель принимает за значимые паттерны.

Как выглядит переобучение?

Обычно переобучение можно заметить по следующей схеме поведения ошибок:

Обучающая ошибка	Тестовая ошибка
Низкая	Высокая
---	---

На графике это часто выглядит как:

• на первых эпохах обучения — ошибки на обучении и тесте снижаются;

• через некоторое время ошибка на обучении продолжает снижаться, а на валидации — начинает расти.

Примеры

1. Линейная модель на линейных данных
   Модель хорошо обобщает.

2. Сложная нейросеть на малом наборе
   Модель выучивает все шумы и аномалии, теряя способность к обобщению.

3. Дерево решений без ограничения глубины
   Вырастает до "идеального" описания тренировочных данных, но на новых данных — предсказывает плохо.

Способы предотвращения переобучения

1. Разделение данных

• Разделение на train / validation / test.

• Использование k-fold cross-validation.

2. Регуляризация

• L1 (Lasso) и L2 (Ridge) регуляризация в линейных моделях.

• Dropout в нейронных сетях.

• Weight decay.

3. Ограничение модели

• Уменьшение числа параметров.

• Ограничение глубины деревьев, количества слоёв в нейросети и т.д.

4. Раннее прекращение обучения (early stopping)

• Мониторинг ошибки на валидации и остановка обучения при её росте.

5. Увеличение данных

• Data augmentation — генерация новых обучающих примеров на основе существующих (например, повороты изображений).

• Сбор дополнительных данных.

• Использование синтетических данных.

6. Удаление нерелевантных признаков

• Отбор признаков (feature selection).

• Преобразование признаков (feature engineering).

Индикаторы переобучения

• Большой разрыв между обучающей и тестовой точностью.

• Ошибка на тесте значительно выше, чем на обучении.

• Хорошие метрики при обучении и плохие при развертывании модели в проде.

Связь с недообучением

Важно понимать, что существует баланс между недообучением (underfitting) и переобучением (overfitting):

• Недообучение: модель слишком проста и не улавливает даже базовые зависимости.

• Переобучение: модель слишком сложна и "запоминает" данные, теряя способность к обобщению.

Задача Data Scientist — найти баланс: построить модель, которая имеет достаточно мощности, чтобы уловить закономерности, но не настолько сложна, чтобы подстроиться под каждую мелочь в обучающей выборке.

Аналогия

Представьте студента, который вместо того чтобы понять тему, просто заучивает ответы на экзаменационные билеты. На экзамене, если ему попался знакомый билет — он отвечает идеально. Но стоит задать вопрос с другим формулировкой или другой задачей — он теряется. Такой студент — переобученная модель.

Заключение

Переобучение — одна из ключевых проблем машинного обучения. Осознанная работа с валидацией, регуляризацией и увеличением данных помогает строить обобщающие модели, а не запоминающие алгоритмы.