Что происходит во время обучения модели
Модель начинается не со знаний
До обучения параметры модели обычно содержат случайные или предварительно рассчитанные значения. Данные проходят через последовательность математических операций, и система выдаёт прогноз.
Функция потерь измеряет, насколько прогноз отличается от ожидаемого результата. Алгоритм оптимизации вычисляет, в какую сторону следует немного изменить параметры, чтобы уменьшить ошибку.
Повторение и обобщение
Один пример почти ничего не решает. Обучение состоит из множества итераций на наборах данных. Цель — не запомнить каждый пример, а выявить закономерности, которые работают и для новых случаев.
Если модель слишком хорошо подстроилась под тренировочные данные, но ошибается на новых, возникает переобучение. Для контроля данные разделяют на обучающую, проверочную и тестовую части.
Данные важнее размера
Большая модель не исправляет систематические ошибки в данных. Неполные, несбалансированные или неверно размеченные примеры переносят свои ограничения в результат. Поэтому подготовка и проверка данных — полноценная часть инженерной работы, а не вспомогательный этап.
Источник для проверки фактов: NIST