Перекрестная проверка – это важный метод, используемый для оценки насколько хорошо модель будет работать на новых данных. Основная цель — оценить производительность модели таким образом, чтобы свести к минимуму такие проблемы, как переобучение (когда модель слишком многому обучается на обучающих данных и плохо работает на невидимых данных) и недостаточное оснащение (когда модель слишком упрощена, чтобы уловить закономерности в модели). данные).
Эта концепция предполагает разделение доступных данных на несколько подмножеств, обычно на две основные части: обучающий набор и набор проверки (который также иногда называют тестовым набором).
Распространенным методом является k-кратная перекрестная проверка:
-
Набор данных разделен на подмножества (или складки) примерно одинакового размера.
-
Модель обучается «k» раз, каждый раз используя разные складки в качестве набора проверки, а оставшиеся складки — в качестве обучающего набора.
-
Например, при 5-кратной перекрестной проверке данные делятся на пять подмножеств. Модель обучается пять раз, каждый раз используя одно из пяти подмножеств в качестве набора проверки, а остальные четыре — в качестве обучающего набора.
-
Показатели производительности (такие как точность, точность, полнота и т. д.) усредняются по этим k-итерациям, чтобы получить окончательную оценку производительности.
Другие распространенные методы включают в себя
Перекрестная проверка с исключением одного (LOOCV)
— Каждая точка данных служит набором проверки, а модель обучается на остальных данных.
- Этот метод требует больших вычислительных затрат для больших наборов данных, но может быть достаточно точным, поскольку для обучения используется почти все данные.
Стратифицированная перекрестная проверка
- Гарантирует, что каждая складка представляет весь набор данных. Он сохраняет распределение классов в каждом сгибе, что полезно для несбалансированных наборов данных.
Перекрестная проверка имеет решающее значение, поскольку она обеспечивает более надежную оценку производительности модели на невидимых данных по сравнению с разделением одного поездного теста. Это помогает выявить такие проблемы, как переобучение или недостаточное оснащение, поскольку дает более надежную оценку того, как модель будет обобщаться на новые данные.
Используя перекрестную проверку, специалисты по машинному обучению могут принимать более обоснованные решения о выборе модели, настройке гиперпараметров и оценке эффективности обобщения модели на невидимых данных.
