Перехресна перевірка — це важливий метод, який використовується для оцінки наскільки добре модель працюватиме на нових даних. Основна мета полягає в тому, щоб оцінити продуктивність моделі таким чином, щоб мінімізувати такі проблеми, як переобладнання (де модель надто багато дізнається з навчальних даних і погано працює з невидимими даними) і недообладнання (де модель надто спрощена, щоб охопити шаблони в дані).
Концепція передбачає розбиття доступних даних на кілька підмножин, як правило, на дві основні частини: навчальний набір і набір перевірки (який також іноді називають тестовим набором).
Поширеною технікою є k-кратна перехресна перевірка:
-
Набір даних розділено на «k» підмножин (або складок) приблизно однакового розміру.
-
Модель навчається «k» разів, щоразу використовуючи іншу складку як набір перевірки, а решта складок як навчальний набір.
-
Наприклад, під час 5-кратної перехресної перевірки дані поділяються на п’ять підмножин. Модель навчається п’ять разів, щоразу використовуючи іншу з п’яти підмножин як перевірочний набір, а інші чотири – як навчальний набір.
-
Показники продуктивності (наприклад, точність, точність, запам’ятовування тощо) усереднюються за цими «k» ітераціями, щоб отримати остаточну оцінку продуктивності.
Інші поширені методи включають
Перехресна перевірка Leave-One-Out (LOOCV)
-
Кожна точка даних служить набором перевірки, а модель навчається на решті даних.
-
Цей метод є дорогим з точки зору обчислень для великих наборів даних, але може бути досить точним, оскільки він використовує майже всі дані для навчання.
Стратифікована перехресна перевірка
- Гарантує, що кожна складка є репрезентативною для всього набору даних. Він підтримує розподіл класів у кожній частині, що корисно для незбалансованих наборів даних.
Перехресна перевірка має вирішальне значення, оскільки вона забезпечує більш надійну оцінку продуктивності моделі на невидимих даних порівняно з одноразовим тестуванням. Це допомагає виявити такі проблеми, як переобладнання або недообладнання, надаючи точнішу оцінку того, як модель узагальнюватиме нові дані.
Використовуючи перехресну перевірку, спеціалісти з машинного навчання можуть приймати кращі рішення щодо вибору моделі, налаштування гіперпараметрів і оцінки ефективності узагальнення моделі на невидимих даних.
