K-кратна перехресна перевірка – це техніка, яка використовується для оцінки ефективності моделі. Це особливо корисно для оцінки наскільки добре модель узагальнюватиме нові, ще невідомі дані. Процес передбачає поділ набору даних на «k» підмножин або складок приблизно однакового розміру. Ось розбивка кроків:
1. Поділ набору даних:
Набір даних розділено на 'k' підмножин або складок однакового розміру. Наприклад, якщо у вас є 1000 зразків і вибрано «k» як 5, кожна складка міститиме 200 зразків.
2. Ітеративне навчання та оцінювання:
Модель тренується 'k' разів. У кожній ітерації інша складка використовується як набір перевірки, а інші складки використовуються для навчання. Наприклад:
-
Ітерація 1: Згортання 1 як перевірка, Згортання 2 до k для навчання
-
Ітерація 2: Згортання 2 як перевірка, Згортання 1 і 3 до k для навчання
-
Ітерація 3: Згортання 3 як перевірка, Згортання 1 і 2 і 4 до k для навчання
-
... і так далі, поки всі складки не будуть використані як набір перевірки.
3. Оцінка ефективності:
Після кожної ітерації продуктивність моделі оцінюється за допомогою вибраного показника (наприклад, точності, точності, запам’ятовування тощо) у наборі перевірки. Показники продуктивності з кожної ітерації усереднюються або комбінуються, щоб отримати загальну оцінку продуктивності моделі.
4. Агрегація показників:
Показники ефективності (наприклад, показники точності) з кожної ітерації усереднюються або комбінуються, щоб забезпечити загальну оцінку продуктивності моделі. Цей сукупний показник представляє очікувану продуктивність моделі на невидимих даних.
Переваги K-кратної перехресної перевірки перед простим поділом навчання/тесту
-
Краще використання даних: К-кратна перехресна перевірка дозволяє краще використовувати доступні дані, оскільки кожен зразок використовується як для навчання, так і для перевірки.
-
Зменшена дисперсія в оцінці ефективності: забезпечує більш надійну оцінку продуктивності моделі за рахунок зменшення дисперсії, пов’язаної з одним потягом/тестуванням.
-
Узагальнення: допомагає зрозуміти, як модель працює на різних підмножинах даних, а отже, оцінити її здатність до узагальнення.
Вибір значення 'k'
-
Більші значення «k»: використання більшого значення «k» (наприклад, 10 або більше) призводить до менших наборів перевірки, що може призвести до нижчого відхилення в оцінці продуктивності, але до вищих обчислювальних витрат..
-
Нижчі значення «k»: використання нижчого значення «k» (наприклад, 3 або 5) зменшує обчислювальні витрати, але може призвести до більшого зміщення в оцінці продуктивності через меншу перевірку. набори.
У практичних сценаріях
-
Для великих наборів даних вищі значення «k» можуть бути обчислювально дорогими.
-
Якщо набір даних невеликий, вищий «k» може не надати достатньо даних у кожному згортанні для надійного навчання моделі.
-
Як правило, зазвичай використовуються такі значення, як 5 або 10, оскільки вони встановлюють баланс між ефективністю обчислення та надійною оцінкою продуктивності.
