A validación cruzada é unha técnica crítica que se usa para avaliar o rendemento dun modelo en novos datos. O obxectivo principal é avaliar o rendemento dun modelo de forma que se minimicen problemas como o exceso de axuste (onde o modelo aprende demasiado dos datos de adestramento e ten un mal rendemento en datos non vistos) e a subadaptación (onde o modelo é demasiado simplista para capturar os patróns no datos).
O concepto implica dividir os datos dispoñibles en varios subconxuntos, normalmente dúas partes principais: o conxunto de adestramento e o conxunto de validación (que ás veces tamén se denomina conxunto de probas).
Unha técnica común é a validación cruzada k-fold:
-
O conxunto de datos divídese en "k" subconxuntos (ou dobras) de tamaño aproximadamente igual.
-
O modelo adestrase "k" veces, utilizando cada vez un pliegue diferente como conxunto de validación e os restantes como conxunto de adestramento.
-
Por exemplo, na validación cruzada de cinco veces, os datos divídense en cinco subconxuntos. O modelo adestrase cinco veces, utilizando cada vez un diferente dos cinco subconxuntos como conxunto de validación e os outros catro como conxunto de adestramento.
-
As métricas de rendemento (como a precisión, a precisión, a lembranza, etc.) promedian estas "k" iteracións para obter unha estimación final de rendemento.
Outras técnicas comúns inclúen
Validación cruzada de exclusión (LOOCV)
-
Cada punto de datos serve como conxunto de validación e o modelo adestrase sobre o resto dos datos.
-
Este método é computacionalmente caro para grandes conxuntos de datos, pero pode ser bastante preciso xa que utiliza case todos os datos para adestrar.
Validación cruzada estratificada
- Asegura que cada dobra sexa representativa de todo o conxunto de datos. Mantén a distribución de clases en cada dobra, o que é útil para conxuntos de datos desequilibrados.
A validación cruzada é fundamental porque proporciona unha estimación máis fiable do rendemento dun modelo en datos invisibles en comparación cunha división de proba de tren único. Axuda a identificar problemas como sobreadaptación ou subadaptación proporcionando unha estimación máis sólida de como se xeneralizará o modelo aos novos datos.
Ao usar a validación cruzada, os profesionais da aprendizaxe automática poden tomar mellores decisións sobre a selección de modelos, o axuste de hiperparámetros e a avaliación do rendemento de xeneralización dun modelo en datos non vistos.
