ⴰⴼⵀⴰⵎ ⵏ ⵜⵓⵛⵛⴹⴰ ⵏ ⵓⵙⵙⴻⵎⵔⴻⵙ ⴷⴻⴳ ⵍⴻⵎⵜⵓⵍ ⵏ ⵓⵍⵎⴰⴷ ⵏ ⵜⵎⴰⵛⵉⵏⵉⵏ

ⴰⵙⵏⴻⴼⵍⵉ ⵏ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ ⵏ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ ⴷ ⵜⵉⴽⵜⵉ ⵏ ⵍⵍⵙⴰⵙ ⵉ ⵖⵢⴻⵜⵜⴰⴵⴵⴰⵏ ⴰⴷ ⵏⴻⴼⵀⴻⵎ ⵜⵓⵛⵛⴹⴰ ⵏ ⵓⵙⵙⴻⵎⵔⴻⵙ ⵏ ⵢⵉⵡⴻⵏ ⵏ ⵓⵎⴹⴰⵏ.

ⴰⵙⴻⵏⵇⴻⵙ ⵏ ⵓⵎⴳⵉⵔⴻⴷ ⵏ ⵓⵎⴳⵉⵔⴻⴷ

ⴱⵉⴰⵙ ⵢⴻⵜⵜⵎⴻⵙⵍⴰⵢⴷ ⵖⴻⴼ ⵜⵓⵛⵛⴹⴰ ⵉ ⴷⵢⴻⵜⵜⵡⴰⵙⵇⴻⴷⵛⴻⵏ ⵙ ⵓⵙⵇⴻⵔⴷⴻⵛ ⵏ ⵡⵓⴳⵓⵔ ⵏ ⵜⵉⴷⴻⵜ ⵙ ⵓⵎⴹⴰⵏ ⵙⴼⴻⵀⵎⴻⵏ. ⵢⴻⵜⵜⴳⴻⵏⵙⵉⵙⴷ ⴰⵎⴳⵉⵔⴻⴷ ⴳⴰⵔ ⴰⵙⴻⵏⵇⴻⴷ ⵏ ⵜⵍⴻⵎⵎⴰⵙⵜ ⵏ ⵓⵎⴹⴰⵏⵏⵏⴻⵖ ⴷ ⵡⴰⵣⴰⵍ ⵉⵡⴰⵜⴰⵏ ⵉ ⵏⴻⵄⵔⴻⴹ ⴰⴷ ⵜⵏⴻⴱⴷⴻⵔ. ⴰⵃⴱⴰⵙ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵙ ⵡⴰⵟⴰⵙ ⵢⴻⵜⵜⴰⵡⵉⴷ ⵙ ⵡⴰⵟⴰⵙ ⵖⴻⵔ ⵓⵏⴷⴻⵔⴼⵉⵜⵜⵉⵏⴳ—ⵉⵎⵓⴷⴻⵍ ⵢⴻⵜⵜⵡⴰⵙⴼⴻⴹⴻⵏ ⵙ ⵡⴰⵟⴰⵙ ⵓⵔ ⵏⴻⵙⵙⴰⵡⴻⴹ ⴰⵔⴰ ⴰⴷ ⵟⵟⴼⴻⵏ ⴰⵃⵔⵉⵛ ⵏ ⵢⵉⵙⴻⴼⴽⴰ.

Variance, ⵙⴻⴳ ⵜⴰⵎⴰ ⵏⵉⴹⴻⵏ, ⵢⴻⵜⵜⵇⴰⴷⴰⵔ ⵜⴰⵃⴻⵎⵍⴰ ⵏ ⵓⵎⴹⴰⵏ ⵏ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ ⴷⴻⴳ ⵜⵎⴻⵣⴳⵓⵏⵜ ⵏ ⵢⵉⵙⴻⴼⴽⴰ. ⵢⴻⵜⵜⵇⴰⴷⴰⵔ ⴰⵛⵃⴰⵍ ⴰⵔⴰ ⵎⵅⴰⵍⵍⴰⴼⴻⵏⵜ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ ⵏ ⵍⴻⵎⵜⴻⵍ ⵎⴰ ⵢⴻⵍⵍⴰ ⵢⴻⵜⵜⵡⴰⵙⵍⴻⵖⵎⴰ ⵖⴻⴼ ⵜⵎⴻⵣⵣⵓⴳⵉⵏ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⵢⴻⵎⴳⴰⵔⴰⴷⴻⵏ. ⴰⴱⴻⴷⴷⴻⵍ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵙ ⵡⴰⵟⴰⵙ ⵢⴻⵣⵎⴻⵔ ⴰⴷ ⴷⵢⴰⵡⵉ overfitting—ⵉⵎⵓⴷⴻⵍ ⴰⵢ ⵉⵅⴻⴷⴷⵎⴻⵏ ⵎⵍⵉⵃ ⵖⴻⴼ ⵢⵉⵙⴻⴼⴽⴰ ⵏ ⵓⵙⵙⵉⵍⴻⵖ ⵎⴰⵛⴰ ⵜⵜⴳⴻⵏ ⵙ ⵍⵅⵉⵔ ⵖⴻⴼ ⵢⵉⵙⴻⴼⴽⴰ ⵉⵎⴰⵢⵏⵓⵜⴻⵏ ⵓⵔ ⵏⴻⵜⵜⵡⴰⵥⴻⵔ ⴰⵔⴰ.

ⴰⵙⴻⵏⵇⴻⵙ ⴷ ⵡⴰⵙⵙⴰⵖ ⴷ ⵓⵙⵡⵉⵔ ⵏ ⵍⴻⵎⵜⴻⵍ

ⵜⴰⵣⵎⴻⵔⵜ ⴳⴰⵔ ⵜⵎⵓⵖⵍⵉ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⴷ ⵜⵎⵓⵖⵍⵉ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⴷ ⴰⵢⴻⵏ ⵢⴻⵙⵄⴰⵏ ⴰⵣⴰⵍ ⴰⵎⴻⵇⵇⵔⴰⵏ. ⴰⴽⴽⴻⵏ ⵢⴻⵜⵜⵏⴻⵔⵏⵉ ⵓⵙⵡⵉⵔ ⵏ ⵓⵙⵡⵉⵔ ⵏ ⵍⴻⵎⵜⴻⵍ, ⵙ ⵓⵎⴰⵜⴰ ⵢⴻⵜⵜⵏⴻⵔⵏⵉ ⵓⵙⵡⵉⵔ ⵏ ⵜⵎⵓⵖⵍⵉ (ⴰⵎⵓⴷⴻⵍ ⵢⴻⵣⵎⴻⵔ ⴰⴷ ⵢⴻⵟⵟⴻⴼ ⵉⴹⵔⵉⵙⴻⵏ ⵏ ⵓⵙⵡⵉⵔ ⵏ ⵍⴻⵎⵜⴻⵍ ⵓⴳⴰⵔ), ⵎⴰⵛⴰ ⴰⵎⴳⵉⵔⴻⴷ ⵢⴻⵜⵜⵃⵓⵍⴼⵓ ⵢⴻⵜⵜⵏⴻⵔⵏⵉ (ⴰⵎⵓⴷⴻⵍ ⵢⴻⵜⵜⵓⵖⴰⵍ ⴷ ⴰⵃⴻⵔⴼⵉ ⵓⴳⴰⵔ ⵖⴻⴼ ⵍⵃⴻⵙⵙ ⴷ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⵏ ⵓⵙⵙⵉⵍⴻⵖ). ⴰⵙⴻⵎⵔⴻⵙ ⵏ ⵙⵏⴰⵜ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏⴰ ⴷ ⴰⵙⴰⵔⵓ ⵉ ⵓⵙⵉⵡⴻⴹ ⵏ ⵜⵖⴰⵔⴰ ⵏ ⵍⴻⵎⵜⴻⵍ ⵉⴳⴻⵔⵔⵣⴻⵏ.

ⵜⵓⵛⵛⴹⴰ ⵏ ⵓⵙⵏⴻⵔⵏⵉ ⴷ ⵍⴻⵃⵙⴰⴱ

ⵜⵓⵛⵛⴹⴰ ⵏ ⵓⵙⵏⵓⵍⴼⵓ ⵢⴻⵜⵜⵡⴰⵕⴵⴰⵏ ⵜⴻⵣⵎⴻⵔ ⴰⴷ ⵜⴻⵜⵜⵡⴰⴼⵔⴻⵇ ⵖⴻⴼ ⴽⵔⴰⴹ ⵏ ⵢⵉⵃⵔⵉⵛⴻⵏ:

1. ⵜⵓⵛⵛⴹⴰ ⵓⵔ ⵏⴻⵜⵜⵡⴰⵙⵏⴻⵇⵙ ⴰⵔⴰ (ⵍⵃⴻⵙⵙ)

2. Bias ⴰⵎⴽⵓⵥ

3. Amgarad

ⴷⴻⴳ ⵜⵓⵙⵏⴰⴽⵜ:

ⵜⵓⵛⵛⴹⴰ ⵢⴻⵜⵜⵡⴰⵕⴵⴰⵏ = ⵜⵓⵛⵛⴹⴰ ⵓⵔ ⵏⴻⵜⵜⵡⴰⵙⵏⴻⵇⵙ ⴰⵔⴰ + ⴰⵙⴻⵏⵇⴻⵙ²+ ⴰⵎⴳⵉⵔⴻⴷ

ⴰⵃⴻⵙⵙ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵙⵔⵉⴷ ⴷ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵢⴻⵣⵎⴻⵔ ⴰⴷ ⵢⵉⵍⵉ ⴷ ⴰⵢⴻⵏ ⵉⵅⵓⵚⵚⴻⵏ, ⵍⴰⴷⵖⴰ ⵉ ⵢⵉⵙⴻⴼⴽⴰ ⵏ ⵓⵎⴰⴹⴰⵍ ⵏ ⵜⵉⴷⴻⵜ. ⵜⵉⵙⵏⴰⵜⵡⵉⵍⵉⵏ ⴰⵎ ⴰⵙⴽⴰⵙⵉ ⵏ ⵜⵎⴻⵥⴷⵉⵢⵉⵏ, ⵜⵉⵖⴱⵓⵍⴰ ⵏ ⵓⵍⵎⴰⴷ, ⵏⴻⵖ ⴰⵙⴻⵇⴷⴻⵛ ⵏ ⵜⵎⴻⵥⴷⵉⵢⵉⵏ ⵢⴻⵎⴳⴰⵔⴰⴷⴻⵏ ⵏ ⵜⵎⴻⵥⴷⵉⵢⵉⵏ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⵉ ⵓⵙⵙⵉⵍⴻⵖ ⴷ ⵓⵙⴽⴰⵙⵉ ⵣⴻⵎⵔⴻⵏⵜ ⴰⴷ ⵄⵉⵡⵏⴻⵏⵜ ⴷⴻⴳ ⵓⵇⵉⴹⵓⵏ ⵏ ⵢⵉⴼⴻⵔⴷⵉⵙⴻⵏⴰ.

ⵜⵉⵙⵜⵔⴰⵜⵉⵊⵉⵢⵉⵏ ⵉ ⵓⵙⵇⴻⵔⴷⴻⵛ ⵏ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ ⵏ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ ⵏⴻⵖ ⵏ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ ⵏ ⵜⵎⵓⵖⵍⵉⵡⵉⵏ

• ⵀⵉⴳⵀ Bias: Akken ⴰⴷ ⵢⴻⵙⴼⴻⴹ ⴱⵉⴰⵙ ⵖⵍⴰⵢⴻⵏ, ⵢⴻⵣⵎⴻⵔ ⵢⵉⵡⴻⵏ ⴰⴷ ⵢⴻⵔⵏⵓ ⵍⵃⵉⵔⴼⴰ ⵏ ⵍⴻⵎⵜⴻⵍ ⵙ ⵓⵙⴻⵇⴷⴻⵛ ⵏ ⵍⴻⵎⵜⴻⵍ ⵙ ⵡⴰⵣⴰⵍⵉⵙ (ⴰⵎ ⵓⵙⵏⴻⵔⵏⵉ ⵏ ⵓⴳⴰⵔ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ, ⴰⵙⴻⵇⴷⴻⵛ ⵏ ⵢⵉⵥⴻⴹⵡⴰⵏ ⵏ ⵜⵏⴻⴼⵙⵉⵜ ⴷⴻⴳ ⵓⵎⴹⵉⵇ ⵏ ⵍⴻⵎⵜⴻⵍ ⵏ ⵜⵖⴻⵔⵖⴻⵔⵜ).

• ⵀⵉⴳⵀ Variance: Akken ⴰⴷ ⵏⵃⴰⵔⴻⴱ ⵖⴻⴼ ⵓⵎⴳⵉⵔⴻⴷ ⴰⵎⴻⵇⵇⵔⴰⵏ, ⵜⵉⴳⵏⴰⵜⵉⵏ ⴰⵎ ⴰⵙⵍⵓⴳ (ⴰⵎ Lasso, Ridge), ⴰⵙⵏⴻⴼⵍⵉ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵍⴻⵎⵜⴻⵍ (ⴰⴼⵔⴰⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ, ⴰⵙⴻⵏⵇⴻⵙ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ), ⵏⴻⵖ ⴰⵊⵎⴰⵄ ⵏ ⵓⴳⴰⵔ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⵢⴻⵣⵎⴻⵔ ⴰⴷ ⵢⵉⵍⵉ ⴷ ⵜⴰⵍⵍⴻⵍⵜ.

ⴰⵙⵏⴻⵔⵏⵉ ⵙ ⵓⵙⴻⵖⵣⴻⴼ

ⵙ ⵓⵙⴻⵍⵎⴻⴷ ⵏ ⵜⵎⵓⵖⵍⵉ ⵏ ⵜⵎⵓⵖⵍⵉ ⵏ ⵜⵎⵓⵖⵍⵉ ⵏ ⵜⵎⵓⵖⵍⵉ, ⵏⴻⵣⵎⴻⵔ ⴰⴷ ⴷⵏⴰⵡⵉ ⵜⵉⵥⵔⵉⵡⵉⵏ ⵖⴻⴼ ⵜⵉⴽⵍⵉ ⵏ ⵓⵎⴷⴰⵏ. ⵏⴻⵣⵎⴻⵔ ⴰⴷ ⵏⴻⴼⵔⴻⵏ ⴰⵙⵡⵉⵔ ⵏ ⵜⵎⴻⵥⵥⵓⵖⵜ ⵉⵡⴰⵜⴰⵏ ⵉ ⵡⵓⴳⵓⵔ, ⴰⴷ ⵏⴻⴼⵀⴻⵎ ⵎⴰ ⵢⴻⵍⵍⴰ ⴰⵎⵣⵓⵏⵏⵏⵉ ⵓⵔ ⵢⴻⵜⵜⵇⴰⴷⴰⵔ ⴰⵔⴰ ⵏⴻⵖ ⵓⵔ ⵢⴻⵜⵜⵇⴰⴷⴰⵔ ⴰⵔⴰ, ⵢⴻⵔⵏⴰ ⴰⴷ ⵏⴻⵙⵙⴻⵅⴷⴻⵎ ⵜⵉⵙⵜⵔⴰⵜⵉⵊⵉⵢⵉⵏ ⵉⵡⴰⵜⴰⵏ ⴰⴽⴽⴻⵏ ⴰⴷ ⵏⴻⵙⵙⴻⵎⵖⴻⵔ ⴰⵅⴻⴷⴷⵉⵎ.

ⴰⵎⴻⴷⵢⴰ, ⵎⴰ ⵢⴻⵍⵍⴰ ⴰⵎⴹⴰⵏ ⵢⴻⵙⵙⴽⴰⵏⴰⵢⴷ ⴰⴱⴻⴷⴷⴻⵍ ⴰⵎⴻⵇⵇⵔⴰⵏ, ⵏⴻⵣⵎⴻⵔ ⴰⴷ ⵏⵅⴻⵎⵎⴻⵎ ⴰⴷ ⵜⵏⴻⵙⵙⴻⴼⵙⵓⵙ ⵙ ⵓⵙⵏⴻⴼⵍⵉ ⵏ ⵓⵎⴹⴰⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏⴻⵖ ⵙ ⵓⵙⴻⵇⴷⴻⵛ ⵏ ⵜⴻⵙⵏⴰⵜⵡⵉⵍⵉⵏ ⵏ ⵓⵙⵍⵓⴳⴻⵏ. ⴰⵎ ⵡⴰⴽⴽⴻⵏ ⴷⴰⵖⴻⵏ, ⵎⴰ ⵢⴻⵍⵍⴰ ⵢⴻⵙⵙⴽⴰⵏⴰⵢⴷ ⵍⴱⴰⵟⴻⵍ ⵖⵍⴰⵢⴻⵏ, ⴰⵙⴻⵇⴷⴻⵛ ⵏ ⵍⴻⵎⵜⴻⵍ ⵉⵅⵓⵚⵚⴻⵏ ⵓⴳⴰⵔ ⵏⴻⵖ ⵔⵏⴰⵏⴷ ⵜⵉⵖⴰⵡⵙⵉⵡⵉⵏ ⵉⵛⵓⴷⴷⴻⵏ ⵓⴳⴰⵔ ⵢⴻⵣⵎⴻⵔ ⴰⴷ ⵉⵄⵉⵡⴻⵏ.

ⴷⴻⴳ ⵜⴰⴳⴳⴰⵔⴰ, ⵉⵙⵡⵉ ⴷ ⴰⴷ ⵏⴻⵙⵄⵓ ⵍⵎⵉⵣⴰⵏ ⴳⴰⵔ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⴷ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⴰⴽⴽⴻⵏ ⴰⴷ ⵏⴻⴱⵏⵓ ⵉⵎⵓⴷⴻⵍ (modèles) ⴰⵔⴰ ⵢⴻⵙⵙⴻⵎⵖⴻⵔⴻⵏ ⵎⵍⵉⵃ ⵉⵙⴻⴼⴽⴰ ⵓⵔ ⵏⴻⵜⵜⵡⴰⵥⴻⵔ ⴰⵔⴰ.