Кампраміс зрушэння-дысперсіі - гэта фундаментальная канцэпцыя, якая дапамагае нам зразумець памылку абагульнення мадэлі.
Дэкампазіцыя зрушэння-дысперсіі
Зрушэнне адносіцца да памылкі, узніклай пры апраксімацыі рэальнай праблемы з дапамогай спрошчанай мадэлі. Ён уяўляе сабой розніцу паміж сярэднім прагнозам нашай мадэлі і правільным значэннем, якое мы спрабуем прадказаць. Высокае зрушэнне часта прыводзіць да недастатковасці — празмерна спрошчаных мадэляў, якія не адлюстроўваюць складанасці даных.
Варыанс, з іншага боку, вымярае адчувальнасць мадэлі да ваганняў у наборы даных. Ён колькасна вызначае, наколькі адрозніваліся б прагнозы мадэлі, калі б яна навучалася на розных наборах даных. Высокая дысперсія можа прывесці да пераабсталявання — мадэляў, якія добра працуюць на навучальных даных, але дрэнна абагульняюцца на новыя, нябачаныя даныя.
Кампраміс і ўзаемасувязь са складанасцю мадэлі
Кампраміс паміж прадузятасцю і дысперсіяй мае вырашальнае значэнне. Па меры павелічэння складанасці мадэлі зрушэнне звычайна памяншаецца (мадэль можа фіксаваць больш складаныя заканамернасці), але дысперсія мае тэндэнцыю да павелічэння (мадэль становіцца больш адчувальнай да шуму і спецыфікі даных навучання). Баланс гэтых двух кампанентаў з'яўляецца ключом да дасягнення аптымальнай прадукцыйнасці мадэлі.
Уклад памылкі і разлік
Чаканую памылку прагназавання можна раскласці на тры часткі:
-
Нязводная памылка (шум)
-
Зрушэнне ў квадраце
-
Дысперсія
Матэматычна:
Чаканая памылка = незмяншальная памылка + зрушэнне2+ дысперсія
Непасрэдны разлік зрушэння і дысперсіі можа быць складаным, асабліва для рэальных даных. Такія метады, як перакрыжаваная праверка, крывыя навучання або выкарыстанне розных падмностваў набору даных для навучання і праверкі могуць дапамагчы ацаніць гэтыя кампаненты.
Стратэгіі барацьбы з высокім ухілам або высокай дысперсіяй
-
Высокае зрушэнне: каб змякчыць высокае зрушэнне, можна павялічыць складанасць мадэлі, выкарыстоўваючы больш дасканалыя мадэлі (напрыклад, дадаючы больш функцый, выкарыстоўваючы нейронавыя сеткі замест лінейных мадэляў).
-
Высокая дысперсія: для ліквідацыі высокай дысперсіі выкарыстоўваюцца такія метады, як рэгулярізацыя (напрыклад, ласо, хрыбет), памяншэнне складанасці мадэлі (выбар функцый, памяншэнне памернасці) або збор дадатковых даных можа быць карысным.
Паляпшэнне праз аналіз
Аналізуючы кампраміс зрушэння і дысперсіі, мы можам атрымаць уяўленне аб паводзінах мадэлі. Мы можам выбраць адпаведны ўзровень складанасці для праблемы, зразумець, ці не падыходзіць мадэль, а таксама прымяніць адпаведныя стратэгіі для павышэння прадукцыйнасці.
Напрыклад, калі мадэль паказвае высокую дысперсію, мы можам падумаць аб яе спрашчэнні, скараціўшы колькасць функцый або выкарыстоўваючы метады рэгулярызацыі. І наадварот, калі ён паказвае вялікую прадузятасць, можа дапамагчы выкарыстанне больш складанай мадэлі або даданне больш адпаведных функцый.
У канчатковым рахунку, мэта складаецца ў тым, каб знайсці баланс паміж прадузятасцю і дысперсіяй для стварэння мадэляў, якія добра абагульняюць нябачныя даныя.
