Рэгулярізацыя адносіцца да набору метадаў, якія выкарыстоўваюцца для прадухілення перападбору і паляпшэння абагульнення мадэлі. Пераабсталяванне адбываецца, калі мадэль занадта добра засвойвае навучальныя даныя, фіксуючы шум і пэўныя дэталі, якія не прымяняюцца да новых, нябачных даных. Рэгулярізацыя дапамагае кантраляваць гэта шляхам дадання штрафнага тэрміну да мэтавай функцыі мадэлі, што перашкаджае занадта складаным мадэлям.
Два распаўсюджаных тыпу рэгулярызацыі - рэгулярізацыя L1 і L2:
Рэгулярызацыя L1 (рэгрэсія Ласо):
-
Рэгулярізацыя L1 дадае штрафны тэрмін да функцыі выдаткаў, роўны абсалютным значэнням каэфіцыентаў мадэлі.
-
Гэта заахвочвае разрэджанасць у мадэлі шляхам скарачэння некаторых каэфіцыентаў дакладна да нуля, эфектыўна выконваючы выбар функцый.
-
Атрыманая мадэль больш простая і лягчэйшая для інтэрпрэтацыі, паколькі яна выбірае толькі найбольш важныя функцыі, адкідаючы менш важныя.
Рэгулярізацыя L2 (грэбневая рэгрэсія):
-
Рэгулярізацыя L2 дадае штрафны тэрмін да функцыі выдаткаў, роўны квадратам велічынь каэфіцыентаў мадэлі.
-
Ён мае тэндэнцыю змяншаць каэфіцыенты менш важных функцый да нуля, але рэдка ўсталёўвае іх дакладна на нуль.
-
Рэгулярізацыя L2 эфектыўная для прадухілення перападбору, штрафуючы за вялікую вагу і, такім чынам, памяншаючы складанасць мадэлі.
Абодва метады рэгулярызацыі L1 і L2 дапамагаюць паменшыць празмернае абсталяванне і палепшыць здольнасць мадэлі абагульняць нябачныя даныя. Выбар паміж рэгулярізацыяй L1 і L2 часта залежыць ад канкрэтнай праблемы, характару функцый і жаданага выніку. Рэгулярізацыя ласо (L1) з яе ўласцівасцю выбару прыкмет з'яўляецца пераважнай, калі ёсць неабходнасць вызначыць найбольш важныя функцыі. Рэгулярізацыя хрыбта (L2) падыходзіць, калі ўсе функцыі з'яўляюцца патэнцыяльна важнымі і пераважна паменшыць іх уплыў без поўнага выключэння. Акрамя таго, камбінацыя абодвух метадаў, вядомая як Эластычная сеткавая рэгулярізацыя, можа быць выкарыстана для выкарыстання пераваг рэгулярызацыі L1 і L2 адначасова.