Такія метады рэгулярызацыі, як L1 і L2, выкарыстоўваюцца для прадухілення пераабсталявання ў мадэлях машыннага навучання шляхам пакарання за вялікія каэфіцыенты.
Рэгулярізацыя L1, таксама вядомая як рэгулярізацыя Ласо, дадае тэрмін штрафу, прапарцыянальны абсалютнаму значэнню каэфіцыентаў функцый. Гэта заахвочвае разрэджанасць, даводзячы некаторыя каэфіцыенты да роўнага нуля, эфектыўна выконваючы выбар функцый, ухіляючы менш важныя функцыі. Гэтая магчымасць выбару функцый робіць рэгулярызацыю L1 асабліва карыснай пры працы з наборамі даных з вялікай колькасцю функцый, паколькі яна дапамагае спрасціць мадэлі, засяроджваючыся на найбольш актуальных функцыях. Атрыманае ў выніку спрашчэнне мадэлі памяншае празмернае абсталяванне.
З іншага боку, рэгулярызацыя L2, таксама вядомая як рэгулярізацыя Рыджа, дадае штрафны тэрмін, прапарцыянальны квадрату каэфіцыентаў прыкмет. Ён не прымушае каэфіцыенты станавіцца дакладна нулявымі, але наадварот скарачае іх да нуля, дзякуючы чаму ўсе функцыі ў некаторай ступені спрыяюць мадэлі. Рэгулярізацыя L2 эфектыўная ў апрацоўцы мультыкалінеарнасці і звычайна прыводзіць да больш стабільных, але менш разрэджаных мадэляў у параўнанні з рэгулярізацыяй L1.
Сцэнарыі, калі рэгулярізацыя L1 можа быць больш выгаднай, ўключаюць:
-
Высокамерныя наборы даных са шматлікімі функцыямі: пры працы з наборамі даных, дзе прастора для функцый вялікая, рэгулярізацыя L1 дапамагае ў аўтаматычным выбары функцый, паляпшаючы інтэрпрэтацыю мадэлі і прадукцыйнасць.
-
Калі чакаецца разрэджанасць функцый: у даменах, дзе чакаецца, што толькі некалькі функцый сапраўды ўплывовыя, рэгулярізацыя L1 можа эфектыўна ідэнтыфікаваць гэтыя функцыі і засяродзіцца на іх.
Аднак рэгулярізацыя ўзроўню L1 можа быць менш эфектыўнай у наступных сітуацыях:
-
Усе функцыі лічацца важнымі: калі існуе перакананне, што большасць функцый з'яўляюцца актуальнымі і выключаюць любыя, якія могуць прывесці да страты інфармацыі, L1 можа быць не лепшым выбарам, паколькі ён, як правіла, усталёўвае каэфіцыенты на нуль.
-
Набор даных мае праблемы мультыкалінеарнасці: рэгулярізацыя L2 лепш падыходзіць для вырашэння праблем мультыкалінеарнасці ў параўнанні з рэгулярізацыяй L1.
На практыцы можна выкарыстоўваць камбінацыю рэгулярызацыі L1 і L2, вядомую як Эластычная чыстая рэгулярызацыя, каб атрымаць выгаду з абодвух метадаў, выкарыстоўваючы разрэджанасць L1 і стабільнасць L2.
