Reguliavimas reiškia metodų rinkinį, naudojamą siekiant neleisti per daug pritaikyti ir patobulinti modelio apibendrinimą. Per didelis pritaikymas įvyksta, kai modelis per gerai išmoksta mokymo duomenis, užfiksuodamas triukšmą ir konkrečias detales, kurios netaikomos naujiems, nematomiems duomenims. Reguliavimas padeda tai kontroliuoti, pridedant bausmės terminą prie modelio tikslo funkcijos, atgrasant nuo pernelyg sudėtingų modelių.
Du įprasti reguliavimų tipai yra L1 ir L2 reguliavimas:
L1 reguliavimas (Laso regresija):
-
L1 sureguliavimas prideda kaštų funkcijos baudos terminą, lygų absoliutinėms modelio koeficientų reikšmėms.
-
Jis skatina modelio retumą, sumažindamas kai kuriuos koeficientus iki tiksliai nulio, efektyviai atlikdamas funkcijų pasirinkimą.
-
Gautas modelis yra paprastesnis ir lengviau interpretuojamas, nes jame parenkamos tik svarbiausios savybės, o ne tokios aktualios.
L2 reguliavimas (Ridžo regresija):
-
L2 reguliavimas prideda kaštų funkcijos baudos terminą, lygų modelio koeficientų kvadratiniams dydžiams.
-
Jis linkęs sumažinti mažiau svarbių savybių koeficientus iki nulio, tačiau retai juos tiksliai nustato iki nulio.
-
L2 sureguliavimas yra veiksmingas siekiant užkirsti kelią pernelyg dideliam svoriui ir taip sumažinti modelio sudėtingumą.
Tiek L1, tiek L2 reguliavimo metodai padeda sumažinti perteklinį pritaikymą ir pagerinti modelio gebėjimą apibendrinti iki nematomų duomenų. Pasirinkimas tarp L1 ir L2 reguliarumo dažnai priklauso nuo konkrečios problemos, savybių pobūdžio ir norimo rezultato. Lasso (L1) reguliavimas su ypatybių pasirinkimo savybe yra teikiamas pirmenybė, kai reikia nustatyti svarbiausius požymius. Ridge (L2) reguliavimas yra tinkamas, kai visos savybės yra potencialiai svarbios ir pageidautina sumažinti jų poveikį jų visiškai nepašalinant. Be to, abiejų metodų derinys, žinomas kaip Elastingas tinklo įteisinimas, gali būti naudojamas norint vienu metu pasinaudoti L1 ir L2 reguliavimu.
