A túl- és alulillesztés gyakori probléma a gépi tanulási modellekben, amelyek hatással vannak arra, hogy képesek-e jól általánosítani új, nem látott adatokra.
A túlillesztés akkor következik be, amikor a modell nemcsak a betanítási adatok mögöttes mintázatait tanulja meg, hanem megtanulja az adatokban jelenlévő zajokat és véletlenszerű ingadozásokat is. Ennek eredményeként a modell kivételesen jól teljesít a betanítási adatokon, de nem sikerül általánosítani új, nem látott adatokra, mert lényegében memorizálta a betanítási halmazt.
Alulillesztés viszont akkor fordul elő, ha egy modell túl egyszerű ahhoz, hogy a mögöttes mintákat rögzítse a képzési adatokban. Nem csak a betanítási adatokon, hanem az új adatokon is rosszul teljesít, mert nem tudja megtanulni az adatokban jelenlévő összefüggéseket és összetettségeket.
Hogyan előzhetjük meg a túl- és alulfit
-
Keresztellenőrzés: Használjon olyan technikákat, mint a k-szeres keresztellenőrzés, hogy felmérje a modell teljesítményét az adatok különböző részhalmazain. Segít megbecsülni, hogy a modell mennyire általánosítható az új adatokra.
-
Train-test split: Ossza fel adatait külön edzési és tesztelési készletekre. Tanítsa meg a modellt az oktatókészleten, és értékelje a teljesítményét a tesztkészleten. Ez segít felmérni, hogy a modell mennyire általánosítható a nem látott adatokra.
-
Jellemzők kiválasztása/csökkentése: Csökkentse a modell összetettségét azáltal, hogy csak a legrelevánsabb jellemzőket választja ki, vagy olyan technikákat használ, mint a főkomponens-elemzés (PCA), hogy csökkentse az adatok dimenzióit.
-
Regularizálás: Az olyan technikák, mint az L1 vagy L2 regularizálás, büntetéseket adnak a modell célfüggvényének bonyolultságáért, megakadályozva, hogy a zaj túlságosan illeszkedjen az adatokba.
-
Együttes módszerek: Több modell kombinálása a túl- és alulillesztés csökkentése érdekében. Az olyan technikák, mint a zsákolás, a kiemelés vagy a halmozás, több modellt használnak az általános teljesítmény és az általánosítás javítása érdekében.
-
Hiperparaméter-hangolás: Állítsa be a modell hiperparamétereit (például tanulási sebesség, fák mélysége a döntési fákban stb.) olyan technikák segítségével, mint a rácskeresés vagy véletlenszerű keresés, hogy megtalálja az optimális konfigurációt, amely kiegyensúlyozza a torzítást. és variancia.
-
Korai leállítás: Figyelje a modell teljesítményét egy érvényesítési készleten edzés közben, és állítsa le a képzési folyamatot, ha a teljesítmény romlani kezd, így megakadályozza a túlillesztést.
-
Több adat: Az adatok mennyiségének növelése elősegítheti a modell jobb általánosítását azáltal, hogy változatosabb és reprezentatívabb mintát ad a mögöttes eloszlásról.
A modell összetettsége és az általánosítás közötti megfelelő egyensúly megtalálása döntő fontosságú a túl- és alulillesztés megelőzésében, és ezek a technikák segítenek ennek az egyensúlynak az elérésében.
