Päätöspuut ovat suosittu algoritmi, jota käytetään sekä luokitus että regressio-tehtävissä. Ne toimivat osioiden rekursiivisesti tiedot osajoukkoihin perustuen ominaisuuksiin, jotka parhaiten erottavat kohdemuuttujan.
Ennustamisen ja päätöksenteon ohjeet
1. Puiden rakentaminen
-
Root Node: Alkaa koko tietojoukosta.
-
Ominaisuuden valinta: Se valitsee parhaan ominaisuuden tietojen jakamiseksi osajoukkoon. "Paras" ominaisuus määräytyy kriteerin mukaan (kuten Gini-epäpuhtaus tai tiedon lisäys).
-
Jakaminen: Jakaa tiedot osajoukkoihin valitun ominaisuuden arvojen perusteella.
-
Rekursiivinen jakaminen: Jatkee tätä prosessia jokaiselle osajoukolle luoden haaroja tai solmuja, kunnes tietyt pysäytyskriteerit täyttyvät (kuten enimmäissyvyyden saavuttaminen tai liian vähän näytteitä).
2. Päätöksenteko ja ennustaminen
-
Traversal: Tehdessään ennusteita uusille tiedoille, se kulkee puun läpi kyseisen datapisteen ominaisuuksien arvojen perusteella.
-
Solmun arviointi: Jokaisessa solmussa se testaa ominaisuuden arvon kynnysarvoa vasten ja siirtyy puuta alaspäin sopivaa haaraa pitkin.
-
Lehtisolmut: Lopulta se saavuttaa lehtisolmun, joka tarjoaa lopullisen ennusteen tai päätöksen.
3. Kategoristen ja numeeristen ominaisuuksien käsittely
-
Kategoristen ominaisuuksien osalta päätöspuut voidaan yksinkertaisesti jakaa eri luokkien perusteella.
-
Numeeristen ominaisuuksien osalta päätöspuut kokeilevat erilaisia kynnysarvoja jakaakseen tiedot optimaalisesti.
4. Liikaasentamisen käsittely
- Päätöspuut ovat alttiita ylisovitukselle. Tekniikat, kuten karsiminen, puun syvyyden rajoittaminen tai solmun jakamiseen vaadittavien näytteiden vähimmäismäärän asettaminen, auttavat estämään liiallista sovittamista.
5. Ennustuksen luottamus ja todennäköisyys
- Luokittelussa päätöspuut voivat tarjota luokkatodennäköisyyksiä, jotka perustuvat näytteiden jakautumiseen lehtien solmuissa. Regressiota varten se tarjoaa jatkuvan tulosteen lehtisolmujen keskimääräisen tai enemmistön arvon perusteella.
6. Tukittavuus
- Yksi päätöspuiden merkittävistä eduista on niiden tulkittavuus. Ne ovat helposti visualisoitavissa ja ymmärrettävissä, mikä mahdollistaa käsityksen siitä, mitkä ominaisuudet ovat tärkeimpiä päätöksenteossa.
7. Yhdistelmämenetelmät
- Päätöspuut voidaan yhdistää ensemble-menetelmiin, kuten Random Forests tai Gradient Boosting parantaa suorituskykyä ja kestävyyttä.
Päätöspuut tarjoavat suoraviivaisen mutta tehokkaan lähestymistavan monimutkaisten suhteiden mallintamiseen datassa. He voivat kuitenkin kamppailla tietyntyyppisten tietojen kanssa, jotka eivät jakaannu hyvin yksinkertaisten päätösrajojen vuoksi tai jos niissä on meluisia tai epäolennaisia ominaisuuksia.
