Odločitvena drevesa so priljubljen algoritem, ki se uporablja za naloge razvrščanja in regresije. Delujejo tako, da podatke rekurzivno razdelijo na podmnožice na podlagi funkcij, ki najbolje ločijo ciljno spremenljivko.
Koraki za napovedovanje in sprejemanje odločitev
1. Gradnja drevesa
-
Korensko vozlišče: Začne se s celotnim naborom podatkov.
-
Izbira funkcije: izbere najboljšo funkcijo za razdelitev podatkov v podnabore. "Najboljša" lastnost je določena z merilom (kot je nečistoča Gini ali pridobivanje informacij).
-
Razdelitev: razdeli podatke v podnabore na podlagi vrednosti izbrane funkcije.
-
Rekurzivno cepitev: nadaljuje ta postopek za vsako podmnožico, ustvarja veje ali vozlišča, dokler niso izpolnjeni določeni kriteriji za zaustavitev (na primer doseganje največje globine ali premalo vzorcev).
2. Odločanje in napovedovanje
-
Prehod: pri napovedovanju novih podatkov prečka drevo na podlagi vrednosti funkcij za to podatkovno točko.
-
Vrednotenje vozlišča: na vsakem vozlišču preizkusi vrednost funkcije glede na prag in se premakne navzdol po drevesu po ustrezni veji.
-
Listna vozlišča: sčasoma doseže listno vozlišče, ki zagotavlja končno napoved ali odločitev.
3. Ravnanje s kategoričnimi in numeričnimi značilnostmi
-
Za kategorične značilnosti se lahko odločitvena drevesa preprosto razdelijo glede na različne kategorije.
-
Za numerične značilnosti odločitvena drevesa preizkušajo različne pragove za optimalno razdelitev podatkov.
4. Ravnanje s prekomernim opremljanjem
- Odločitvena drevesa so nagnjena k prekomernemu opremljanju. Tehnike, kot je obrezovanje, omejevanje globine drevesa ali nastavitev najmanjšega števila vzorcev, potrebnih za razdelitev vozlišča, pomagajo preprečiti prekomerno opremljanje.
5. Zanesljivost in verjetnost napovedi
- Pri klasifikaciji lahko odločitvena drevesa zagotovijo verjetnosti razreda na podlagi porazdelitve vzorcev v vozliščih listov. Za regresijo zagotavlja neprekinjen izhod na podlagi povprečne ali večinske vrednosti v vozliščih listov.
6. Razlagljivost
- Ena od pomembnih prednosti odločitvenih dreves je njihova interpretabilnost. Preprosto jih je mogoče vizualizirati in razumeti ter omogočajo vpogled v to, katere lastnosti so najpomembnejše pri sprejemanju odločitev.
7. Metode ansambla
- Odločitvena drevesa je mogoče združiti v metode ansambla, kot so naključni gozdovi ali gradientno povečanje, da se izboljša zmogljivost in robustnost.
Odločitvena drevesa ponujajo enostaven, a zmogljiv pristop k modeliranju zapletenih odnosov v podatkih. Vendar pa se lahko spopadejo z določenimi vrstami podatkov, ki niso dobro razdeljeni na podlagi enostavnih meja odločanja ali če obstajajo hrupne ali nepomembne funkcije.
