Naslov magistrskega dela: Ovrednotenje in posplošitev pristopa interpretablinega strojnega učenja po principu RiskSLIM

Povzetek: V zadnjem desetletju so se modeli strojnega učenja začeli praktično  uporabljati na vseh področjih našega življenja. Prisotni so tako v obliki priporočilnih sistemov, napovednih modelov kot tudi sistemov za oceno tveganja ali sistemov za pomoč pri odločanju.

Tudi področja, kjer morajo odločitve sprejemati strokovnjaki (doktor medicine v zdravstvu ali poslovni analitik v ekonomiji), vse bolj uporabljajo modele strojnega učenja pri sprejemanju odločitev.
Na takšnih področjih pa je ključno, da strokovnjak oziroma odločevalec dobro razume, kako je uporabljen model strojnega učenja prišel do svoje napovedi. 
Priložnost na tem področju predstavljajo tako imenovani interpretabilni modeli. 
Takšni modeli sicer dosegajo nekoliko manjše napovedne točnosti, a lahko uporabnik iz napovedi modela tudi vidi, kateri atributi so koliko doprinesli k njegovi odločitvi. In dodatna razlaga ni potrebna.

V našem delu smo se posvetili modelu interpretabilnega strojnega učenja RiskSLIM. Rezultat učenja je enostaven točkovalnik, kjer uporabnik sešteje točke in pridobi verjetnost pripadnosti razredu za posamezen primer.
Raziskali smo, kako različne značilnosti podatkov vplivajo na čas učenja modela in na njegove performanse. Preverili smo, ali je RiskSLIM sposoben v atributih najti kompleksne odvisnosti in kako uspešen je na naborih podatkov, ki niso monotoni. Algoritem je omejen na binarne nabore podatkov, ki so v praksi zelo redki. Ker se morajo atributi z zveznimi številskimi podatki za spremembo v dvorazredne diskretizirati, smo raziskali več načinov diskretizacije in jih med seboj primerjali glede na napovedno točnost modelov. Za primerjavo napovedne točnosti z RiskSLIM smo uporabili pogosto uporabljen algoritem XGBoost, ki je trenutno ena izmed boljših metod za učenje nad tabelaričnimi podatki.   
 Algoritem smo poskusili razširiti tudi tako, da bi bil zmožen napovedovati večrazredne probleme. V ta namen smo implementirali več razširitev modela in jih med sabo primerjali. Tu smo opazovali tako napovedno točnost razširitve kot tudi njeno interpretabilnost. 
V zadnjem sklopu smo se posvetili še knjižnici CPLEX, ki jo algoritem pri učenju uporablja za reševanje mešanega celoštevilskega nelinearnega problema. Ker je knjižnica plačljiva, smo jo poskusili zamenjati z odprtokodno alternativo. Identificirali smo funkcionalnosti CPLEX, ki jih model uporablja, in odseke njune medsebojne interakcije. Znotraj teh odsekov smo preverili, ali alternativne knjižnice omogočajo enake funkcionalnosti kot CPLEX, da bi jo nadomestile. 

V delu ugotavljamo, da RiskSLIM predstavlja interpretabilno alternativo znanim metodam strojnega učenja. Posledice dobre interpretabilnosti so slabša napovedna točnost, daljši čas učenja (pri podatkih z več atributi) in omejenost na dvorazredne nabore podatkov. Omejenost algoritma na samo binarne učne atribute smo poskušali razrešiti z uporabo diskretizacije in binarizacije podatkov, omejenost na dvorazreden ciljni razred pa smo poskusili razširiti na več načinov. Kot najboljša diskretizacija se je izkazala nadzorovana diskretizacija, ki sta jo predstavila Fayyad in Irani, med razširitvami pa smo kot najboljšo identificirali razširitev z odločitveno usmerjenim nekrožnim grafom. Pri zamenjavi CPLEX smo ugotovili, da nobena izmed preizkušenih alternativ ne vsebuje vseh funkcionalnosti, ki jih RiskSLIM uporablja. Tako menjava ni mogoča brez kompleksnejšega poseganja v samo kodo programa.

Mentor: izr. prof. dr. Matjaž Kukar 

Komisija za zagovor:

prof. dr. Marko Robnik Šikonja, predsednik

izr. prof. dr. Lovro Šubelj, član

doc. dr. Aleksander Sadikov, član

Povezava do video kanala, po katerem se bo prenašal zagovor in ga bo možno spremljati, bo dodana najkasneje na dan zagovora (predvidoma 30 minut pred terminom izvedbe zagovora) na spletni strani: https://ucilnica.fri.uni-lj.si/course/view.php?id=35