• J2-1734 - Deidentifikacija obrazov z globokimi generativnimi modeli (FaceGEN)
Naročnik: Javna agencija za raziskovalno dejavnost RS ( J2-1734 )
Tip projekta: Raziskovalni projekti ARRS
Trajanje projekta: 2019 - 2022
  • Opis

Vse večja razpoložljivost mobilnih naprav ter posledičnih zmožnosti zajema slikovnih podatkov je spremenila naše navade in pričakovanja glede primerne uporabe slik in video vsebin. V času, ko je izjemno preprosto izvesti video konference, posneti slike in jih objaviti na spletu ali zbrati in obdelati večje količine slikovnih podatkov, je nujno zagotoviti, da zbrani podatki niso zlorabljeni in je zasebnost oseb v njih ustrezno varovana. Še posebej so izpostavljene ranljive demografske skupine, kot so otroci in mladostniki, ki se nevarnosti, povezanih z nepremišljenim deljenjem osebnih podatkov, slik in video vsebin na spletu, pogosto niti ne zavedajo. Skupaj z razvojem slikovnih in mobilnih tehnologij se torej pojavlja tudi potreba po razvoju mehanizmov, ki zagotavljajo večjo stopnjo zasebnosti. Podobne potrebe je zaznala že Evropska unija, ki je v svoji direktivi o zaščiti podatkov (95/46/EC) izrazila potrebo po ustreznih ukrepih za varovanje osebnih podatkov. Direktivo je leta 2008 dopolnil evropski informacijski pooblaščenec (IP), v letu 2018 pa jo je nadomestila regulativa GDPR, ki še v večji meri poudarja potrebo po tehnologijah, ki prispevajo k varstvu in zaščiti zasebnosti. Vse omenjene pobude kažejo na očitno neskladje med trenutnim stanjem tehnologije in prihajajočimi potrebami znotraj globalnega okolja po tehnologijah, sposobnih zagotavljanja višjih ravni zasebnosti. Kot neposreden odgovor na to neskladje se ponuja proces de-identifikacije, ki je definiran kot postopek prikrivanja identitete oseb v podatkih z namenom zagotavljanja zasebnosti. V slikah in video vsebinah je deidentifikacija pogosto povezana z deidentifikacijo obraznih področij, ki predstavljajo najpomembnejše identifikatorje v tej vrsti podatkov. Klasični pristop k problemu obrazne deidentifikacije je prikrivanje identitete z različnimi filtri in maskami ob predpostavki zadostne ločljivosti slik obrazov, pa tudi z zamenjavo obraznih področij z umetnimi generiranimi obrazi. Čeprav predstavljajo omenjeni pristopi standard na področju obrazne deidentifikacije, pa imajo kar nekaj pomanjkljivosti:
1) v procesu deidentifikacije uničijo tudi informacijo, ki ni povezana z identiteto oseb in tako onemogočijo uporabo podatkov v namene, za katere identiteta oseb v podatkih ni pomembna;
2) delujejo pomanjkljivo na slikah nizke ločljivosti in slabe kakovosti;
3) temeljijo na vrsto med seboj odvisnih korakov, kar vpliva na robustnost delovanja celotnega procesnega cevovoda in
4) pogosto temeljijo na nerealnih predpostavkah, ki zavirajo uporabo deidentifikacijske tehnologije v praksi. V okviru predlaganega temeljnega projekta FaceGEN (ang. Face deidentification with Generative Deep Models) bomo naslovili omenjene pomanjkljivosti in izvajali raziskave na področju obrazne deidentifikacije s poudarkom na globokem učenju, ki se je v zadnjem času uveljavilo kot izredno učinkovito orodje za različne probleme s področja računalniškega vida in strojnega učenja. Cilj projekta je razviti globoke generativne modele in pristope k sintezi slik obrazov, ki jih je mogoče uporabiti s statičnimi slikami in formalnimi shemami za zaščito zasebnosti, kot je k-anonimnost, a tudi z video sekvencami, kjer se lahko pojavi večje število obrazov v različnih tipično nenadzorovanih okoljih. Glavni oprijemljivi rezultat projekta bo nova robustna tehnologija za deidentifikacijo obrazov ter novi generativni globoki modeli in pristopi k sintezi obraznih slik, zmožni foto-realistične deidentifikacije vseh delov obrazov (vključno z mehkimi biometričnimi karakteristikami) in ohranjanja informacije, ki ni povezana z identiteto oseb na slikah, kot je rasna pripadnost, spol, starost, ipd. Pričakujemo, da bodo razviti modeli zagotavljali do sedaj ne videno učinkovitost deidentifikacije, ki bo delovala naravno in prepričljivo, kar današnja tehnologija še ne omogoča.

Bibliografske reference:

MEDEN, Blaž, GONZALEZ-HERNANDEZ, Manfred, PEER, Peter, ŠTRUC, Vitomir. Face deidentification with controllable privacy protection. Image and vision computing. [Print ed.]. Jun. 2023, vol. 134, [article no.] 104678, str. 1-19, ilustr. ISSN 0262-8856. <https://www.sciencedirect.com/science/article/pii/S0262885623000525>, <https://repozitorij.uni-lj.si/IzpisGradiva.php?id=146103>, DOI: 10.1016/j.imavis.2023.104678 <https://dx.doi.org/10.1016/j.imavis.2023.104678>. [COBISS.SI-ID 150487811 <https://plus.cobiss.net/cobiss/si/sl/bib/150487811>]

BORTOLATO, Blaž, IVANOVSKA, Marija, ROT, Peter, KRIŽAJ, Janez, TERHÖRST, Philipp, DAMER, Naser, PEER, Peter, ŠTRUC, Vitomir. Learning privacy-enhancing face representations through feature disentanglement. V: ŠTRUC, Vitomir (ur.), GÓMEZ-FERNÁNDEZ, Francisco (ur.). Proceedings : 2020 15th IEEE International Conference on Automatic Face and Gesture Recognition : FG 2020 : Buenos Aires, Argentina, 16-20 November 2020. FG 2020. [S. l.]: IEEE Xplore, 2020. Str. 45-52, ilustr. ISBN 978-1-7281-3079-8. <https://ieeexplore.ieee.org/document/9320295>, DOI: 10.1109/FG47880.2020.00007 <https://dx.doi.org/10.1109/FG47880.2020.00007>. [COBISS.SI-ID 19408643 <https://plus.cobiss.net/cobiss/si/sl/bib/19408643>]

ROT, Peter, PEER, Peter, ŠTRUC, Vitomir. Detecting soft-biometric privacy enhancement. V: RATHGEB, Christian (ur.), et al. Handbook of digital face manipulation and detection : from DeepFakes to morphing attacks. Cham: Springer, cop. 2022. Str. 391-411, ilustr. Advances in computer vision and pattern recognition (Internet). ISBN 978-3-030-87664-7. ISSN 2191-6594. <https://link.springer.com/chapter/10.1007/978-3-030-87664-7_18>, DOI: 10.1007/978-3-030-87664-7_18 <https://dx.doi.org/10.1007/978-3-030-87664-7_18>. [COBISS.SI-ID 96057347 <https://plus.cobiss.net/cobiss/si/sl/bib/96057347>]