Detekcija površinskih anomalij je področje računalniškega vida, ki se ukvarja z odkrivanjem nepravilnosti na slikah predmetov. Do sedaj so se modeli učili zgolj iz slik brez napak, saj so primeri napak redki in zelo raznoliki. Večina teh modelov ne deluje, če jim prikažemo sliko predmeta, na katerem niso bili učeni. Zato se poraja vprašanje, ali je mogoče naučiti splošen model, ki zazna napako, čeprav predmet ni bil vključen v učno množico.

Slika 1: Uspešnost AnomalyVFM z uporabo različnih prednaučenih mrež
To problematiko so podrobneje obravnavali raziskovalci Matic Fučka, dr. Vitjan Zavrtanik in prof. dr. Danijel Skočaj z UL FRI v članku AnomalyVFM -- Transforming Vision Foundation Models into Zero-Shot Anomaly Detectors, objavljenem na prestižni konferenci The IEEE/CVF Conference on Computer Vision and Patter Recognition.

Slika 2: Postopek ustvarjanja sintetičnih slik
Vprašanje, ki so si ga zastavili, je naslednje: ali lahko uporabimo slike, ustvarjene s pomočjo slikovnih generativnih modelov (angl. image generation models), za dodatno učenje že obstoječih vizualnih temeljnih modelov (angl. vision foundation models) z namenom splošne detekcije anomalij.

Slika 3: Arhitektura modela AnomalyVFM
Da bi lahko odgovorili na to vprašanje, so predstavili dva ključna doprinosa: metodo za generiranje sintetične učne množice, ki vsebuje objekte z anomalijami in brez njih, ter metodo za dodatno učenje temeljnih modelov, imenovano AnomalyVFM. Končni pristop izrazito preseže vse doslej obstoječe metode na 24 različnih podatkovnih množicah.

Slika 4: Prikaz delovanja metode AnomalyVFM in nekaj konkurenčnih metod
Celoten članek si lahko preberete na povezavi: