Zaznavanje podvodnih objektov z uporabo generativnih modelov

Abstract

V podvodnih okoljih predstavljajo spremenljiva osvetlitev, motnost vode in biološka raznolikost občutne ovire, zaradi katerih tradicionalne metode računalniškega vida ne delujejo dobro. Tudi učljive metode delujejo le, če uporabimo dovolj raznoliko zbirko podatkov, ki vsebuje vso pričakovano variabilnost podvodnega sveta. Zaradi narave samega podvodnega okolja pa je to lahko težavno, drago ali celo nemogoče, vsekakor pa zahteva veliko delovnih ur za označevanje objektov v učni množici. Ta problem smo naslovili z razvojem nove metodologije, ki na podlagi izjemno majhnega nabora sintetično generiranih slik objektov (10 v našem primeru) in večjega nabora ozadij brez objektov zanimanja (nekaj 100 slik) izdela učno bazo poljubne velikosti, primerno za učenje globokih metod zaznavanja objektov, ki ne zahteva nobenega ročnega označevanja. V našem primeru smo metodologijo uporabili za detekcijo ribe Acanthurus leucosternon, katere podobo za učenje smo generirali s pomočjo orodij DALL-E in Stable Diffusion. Naučen model smo preizkusili na realnih posnetkih tropskih koralnih grebenov z algoritmom zaznavanja objektov YoloV8, pri čemer dosežemo F1=0.6, ne da bi algoritem videl eno samo realistično sliko objekta v času učenja.