Ta nevronska mreža iz Nvidie ustvarja fotorealistične lažne podobe

Na prvi pogled fotografija na vrhu izgleda kot navadna fotografija običajne ulice, vzeta bodisi iz pomišljajske kamere bodisi od nekoga, ki je dovolj neumen, da se sprehaja po cesti, da posname sliko takega svetovnega prizora.

Ampak poglej malo bližje. Opazite, kako je prometni signal rahlo deformiran ali kako se nekateri avtomobili zdijo nejasni? Tukaj je nekaj narobe. To sploh ni fotografija. To je slika, ki jo je v celoti ustvaril A.I.

Računalniški znanstveniki iz tehnološkega podjetja Nvidia in Univerze v Kaliforniji v Berkeleyju so napisali raziskovalni dokument, ki je na voljo v predprodukciji na arXiv, in podrobno opisujejo, kako so lahko dobili nevronsko mrežo za ustvarjanje realističnih uličnih podob in človeških portretov. Vključili so celo uporabniški vmesnik, ki vam omogoča, da prilagodite slike, vendar jim želite dodati dodatno listje ali celo spremeniti vreme.

»Igre se hitro povečujejo, ker ljudje radi vzajemno sodelujejo v virtualnih okoljih,« je povedal Ming-Yu Liu, višji znanstvenik v Nvidiji. Inverse v e-poštnem sporočilu. »Vendar pa je izgradnja virtualnih svetov dragih z današnjo tehnologijo, ker od umetnikov zahteva, da izrecno modelirajo in simulirajo teksturo in razsvetljavo za svet, ki ga gradijo. S prevajanjem od slike do slike lahko v resnici ustvarjamo virtualne svetove.

Nevronske mreže so računalniki, ki so oblikovani tako, da delujejo kot človeški možgani, in sicer tako, da vnašajo informacije, jih uporabljajo in se učijo iz rezultatov. V tej raziskavi so bile uporabljene posebne vrste nevronskih mrež, ki jih je leta 2014 predstavil Ian Goodfellow, imenovane generativne kontradiktorne mreže - ali GAN -, ki na splošno sestavljajo dve mreži, generator in diskriminator.

Generator dobi fotografije in začne ustvarjati sintetične podobe, podobne tistim, ki jih je dal. Nato kaže mešanico slik, ki jih je dobila, in ponaredke do diskriminatorja, katerega naloga je, da jih loči. Ko se ta proces nadaljuje, postane generator boljši pri posnemanju izvirnih slik in diskriminator postane boljši pri razlagi ponaredkov. Rezultati so precej prepričljivi - in popolnoma lažne - slike.

Ta raziskava gradi na tradicionalnem modelu GAN z dodajanjem razcepitve omrežij generatorja in diskriminatorjev v nekaj podmrež, kar omogoča izhodne slike z večjo ločljivostjo. Nevronske mreže lahko vnesejo tudi semantični zemljevid - ali načrt, kako naj bi fotografija izgledala - in samodejno izpolnijo teksture. Uporabniki lahko celo gredo v načrt in spremenijo stvari, če želijo namesto dreves dodati pogled na ulico ali narediti oči širše v portretu.

Prispevek primerja svoje rezultate s podobnimi poskusi, ki so bili izvedeni s to metodo, pri čemer je najpomembnejši primer pix2pix. Študija Nvidia in UC Berkeley je sposobna ustvariti slike s podrobnostmi, ki so majhne in natančne, kot berljive registrske tablice, medtem ko pix2pix oddaja slike, ki so skoraj videti kot akvareli.

Medtem ko je bilo to orodje mogoče uporabiti za pridobitev proste reddit karme z nekaj čudnimi fotografijami, avtorji vidijo velik potencial pri uporabi tega pristopa za ustvarjanje realistične grafike s preprostim načrtom.

Na stotine ur zahtevnega dela se ustvarjajo virtualni svetovi za uporabo v Google Zemljevidih, filmih in video igrah. Liu pravi, da bi ta model lahko služil kot način, da se večina projektiranja neboleč preoblikuje, nato pa se kasneje pojavi v podrobnostih.

»Namesto prikaza sveta s tem, da ga izrecno modeliramo, lahko gradimo svet implicitno z uporabo prevajanja slike-slike, da bi prevedli med preprostim modelom sveta, ki ne vsebuje teksture ali osvetlitve, ter foto-realističnim izhodom. S to zmožnostjo bi bilo treba veliko ceneje graditi virtualne svetove, «pravi Inverse.

Naslednji korak v tej raziskavi je, da si ekipa prizadeva raziskati prevod videa do videa, ki bi uporabil nevronske mreže za ustvarjanje realističnih videov. Cilj, ki ga Lui pravi, je izpodbijal raziskovalce na tem področju.

Zdaj veste, kako lahko ustvarite lažne slike. Ne zaupajte vsemu, kar vidite na Googlovih slikah.