Znotraj Pinscreen's Secretive Augmented Reality in CGI

Razširjena resničnost in zamenjava obrazov sta vroča kandidata za naslednje mobilne aplikacije; pogledate si, kako Facebook kupuje MSQRD ali Snapchatov nakup Lookseryja. Toda en zagon podjetja AR, imenovan Pinscreen, ki je trenutno podprt z 1,8 milijona dolarjev iz sklada Lux Capital in Colopl VR Fund, na tem področju išče drugače. Inverse govoril je izključno o ustanovitelju Pinscreen Hao Li o tem, kaj bi lahko bilo za to skrivno podjetje.

Morda niste slišali za Hao Li, vendar ste verjetno videli to raziskovanje USC-jevega asistenta v akciji v več filmih o uspešnosti. Medtem ko je delal na studiu za vizualne efekte Industrial Light & Magic, je Li pomagal razviti nekaj orodij, ki so omogočila zajemanje zmogljivosti v realnem času. Zamisel je bila, da bi igralec lahko sedel pred računalnikom s spletno kamero, da bi predstavil sceno in da bi se ta performans v realnem času prevedel v znak CG.

Li je opravil obsežne raziskave tudi na drugih področjih, vključno z izdelavo 3D modelov resničnih ljudi v realnem času in zajemanjem pomembnih delov podobnosti, zlasti obrazov in las. V zadnjem času je Li pokazal raziskave, ki jih je on in drugi opravil pri zajemanju predstave osebe s samo enim fotoaparatom in prevajanje tega v digitalni značaj.

Sprva se to ne zdi tako novo. V razvoju že obstajajo številne rešitve za sledenje obraza, tako za mobilne aplikacije kot za veliko bolj izpopolnjene sisteme, kot je Faceshift (ki ga je Apple kupil leta 2015). Toda mnogi od njih se zanašajo na globinske senzorje, ki jih Liova tehnologija ne potrebuje. Ta pristop, pravi, je zelo drugačen.

»Če imate globinski senzor, potrebujete le optimizacijo parametrov obraznega modela, tako da model ustreza 3D vhodu čim bližje«, pojasnjuje Li. »V primeru čistega RGB vhoda pa se ves svet projicira na dvodimenzionalno sliko brez znanih parametrov kamere, kot so goriščne razdalje. Torej je treba iz te projicirane slike sklepati o natančnem 3D obrazu in biti sposoben obvladovati širok spekter svetlobnih pogojev in videz različnih predmetov. «

Zato je pomembna raziskava Li o 3D avatarjih. Pri preslikavi človeškega obraza je veliko programov za kartiranje v težavah pri obravnavanju vizualnih ovir, kot so lase in očala. Da bi se temu izognili, je Pinscreen »zgradil globoko konvolucijsko nevronsko mrežo, ki se lahko nauči, kako segmentirati obrazno površino v popolnoma neomejeni sliki.«

Torej, kaj je Pinscreen z uporabo te nore napredne tehnologije?

»Bili bomo nova vrsta družbenih medijev / komunikacijske platforme z nekaj zanimivimi zmogljivostmi AR,« pravi Li. "To ne bo aplikacija, kot so Snapchat leče ali MSQRD, ki je za večino ljudi zanimiva le za nekaj minut."

Torej za zdaj to ni nič več kot buzzwords. Toda če pogledamo globlje, njegovo predhodno delo kaže, da upajo, da bodo razvili sposobnost, da nekoga sledijo obrazu, ne glede na lase, očala ali druge predmete, ki ovirajo pogled na enojno kamero. Dodajte nekaj razširjene resničnosti in nebo je meja za filme, družabne medije in igre.

Zveni precej prelomno, vendar je pomembno omeniti, da Li in njegova ekipa nista edina, ki raziskuje na tem področju. Disney je pred kratkim predstavil svoj zajem v realnem času, kot tudi nekateri drugi raziskovalci z orodjem, imenovanim Face2Face. Tu je tudi prej omenjeni Faceshift, skupaj s Facebookom in Snapchatom, ki sta začela tudi demonstrirati svoje izdelke.

Torej, zaradi česar je tehnologija Pinscreen drugačna? Li predlaga, da je rešitev podjetja "veliko bolj robustna in da lahko izvede natančnejše 3D modele, saj se izrecno ukvarjamo z okluzijami."

»Naša najpomembnejša inovacija je tehnologija, ki nam omogoča samodejno izdelavo popolnega 3D modela glave, vključno z lasmi iz katere koli slike,« pravi. »Ta vrsta nalog običajno zahteva usposobljenega oblikovalca in izdelovalca CG, vendar lahko to ustvarimo popolnoma samodejno. Zadnji prispevki, predstavljeni na SIGGRAPH-u (vodilna konferenca o računalniški grafiki in interaktivnih tehnikah), zahtevajo tudi več vhodnih slik kot vhod - osredotočamo se na rešitev z minimalno potrebo po vnosu, eno 2D sliko."

Seveda, dokler ljudje ne bodo videli in uporabljali nobene aplikacije s Pinscreen-a, bo žirija ostala brez svojih zmožnosti. Razlika je v tem, da ima Li zagotovo trdno zgodovino raziskav in inovacij za seboj, zlasti pri izdelavi digitalnih avatarjev.

Li je očitno prepričan o možnostih Pinscreen v družabnih medijih. »Ker bo naša tehnologija demokratizirala generacijo 3D avatarjev, bo imela očitne aplikacije v igrah, aplikacije VR / AR za poglobljeno komunikacijo ali agente AI,« pravi, »toda mislim, da bomo sami ustvarili kul aplikacijo, ki je socialno medijsko platformo, ki jo razvijamo.

"Najpomembneje je," dodaja, "želimo zgraditi nekaj, kar ljudem omogoča ustvarjanje resnično zanimivih vsebin brez potrebe po današnjem dragem VFX cevovodu in lahko uporabijo zelo zabavno AR vsebino, da se povežejo med seboj."

Zdi se, kot da bo Pinscreen vključil paleto tehnologij, na katerih so Li in njegova ekipa delali. Toda, pravi, je to le del načrta. »Tehnološki demo je res samo značilnost tistega, kar nameravamo uporabiti,« ugotavlja. »Pinscreen bo veliko večji in tehnologija bo na začetku zanimiva funkcija. Prav tako bomo precej drugačni od drugih platform družbenih medijev. «

Za zdaj je Pinscreen še vedno malce skrivnost in izgleda, da bomo morali samo počakati, da vidimo, kaj imajo v roki.