Face the Music: Kako "Eye Conductor" pomaga paralitiki Rock The Fuck Out

Andreas Refsgaard, oblikovalec interakcij in ustvarjalni programer, ki živi v Amsterdamu, je oblikoval glasbeni vmesnik, ki ljudem s fizičnimi težavami omogoča ustvarjanje glasbe. Eye Conductor uporablja programsko opremo za spremljanje oči in spletno kamero računalnika za prevajanje gibov obraza v različne komponente glasbene kompozicije. Uporabniki se lahko učijo, da igrajo s svojim obrazom, kar pomeni, da imajo lahko paralizirani ljudje - ljudje, ki ne morejo več igrati instrumentov - drugo priložnost, da naredijo lepe (ali samo glasne) zvoke. Pravi pogled dobesedno prizadene Refsgaardov izum. Pravi izraz se izraža na glas.

Govoril je Refsgaard Inverse o motivaciji za njegov projekt, bojih, na katere je naletel na poti, in o tem, kaj je naučil, kar je dal ljudem, ki so izgubili sposobnost, da glasbo naredijo novo priložnost.

Kakšno je vaše ozadje z glasbo?

Ne bi se imenoval glasbenik, ker sem igral samo za zabavo, ampak igram kitaro in bas. Ableton je glasbeni program, digitalna delovna postaja, ki je podobna programski opremi, kot je Logic ali Protools ali Garage Band. Vzel sem tečaj na to in nisem bil tako krasen pri ustvarjanju glasbe z njim, vendar sem bil navdušen nad možnostmi, ki sem jih videl. Nato smo začeli sodelovati in narediti še nekaj umetniških stvari za namestitev, kjer bi oblikoval zvoke in jaz bi priklopil senzorje, na primer globinski fotoaparat, da bi ljudje, ko so hodili mimo, nadzorovali nekatere vidike projekta.

Tako ste oblikovalec interakcije in ustvarjalni koder. Ali lahko pojasnite, kaj pomenijo ti naslovi?

Vse stvari, ki jih oblikujem, so interaktivne. Torej, če bi jaz naredil kakšno pohištvo, potem bi imel nekaj funkcionalnosti, ki bi se odzvala na nekaj. Sem tudi ustvarjalni koder. V primerjavi z veliko drugimi ljudmi - na primer sem študiral v Københavnu na Kopenhagenskem inštitutu za oblikovanje interakcij, kjer ljudje prihajajo iz veliko različnih okolij - jaz sem malo bolj proti strani kodiranja. Prav tako sebe imenujem »ustvarjalni koder«, ker nisem pravi šifrant. Nisem tako dober pri tem, vendar lahko zelo hitro naredim nekaj stvari in povežem stvari ter dobro razumem nove ideje.

Kaj vas je navdihnilo, da pomagate ljudem s fizičnimi motnjami, da ustvarjajo glasbo?

Po dveh ali treh mesecih sem končal šolanje za osebo z mišično distrofijo. Vedno sem bila z njim, da sem spoznala nekatere stvari, s katerimi mu ne morem pomagati. Eden od njih se je ustvarjalno izražal. Nisem mislil: »V redu, tukaj je problem, ki ga moram rešiti«, ker sem bil takrat mlad in nisem imel nobenih poklicnih veščin. Ampak ostala je z mano.

Kaj pa v smislu tehničnega navdiha?

Projekt, imenovan Eyewriter, ki sem ga videl pred približno letom dni, je slikarski program, ki je bil zasnovan za fanta, ki je bil nekoč grafiti umetnik, potem pa je bil paraliziran. Nekateri njegovi prijatelji so bili šifrirni in so mu izdelali orodje s sledenjem oči, zaradi česar je lahko risal. In potem, odkar sem se igral s senzorji in vsebinami v glasbeni programski opremi, sem vzpostavil povezavo. To sem naredil kot svoj zadnji projekt v šoli.

Kako se je glasba končala kot kreativno polje, ki si ga želel raziskati?

Mislim, da verjetno zato, ker uživam v glasbi sam in v smislu časa, ki sem ga imel za projekt. Postalo je jasno, da je glasba tisto, s čimer želim delati. Potem me je Eyewriter navdihnil v smislu izdelave grafike.

Glasba se zdi odlična izbira, ker je univerzalna. Ne morem se spomniti nikogar, ki ne mara glasbe.

Na začetku sem želel preizkusiti, kako pomembna je bila glasba za skupino, za katero sem načrtoval. Zgodnji koraki so bili le opazovanje, kako ljudje z različnimi telesnimi motnjami komunicirajo z glasbo. Eden dom, ki sem ga obiskal, je bil ob četrtkih. Nekateri lahko malo pokažejo ali malo igrajo na tipkovnici, nekateri pa sploh ne morejo storiti ničesar, toda dejstvo je, da se pojavljajo ob četrtkih za glasbo.

Koliko časa je trajalo med opazovanjem in izdelavo naprave?

Pogosto v procesu oblikovanja bi bile to dve ločeni stvari, vendar mi ta pristop ni všeč. Všeč mi je gradnja od samega začetka in potem, ko imam pogovore o tem, kaj sem zgradil. Potem ga spremenim ali izboljšam.

Kako je bilo videti, da jo ljudje prvič uporabljajo?

Bilo je lepo, ja. Ker nekateri ljudje ne morejo govoriti, je lahko povezava težka. Potem, ko so uporabili mojega dirigenta, smo resnično povezali. Gledali so me in se smejali ali pa so bili resnično srečni ali ko sem ga samo demonstriral, so bili res osredotočeni. To je bil lep primer, kako lahko glasba pomaga ljudem pri interakciji in izražanju čustev.

Kateri je bil največji problem, s katerim ste naleteli, ko ste načrtovali Eye Conductor?

Da bi sistem deloval, morate sedeti v isti pozi, ko sedimo pred našimi prenosnimi računalniki, ker je slika, ki jo vidite zdaj, naravnost in dobra za sledenje mojega obraza in oči. Če pa imate nekoga v invalidskem vozičku, ki na primer nima nadzora nad držo ali hrbtom ali vratom, potem bi včasih sedeli bolj stransko in sistem ne bi mogel slediti gibanju obraza. Potem bi bilo včasih malce neprijetno, če bi skušal reči: »Ok, da bi to delal, moraš sedeti bolj naravnost.« In potem, ko s tem ne verbalno, kako to sporočamo?

Če je bila nekoga taka nagnjena glava, bi lahko teoretično držal prenosni računalnik na način, ki bi zbiral njihove obrazne kretnje?

Ja. Torej nisem zares rešil tega vprašanja, vendar je veliko ljudi opremljenih z računalniki, nameščenimi na invalidskih vozičkih, računalnik pa je na drogu, nato pa je na polu nameščena naprava za vgradnjo in jo usmerijo v pravo smer, da kažejo na obraz osebe. Ni stališča, ki bi bilo pravilno ali narobe, gre samo za to, da se senzorji, ki so spletna kamera in sledilnik oči, usmerijo naravnost v glavo. To je bilo malce izziv. Bila je bolj strojna stvar, ker bi sicer morala poskusiti zgraditi strukturo in to bi bilo grdo. V tem nisem tako dober.

Ste sami naredili celotno stvar ali ste naleteli na tehnične težave, ki so jih znali rešiti le drugi?

Sam sem to naredil, toda na strani dobrega oblikovanja sem dobil pomoč od tistega profesorja, o katerem sem ti povedal. V bistvu samo zvok design stvari. Imel sem tudi svetovalca, ki mi je dal nekaj napotkov v smislu programskega jezika, imenovanega Max, v katerem je bil res odličen. Pomagal mi je, da sem bolj zadovoljen z določenimi podrobnostmi programiranja. Seveda je bilo veliko novega, a osnove tega sem že poznala iz prejšnjih izkušenj. V osmih tednih sem naredil Eye Conductor in ljudje so rekli: »Oh, to je noro, kako lahko to narediš v osmih tednih?« Ampak naredil sem še nekaj drugih stvari, ki so napredovale tudi v smislu dela s senzorji in glasbeno programsko opremo, kar je trajalo dlje, ker Nisem vedel, kako naj to naredim. Zdaj, ko vem, da ni tako težko, čeprav je bil ta projekt bolj zapleten. Prav tako je pomembno, da poudarim, da je to popolnoma delujoč prototip, vendar to ni izdelek. Tako ljudje ne morejo iti ven in ga kupiti in namestiti v moj računalnik.

Hotel sem te vprašati, če imaš načrte za prodajo?

Pravzaprav ga ne želim prodati, želim ga dati. Želim, da postane stvar z odprto kodo, vendar zdaj ne morem obljubiti ničesar. Za to še nimam sredstev in imam opravka in druge stvari. Dobila sem sporočilo od tipa v Michiganu, ki je bil nekoč producent in potem je dobil ALS. Narediti moram, da je nekako na voljo vsem tem ljudem. Zame je zelo pomembno, da na neki točki, in ne morem obljubiti, ko, ampak, upam, precej kmalu, ga pakiramo na način, da bodo ljudje lahko vse prenesli kot eno stvar in da bi se zagnala na večini računalnikov ali pa ga preizkusila. v brskalniku. Zamisel o tem, da je stvar brskalnika, bi od ljudi zahtevala, da imajo računalnik s spletnim dostopom in da bi imeli kakršnokoli zamenjavo za miško, ki jo imajo na svojem računalniku. Če naredim, da je odprtokodni, lahko zagotovim osnovni demo, nato pa lahko ljudje dodajo svoje lastne obrise, da bodo naredili svoje.

Lepo je slišati, da to počnete, ker želite pomagati ljudem in ne zato, ker se želite bogatiti ali kaj takega.

Orodja, ki sem jih izdelal - vsaj delovni prototip - so odprte kode. Zakaj bi potem dobil kredit? Na primer sistem za sledenje obraza, ki ga uporabljam za svoj prototip, ki ljudem omogoča, da ustvarijo zvok, tako da dvignejo obrvi ali odprejo usta, to pa se imenuje FaceOSC, ki ga je naredil Kyle McDonald in je odprtokodni sistem. Mislim, da ne bi prišel tako daleč, kot sem brez tega programa.