Brain-Computer Interface lahko prevede misli v govor

Nevro-inženirji so ustvarili nov sistem, ki lahko prevede preproste misli v prepoznavni govor, z uporabo umetne inteligence in sintetizatorja govora.

Ekipa raziskovalcev iz New Yorka je lahko rekonstruirala besede z uporabo samo možganske dejavnosti, inovacije, ki bi lahko utrla pot za tehnologije, ki so pod nadzorom možganov, kot je recimo pametni telefon, ki lahko prevede vaše misli v besedilna sporočila.

Dr. Nima Mesgarani, izredna profesorica na univerzi Columbia, je vodila študijo in povedala Inverse da vidi velik potencial za pomoč pri obnovi govora ljudem, ki si opomorejo po možganski kapi ali živijo z amiotrofično lateralno sklerozo (ALS). Poleg tega bi lahko ta vrsta tehnologije odprla tudi vrata do pametnih telefonov, ki so povezani z možgani in ki bi uporabnikom omogočili besedilo s pomočjo svojih misli, čeprav je to še vedno daleč stran. Njegovo delo je bilo objavljeno v reviji Znanstvena poročila.

»Ena od motivov tega dela je alternativna metoda interakcije med človekom in računalnikom, kot je na primer možen vmesnik med uporabnikom in pametnim telefonom,« pravi. "Vendar je to še vedno daleč od resničnosti in v tem trenutku informacije, ki jih lahko izvlečemo z neinvazivnimi metodami, niso dovolj dobre za uporabo vmesnika za možgansko-računalniški vmesnik."

Poslušajte govor, ki ga generira vmesnik možganov in računalnikov.

Da bi razvili novo tehniko, so Mesgarani in njegov kolega, dr. Ashesh Dinesh Mehta iz Inštituta za nevroznanost partnerjev v zdravstvu Northwell, začeli s preučevanjem možganske aktivnosti bolnikov z epilepsijo za študij. Ti bolniki so že imeli elektrode v svojih možganih za spremljanje napadov, ki so jih lahko uporabili Mesgarani in Mehta za zbiranje podatkov za svoje raziskave.

Dvojček je od vabljenih udeležencev zahteval, da poslušajo zvočnike, ki izgovarjajo številke od nič do devet, nato pa zabeleži možganske signale iz te interakcije. Nato so usposobili nevronsko mrežo - program, ki posnema nevronsko strukturo v človeških možganih - da prepozna vzorce v signalih in jih prevede v robotsko sondirane besede z uporabo sintetizatorja govora, znanega kot vokoder.

Rezultat je bil kratek glasovni posnetek tistega, kar zveni kot Microsoft Sam, ki šteje od nič do devet. Impresivni del je, kako jasen je govor v primerjavi z drugimi metodami, ki so jih preizkušali raziskovalci. Še vedno je treba opraviti še veliko dela.

»Morda bo potrebno desetletje, preden bo ta tehnologija na voljo,« pravi Mesgarani. »Potrebujemo večji napredek pri dolgoročnih, biokompatibilnih elektrodah za vsaditev in / ali prodornih tehnologijah v neinvazivnih metodah živčnega zapisovanja. Potrebujemo tudi boljše razumevanje, kako možgani predstavljajo govor, tako da lahko izboljšamo naše metode dekodiranja."

Bolniki, ki so bili del te študije, so na primer imeli operacijo možganov, da bi implantirali elektrokortikografske monitorje. To je izjemno invaziven proces, ki zahteva odprto operacijo možganov, nekaj, česar večina ljudi morda ne bo pripravljena opraviti, čeprav obstaja možnost ponovne vzpostavitve nekaterih njihovih govornih zmožnosti.

Za zdaj je ta študija uvedla metodo za dekodiranje možganskih signalov v govor. Če ugotovimo, kako natančno zaznati možgansko aktivnost brez operacije, bomo korak bližje ne le revolucioniranju govorne terapije, temveč tudi potencialnim pametnim telefonom, povezanim z možgani.

Raziskave vmesnikov računalniških možganov v zadnjih nekaj letih prejemajo novo zanimanje. V aprilu 2017 je Facebook objavil, da je delal na BCI na svoji letni konferenci F8. In Elon Musk je novembra 2018 napovedal, da je zaposloval Neuralink, njegov lastni zagon podjetja BCI.

Povzetek

Rekonstrukcija slušnega stimulusa je tehnika, ki najde najboljši približek akustičnega stimulusa iz populacije evocirane živčne aktivnosti. Rekonstrukcija govora iz človeške možganske skorje ustvarja možnost nevroprostetičnega govora za vzpostavitev neposredne komunikacije z možgani in se je izkazalo, da je možno tako v očitnih kot v skritih pogojih. Vendar je nizka kakovost rekonstruiranega govora močno omejila uporabnost te metode za aplikacije vmesnika možganov-računalnik (BCI). Da bi napredovali v najsodobnejši tehnologiji govora, smo združili nedavni napredek v poglobljenem učenju z najnovejšimi inovacijami v tehnologijah sinteze govora za rekonstrukcijo zaprtega razumljivega govora iz človeške slušne skorje. Raziskali smo odvisnost natančnosti rekonstrukcije od linearnih in nelinearnih (globinskih nevronskih) regresijskih metod in akustične reprezentacije, ki se uporablja kot cilj rekonstrukcije, vključno z zvočnimi spektrogrami in parametri sinteze govora. Poleg tega smo primerjali natančnost rekonstrukcije iz nizkih in visokih neuralnih frekvenčnih območij. Naši rezultati kažejo, da model globokega nevronskega omrežja, ki neposredno ocenjuje parametre sintetizatorja govora iz vseh neuralnih frekvenc, doseže najvišje subjektivne in objektivne rezultate pri prepoznavanju števk, kar izboljša razumljivost za 65% glede na osnovno metodo, ki je uporabljala linearno regresijo. rekonstruirati slušni spektrogram. Ti rezultati dokazujejo učinkovitost algoritmov za globoko učenje in sintezo govora za načrtovanje naslednje generacije govornih sistemov BCI, ki ne samo, da lahko obnovijo komunikacijo za paralizirane paciente, ampak imajo tudi potencial za preoblikovanje interakcijskih tehnologij med človekom in računalnikom.

Related Video: Brain Wave Sensing Roboti lahko služijo kot razširitve človeškega telesa