Pametne zvočnike lahko zvok zvoki, pravijo raziskovalci, da ga ustavijo

Kaj pa, če bi vam povedali, da bi lahko heker dal vašemu Amazon Echo ukaz, ne da bi sploh opazili - ali celo morali narediti kakršenkoli hekerski sistem, kot smo ga običajno mislili?

Moustafa Alzantot, prof. Kandidat na Kalifornijski univerzi v Los Angelesu pravi, da je teoretično možno, da zlonamerni igralec pošlje določen zvok ali signal, ki bi ga ljudje običajno popolnoma neopaženi, vendar povzroči, da se algoritmi A.I.

»Eden od primerov napada bi bil nadzor nad vašo domačo napravo, ne da bi vedel, kaj se dogaja,« pravi Alzantot. Inverse. »Če poslušate glasbo na radiu in imate v vašem prostoru Echo. Če je zlonamerni igralec zmožen oddajati zvok ali glasbeni signal tako, da ga bo Echo interpretiral kot ukaz, bi to napadalcu omogočilo, da reče, odklene vrata ali kupi nekaj."

Gre za napad, ki je znan kot kontradiktorni primer, in to je tisto, kar si Alzantot in ostali njegovi člani prizadevajo ustaviti, kot je opisano v njihovem dokumentu, ki so ga pred kratkim predstavili na delavnici NIPS 2017 Machine Deception.

A.I. se ne razlikuje od človeške inteligence, ki jo je ustvarila na prvem mestu: ima svoje pomanjkljivosti. Raziskovalci računalništva so ugotovili, kako bi lahko popolnoma zmedli te sisteme z rahlim spreminjanjem pikslov na fotografiji ali dodajanjem tihih zvokov avdio datotekam. Ti minutni potegi so popolnoma nezaznavni za ljudi, vendar popolnoma spremenijo tisto, kar je A.I. sliši ali vidi.

"Te algoritmi so zasnovani tako, da poskušajo razvrstiti, kar je bilo rečeno, tako da lahko delujejo na to," pravi Mani Srivastava, računalniški znanstvenik na UCLA. Inverse. "Poskušamo spodkopati proces z manipuliranjem vnosa na način, ki ga človek v bližini sliši" ne ", vendar stroj sliši" da ". Torej lahko prisilite algoritem, da razlaga ukaz drugače kot je bilo rečeno."

Najpogostejši navzkrižni primeri so tisti, ki se nanašajo na algoritme za razvrščanje slik, ali pa spreminjajo fotografijo psa, ki je tako rahlo, da postane A.I. mislim, da je nekaj povsem drugega. Raziskave Alzantota in Srivastave so pokazale, da so algoritmi za prepoznavanje govora tudi dovzetni za te vrste napadov.

V članku je skupina uporabila standardni klasifikacijski sistem govora, ki ga najdemo v Googlovi knjižnici odprte kode, TensorFlow. Njihov sistem je bil zadolžen za razvrščanje ukazov z eno besedo, da bi poslušal zvočno datoteko in jo poskusil označiti z besedo, ki je bila zapisana v datoteki.

Nato so kodirali drug algoritem, da bi preizkusili sistem TensorFlow z uporabo kontradiktornih primerov. Ta sistem je lahko zavedel klasifikacijo govora A.I. 87 odstotkov časa uporablja tako imenovani napad s črno škatlo, v katerem algoritem sploh ne mora vedeti ničesar o zasnovi napada.

»Obstajata dva načina za tovrstne napade,« razlaga Srivastava. „Ena je takrat, ko jaz kot nasprotnik vem vse o sprejemnem sistemu, tako da lahko sedaj naredim strategijo, da izkoristim to znanje, to je napad na belo škatlo. Naš algoritem ne zahteva poznavanja arhitekture žrtvenega modela, zaradi česar je napad na črno škatlo."

Jasno je, da so napadi v črni škatli manj učinkoviti, vendar so tudi tisti, ki bi jih najverjetneje uporabili v resničnem napadu. Skupina UCLA je uspela doseči tako visoko stopnjo uspešnosti 87 odstotkov, tudi če niso prilagodili napada, da bi izkoristili slabosti v svojih modelih. Napad z belo škatlo bi bil še toliko bolj učinkovit, če bi zmešal s to vrsto A.I. Vendar virtualni pomočniki, kot je Amazonova Alexa, niso edine stvari, ki bi jih lahko izkoristili z uporabo kontradiktornih primerov.

»Stroji, ki se zanašajo na nekakšen sklep iz zvoka, se lahko zavedejo,« je dejal Srivastava. »Očitno je, da je Amazon Echo in takšen primer, toda obstaja veliko drugih stvari, kjer se zvok uporablja za sklepanje o svetu. Imate senzorje, povezane z alarmnimi sistemi, ki sprejemajo zvok."

Spoznanje, da so sistemi umetne inteligence, ki vzamejo avdio signale, tudi dovzetni za primere sojenja, je korak naprej pri spoznanju, kako močni so ti napadi. Medtem ko skupina ni uspela sprožiti napada, ki ga je oddal, kot je opisal Alzantot, se bo njihovo prihodnje delo vrtelo okrog videnja, kako je to mogoče.

Medtem ko je ta raziskava preizkušala le omejene glasovne ukaze in oblike napadov, je poudarila možno vedenje v velikem delu potrošniške tehnologije. To deluje kot odskočna deska za nadaljnje raziskave pri obrambi pred kontradiktornimi primeri in poučevanje A.I. kako jih ločiti.