Nevroznanstveniki učijo računalnike, da berejo besede neposredno iz možganov ljudi.
Kelly Servick, ki piše za Science, je ta teden poročala o treh dokumentih, objavljenih na strežniku za tiskanje bioRxiv, v katerih so trije različni skupini raziskovalcev dokazali, da lahko dekodirajo govor iz posnetkov izstreljevanja nevronov. V vsaki študiji so elektrode, nameščene neposredno na možgane, beležile nevronsko aktivnost, medtem ko so bolniki z operacijo možganov poslušali govor ali brali besede na glas. Nato so raziskovalci poskušali ugotoviti, kaj bolniki slišijo ali govorijo. V vsakem primeru so raziskovalci lahko možgansko električno aktivnost pretvorili v vsaj nekoliko razumljive zvočne datoteke.
Prvi prispevek, objavljen na bioRxiv 10. oktobra 2018, opisuje poskus, v katerem so raziskovalci predvajali posnetke govora bolnikom z epilepsijo, ki so bili sredi možganskih operacij. (Nevronske posnetke, posnete v poskusu, je bilo treba razlagati zelo natančno. In ta raven podrobnosti je na voljo le v redkih okoliščinah, ko so možgani izpostavljeni zraku in so elektrode nameščene vanj, na primer pri možganski operaciji .)
Medtem ko so pacienti poslušali zvočne datoteke, so raziskovalci snemali nevrone v delih bolnikovih možganov, ki predelajo zvok. Znanstveniki so preizkusili številne različne metode za pretvorbo podatkov o nevronskih strelih v govor in ugotovili, da je "globoko učenje" - v katerem računalnik poskuša rešiti težavo bolj ali manj brez nadzora - najbolje delovalo. Ko so rezultate predvajali prek vocoderja, ki sintetizira človeške glasove, za skupino 11 poslušalcev, so ti posamezniki lahko pravilno razlagali besede v 75 odstotkih časa.
Zvoke iz tega eksperimenta lahko poslušate tukaj.
V drugem prispevku, objavljenem 27. novembra 2018, so se oprli na nevronske posnetke ljudi, ki so bili operativni odstranjeni možganski tumorji. Medtem ko so pacienti na glas brali enojne besede, so raziskovalci zabeležili tako zvoke, ki prihajajo iz ust udeležencev, kot tudi nevrone, ki streljajo v govorno sposobnih regijah njihovih možganov. Namesto da bi na vsakem pacientu izučevali računalnike, so ti raziskovalci poučevali umetno nevronsko mrežo, da bi nevronske posnetke pretvorili v zvok, kar je pokazalo, da so rezultati vsaj razumljivo razumljivi in podobni posnetkom, ki so jih naredili mikrofoni. (Zvok iz tega eksperimenta je tu, vendar ga je treba prenesti v obliki zip datoteke.)
Tretji prispevek, objavljen 9. avgusta 2018, se je opiral na snemanje dela možganov, ki pretvarja določene besede, za katere se človek odloči, da bo govoril v gibanje mišic. Medtem ko posnetki iz tega eksperimenta niso na voljo na spletu, so raziskovalci poročali, da jim je uspelo rekonstruirati celotne stavke (tudi posnete med operacijo na možganih pri bolnikih z epilepsijo) in da so jih ljudje, ki so jih poslušali, znali pravilno razlagati na več možnosti test (od 10 izbire) 83 odstotkov časa. Ta metoda eksperimenta se je opirala na identifikacijo vzorcev, ki nastajajo pri ustvarjanju posameznih zlog, namesto celih besed.
Cilj vseh teh poskusov je nekega dne omogočiti ljudem, ki so izgubili sposobnost (zaradi amiotrofične lateralne skleroze ali podobnih stanj), da govorijo prek vmesnika med računalnikom in možgani. Vendar znanosti za to aplikacijo še ni.
Razlaga nevronskih vzorcev človeka, ki si zamisli govor, je bolj zapletena kot razlaga vzorcev, ko nekdo posluša ali ustvarja govor, poroča Science. (Vendar pa so avtorji drugega prispevka dejali, da je mogoče razlagati možganske aktivnosti nekoga, ki si predstavlja govor.)
Pomembno je tudi upoštevati, da gre za majhne študije. Prvi prispevek se je opiral na podatke, odvzete le petim pacientom, drugi pa na šest bolnikov in tretji na le tri. In noben nevronski posnetek ni trajal več kot uro.
Kljub temu se znanost premika naprej in naprave z umetnim govorom, pripete neposredno na možgane, se zdijo resnična možnost na neki točki navzdol.
