Syyskuussa moni tiedeuutisten lukija hieraisi silmiään. Tutkijat kertoivat pystyvänsä ihmisen aivotoiminnasta päättelemään jo senkin, millaista elokuvaa hän katsoo. Todennäköisesti yhtä moni jäi ihmettelemään:

Teksti: Riitta Hari ja Arto Klami

Saavutus herätti muitakin kysymyksiä, jopa huolta. Miten tarkasti aivotoimintaa voi tulkita? Voiko ajatuksia ja tunteita lukea? Paljastuuko mittauksessa sellaista, mitä ei haluaisi kertoa edes lähimmälle ystävälleen?

Ei sentään.

Ärsyke synnyttää vasteen

Aivojen kuvaaminen on kehittynyt ja arkistunut nopeasti parin viime vuosikymmenen aikana. Nykyaikaisilla menetelmillä saadaan tietoa aivojen rakenteesta ja toiminnasta muutaman millimetrin ja millisekunnin tarkkuudella.

Tyypillisessä kuvaustilanteessa koehenkilölle esitetään yksinkertaisia ääni-, kosketus- tai näköärsykkeitä ja samaan aikaan esimerkiksi toiminnallisella magneettikuvauksella seurataan, miten hänen aivonsa reagoivat: mitkä alueet aktivoituvat ja kuinka voimakas muutos missäkin kohtaa on.

Toimintakuvista on jo pitkään pystytty sanomaan, minkä aistin ärsykkeestä on kysymys, sillä jokainen ärsyke synnyttää omanlaisensa aktivaatiokuvion, aivovasteen. Aivothan reagoivat eri ärsykkeisiin eri alueilla, ja myös vasteiden ajoitus ja kesto vaihtelevat ärsykkeen mukaan.

Vasteita voi luokitella

Vuonna 2001 yhdysvaltalaisen aivotutkijan James Haxbyn työryhmä raportoi nähneensä enemmän. Science-lehdessä julkaistu tutkimus osoitti, että eri luokkiin kuuluvat esineet, kuten talot, kissat, kasvot, tuolit ja pullot, synnyttävät näköaivokuorella siinä määrin erilaiset vasteet, että niistä voi päätellä, minkä luokan esinettä ihminen katsoi.

Tämä ja muut samankaltaiset työt innoittivat muuttamaan tutkimusotetta. Aivotutkimukseen tarttuivat nyt koneoppimisen osaajat, kokeneet tiedon louhijat.

Kun neurotieteilijät olivat tarkastelleet vasteiden syntypaikkoja ja voimakkuuksia, koneoppimisen asiantuntijoita eivät kiinnostaneet yksittäisten, pienten alueiden tapahtumat. He alkoivat tarkastella toimintaa vokseleissa, kaukanakin toisistaan sijaitsevissa aivojen tilavuus­elementeissä, ja opettaa koko vasteaineistolla laskennallisia malleja, algoritmeja, jotka oli suunniteltu ratkaisemaan nimenomaan luokittelutehtäviä.

Vasteita voi ennustaa

Luokittelun vanavedessä kääntyi näkökulma: vasteiden analysoinnin sijaan tutkijat alkoivat kehittää malleja, joilla voisi päätellä, mitä koehenkilö oli kulloinkin nähnyt. Tätä käänteistä päättelyketjua kutsutaan dekoodaukseksi.

Dekoodausta varten tutkijat tarvitsevat ärsykkeiden koodausmalleja, jotka ennustavat, miten kukin ärsyke eri aivoalueita stimuloi ja millaisia vasteita syntyy. Kun malli käännetään takaperin, se kertoo, millainen ärsyke mitatun vasteen todennäköisimmin on synnyttänyt. Tunnistaminen on tällöin hyvinkin suoraviivaista, mutta hyvän koodausmallin luominen vaatii tehokkaita tietokoneita ja paljon laskentaa.

Ensimmäinen iso läpimurto uudella tekniikalla tehtiin vuonna 2008. Kalifornian Berkeleyn yliopistossa Jack Gallantin tohtoriopiskelija Kendrick Kay ja hänen kumppaninsa tunnistivat luonnollisia maisemakuvia aivovasteista.

Uraauurtavan työnsä pohjaksi ryhmä mittasi näköalueiden toimintaa, kun koehenkilöt katsoivat suuren joukon luontokuvia. Tästä aineistosta löytyi koodausmalli, joka ennusti, miten näköaivokuoren yksittäiset vokselit reagoivat kuvan sisältöön.

Aiemmista tutkimuksista ryhmä tiesi, että näköaivokuori toimii suodattimen tapaan: kuhunkin kuvan osaan, viivasuuntaan ja paikkataajuuteen reagoi oma joukkonsa hermosoluja. Tämän tiedon varassa tutkijat saattoivat mitatuista aivovasteista etsiä jokaiselle vokselille omat suodatinparametrit, jotka kuvaavat, millaisiin piirteisiin juuri kyseinen vokseli reagoi.

Kayn ja kumppaneiden koodausmalli soveltuu kaikenlaisten kuvien "luentaan". Mallin avulla mille tahansa kuvalle voi tuottaa kuvitteellisen aivovasteen, ennusteen, jota tunnistusalgoritmi sitten vertaa katsojan aivoista mitattuun vasteeseen. Kun Kay työtovereineen näytti koehenkilöilleen kuvia, joita nämä eivät olleet aiemmin nähneet, algoritmi onnistui paljon arvausta tarkemmin yhdistämään ennustetut ja mitatut vasteet. Se tunnisti oikean kuvan jopa tuhannen eri vaihtoehdon joukosta.

Vasteista saa kuvan

Hyvällä algoritmilla voi nykyään rakentaa myös karkeita esityksiä katsotuista kuvista. Tällöin on kyse näköärsykkeen rekonstruk­tiosta, ennallistamisesta.

Tämä tieteistarinalta tuntuva mahdollisuus perustuu siihen, ettei ennusteita lasketakaan alkuperäisistä kuvista, vaan kuvista, jotka on yhdistelty pienistä paikallisista kuva-aihioista.

Viime syyskuussa yleisöä ja tutkijoitakin kohahduttivat Jack Gallantin ryhmän uudet tulokset. Tällä kertaa tutkijat kertoivat, että aivovasteiden perusteella voi rakentaa myös liikkuvaa kuvaa.

Tällaisen ennallistuksen pohjaksi koehenkilöt katsoivat elokuvien esittelyfilmejä magneettikuvauslaitteessa. Kertyneestä datasta ryhmä laski mallin, joka kuvasi, miten kukin vokseli virittyy liikkeisiin ja liikesuuntiin. Lisäksi ennallistusalgoritmille opetettiin lukuisten muiden elokuvien peruspiirteitä.

Testielokuvana toimi erillinen lyhyt traileri, jonka synnyttämiä vasteita algoritmi haki kuvitteellisista vasteista. Kun samankaltaisimpia vasteita tuottaneet kohtaukset yhdistettiin, syntyi sumea mutta tunnistettava toiste testielokuvasta.

Olo ja äly seuraavaksi

Aivovasteiden dekoodaus on erinomainen esimerkki kahden toisistaan kaukana olleen tieteenalan uusia uria aukovasta yhteistyöstä.

Tähän mennessä uusilla analyysimenetelmillä on tunnistettu ja rekonstruoitu aistiärsykkeitä, mutta nyt niillä on alettu purkaa myös ihmisten mielialoja ja muita ominaisuuksia. Aivotoimintomme näyttävät organisoituneen siinä määrin samaan tapaan, että edistyneillä koneoppimisen menetelmillä voidaan luoda malleja, jotka pätevät ihmisestä toiseen.

On selvää, että tällöin eteen tulee myös eettisiä ongelmia, jotka on ratkaistava niin, ettei kenenkään yksityisyyttä loukata. Toisaalta menetelmillä on ilmeisiä kliinisiä sovelluksia. Esimerkiksi tajuttomien potilaiden aivotoiminnasta voi etsiä kivun kokemiseen liittyviä piirteitä. Liikeaivokuoren tilaa dekoodaamalla taas on mahdollista parantaa ohjelmia, joita kehitetään halvaantuneiden avuksi.

Mielikuvat pysyvät piilossa

Aivotoiminnan laskennallisen mallinnuksen voi odottaa tarkentuvan sitä mukaa kuin kuvaus­menetelmät kehittyvät, koneoppimisessa tehdään läpimurtoja ja algoritmien opetusaineisto kasvaa. Voimmeko ehkä joskus nähdä vilahduksen toistemme unista tai harhoista?

Nykyisillä mittaus- ja mallinnusmenetelmillä emme pysty hallitsemaan arkipäivän ympäristömme monimutkaisuutta. Mielikuvia voi tulkita vasteista vain siinä määrin kuin niiden mekanismit muistuttavat ärsykkeiden katselua tai kuuntelua. Varsinaiset mielensisällöt ovat suurimmaksi osaksi jotain aivan muuta kuin ulkoisten ärsykkeiden liipaisemia aistimuksia.

Riitta Hari on akatemiaprofessori ja Arto Klami tekniiikan tohtori. He työskentelevät Aalto-yliopiston aivoAALTO-projektissa.

Jokainen kuva tuottaa oman vasteen

Kuvantunnistustutkimuksissa aivoja tarkastellaan tilavuus­elementteinä, vokseleina. Toiminnallisessa magneettikuvauksessa nämä pikseleiden kolmiulotteiset vastineet ovat tyypillisesti 3 x 3 x 3 kuutiomillimetrin suuruisia ja pelkästään takaraivolohkossa sijaitsevien näköalueiden kattamiseen niitä voidaan tarvita yli 10 000.

Kun ihminen katsoo kuvaa, eri vokseleissa sijaitsevat aivosolut reagoivat eri tavoin kuvan eri osien piirteisiin, kuten ääriviivojen suuntiin ja paikkataajuuksiin. Kaikesta tästä syntyy vastekuvio, jonka muoto vaihtelee aktiivisten vokseleiden lukumäärän ja aktiivisuusasteen mukaan.

Aivotoimintamme mallintajat käyttävät näitä todellisia, mitattuja vasteita luodessaan malleja, jotka ennustavat, millaisia vasteita kuvista syntyy.

Malli ennustaa vasteen

Pystyäkseen päättelemään, dekoodaamaan, aivovasteista kuva-aiheita, tutkijat tarvitsevat koodausmallin, joka ennustaa, miten kukin vokseli kuvien erilaisiin elementteihin reagoi.

Hyväksi osoittautunut koodausapu on käsitellä vokseleita suodatinpankkeina, joista jokainen reagoi kuvan tietyissä kohdissa oleviin tietynsuuntaisiin viivaelementteihin.

Kutakin kuvaa vastaa sen suodatinpankkien summana syntyvä kuvitteellinen aivovaste. Kuvantunnistuksessa näitä ennusteita verrataan todelliseen, katsojan aivoissa syntyneeseen vasteeseen.

Julkaistu Tiede-lehdessä 12/2011

Algoritmi luokittelee, tunnistaa ja ennallistaa

Aivovasteiden luennassa ja vertailussa tutkijoita auttavat algoritmit, laskennalliset mallit. Voidakseen luokitella, tunnistaa ja nykyään jo rekonstruoidakin kuvia algoritmi tarvitsee harjoitusta.

Opetusvaiheessa algoritmi opettelee, millaisia vasteita erilaiset, esimerkiksi eri esineluokkiin kuuluvia esineitä esittävät kuvat, vokseleissa synnyttävät. Mitä laajempi ja monipuolisempi opetusaineisto on, sitä enemmän algoritmi saa harjoitusta ja sitä parempi siitä tulee.

Luokittelutehtävässä algoritmi päättelee vasteesta, minkä luokan esinettä koehenkilö on katsonut. Jos ohjelma on läksynsä oppinut, se luokittelee esineen oikein silloinkin, kun ihminen katsoo kuvaa, jota ei ole aiemmin nähnyt mutta joka kuuluu johonkin opetettuun luokkaan.

Tunnistustehtävässä algoritmi etsii mistä tahansa annetusta joukosta katsojan näkemän kuvan. Se vertaa koodausmallin laskemia kuvitteellisia vasteita mitattuun vasteeseen. Katsoja on nähnyt kuvan, jonka ennustettu vaste käy parhaiten yksiin katsojan aivoissa syntyneen vasteen kanssa.

Ennallistustehtävässä algoritmi rakentaa oikeana pitämästään vasteesta kuvan. Toistaiseksi rekonstruktiot ovat karkeita eikä niistä pysty tunnistamaan kuin yksinkertaisia kohteita.