Kielimalli, konteksti, kysymysmerkki

Lokakuussa 2025 julkaistun ja sosiaalisessa mediassa laajalle levinneen tutkimuksen mukaan haitallinen toimija voi sabotoida kielimallin (kuten ChatGPT) toimintaa sisällyttämällä vain 250 räätälöityä tekstiä mallin koulutusdataan. Tällaisen "myrkytyksen" jälkeen hyökkääjä voi muuttaa mallin toimintaa radikaalisti, esimerkiksi saada malli poistamaan kaikki turvallisuusrajoitukset tuotetusta tekstistä. Vaikkei kieliteknologian parissa työskentelevälle tulos ole yllättävä eikä aivan yhtä hälyttävä kuin mitä tutkimuksen otsikko antaa ymmärtää, on huoli kielimallien tarvitsemien datavuorien sisällöstä perusteltu. Mallien toiminta perustuu niiden koulutusdataan, ja on täten olennaista kiinnittää huomiota siihen, mitä kaikkea niiden sisään syötetään koulutuksen aikana.

Koulutusmateriaalin sisällön ymmärtäminen on vaikeaa, sillä käytetyt datamäärät ovat suuria ja niiden yksityiskohtainen analysointi käy nopeasti raskaaksi. Tutkimusetiikan kurssia varten tuli laskettua, että jo omassa verrattain pienimuotoisessa tutkimuksessani käytetty data vaatisi pienellä fontilla A4-papereille tulostettuna 20 000 kuutiometriä tilaa. Tilavuus vastaa n. 27 metrin sivuista kuutiota tai esimerkiksi pientä kerrostaloa.

Koska näin isojen tekstimäärien läpikäynti ei ole ihmiselle mahdollista, tarvitaan ratkaisu kieliteknologian puolelta. Isojen tekstikokoelmien kerääminen ja niiden analyysi juontaa juurensa vähintään 1990-luvulle, jolloin tyypillisiä menetelmiä olivat tilastot sanojen esiintymistiheyksistä ja lauseenjäsenistä. Tällainen tarkastelu johtaa luonnollisesti tekstien lajittelemiseen eri ominaisuuksien mukaan. Näistä yksi on tekstin laatu, toisin sanoen mitta tekstin sopivuudesta tiettyyn käyttötarkoitukseen. Se, mitä laadulla konkreettisesti tarkoitetaan, vaihtelee tilanteen mukaan: joskus sillä viitataan siihen, montako sanaa kullakin dokumentin rivillä on ja moniko niistä loppuu välimerkkiin, kun taas toisissa tilanteissa se on jokin informaatioteoriaan nojaava tunnusluku tai jopa pienen neuroverkon antama pisteytys. Koska nykyisin kielimallit ovat tekstikokoelmien suurimpia käyttökohteita, uusimmat tulokset tekstiaineistojen laadusta nimenomaan kielimallien koulutukseen saadaan kouluttamalla malleja datan eri osajoukoilla. Mittaamalla mallien toimintapiirteitä ja suorituskykyä yritetään päätellä, mikä joukko sisälsi kielimallin kouluttamiseen sopivimpia tekstejä.

Omassa tutkimuksessani olen tarkastellut sitä, miten tekstien tietyt kielelliset ominaisuudet vaikuttavat kielimallien piirteisiin, esimerkiksi miten reseptien sisällyttäminen mallien kouluttamiseen saattaa auttaa mallia seuraamaan pitkiä ohjesarjoja. Olen käyttänyt lähtökohtana tähän tutkimukseen rekisterejä, eli karkeasti tilanteeseen ja kontekstiin sidottuja tekstityyppejä, sillä niitä on tutkittu TurkuNLP-ryhmässämme koneoppimisen näkökulmasta laajasti. Tutkimus on toteutettu kuten yllä todettiin: kouluttamalla rekisterin mukaan jaetuilla tekstikokoelmilla pienikokoisia malleja, joita arvioidaan erilaisilla testijoukoilla. Mielenkiintoisinta omasta mielestäni tutkimuksessa oli se, miten mielipidekirjoitustyyppiset ja ohjeistavat tekstit korostuivat hyödyllisinä kategorioina, jotka johtivat monipuolisia taitoja omaaviin kielimalleihin.

Vaikka media ja muu keskustelu kielimallien ympärillä saattaa muuta vihjata, ikuinen suorituskyvyn parantelu ei ole ainoa motivaatio laatuanalyyseille. Tekstien kuvailu hyödyttää myös muita aloja, esimerkiksi arkistotiedettä, tarjoamalla tapoja kategorisoida tekstejä automaattisesti. Myös oikein raportoituna koulutusdatan koostumuksen raportointi lisää mallien läpinäkyvyyttä, joka taas parantaa niiden tulkittavuutta ja luotettavuutta.

Amanda Myntti
Kirjoittaja on matemaatikko, kielentutkimuksen ystävä ja väitöskirjatutkija TurkuNLP-ryhmässä tietotekniikan laitoksella.