Blogi: Monitieteistä ihosyöpätutkimusta tekoälyn ja konenäön avulla

Tässä postauksessa esittelemme Jyväskylän yliopiston Spektrikuvantamisen laboratoriossa [6] työskentelevien tutkijatohtori Leevi Annalan ja väitöskirjatutkija Anna-Maria Raita-Hakolan kokemuksia monitieteisestä tutkimusyhteistyöstä. Kerromme miten uutta kuvantamisteknologiaa, lääketieteellistä tutkimusta, matemaattista analyysiä ja ohjelmistotekniikkaa yhteen sovittamalla voidaan saada aikaan uusia innovaatioita. Tarinamme kertoo Suomen Akatemian Raddess [1] ohjelman rahoittamasta SICSURFIS-projektista (Spectral Imaging of Complex Surface Tomographies), jossa toimi VTT:n, Helsingin yliopistollisen sairaalan (HUS), Jyväskylän yliopiston (JYU) ja Vaasan yliopiston (UWasa) tutkijoita [2]. (Projekti ei ole osa AI-Hub hankeita, vaan blogin teeman mukaan, ajankohtainen postaus hubitoiminnan ympäriltä.)

SICSURFIS-projektissa kehitettiin uudenlainen hyperspektrikamera, joka suunniteltiin soveltumaan haastavien ihon pintojen kuvantamiseen (esimerkiksi kasvot), sekä tuottamaan eri kuvakulmista valaistua spektrikuvaa, josta pystytään laskemaan kullekin aallonpituusalueelle ihon 3D pintamalli. SICSURFIS-projekti on etappi matkalla kohti optista biobsiaa. Toisin kuin perinteinen biobsia, uusi optinen menetelmä ei ole invasiivinen. Sen avulla voidaan tulevaisuudessa esimerkiksi diagnosoida reaaliaikaisesti ihosyöpäkasvaimia ja rajata tarkasti terveen ihon rajat tilanteissa, joissa kasvain poistetaan kirurgisesti. Maailmanlaajuisesti tarkastellen, koska noin kolmannes syövistä on ihosyöpiä, tällainen menetelmä voi yleistyessään vähentää terveydenhuollon kustannuksia, nopeuttaa hoitoketjuja ja jopa säästää ihmishenkiä nopeiden, tarkkojen diagnoosien avulla.

Ennen kuin syvennymme tutkimukseen, vietetään hetki tutustuen alun perin kaukokartoitukseen kehitettyyn hyperspektrikuvantamiseen. Nykyisellään menetelmän on tutkimuksen ja laitekehityksen myötä huomattu soveltuvan hyvin monenlaiseen tarpeeseen, skaalautuen solutason kohteista avaruuden kuvantamiseen. Käytännön esimerkkejä löytyy teollisuudesta, maa- ja metsätaloudesta, biologian tutkimuksesta, taiteen aitouden tutkinnasta sekä erilaisista turvallisuuteen ja rikostutkintaan liittyvistä sovelluksista. Näitä sovelluksia on jo tuotteistettu ja laitevalmistajia löytyy Suomesta ja maailmalta. Hyperspektrikuvantaminen on nouseva, hyvin mielenkiintoinen ala, kehittyen jatkuvasti sekä sensori- ja laitevalmistuksen näkökulmasta että uusien sovelluskohteiden osalta.

Meidän tutkimuksessamme käytettiin sarjatuotantolaitteen sijaan uudenlaista prototyyppikameraa. SICSURFIS-spektrikamera [3] on laite, jossa yhdistyy konenäkösensori, valon eri aallonpituuksia suodattava optinen komponentti (pietso toiminen fabry-Pérot-interferometri, tuttavallisemmin fabry), 3D-mallinnukseen suunniteltu LED-moduuli ja hajavalosuojakartiot, joiden avulla laite mukautuu haastavien ihon pintojen kuvantamiseen. Lienee paikallaan vähän kehua yhteistyökumppaneitamme VTT:ltä, sillä kameramme on hyvä esimerkki suomalaisesta maailman huipputason optisesta osaamisesta patentteineen.

No, mitä se hyperspektrikuvantaminen sitten on? Hyperspektrikameramme tallentaa spektrikuvia. Yhden spektrikuvan voidaan ajatella olevan pino kuvia, joissa jokainen yksittäinen kuva edustaa kuvauskohdetta kuvattuna tietyllä valon aallonpituudella. Kameramme näin ollen sytyttää ja sammuttaa LED valoja, liikuttaa fabryn puoliläpäiseviä peilejä eri asentoihin ja näin ollen suodattaa konenäkösensorille tallennettavaksi näkymiä kuvattavasta kohteesta valon eri aallonpituuksilla.

Materiaalit joita kuvaamme kameralla käyttäytyvät valon eri aallonpituuksien suhteen eri tavoilla. Valo voi läpäistä (transmittanssi), imeytyä (absorbaatio), tai hajottua (sirota) kuvattuun kohteeseen. Lääketieteellisessä kuvantamisessa voidaan valita valon eri aallonpituudet esimerkiksi näkyvän valon ja infrapunavalon lähialueelta niin, että niissä korostuu ihon eri rakenteissa olevat aineet (hemoglobiini, veri, rasva, melatoniini, kollageeni, vesi, ym..) imeytymishuiput ja toisaalta niin, että eri aallonpituuksien avulla voidaan “nähdä” ihon pinnan alle, meidän aallonpituuksillamme noin 2-6 mm syvyyteen. Tutkimuksessamme Leevi perehtyi aiemman tutkimuksen kautta ihon rakenteiden spektreihin ja valikoi kameramme herkkyysalueella (477-891 nanometriä) olevista aallonpituuksista ne 33 aallonpituutta, jotka soveltuisivat parhaiten leesioiden tunnistamisen ja ihon rajaamisen tutkimusongelmiin.

Kuinka tämä meidän tutkimuksemme sitten eteni? Työnjakomme tässä monitieteisessä yhteistyössä oli suurin piirtein seuraava: SICSURFIS-projektin prorotyyppikameran kehittämisestä vastasi VTT:n mikroelektroniikan tutkimusryhmä, kameran kuvantamislogiikan ja käyttöliittymän suunnittelivat JY:n tutkijat, kliinisen potilaskuvantamisen suorittivat HUS:n iho- ja allergiasairaalan hoitajat ja tutkijat. Data-analyysi suoritettiin Jyväskylässä.

Kamera tarvitsee rinnalleen ohjelmiston ja ohjelmisto käyttäjät. Tutkimusryhmämme Jyväskylän tiimi on jo aiemmin kehittänyt konenäkökameroiden ja VTT:n fabryjen laiterajapintaan ohjelmointikirjastot, joita hyödyntäen kameraan toteutettiin käyttöliittymä. Tehtävään valikoitui Anna-Maria, koska hänellä oli jo spektrilaboratoriossa tutkimusavustajana ja väitöskirjatutkijana työskennellessään kertynyt muutaman vuoden kokemus VTT:n prototyyppikameroiden ja konenäkösovellusten laiteläheisestä ohjelmoinnista ja käyttöliittymien suunnittelemisesta.

Käyttöliittymäsuunnittelun periaatteena oli, että uusi laite tai teknologia ei saa häiritä potilaan kohtaamista, vaan sen tulee olla helppokäyttöinen ja ohjata käyttäjää toimimaan oikein. Ohjelmistoon pyydettiin kehitysideat ja toiveet suoraan tutkimukseen osallistuvilta hoitajilta ja lääkäreiltä, jotka myös pääsivät ennakkoon testaamaan ohjelmistoa. Ohjelmiston taustalla olevan monivaiheisen kuvauslogiikan, jolla ohjattiin konenäkösensoria, LED- moduulia ja fabrya, esikatselunäkymää ja tallennusta, Anna-Maria suunnitteli niin, että käyttäjän ei tarvitse asetuksia säätää, jolloin kuvat eri aallonpituusalueilta erityisvalaistuksineen hoituivat kolmella klikkauksella.

Kuva 1. SICSURFIS-hyperspektrikamera käytössä

Laite- ja ohjelmistokehityksen jälkeen alkoi tutkimuksen kliininen osuus. HUS:n dermatologi-tutkijat ja hoitajat kertoivat potilaiden suhtautuneen tutkimukseen positiivisesti. Laite tai käytetty kuvantamisteknologia ei tuntunut pelottavalta tai tuottanut potilaille kivun tuntemuksia. Potilailla oli intoa osallistumiseen, sillä vaikka korona osaltaan vähensi potilaiden määrää osastolla, kuvantaminen kuitenkin onnistui suunnitellusti, joskin hieman ennakkosuunnitelmia pidemmässä aikataulussa. Kuvannetut ihomuutokset eli leesiot nimettiin eli annotoitiin sairaalassa ja tutkijoina toimivien ihotautilääkärien diagnoosit varmistettiin histopatologisin tutkimuksin. Käyttöliittymän osalta sairaalasta kantautui positiivista palautetta, systeemi koettiin helppokäyttöiseksi ja käyttäjää ohjaavaksi verrattuna aiempiin koekameroiden käyttökokemuksiin.

Kameran tallentama raakadata esikäsiteltiin kahdesti ja analyysoitiin konvoluutioneuroverkkojen avulla Jyväskylän yliopiston spektrikuvantamisen laboratoriossa [6] apulaisprofessori Ilkka Pölösen ohjauksessa Leevin ja Anna-Marian toimesta. Leevi on Annan tavoin myös “oman talon kasvatti”. Pohjakoulutukseltaan hän on matemaatikko; tohtoriksi hän väitteli 2020 IT-tiedekunnan sovelletun matematiikan ja laskennallisten tieteiden koulutusohjelmasta, työskennellessään spektrikuvantamisen laboratoriossa.

Kuva 2. Vasemmalla “RGB” visualisointi spektrikuvasta, oikealla saman leesion 3D ihon pintamalli.

Ensimmäisessä esikäsittelyssä kustakin leesiosta kuvattu raakadata muotoutui Leevin osaavissa käsissä matemaattisten laskutoimitusten myötä 33 aallonpituusalueen spektrikuvaksi, jossa oli ihon pinnan 3D malli jokaiselta kuvatulta aallonpituusalueelta. Esikäsittelyn toisessa vaiheessa koneoppimismalla varten valittiin kustakin spektrikuvasta kuvan kaikki aallonpituusalueet ja yksi pintamalli näkyvän valon aallonpituudelta.

Data-analyysitaikoja Leevi ja Anna-Maria tekivät konvoluutioneuroverkon avulla. Konvoluutioneuroverkon 3D-kerrokset piirteyttivät spektridataa 2D-kerroksen piirteyttäessä ihon pintamallia. Nämä tiedot yhdistettiin konvoluutioneuroverkon myöhemmässä tiheän neuroverkon vaiheessa luokittelemaan pikselitarkkuudella leesioita ja tervettä ihoa.

Kuva 3. Esimerkki tyvisolusyövän (basaliooma) luokittelemisesta neuroverkon avulla. Kuvassa olevan leesion ympärillä saattaa olla satelliitteja.

Tuloksina saatiin erilaisia visualisoituja luokittelukarttoja ja numeerisia luokitteluvarmuuksia, joiden perusteella voitiin todeta, että joissain tilanteissa kehittämämme menetelmä saattaisi olla jopa dermatologin silmää tarkempi. Esimerkiksi pahanlaatuinen leesio, jolla voi olla useita eri kasvutapoja, voi olla levinnyt ympärillä olevaan ihoon satelliittimaisesti. Nämä muutokset eivät välttämättä ole nähtävissä paljailla silmillä, mutta spektrikamera ja kouluttamamme syväoppiva neuroverkko pystyi tällaisia paljastamaan. Pahanlaatuiset leesiot erottuivat hyvänlaatuisista, ja myös terveen ihon rajat hahmottuivat hyvin. Tämä tutkimus tuotti kolme yhteistyössä kirjoitettua artikkelia, joista ensimmäinen esittelee konseptia, laitteistoa ja ensimmäisiä kliinisiä tuloksia [3] ja loput kaksi syventyvät lääketieteelliseen tutkimukseen [4][5], jossa analyysimenetelmiä on kehitetty läpi projektin aiempien kokeiden tulosten perusteella. Nämä neljä tutkimusasetelmaa ovat ensimmäistä asetelmaa monimutkaisempia ja niissä on käytetty suurempaa tutkimusaineistoa. Tutkimustulokset ovat lupaavia, joskin lisää varmuutta saadaan jatkamalla lisätutkimusten parissa. Neuroverkot ja koneoppimismallit tarvitsevat paljon dataa koulutukseen, ja toisaalta, suuren datamäärän kanssa koneoppimismalleja voi työstää ja muokata nyt kokeiltuja tutkimusasetelmia vapaammin. Tämä pilottitutkimus saatiin meidän näkökulmastamme (koodaus-analyysi-teknisen artikkelin kirjoittaminen) kunnialla maaliin, kirjoitusyhteistyön vielä jatkuessa, päävastuun ollessa HUS:n tutkijoilla. Meillä on jäljellä enää yksi vaihe, oman osaamisen, oppimisen ja koko prosessin arvioiminen. Miltä nämä kaksi vuotta on tuntunut?

Tätä postausta pohtiessamme, Leevi kiteytti hyvin kokemuksiamme toteamalla, että monitieteinen yhteistyö on vaikeampaa kuin yksin tai saman alan porukassa tehtävä tutkimus: Pääsyy on ihmisten erilaiset taustat, jotka aiheuttavat kaikenlaisia kommervenkkejä tutkimukseen. Matkaan on mahtunut väärinymmärryksiä, sitä, että saatamme puhua samasta asiasta, mutta täysin eri sanoilla. Konenäkö, laitteet, niiden ohjaaminen ja haluttujen toimintojen toteuttaminen ei välttämättä ole ihan yksinkertaista. Esimerkiksi ohjelmistokehityksessä yhden “vain pienen” toiveen toteuttaminen saattoi vaatia kolmen eri laitteen toimintojen uudelleenohjelmointia, tai olla käytännössä mahdotonta, esimerkiksi jonkun konenäkökameroiden taustalla olevan GenICam standardissa määritetyn ominaisuuden vuoksi.

Inhimilliset ja laitteisiin liittyvät virhetilanteet, jos esim. laitteessa tai datan käsittelyssä tuli virhetilanne, heijastui se heti “pipelinessä” loppuun asti, edellyttäen kaikilta osapuolilta joustavuutta ja jopa jonkin vaiheen uudelleen aloittamista. Edellä mainituista asioista on yleensä selvittiin sillä, että se, kenen asiantuntemusta kommervenkki olikin, hän hoiti asian kuntoon, ohjeistaen toiset jatkamaan omia osuuksiaan.

Osaamisten yhteensovittaminen monitieteisessä tutkimuksessa on erittäin haastava, mutta myös se kohta, jossa voi kehittää omaa osaamistaan huimasti. Esimerkiksi tekoäly ja konenäkö, ne olivat meille arkipäivää, mutta toisen alan asiantuntijalle täysin tai osin hepreaa. Lääketieteelliset termit, ihosyöpä, ylipäätään tutkimusaihe kliinisestä näkökulmasta - eipä laskennallisen tieteen osaajat siitä ymmärrä. Näitä haasteita ratkoimme pitäen toisillemme palavereissa oppitunteja aiheista, jotta ymmärtäisiimme toistemme työstä perusasiat. Artikkelien kirjoittamisessa tällainen osaamisten yhdistyminen näkyy siinä, että pääkirjoittajan kirjoittamaa artikkelia lukee ja korjaa silmä kovana kaikki osalliset, jotta lopulta voidaan varmuudella, että esimerkiksi teknisessä artikkelissa oli kameratekniset, data-analyysin ja kliinisen tulosarvioinin yksityiskodat oikein kirjoitettuja.

Tällaiset haastavat tilanteet monitieteisessä tutkimustyössä ovat myös mahdollisuuksia oppia. Kun itselle selviä valintoja joutuu perustelemaan tiedonnälkäiselle lääkärille, voi samalla kehittää omaa opetustaitoaan. Opetustilanteethan on aina mitoitettava oppilaskohtaisesti, ja kun opetettavana on useita tekoälyartikkeleita lääkärin näkökulmasta kirjoittanut henkilö, voi tason määrittäminen olla haastavaa. Opetettava tietää hajanaisesti paljon, mutta syvällistä tietoa aiheesta on kuitenkin melko vähän. Tällaisissa tilanteissa on oltava valmis selittämään tarpeen mukaan yksityiskohtia myöten tai vain pintapuolisesti.

Kun omaa työtään käy yksityiskohtaisesti läpi, voi törmätä standardeihin, joita ei osaa perustella. Nämä voivat olla asioita, joita ei tarvitse artikkeleissakaan sen kummemmin perustella, esimerkiksi hukkafunktion toiminta tai valinta. Kuitenkin, kun asiaa selittää alan ulkopuoliselle, voi oppia itsekin syvällisemmin ymmärtämään.

Näin ollen voimme todeta, että monitieteisessä tutkimuksessa oma osaaminen voi kasvaa ja laajentua hurjasti - ja samalla sivutuotteena saattaa saada edistää yhteistä hyvää, kuten lääketieteellisten kuvantamismenetelmien kehittymistä. Silloin voi hyvillä mielin ajatella tehneensä työtä, jolla on merkitystä.

Blogitekstin kirjoittivat

Leevi Annala

Tutkijatohtori, spektrikuvantamisen laboratorio, IT-tiedekunta, Jyväskylän yliopisto

FT, Sovellettu matematiikka ja laskennalliset tieteet

https://www.linkedin.com/in/leevi-annala/

Avainsanat: Matemaattinen mallintaminen, koneoppiminen, tekoäly, sovellettu matematiikka, opettaminen, konenäkö

Anna-Maria Raita-Hakola

Väitöskirjatutkija, Spektrikuvantamisen laboratorio, IT-Tiedekunta, Jyväskylän yliopisto

Filosofian maisteri, Tietotekniikka (Ohjelmisto- ja tietoliikennetekniikka)

Tradenomi YAMK (MBA, Yrittäjyys ja liiketoimintaosaaminen)

https://www.linkedin.com/in/annahakola

Avainsanat: Konenäkö, koneoppiminen, teköäly, data-analyysi, hyperspektrikuvantaminen, ohjelmointi, liiketalous, johtaminen, markkinointi

LÄHTEITÄ JA LINKKEJÄ

[1] https://www.aka.fi/en/research-funding/programmes-and-other-funding-schemes/academy-programmes/radiation-detectors-for-health-safety-and-security-raddess-20182021/

[2] https://www.jyu.fi/it/en/research/our-laboratories/hsi/projects/sicsurfis

[3] Raita-Hakola ym., 2022, “FPI based hyperspectral imager for the complex

surfaces - calibration, illumination and applications”, vertaisarvioitavana julkaisijalla: MDPI Sensors

[4] Lindholm ym., 2022, “Differentiating malignant from benign pigmented or non-pigmented skin tumours– a pilot study on 3D hyperspectral imaging of complex skin surfaces and convolutional neural networks”, lähetetään vertaisarviointiin julkaisijalle: Journal of Clinical Medicine

[5] Salmivuori ym., 2022, “Discriminating Basal Cell Carcinoma and Bowen’s Disease with a novel Hyperspectral Imaging System with Convolutional Neural Networks”, työn alla.

[6] https://www.jyu.fi/it/fi/tutkimus/laboratoriot/hsi-fi/hsi-fi