Nvidian lisensioima Miika Aittalan menetelmä saattaa pian päätyä peleihin ja valkokankaille.
Miika Aittala
Kuvaaja
Bryce Vickmark
Kirjoittaja
Petja Partanen

Materiaalien 3D-mallinnus siirtyi tieto­kone­aikaan

Miika Aittala tekee tavallisista kännykkäkuvista materiaalimalleja, joilla voi vaivattomasti vuorata bittimaailman pintoja vaikkapa tinapaperilla, ruosteisella metallilla tai roudarin­teipillä.

Katselen ruudulla pyörivää videoklippiä, jonka tutkija Miika Aittala esitti vuonna 2013 kesäisessä Kaliforniassa Anaheimin SIGGRAPH-konferenssissa. Pistemäinen valonlähde liikkuu erilaisten pintojen päällä, ja yritän kuumeisesti arvata, kumpi vierekkäisistä pinnoista on todellinen, kumpi taas kännykkäkuvasta laskennallisesti luotu 3D-malli. Eroa on mahdoton havaita.

– Väitöstyöni tutki, miten materiaalien heijastavuuskarttoja voi tuottaa. Perinteinen tapa on tehdä niitä käsin, ja se on todella hankalaa, Aittala selostaa Skype-yhteyden välityksellä.

Pintamateriaalien ulkonäön realistista siirtämistä virtuaaliympäristöihin käsittelevä työ toi Aittalalle TEKin ja TFiFin tämän vuoden väitöskirjapalkinnon.

Tutkijan nykyinen työpaikka on maailmankuulun MIT-yliopiston suurin tutkimuslaboratorio, The Computer Science and Artificial Intelligence Laboratory (CSAIL).

3D-mallin herättäminen henkiin on oma taiteenlajinsa. Peleissä koko pelimaailma luodaan reaaliajassa, ja monen elokuvan lavasteet ja hahmot ovat olemassa vain 3D-mallina. Kun elokuvaa renderöidään eli luodaan ruutu ruudulta, tarvitaan paljon tietoa: 3D-maailman geometria, kamerakulma, pintojen materiaali ja valaistus. Aittalan tutkimusaiheena olevat matemaattiset funktiot laskevat renderöinnin aikana, miten valo kustakin 3D-maailman pikselistä heijastuu.

– Eri materiaalien mikroskooppiset karheudet saavat valonsäteet heijastelemaan eri suuntiin, Aittala selittää.

Lahjomaton ihmissilmä

Jos laskenta vastaa todellisuutta, näyttää tietokoneen luoma sametti sametilta ja ruosteinen metallipinta metallilta. Haasteena on, että koko elämänsä eri pintoja katsellut ihmissilmä on lahjomaton. 

– 1990-luvun tietokonegrafiikka näytti muoviselta. Syynä oli se, että tuon ajan materiaalimallit olivat karkeita yksinkertaistuksia, mutta ne kuvasivat aika hyvin sitä, miten muovi heijastaa valoa.

Tänään valon heijastelu eri pinnoista osataan mallintaa paljon paremmin, ja laskentatehoa on käytössä huimasti enemmän. Yksi asia on kuitenkin entisellään: digitaalisen maailman luominen on pitkälti käsityötä, ja työkalut ovat kalliita. 

Esimerkiksi materiaalien heijastavuutta eri valaistusoloissa tutkitaan massiivisilla puolipallon muotoisilla kehikoilla, joihin on kiinnitetty kymmeniä kameroita ja valoja. 

– Laitteisto tallentaa kaikki mahdolliset kamerakulmat ja valaistuksen suunnat, Aittala kertoo.

Isoissa elokuvatuotannoissa 3D-mallien pintoja taas on luomassa joukko taiteilijoita käsityönä. He tarkastavat kuvankäsittelyohjelmassa omin silmin, että lopputulos näyttää luonnolliselta aiotussa kuvaussuunnassa ja valaistuksessa. 

Aittala kehitti väitöstyössään kolme eri menetelmää pintamateriaalien ulkonäön automaattiseen kaappaamiseen. Parhaimmillaan tarvitaan vain yksi ainoa kännykkäkuva mallinnettavasta materiaalista. Älykäs laskenta-algoritmi luo sen pohjalta heijastavuuskartan, jota voi hyödyntää suoraan 3D-ohjelmistoissa.

Parhaimmillaan tarvitaan vain yksi ainoa kännykkäkuva mallin­nettavasta materiaalista.

Tekevätkö Aittalan menetelmät siis ison joukon digimaailman käsityöläisiä työttömiksi?

– Siitä tässä on kysymys, tutkija nauraa, ja kiirehtii lisäämään, että tulevaisuudessa he toivottavasti voivat keskittyä tärkeämpiin asioihin. 

– Nyt jokainen merkityksetönkin pinta joudutaan luomaan kuvaan käsityönä.

Joka julkaisu SIGGRAPHiin

Aittalan väitöstyössä on vain kolme julkaisua, mutta ne ovat sitäkin kovatasoisempia. Kaikki julkaisut on hyväksytty vuotuiseen grafiikka-alan suurtapahtumaan, SIGGRAPH-konferenssiin. Sinne pääsystä kilpailevat alan tutkijoiden parhaat paperit ympäri maailmaa. 

Aittalan oma suosikkipaperi on vuonna 2015 SIGGRAPHissa esitetty menetelmä. Tutkimuspaperi sai alkunsa, kun Aittala kiersi kotona ja toimistolla kuvaamassa kännykällään eri pintoja, maalatusta puusta valkeaan nahkasohvaan ja roudarinteipin pintaan. Joka materiaalista otetaan kaksi identtistä kuvaa, salamalla ja ilman. Yli vuoden yritysten, epäonnistumisten ja koodaamisen jälkeen käsissä oli algoritmi, joka tuottaa tarkasti valokuvaa vastaavaa pintaa 3D-malliin kaikissa mahdollisissa valaistusolosuhteissa. 

– Hinkkasin kakkospaperia pitkään, ja mietin eri lähestymistapoja, joilla algoritmi olisi saatu toimimaan yhden ainoan salamavalokuvan perusteella. Totesin lopulta, että se ei nykytekniikalla onnistu, Aittala muistelee. 

Ongelma ratkesi pian paperin julkaisun jälkeen, kun Aittala luki uudesta neuroverkkolaskennan sovelluksesta. Tübingenin yliopiston tutkimuspaperi esitteli menetelmän, jolla mikä tahansa valokuva voidaan muokata muistuttamaan vaikkapa Vincent van Goghin maalaustyyliä.

– Se oli juuri se algoritmistamme puuttuva komponentti.

Vuonna 2016 Aittala oli jälleen SIGGRAPHissa, väitöskirjansa neuroverkkolaskentaa hyödyntävää kolmospaperia esittelemässä. Nyt lähtötiedoiksi riitti yksi ainoa kännykällä napattu salamakuva. 

– Teemme algoritmissa aluksi karkean arvauksen materiaalista. Kun pinta renderöidään, ja verrataan mallia alkuperäiseen valokuvaan, saamme palautetta siitä, miten materiaalia pitäisi muuttaa, Aittala selittää. 

Noin tuhannen iteraatiokierroksen ja parin tunnin laskennan jälkeen käsissä on pintamalli ja heijastavuuskartta, joiden avulla tuotettuja 3D-pintoja ei erota oikeasta materiaalista.

MIT:ssa työskentelevälle Miika Aittalalle USA:n ykkösyliopistot ovat tulleet tutuiksi. Väitöstyön esitarkastajat olivat Princetonista ja Harvardista, vastaväittäjä professori Steve Marschner Cornellin yliopistosta. – Heidän arvionsa työstä olivat varsin positiivisia, Aittala kertoo.

Nvidia innostui

Aittalan väitöksen tutkimuspapereista innostui myös grafiikkaprosessorien valmistaja Nvidia, joka on lisensoinut 2- ja 3-paperien menetelmät. 

Kesän kuluessa Aittala on käynyt tiivistä sähköpostikeskustelua Nvidian kehitysinsinöörien kanssa. 

– 2-menetelmästä tehty sovellus on ilmeisesti jo betatestauksessa.

Yksinoikeutta menetelmiin Nvidialla ei ole, sillä Aittala on julkaissut algoritminsa koodin kaikkien käyttöön. 

– Mutta se on vain karkea tutkimusprototyyppi, tutkija toteaa vaatimattomasti. 

Innoissaan työstä ovat monet muutkin. TEKin ja TFiFin väitöskirjapalkinnon lisäksi Aittala on ehtinyt pokata jo Aalto-ylipiston perustieteiden korkeakoulun ja sekä Tietotekniikan tutkimussäätiön palkinnot vuoden parhaasta väitöskirjasta.

Miika Aittalan tie tekniikan tohtoriksi

  • 1984. Miika Aittala syntyy Espoossa
  • 1997. Ensimmäinen kosketus tietokonegrafiikkaan, kun Aittala saa 7. luokalla käsiinsä 3D Studio Max -ohjelmiston. “Sillä tuli tehtyä kaikenlaista 3D-grafiikkaa, nyt katsoen varsin lapsellista kamaa.”
  • 2004. TKK:lle opiskelemaan. 
  • 2010. Diplomityö Photorealism in Augmented Reality hyväksytään, Aittala valmistuu. ”Diplomityön pohjalta syntyi ensimmäinen tieteellinen julkaisuni.”
  • 2011. VTT:llä työskentelevän Aittalan tutkimuspaperi päätyy Aalto-yliopiston tietokonegrafiikan professori Jaakko Lehtisen luettavaksi. “Hän työskenteli Nvidialla, pyysi käymään ja suositteli jatko-opintoja. Pian hän sai professuurin, ja minusta tuli hänen ensimmäinen ohjattavansa.”
  • 2016. Väitöstyö Computational Methods for Capture and Reproduction of Photorealistic Surface Appearance hyväksytään Aalto-yliopiston perustieteiden korkeakoulussa.
  • 2017. Postdoc-tutkijana MIT:ssa työskentelevän Aittalan väitös palkitaan TEKin ja TFIFin vuoden väitöskirjana.

Mitä haluat saada aikaan tekniikan tohtorina?
Suuri kysymys on, voimmeko rakentaa järjestelmiä, jotka havainnoivat ja ymmärtävät maailmaa ihmisen tapaan niin, että ne pystyvät toimimaan älykkäästi. Väitöskirjassa tutkin materiaalien mallintamista, mutta tulevaisuudessa tutkimukseni liikkuu toivottavasti laajemmin konenäön, grafiikan ja koneoppimisen rajapinnoilla.

Suosikkileikkikalu?
Pidän enemmän virtuaali- ja ajatusleluista kuin fyysisistä vimpaimista.

Lempiharrastus?
Pyöräily. Olin alkuvuodesta 2017 puoli vuotta Rivieralla INRIA-tutkimuslaitoksessa. Viikonloppuisin tuli usein ajettua merenrannalta kilometrin korkeuteen vuorille.

Neuroverkot haltuun MIT:ssa

Yliopistorankingien kärkisijoilla keikkuva MIT ja varsinkin sen CSAIL-laboratorio on monelle tietotekniikan tutkijalle ykköspaikka maailmassa. Siellä työskentelee muun muassa www:n kehittäjä Tim Berners-Lee.

– Luulen että hän istuu viereisellä käytävällä, mutta en ole vielä törmännyt, Postdoc-tutkija Miika Aittala kertoo.

Vierailun aikana Aittalan tarkoitus on laajentaa näköaloja tutkijana ja hyödyntää materiaalinkaappauksessa koneoppimisen ja neuroverkkojen menetelmiä.

– Ne ovat mahdollistaneet ihan uusia juttuja, joita ei vielä muutama vuosi sitten pystynyt tekemään.

Kun väitöskirjan menetelmiä kehitetään eteenpäin, kuka vain voi näpätä kuvan mistä tahansa materiaalista, ja katsoa, miltä se näyttäisi vaikkapa oman huoneen seinämateriaalina, tai tehdä Google-kuvahakuja myös materiaalin perusteella.

– Tällaisissa ongelmissa matemaattisten menetelmien rajat tulevat vastaan, lähtötietoa ei yksinkertaisesti ole tarpeeksi.

Ihmisen aivot sen sijaan tunnistavat eri materiaalit kuvista todella hyvin. Aittala on varma, että keinoäly pystyy samaan kuin ihminen. 

– Me olemme katselleet koko ikämme erilaisia pintoja erilaisissa valaistuksissa. Kyllä tämä on semmoinen asia, minkä me pystymme opettamaan myös neuroverkoille.

Asiasana