Visuaalinen apuri vaatii tekoälyltä kehittymistä (innovaatiokokeilu)

Tatu Hel­le, Jere Lind­berg, Je­ni­na Sal­mi­nen

Läh­dim­me ke­hit­tä­mään te­ko­ä­lyl­lä vi­su­aa­lis­ta apu­ria, joka aut­taa suun­nit­te­le­maan ja to­teut­ta­maan ju­tun vi­su­aa­li­sia ele­ment­te­jä jo kir­joi­tus­vai­hees­sa. Apu­ri suun­nit­te­lee ja te­kee eri­lai­sia ku­via, vi­de­oi­ta, gra­fii­koi­ta tai mui­ta ri­kas­tei­ta tar­peen mu­kaan. Se voi eh­dot­taa, mit­kä osat kir­joi­te­tun ar­tik­ke­lin lei­pä­teks­tis­tä voi kor­va­ta vi­su­aa­li­sil­la ele­men­teil­lä.

Alun pe­rin ajat­te­lim­me, et­tä työ­ka­lu voi­si huo­mi­oi­da myös eri ylei­söp­ro­fii­lit ja aut­taa ver­si­oi­maan si­säl­tö­jä nii­den mu­kaan. Huo­ma­sim­me kui­ten­kin, et­tä jo pelk­kä vi­su­aa­lis­ten ele­ment­tien suun­nit­te­lu ja to­teut­ta­mi­nen tuot­ti var­sin pal­jon työ­tä.

Ko­kei­lim­me en­sin to­teut­taa vi­su­aa­lis­ta apu­ria mak­sul­li­sel­la ChatGPT:n 5.2 -ver­si­ol­la. Tes­taa­mi­seen meil­lä oli käy­tös­sä Sa­von Sa­no­mien van­hois­ta ju­tuis­ta koos­tu­va ai­neis­to.

Ko­kei­lus­sa huo­ma­sim­me, et­tä ChatGPT pys­tyi ide­oi­maan vi­su­aa­li­sia ele­ment­te­jä var­sin luo­vas­ti pyyn­tö­jem­me mu­kai­ses­ti. Se kek­si to­teut­ta­mis­kel­poi­sia ide­oi­ta graa­fi­sil­le ele­men­teil­le va­lit­se­miim­me esi­merk­ki­jut­tui­hin, jot­ka kä­sit­te­li­vät muun mu­as­sa ko­ro­na-ajan tar­tun­ta­mää­riä ja KuP­Sin pe­laa­ja­han­kin­to­ja. Ide­at gra­fii­koi­hin te­ko­ä­ly sai ar­tik­ke­lien si­säl­lön poh­jal­ta.

On­gel­mak­si muo­dos­tui gra­fii­koi­den to­teut­ta­mi­nen vi­su­aa­li­ses­sa muo­dos­sa. ChatGPT ei ky­en­nyt to­teut­ta­maan val­mii­ta, vi­su­aa­li­ses­ti jär­ke­viä tuo­tok­sia. Sen te­ke­mät tau­lu­kot näyt­ti­vät kuin Wor­dil­lä teh­dyil­tä ei­vät­kä tuo­neet li­sä­ar­voa jut­tui­hin. Te­ko­ä­lyn tuot­ta­mis­sa gra­fii­kois­sa taas häi­rit­si­vät eri­tyi­ses­ti nii­den si­säl­tä­mät teks­tit, jot­ka ei­vät ol­leet oi­ke­a­kie­lis­tä suo­mea. Li­säk­si te­ko­ä­ly kek­si osan gra­fiik­ko­jen si­säl­löis­tä it­se, ei­vät­kä esi­mer­kik­si kaik­ki lu­vut ol­leet pe­räi­sin al­ku­pe­räi­ses­tä ar­tik­ke­lis­ta, vaik­ka olim­me oh­jeis­ta­neet käyt­tä­mään läh­tee­nä vain ai­neis­toa.

Kos­ka ChatGPT ei so­vel­tu­nut vi­su­aa­lis­ten ele­ment­tien to­teut­ta­mi­seen, vaih­doim­me te­ko­ä­ly­oh­jel­mak­si mak­sul­li­sen Goog­le Ge­mi­ni 3:n. Ge­mi­niä käyt­tä­es­säm­me huo­ma­sim­me heti, et­tä se on kes­kus­te­li­ja­na köm­pe­löm­pi kuin GhatGPT. Ge­mi­ni tar­vit­si pyyn­tö­jem­me to­teut­ta­mi­seen sel­ke­äs­ti yk­si­tyis­koh­tai­sem­mat oh­jeet, ei­kä se muis­ta­nut hy­vin ai­em­min kes­kus­te­lus­sa esiin tul­lei­ta asi­oi­ta.

Pyy­sim­me Ge­mi­niä ide­oi­maan gra­fiik­kaa jut­tuun, joka kä­sit­te­li kah­den jal­ka­pal­lo­pe­laa­jan siir­ty­mis­tä KuP­Siin. Työ­ka­lu eh­dot­ti ju­tun gra­fii­kak­si niin sa­not­tu­ja pe­laa­ja­kort­te­ja, jois­ta il­me­ni­si muun mu­as­sa pe­laa­jien ai­em­mat seu­rat, ti­las­to­ja edel­li­sel­tä kau­del­ta ja vah­vuu­det pe­laa­ji­na.

ryhmä

Työ­ka­lu osa­si kai­vaa it­se­näi­ses­ti tar­vit­ta­vat tie­dot al­ku­pe­räi­sen ju­tun lei­pä­teks­tis­tä. Se osa­si luo­da pe­laa­ja­kor­tit pie­nen pai­ni­mi­sen jäl­keen, mut­ta ne oli­vat aluk­si vi­su­aa­li­ses­ti hy­vin pel­kis­tet­ty­jä. Li­sä­oh­jeil­la saim­me kui­ten­kin kor­teis­ta ker­ta ker­ral­ta pa­rem­man nä­köi­siä. Käs­kim­me esi­mer­kik­si te­ko­ä­lyä siir­tä­mään teks­tin kor­tin reu­na­vii­vo­jen si­sä­puo­lel­le, kos­ka se ei sitä it­se ym­mär­tä­nyt. Ge­mi­ni to­teut­ti käs­kyt ja lop­pu­tu­los oli mie­les­täm­me var­sin hyvä.

Yri­tim­me vie­lä vie­dä kor­tin vi­su­aa­li­suut­ta eteen­päin Ge­mi­nin Nano Ba­na­na -ku­va­työ­ka­lul­la. Lop­pu­tu­los ei ol­lut hyvä: vi­su­aa­li­suus pa­ra­ni, mut­ta kort­tien teks­teis­tä tuli pelk­kää si­an­sak­saa. Tämä tois­tui muis­sa­kin ko­kei­luis­sam­me, oli­pa ky­sees­sä kart­ta tai mikä ta­han­sa vi­su­aa­li­nen ele­ment­ti. Ky­syim­me työ­ka­lul­ta, mis­tä tämä joh­tuu ja se an­toi seu­raa­van­lai­sen vas­tauk­sen:

"Täs­sä on muu­ta­ma syy, mik­si ku­vien teks­tit me­ne­vät usein pie­leen:

- Pik­se­lit vs. kir­jai­met: Ku­va­ge­ne­raat­to­ri ei ym­mär­rä aak­ko­sia tai kiel­tä. Se kä­sit­te­lee teks­tiä vi­su­aa­li­se­na ku­vi­o­na. Se yrit­tää mat­kia sitä, mil­tä suo­men kie­li tai sa­no­ma­leh­ti­ot­sik­ko näyt­tää, mut­ta lop­pu­tu­los on usein "lo­rem ip­su­mia" muis­tut­ta­vaa si­an­sak­saa.

- Hie­no­mo­to­ri­nen epä­tark­kuus: Vaik­ka mal­lit ke­hit­ty­vät hui­maa vauh­tia, mo­ni­mut­kais­ten merk­kiyh­dis­tel­mien (ku­ten "Poh­jois-Savo") ren­de­röin­ti osa­na ku­vaa on las­ken­nal­li­ses­ti vai­ke­aa.

- Ku­val­li­nen pai­no­tus: Ge­ne­raat­to­ri kes­kit­tyy enem­män tun­nel­maan, va­lais­tuk­seen ja aset­te­luun kuin teks­tin oi­kein­kir­joi­tuk­seen."

Lop­pu­pää­tel­mä­nä to­te­am­me, et­tä Ge­mi­nin pe­rus­ver­sio osaa luo­da var­sin yk­sin­ker­tai­sia, pel­kis­tet­ty­jä tau­lu­koi­ta ja mui­ta graa­fe­ja käyt­tä­mäl­lä läh­tee­nä leh­ti­ju­tun lei­pä­teks­tiä.

Vi­su­aa­li­seen luo­mi­seen tar­koi­tet­tu Nano Ba­na­na -työ­ka­lu sen si­jaan ei ym­mär­rä teks­tiä, jo­ten sitä ei voi teks­tiä si­säl­tä­vis­sä ele­men­teis­sä käyt­tää. Hie­no­ja ku­via il­man teks­tiä se osa­si luo­da, mut­ta jour­na­lis­ti­sis­sa ku­vis­sa te­ko­ä­lyn käyt­tö ei ai­na­kaan vie­lä ole ko­vin suo­ta­vaa.

Te­ko­ä­lyn on­gel­ma ko­kei­lus­sam­me oli, et­tä vä­lil­lä se toi­mii ja vä­lil­lä ei. Lop­pu­tu­los­ta oli vai­kea ar­va­ta etu­kä­teen. Tämä joh­taa väis­tä­mät­tä sii­hen, et­tei graa­fi­kon töi­tä voi luo­vut­taa pel­käs­tään te­ko­ä­lyn vas­tuul­le.

Toi­saal­ta te­ko­ä­lyn luo­man pe­laa­ja­kor­tin pa­ras ver­sio oli mie­les­täm­me hie­nom­pi kuin pelk­kä ta­val­li­nen tie­to­laa­tik­ko ju­tus­sa. Sen vuok­si te­ko­ä­lys­tä voi­si ai­na­kin jois­sain ti­lan­teis­sa ol­la hyö­tyä pie­nis­sä toi­mi­tuk­sis­sa, jois­sa ei ole ol­len­kaan graa­fik­koa töis­sä.

Jos te­ko­ä­lyn vi­su­aa­li­set ky­vyt ke­hit­tyi­si­vät tu­le­vai­suu­des­sa, voi­si vi­su­aa­li­nen apu­ri par­haim­mil­laan ol­la jopa osa toi­mi­tus­jär­jes­tel­mää. Täl­löin te­ko­ä­ly voi­si esi­mer­kik­si an­taa ju­tun kir­joit­ta­mi­sen ede­tes­sä au­to­maat­ti­ses­ti ide­oi­ta sii­hen so­pi­vis­ta gra­fii­kois­ta ja teh­dä niis­tä käyt­tö­kel­poi­sia ver­si­oi­ta. Mei­dän ko­kei­lum­me pe­rus­teel­la täl­lai­seen on vie­lä mat­kaa.