Aihearkisto: Muut

Tulosperusteinen ammattikorkeakoulurahoitus: korkeakoulujen sisäiset ja ulkoiset menestystekijät sekä rahoituksen sivuvaikutukset

Tulosperusteinen rahoitusmalli lanseerattiin suomalaisten ammattikorkeakoulujen käyttöön vuonna 2014. Ansaintalogiikan muutos on haastanut korkeakoulujen toimintaa ja kilpailu korkeakoulujen välillä on lisääntynyt. Suomalaisten ammattikorkeakoulujen tuloskehitys on parantunut uuden rahoitusmallin myötä; tämä ei kuitenkaan ole koko totuus. Opetusta, ohjausta ja opiskelijan palveluita kehitetään, jotta opiskelijat etenevät opinnoissaan ja heitä saadaan valmistumaan mahdollisimman sujuvasti. Tämän lisäksi myös erilaisiin sisäisiin toimenpiteisiin, kuten sisäisen rahoitusmallin kehittämiseen panostetaan, jotta kilpailuhenki korkeakoulun sisällä saadaan kasvamaan korkeakoulun tuloskehitystä tukevaksi. Rahoituskilpailu on kuitenkin kovaa ja toisaalta vaarana saattavat olla myös erilaiset ei-toivotut ilmiöt, kuten akateemisten standardien lasku. Nyt tutkimustietoa tarvitaan kipeästi siitä, miten korkeakoulujen erot rahoitusmittarimenestyksessä mahdollisesti selittyvät, ja toisaalta, millaisia sivuvaikutuksia tulosperusteisella rahoituksella on kokonaisuudessaan korkeakoulujen toimintaan ja suomalaiseen korkeakoulukenttään.

Kirjoittaja: Henna Eskonsipo-Bradshaw

Johdanto

Korkeakoulukentän laajat rakenteelliset uudistukset ja mittava rahoitusjärjestelmän muutos ovat muokanneet ammattikorkeakoulujen toimintaympäristöä ja ansaintalogiikkaa, ja haastaneet korkeakouluja uudistumaan. Vuoteen 2014 asti ammattikorkeakoulujen rahoitus muodostui valtion ja kuntien rahoitusosuudesta ja vuodesta 2015 alkaen vastuu perusrahoituksesta on ollut valtiolla (OKM 2018, 23-26). Tuloksiin perustuva rahoitusmalli on nyt opetus- ja kulttuuriministeriön merkittävin korkeakouluohjauksen työkalu (OKM 2018, 45).Ammattikorkeakoulujen uusi tuloksiin pohjautuva rahoitusmalli pohjautuu kansainvälisestikin vertaillen erittäin vahvasti korkeakoulujen tekemiin tuloksiin. Perinteinen kustannuspohjainen rahoitusjärjestelmä perustui sisään otettavaan opiskelijamäärään ja koulutuksen kustannuksiin, eikä kannustanut korkeakouluja tehokkaaseen toimintaan (Salminen & Ylä-Anttila 2010). Nyt automaattisia kassavirtoja ei enää ole, vaan lähes kaikki ammattikorkeakoulun perusrahoitus syntyy tehtyjen tuloksien kautta.

Ansaintalogiikan muutos on muokannut vahvasti ammattikorkeakoulujen toimintaympäristöä. Tuloksia mitataan useammalla eri rahoitusindikaattorilla ja perusrahoitus korkeakoulujen kesken jaetaan niin, että keskimääräistä tuloksellisemmat, tehokkaammat ja vaikuttavammat korkeakoulut saavat enemmän rahaa (OKM 2015, 10). Tulosperusteisen rahoitusjärjestelmän myötä korkeakoulujen välinen kilpailu lisääntyy ja resurssiriippuvuuden tuloksena korkeakoulujen rahoituspaineet kasvavat (Jongbloed 2008, 13). Tulosperusteisen rahoitusmallin tuomista haasteista korkeakoulukentällä kertovat esimerkiksi viime vuosien yt-neuvottelut sellaisissa ammattikorkeakouluissa, jotka eivät ole pärjänneet rahoitusmittarikilpailussa. Mikä selittää sitä, miksi toiset korkeakoulut menestyvät paremmin kuin toiset?

Tuloksellisuuserojen lisäksi tulosperusteisuus on tuonut mukanaan myös tulosparadoksin, kun tulospaineiden myötä syntyy erilaisia sivuvaikutuksia, joista kaikki eivät ole ennalta toivottuja (Umbricht ym. 2017, 649). Korkeakoulut panostavat opintojen ohjaukseen ja moneen muuhun aikaisempaa enemmän, mutta rahoituspaineiden myötä todellisena vaarana ovat myös erilaiset negatiiviset ja epäeettisetkin sivuvaikutukset, kuten tuloksien tekeminen laadun kustannuksella ja akateemisten standardien lasku (Jongbloed 2008; Ziegele 2013; Lahr ym. 2014; Vasikainen 2014; Miller 2016; Seuri & Vartiainen 2018).

Sisäisten ja ulkoisten tekijöiden vaikutukset korkeakoulujen tuloksellisuuteen

Tulosperusteisen rahoitusmallin peruslähtökohta on, että kaikki korkeakoulut pystyvät parantamaan tuloksiaan (Hillman ym. 2014). Päämies-agenttiteorian mukaisesti valtio luottaa siihen, että korkeakouluilla on riittävää osaamista valtion tavoittelemien tuloksien saavuttamiseen ja lähtökohtaisesti on selvää, että korkeakoulut haluavat tehdä tulosta ja sitä kautta saada rahoitusta (Hillman ym. 2018). Tosiasia on kuitenkin, että korkeakouluilla on epätasa-arvoiset mahdollisuudet tuottaa tutkintoja ja tehdä tulosta (Dougherty ym. 2014).

Suomalainen korkeakoulutuksen rahoitusmalli perustuu lähtökohtaisesti siihen ajatukseen, että kaikki korkeakoulut ovat identtisiä ja siksi niitä tulisi rahoittaa samalla tavalla (Kettunen 2016, 113). Ammattikorkeakoulujen uusi rahoitusmalli on kuitenkin tuonut mukanaan korkeakoulujen välisen kilpailun ja vastakkainasettelun, kun yksittäiset korkeakoulut kilpailevat vähenevistä resursseista (OKM 2018, 43). Rahoituksen kilpajuoksussa jokainen korkeakoulu on omillaan ja rahoitus määräytyy kunkin korkeakoulun tekemien tuloksien perusteella.

Tuloksiin pohjautuva rahoitusmalli korostaa toiminnan tehokkuutta erityisesti määrällisten tuloksien kautta (Seuri ja Vartiainen 2018). Rahoitusindikaattoreiden luvut paljastavat, onko korkeakoulu tehokas vai ei, mutta haasteena on se, että ne eivät kerro syitä sille, miksi (Vasikainen 2014). Jotta ammattikorkeakoulujen tuloskehitystä voitaisiin tulevaisuudessa ennakoida paremmin, tarvitaan tietoa siitä, millaiset sisäiset ja ulkoiset tekijät mahdollisesti vaikuttavat korkeakoulujen menestykseen; mitkä tekijät mahdollisesti tukevat korkeakoulun menestymistä rahoituskilpailussa ja toisaalta, mitkä tekijät taas saattavat vaikeuttaa tuloksien syntymistä.

Jos tarkastellaan korkeakoulujen ulkoisia tekijöitä ja niiden vaikutuksia korkeakoulujen tuloksentekokykyyn, yksi merkittävä lähtökohtaero eri korkeakouluilla ja eri koulutuksilla on niiden historiaan perustuva maine ja vetovoima. Vetovoima on vahvasti kytköksissä korkeakoulujen ja yksittäisten koulutuksien opiskelijapopulaation laatuun. Opiskelijoiden lähtötaso ja osaaminen, sosioekonominen tausta ja esimerkiksi heidän omat henkilökohtaiset päämääränsä (esim. tutkintoa tavoittelemattomat opiskelijat) vaikuttavat siihen, kuinka hyvin korkeakoulu pärjää rahoitusmittareissa. (Pheatt ym. 2014; Miller 2016) Vetovoimaisiin koulutuksiin pääsevät sisälle osaavammat opiskelijat, jotka suoriutuvat opinnoistaan lähtökohtaisesti paremmin. Heikommat opiskelijat taas jättävät opintonsa herkemmin kesken ja tarvitsevat enemmän tukea ja ohjausta. (Vasikainen 2014) Korkeakoulut voivat parantaa ohjausta ja opetusta, mutta ne eivät voi pakottaa opiskelijoita oppimaan tai valmistumaan määräajassa (Kivistö 2014, 201). Rahoitusmittari itsessään ei kannusta opiskelijoita tehokkaaseen opiskeluun (Kettunen 2016, 114). Pidemmällä aikavälillä tuloksissa menestymisen paine voikin vaikuttaa myös esimerkiksi tasavertaisiin opiskelumahdollisuuksiin, kun korkeakoulut rajaavat paikkojaan, eivätkä ota sisään taustaltaan heikompia opiskelijoita (Dougherty & Reddy 2013; Dougherty ym. 2014; Lahr ym. 2014).

Hillman ym. (2015) tutkimuksessa todetaan monien korkeakoulujohtajien olevan sitä mieltä, että tuloksiin pohjautuva rahoitusmalli ei huomioi korkeakouluihin kohdistuvia paineita, eikä haasteita niissä korkeakouluissa, joissa valinnanvaraa opiskelijoiden suhteen on huomattavasti vähemmän kuin toisilla. On jokseenkin epäreilua, että korkeakouluja rangaistaan siitä, jos osa opiskelijoista ei halua valmistua. Pääkkösen (2010) tutkimus osoittaa, että oppilaitoksen vetovoima on keskeinen indikaattori ja selittää niin opintojen etenemistä kuin ammattikorkeakoulujen kustannuseroja ammattikorkeakoulujen perinteisen kustannuspohjaisen rahoitusmallin aikaan. Samanlaista tietoa tarvitaan ammattikorkeakouluista myös uuden tulosperusteisen rahoitusmallin ajalta – mitkä ulkoiset tekijät mahdollisesti selittävät ammattikorkeakoulujen tuloksellisuuseroja ja ennakoivat korkeakoulun menestymistä? Onko esimerkiksi alueen työllisyystilanteella tai muilla ulkoisilla korkeakoulusta riippumattomilla tekijöillä tähän jotain vaikutusta?

Ammattikorkeakoulujen sisäiset tekijät ovat myös tärkeässä roolissa, kun tarkastellaan korkeakoulujen eroja tuloksellisuudessa. Tulosperusteinen rahoitusmalli on tehostanut ammattikorkeakoulujen toimintaa ja vaikuttanut prosessien kehittämiseen. Tulosperusteisuus on uudistanut johtamisen kulttuuria ja kokonaisuudessaan korkeakoulujen toiminta on muuttunut tulostietoisemmaksi. (OKM 2018, 36-39) Mutta mitä tarkalleen ovat ne korkeakoulun sisäiset tekijät, jotka ennakoivat positiivista tuloskehitystä? Ammattikorkeakouluissa on esimerkiksi merkittäviä eroja siinä, miten rahoitusmalli vaikuttaa sisäiseen resurssijakoon (OKM 2018, 44). Onko esimerkiksi ammattikorkeakoulun sisäisellä rahoitusmallilla, toiminnanohjauksella tai vaikkapa johtamisjärjestelmällä vaikutuksia siihen, miten korkeakoulu menestyy valtakunnallisessa kilpailussa?

Kansainvälisesti käydään myös keskustelua siitä, onko esimerkiksi korkeakoulun sisäisillä henkilöstöhallinnon ratkaisuilla vaikutuksia siihen, miltä korkeakoulun tulokset näyttävät. Päämies-agenttiteoriaan pohjaten korkeakoulutuotannossa on useita eri agentteja, kuten johtoa, yksittäisiä opettajia ja työntekijöitä, mikä tarkoittaa sitä, että yksittäisellä toimijalla ei ole suoraa kontrollia opiskelijan valmistumisesta ja siksi tulosmuutoksen tekeminen voi olla hankalaa (Hillman ym. 2018). Myös eri agenttien tavoitteet ja päämäärät voivat olla ristiriidassa ja siksi valtion tavoitteisiin pääseminen on monien agenttien summa (Laffont & Martimort 2002; Levačič 2009). Esimerkiksi opettajat toimivat korkeakouluagenttien agentteina ja haasteena voi olla se, että perustavanlaatuiset rahoitusmallin päämäärät eivät välttämättä välity heidän työhönsä suunnitellulla tavalla (Levačič 2009). Rahoitusmalli ei välttämättä kannusta opettajia tehokkaaseen toimintaan esimerkiksi siksi, koska tästä ei koidu heille henkilökohtaisesti mitään etuja (Kettunen 2016, 114). Voidaanko siksi erilaisten sisäisten palkkaus- ja kannustinjärjestelmien kautta ohjata henkilökunnan työtä haluttuun suuntaan, ja voidaanko esimerkiksi korkeakoulun julkaisutoimintaa vauhdittaa henkilökohtaisia julkaisupalkkioita maksamalla? Toisaalta, selittävätkö tällaiset sisäiset palkkiojärjestelmät ja henkilökohtaiset kannustimet kuitenkaan tuloksellisuuseroja, kun lähtökohtaisesti oletuksena on, että julkisorganisaatioissa toimivat henkilöt haluavat jo lähtökohtaisesti palvella muita, eivätkä niinkään ajaa omaa etuaan (Hillman ym. 2018, 165)?

Tulosperusteinen rahoitusmalli haastaa korkeakouluja uudistamaan toimintaa. Todellisen muutoksen tekemiseen ja tuloksien parantamiseen tarvitaan kuitenkin ymmärrystä organisaatiomuutoksesta korkeakouluissa ja toisaalta myöskin tulosperusteisen rahoitusmallin toimintalogiikan tuntemusta. Uudistetun rahoituksen myötä korkeakoulut panostavat tietotuotantoon ja tiedolla johtamiseen aikaisempaa enemmän (Dougherty ym. 2014). Haasteena on kuitenkin se, että tuloksien parantaminen ei ole helposti ratkaistu. Esimerkiksi keskeyttäneiden määrän vähentäminen vaatii monenlaisia toimenpiteitä ja eri korkeakoulun sisäisien agenttien yhteistyötä (Hillman ym. 2015). Jos organisaatioilta puuttuu taloudellinen tasapaino, tarvittava osaaminen ja resurssit, sekä ymmärrys ja asiantuntijuus siitä, kuinka toivottuihin tuloksiin päästään, tulosvertailussa menestyminen on erittäin vaikeaa (Hillman ym. 2014; Pheatt ym. 2014; Kivistö & Kohtamäki 2016). Onko korkeakoulujen välinen kilpailu tänä päivänä niin kovaa, että heikosti menestyvät korkeakoulut joutuvat resurssipaineiden vuoksi keskittymään sisäisen kehittämisen sijasta selviytymiseen? Millaisia sivuvaikutuksia tulosperusteinen rahoitus aiheuttaa korkeakoulujen toimintaan, ja ilmenevätkö negatiiviset sivuvaikutukset vahvemmin esimerkiksi heikosti menestyvissä korkeakouluissa?  

Tulosperusteisen rahoituksen sivuvaikutukset korkeakoulujen toimintaan

Tulosperusteisen rahoitusmallin lähtökohtana ovat taloudelliset kannustimet ja perusoletus siitä, että organisaatiot kykenevät tekemään parempaa tulosta (Hillman ym. 2014). Vaikka tuloksiin pohjautuvan rahoitusmallin positiivisista vaikutuksista varsinaisiin korkeakoulujen toiminnan tuloksiin on kansainvälisellä tutkimuskentällä vähän näyttöä, on kansainvälisesti kuitenkin tiedossa, että tulosperusteinen rahoitus vaikuttaa organisaatioiden käyttäytymiseen ja toimintaperiaatteisiin (Dougherty ym. 2014; Lahr ym. 2014; Miller 2016; Pisár & Šipikal 2017). Selkeästi laajempaa tutkimustietoa tarvitaan kuitenkin mallin todellisista sivuvaikutuksista ja siitä, millaiseen toimintaan ja käyttäytymiseen järjestelmä todellisuudessa kannustaa (Kivistö & Kohtamäki 2015, 2016; Seuri & Vartiainen 2018). Esimerkiksi tutkintotuoton painotus on toiseen asteen oppilaitoksissa Yhdysvalloissa kasvattanut lyhytkestoisten koulutuskokonaisuuksien määrää, eikä varsinaisia kokonaisia tutkintoja, mikä yhteiskunnallisesti ja työelämän tarpeiden näkökulmasta ei välttämättä tässä vaiheessa nuoren opintopolkua ole toivottu suunta (Li & Kennedy 2018).

Tulosperusteisen rahoituksen myötä positiiviset ja myös haasteellisemmat ilmiöt ovat osa korkeakoulutuksen arkea. Tulosperusteisuuden myötä korkeakoulut panostavat aikaisempaa enemmän opiskelijapalveluihin ja opiskelijoiden ohjaukseen, kampuskehitykseen, opintojaksojen sisältöön, opetuksen kehittämiseen ja esimerkiksi opintojen etenemisen seurantaan (Dougherty & Reddy 2011, 2013; Dougherty ym. 2014). Korkeakoulut myös purkavat aikaisempaa aktiivisemmin esteitä opintojen etenemisen tieltä ja lakkauttavat heikosti menestyviä ja huonosti työllistäviä koulutusohjelmia (Dougherty ym. 2014). Tätä kautta rahoitusmallin kannustimet näyttäisivät tukevan opintojen edistämistä sekä toiminnan priorisointia ja profilointia, kun korkeakoulujen sisäisen rahanjaon kautta arvotetaan toimintoja ja tehdään linjauksia siitä, mihin toimintoihin halutaan erityisesti panostaa (Jongbloed 2008). Kilpailun keskellä korkeakoulujen välinen yhteistyö on kuitenkin vaarassa vähentyä ja rohkeat uudet kokeilut ja terävä profiloituminen vaativat entistä enemmän rohkeutta, koska rahoitusmalli suosii pikemminkin menestyjiä, eikä haastajia (Jongbloed 2008, 16-17). Toisaalta Suomessa tulosperusteinen rahoitus on kannustanut myöskin kumppanuuksien kehittämiseen ja niiden syventämiseen (OKM 2018, 80). Tästä konkreettisena esimerkkinä on esimerkiksi LUT-korkeakoulujen rakentuminen vuoden 2018 alusta, sekä Lahden ja Saimaan ammattikorkeakoulujen ennakoitu fuusioituminen vuoden 2020 alusta. Tiiviimmän yhteistyön ja fuusion kautta haetaan monenlaisia synergiaetuja, joiden toivotaan vauhdittavan menestymistä myöskin rahoituskilpailussa.

Tuloksiin perustuva rahoitusmalli korostaa toiminnan tehokkuutta ja laatua määrällisten tuloksien kautta (Seuri & Vartiainen 2018). Erityisesti sellaisissa rahoitusjärjestelmissä, joissa rahoitus painottuu vahvasti tutkintojen ja opintopisteiden määrään, kuten suomalaisissa ammattikorkeakouluissa, koulutuksen laatu voi olla vaarassa ja korkeakouluja saattaa uhata akateemisten standardien lasku (Dougherty & Reddy 2013; Dougherty ym. 2014; Lahr ym. 2014; Ziegele 2013; Miller 2016). Tulospaineista johtuen akateemisten standardien lasku on vaarana erityisesti vähemmän vetovoimaisissa korkeakouluissa (Dougherty ym. 2014).  Koska tulosperusteisessa rahoitusmallissa ei mitata oppimisen laatua, opintojaksojen läpäisyrimaa saatettaan laskea kurssisuoritusten kasvattamiseksi (Dougherty ym. 2014; Ziegele 2013; Seuri & Vartiainen 2018). Tällaiset vaikutukset näyttäytyvät kansainvälisillä kentillä vähintäänkin potentiaalisina tulevaisuuden vaikutuksina (Lahr ym. 2014).

Opetus- ja kulttuuriministeriön tuore selvitys kertoo siitä, että Suomessa ammattikorkeakoulujen henkilökunta on johtoa kriittisempi rahoitusmallin sivuvaikutuksista. Heidän mielestään malli on vähentänyt opetuksen ja ohjauksen resursseja ja lisännyt keskittymistä keskeisiin tulosmittareihin opetuksen laadun kustannuksella (OKM 2018, 43). Myös opiskelijat ovat sitä mieltä, että opetuksen laatuun kiinnitetään huomiota aikaisempaa vähemmän (OKM 2018, 55). Tulosrahoitusta käytettäessä oletetaan, että korkeakoulut suuntaavat toimintaansa tulosten tuottamiseen rahoituksen perusteena käytettyjen indikaattoreiden mukaisesti (Kivistö 2014, 210). Tulokset eivät kuitenkaan kerro sitä, millaisia tuloksiin pohjautuvan rahoitusmallin sivuvaikutukset ovat korkeakoulujen toimintaan, kun ne pyrkivät pärjäämään tulosvertailuissa. Esimerkiksi Slovakiassa tulosperusteinen rahoitus on kasvattanut julkaisutoimintaa, mutta samaan aikaan pääpaino on julkaisujen määrässä, eikä niiden laadussa (Pisár & Šipikal 2017). Onko todellisuudessa niin, että määrällistä tulosta tehdäänkin jokin toisen asian, kuten laadun kustannuksella? Onko tämä ennalta toivottu ilmiö, vai pikemminkin rahoitusmallin tuoma haasteellinen sivuvaikutus? Tulosperusteisen rahoituksen ennalta suunnittelemattomia sivuvaikutuksia on ehdottoman tarpeellista tutkia lisää (Umbricht ym. 2017, 666). Näyttäytyvätkö tietynlaiset negatiiviset sivuvaikutukset vahvemmin tietynlaisissa korkeakouluorganisaatioissa?

Tutkimusta tarvitaan kansallisesti ja kansainvälisesti

Tulosperusteinen rahoitusmalli on muokannut korkeakoulujen ansaintalogiikkaa Suomessa ja haastanut ammattikorkeakouluja kilpailemaan ja uudistumaan. Kansainvälisesti vertaillen suomalaisten ammattikorkeakoulujen tulosperusteinen rahoitusmalli on äärimmilleen tuloksellisuuteen perustuva ja sitä kautta suomalaista ammattikorkeakoulukenttää tutkimalla saadaan tärkeää tietoa siitä, miten tulosperusteinen rahoitus näyttäytyy korkeakoulujen toiminnassa. Valtakunnallista tilastotietoa analysoimalla on selvää, että suomalaiset ammattikorkeakoulut ovat tehostaneet tuloksellisuuttaan uuden rahoitusmallin myötä. Toiset korkeakouluista menestyvät kuitenkin paremmin kuin toiset – mitkä sisäiset ja ulkoiset tekijät mahdollisesti selittävät tämän? Mihin korkeakoulujen kannattaa panostaa, jotta tuloskehitys saadaan huippuunsa?

Tutkimustietoa tarvitaan lisäksi siitä, millaisia sivuvaikutuksia tulosperusteinen rahoitusmalli todellisuudessa aiheuttaa, eli minkälaisia ovat tulosperusteisen rahoitusmallin ja sen taloudellisten kannustimien kausaaliset seuraukset korkeakoulujen toiminnalle ja käyttäytymiselle (Kivistö & Kohtamäki 2015, 2016). Millaisia sivuvaikutuksia rahoituksella on kokonaisuudessaan korkeakoulujen toimintaan ja suomalaiseen korkeakoulukenttään, ja onko esimerkiksi niin, että ammattikorkeakoulujen on hankalampi ylläpitää samanlaista koulutuksen laatutasoa ja akateemisia osaamisvaatimuksia kuin aikaisemmin? Mikäli tästä löytyisi näyttöä, pitkällä tähtäimellä vaarana voisi esimerkiksi olla se, että tulevaisuudessa ammattikorkeakouluopiskelija Suomessa valmistuu aikaisempaa heikommilla osaamisilla, koska korkeakoulujen tulospaineiden vuoksi kaikki opiskelijat on saatava etenemään opinnoissaan mahdollisimman nopeasti. Tämä johtaisi amk-tutkintojen validiuden heikkenemiseen suhteessa työmarkkinoihin ja pitkällä tähtäimellä murentaisi luottamusta ammattikorkeakoulujen tuottamaan koulutukseen. Tämä on uhkakuva, jonka tuskin kukaan haluaa realisoituvan.

Tulosperusteisuus korkeakoulurahoituksen lähtökohtana on tällä hetkellä trendikästä niin Suomessa kuin kansainvälisesti. Tutkimustietoa aiheesta on rajoitetusti ja sitä tarvitaan kipeästi lisää niin kotimaan kamaralta kuin muista maista. Tulosperusteisuus on tuonut korkeakoulujärjestelmäämme lisää särmikyyttä ja mitattavuutta, mutta uhkakuvat on myös tärkeä hahmottaa. Suomalainen korkeakoululaitos on maailman luokkaa ja tähän suuntaan haluamme luonnollisesti kehittää sitä myös jatkossa.

Lähteet

Dougherty, K. & Reddy, V. 2011. The Impacts of State Performance Funding Systems on Higher Education Institutions: Research Literature Review and Policy Recommendations. CCRC Working Paper No. 37. New York, NY: Teachers College, Columbia University. [Viitattu 3.10.2018]. Saatavissa: https://ccrc.tc.columbia.edu/publications/impacts-state-performance-funding.html

Dougherty, K. & Reddy, V. 2013. Performance funding for higher education: What are the mechanisms? What are the impacts? ASHE Higher Education Report. Vol. 39(2), 109–124. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1002/aehe.20008

Dougherty, K., Jones, S., Lahr, H., Natow, R., Pheatt, L. & Reddy, V. 2014. Performance Funding for Higher Education: Forms, Origins, Impacts and Futures. The ANNALS of the American Academy of Political and Social Science. Vol. 655(1), 163–184. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1177/0002716214541042

Hillman, N., Fryar, A. & Crespin-Trujillo, V. 2018. Evaluating the Impact of Performance Funding in Ohio and Tennessee. American Educational Research Journal. Vol. 55(1), 144–170. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.3102/0002831217732951

Hillman, N., Tandberg, D. & Fryar, A. 2015. Evaluating the impacts of “new” performance funding  in higher education. Educational Evaluation and Policy Analysis. Vol. 37(4), 501–519. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.3102/0162373714560224

Hillman, N., Tandberg, D. & Gross, J. 2014. Performance funding in higher education: Do financial  incentives impact college completions? Journal of Higher Education. Vol. 85(6), 826–857. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1080/00221546.2014.11777349

Jongbloed, B. 2008. Performance-oriented Budgeting in Europe: Trends, Effects and Consequences. Zeitschrift fuer Hochschulentwicklung. Vol. 3(1), 1–18. [Viitattu 3.10.2018]. Saatavissa: https://research.utwente.nl/en/publications/performance-oriented-budgeting-in-europe-trends-effects-and-conse-2

Kettunen, J. 2016. The Performance-Based Funding Scheme of Universities. Management Dynamics in the Knowledge Economy. Vol. 4(1), 109–124. [Viitattu 3.10.2018]. Saatavissa: http://www.managementdynamics.ro/index.php/journal/article/view/151

Kivistö, J. 2014. Korkeakoulurahoitus. Teoksessa E. Pekkola, J. Kivistö & V. Kohtamäki, (toim.)   Korkeakouluhallinto: Johtaminen, talous ja politiikka, 198–224. Helsinki: Gaudeamus.

Kivistö, J. & Kohtamäki, V. 2015. Impacts of performance-based funding on higher education institutions: a literature review. Paper presented at the EAIR 37th Annual Forum 30.8.2018, Krems, Austria. [Viitattu 3.10.2018]. Saatavissa: https://www.researchgate.net/publication/281463975_Impacts_of_performance-based_funding_on_higher_education_institutions_A_literature_review

Kivistö, J. & Kohtamäki, V. 2016. Does Performance-Based Funding Work? Reviewing the Impacts of Performance-Based Funding on Higher Education Institutions. Teoksessa: R., Pritchard, A. Pausits & J.   Williams (eds.), Positioning Higher Education Institutions: From Here to There. Rotterdam: Sense Publishers. 215–226. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1007/978-94-6300-660-6_12

Laffont, J. & Martimort, D. 2002. The Theory of Incentives: The Principal-Agent Model. Princeton and Oxford: Princeton University Press. [Viitattu 3.10.2018]. Saatavissa: https://www.researchgate.net/publication/31737757_The_Theory_of_Incentives_The_Principal-Agent_Model_JJ_Laffont_D_Martimort

Lahr, H., Pheatt, L., Dougherty K., Jones, S., Natow, R. & Reddy, V. 2014. Unintended impacts of performance funding on community colleges in three states. New York, NY: Community College Research Center, Teachers College, Columbia University. [Viitattu 3.10.2018]. Saatavissa: https://ccrc.tc.columbia.edu/publications/unintended-impacts-performance-funding.html

Levačič, R. 2009. Teacher Incentives and Performance: An application of Principal-Agent Theory. Oxford Development Studies. Vol. 37 (1), 33–46. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1080/13600810802660844

Li, A. & Kennedy, A. 2018. Performance Funding Policy Effects on Community College Outcomes: Are Short-Term Certificates on the Rise? Community College Review. Vol. 46(1), 3–39. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1177/0091552117743790

Miller, T. 2016. Higher Education Outcomes-based Funding Models and Academic Quality. [Viitattu 3.10.2018]. Saatavissa: https://www.luminafoundation.org/files/resources/ensuring-quality-1.pdf

Opetus- ja kulttuuriministeriö. 2015. Ehdotus ammattikorkeakoulujen rahoitusmalliksi 2017 alkaen. Helsinki: Opetus- ja kulttuuriministeriö. Opetus- ja kulttuuriministeriön työryhmämuistioita ja selvityksiä 2015:18. [Viitattu 3.10.2018]. Saatavissa: http://julkaisut.valtioneuvosto.fi/handle/10024/75159

Opetus- ja kulttuuriministeriö. 2018. Ammattikorkeakoulu-uudistuksen arviointi. Loppuraportti. Helsinki: Opetus- ja kulttuuriministeriö. Opetus- ja kulttuuriministeriön julkaisuja 2018:32. [Viitattu 3.10.2018]. Saatavissa: http://urn.fi/URN:ISBN:978-952-263-588-4

Pheatt, L., Lahr, H., Dougherty, K., Jones, S., Natow, R. & Reddy, V. 2014. Obstacles to the effective implementation of performance funding in community colleges in three states. New York, NY: Community College Research Center, Teachers College, Columbia University. [Viitattu 3.10.2018]. Saatavissa: https://ccrc.tc.columbia.edu/publications/obstacles-to-performance-funding-implementation.html

Pisár, P. & Šipikal, M. 2017. Negative Effects of Performance Based Funding of Universities: The Case of Slovakia. NISPAcee Journal of Public Administration and Policy. Vol. 10(2), 171–189. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1515/nispa-2017-0017

Pääkkönen, J. 2010. Koulutuksen markkinoilla – arvioita korkeakoulujen tehokkuuseroista ja niiden syistä. Valmisteluraportit 6. Helsinki: Valtion taloudellinen tutkimuskeskus. [Viitattu 3.10.2018]. Saatavissa: http://urn.fi/URN:ISBN:978-951-561-949-5

Salminen, H. & Ylä-Anttila, P. 2010. Ammattikorkeakoulujen taloudellisen ja hallinnollisen aseman uudistaminen. Selvityshenkilöiden raportti. Helsinki: Opetus- ja kulttuuriministeriö. Opetus- ja kulttuuriministeriön julkaisuja 2010:23. [Viitattu 3.10.2018]. Saatavissa: http://urn.fi/URN:ISBN:978-952-485-968-4

Seuri, A. & Vartiainen, H. 2018. Yliopistojen rahoitus, kannustimet ja rakennekehitys. Talouspolitiikan arviointineuvoston taustaraportti. Helsinki: Talouspolitiikan arviointineuvosto. [Viitattu 3.10.2018]. Saatavissa: https://www.talouspolitiikanarviointineuvosto.fi/wordpress/wp-content/uploads/2018/01/Seuri_Vartiainen_2018-1.pdf

Umbricht, M., Fernandez, F. & Ortagus J. 2017. An Examination of the (Un)Intended Consequences of Performance Funding in Higher Education. Educational policy. Vol. 31(5), 643–675. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1177/0895904815614398

Vasikainen, S. 2014. Performance Management of The University Education Process. Oulu: University of Oulu. [Viitattu 3.10.2018]. Saatavissa: http://jultika.oulu.fi/files/isbn9789526206189.pdf

Zielele, F. 2013. European Trends in Performance-Oriented Funding. Teoksessa: S. Bergan, E. Egron-Polak, J. Kohler & L. Purse (eds.), Leadership and Governance in Higher Education – Handbook for Decision-makers and Administrators. Berlin: Raabe. 71-88. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1111/j.1468-2273.2011.00502.x

Kirjoittaja

Henna Eskonsipo-Bradshaw toimii kehittämispäällikkönä Lahden ammattikorkeakoulussa ja vuodesta 2019 alkaen jatko-opiskelijana Tampereen yliopiston johtamiskorkeakoulussa. Tämä julkaisu on osa väitöskirjan tutkimussuunnitelmaa ”Tulosperusteisen rahoitusmallin vaikutukset ammattikorkeakoulujen toimintaan”. Väitöskirjatutkimuksessa tutkitaan tuloksiin perustuvan rahoituksen (performance based funding) vaikutuksia suomalaisten ammattikorkeakoulujen toimintaan. Empiirisen aineiston avulla, ja päämies-agenttiteoria (principal agent theory) tutkimustyön teoreettisena viitekehyksenä, tutkimuksessa pureudutaan ammattikorkeakoulujen tuloksellisuuden kehittymiseen uuden rahoitusjärjestelmän myötä, korkeakoulujen tuloksellisuuseroihin ja niitä selittäviin tekijöihin, sekä tulosperusteisen rahoituksen sivuvaikutuksiin.

Artikkelikuva: https://pixabay.com/fi/photos/rahaa-kolikko-investoinnit-2724241/ (Pixabay Licence)

Julkaistu 22.5.2019


Viittausohje

Eskonsipo-Bradshaw, H. 2019. Tulosperusteinen ammattikorkeakoulurahoitus: korkeakoulujen sisäiset ja ulkoiset menestystekijät sekä rahoituksen sivuvaikutukset. LAMK RDI Journal. [Viitattu ja pvm]. Saatavissa:
http://www.lamkpub.fi/2019/05/22/tulosperusteinen-ammattikorkeakoulurahoitus:-korkeakoulujen-sisaiset-ja-ulkoiset-menestystekijat-seka-rahoituksen-sivuvaikutukset/

Tulosperusteinen rahoitus valtion ohjausmekanismina suomalaisissa ammattikorkeakouluissa

Suomalainen korkeakoulukenttä on ollut merkittävien uudistuksien kohteena viime vuosina. Vuonna 2014 ammattikorkeakouluille lanseerattiin uusi tulosperusteinen rahoitusmalli, joka kansainvälisestikin vertaillen on poikkeuksellisen vahvasti tuloksiin perustuva. Aikaisemmin ammattikorkeakoulujen rahoitus perustui opiskelijoiden määrään ja koulutuksen kustannuksiin, mutta nyt automaattisia kassavirtoja ei ole, vaan valtion perusrahoitusta saadakseen korkeakoulujen on tehtävä tulosta eri indikaattoreilla. Uusi rahoitusmalli on tuonut mukanaan korkeakoulujen selvästi aikaisempaa kovemmat toiminnalliset ja taloudelliset paineet. Tilastot osoittavat, että ammattikorkeakoulujen tuloksellisuus on uuden rahoitusjärjestelmän myötä parantunut, mutta tutkimustietoa tarvitaan laajemmin siitä, millä tavoin tulosta on tehty, ja miten nykyinen rahoitusjärjestelmä vastaa siihen alun perin asetettuihin tavoitteisiin.

Kirjoittaja: Henna Eskonsipo-Bradshaw


Johdanto

Suomessa toteutettiin ammattikorkeakoulu-uudistus vuosina 2014-2015. ”Uudistuksen tavoitteena oli luoda lainsäädännölliset puitteet ja toiminnalliset edellytykset entistä vahvemmille ammattikorkeakouluille osaajien kouluttajina, alueellisen kilpailukyvyn rakentajina, työelämän uudistajina ja innovaatioiden kehittäjinä. — Ammattikorkeakoulujen rahoitus uudistettiin tukemaan nykyistä paremmin koulutuksen tavoitteita, kuten opetuksen ja tutkimuksen laadun parantamista” (OKM 2018a, 3). Osana ammattikorkeakoulu-uudistusta kaikki ammattikorkeakoulut osakeyhtiöitettiin, ja perusrahoituksen määräytymisperusteet uudistettiin uudistuksen ensimmäisessä vaiheessa. Vuoteen 2014 asti ammattikorkeakoulujen rahoitus muodostui valtion ja kuntien rahoitusosuudesta ja vuodesta 2015 alkaen vastuu perusrahoituksesta siirtyi valtiolle (OKM 2018a, 23-26). Opetus- ja kulttuuriministeriön kanssa käytävät sopimusneuvottelut, ammattikorkeakoulujen ja ministeriön väliset sopimukset sekä tulosperusteinen rahoitusmalli ohjaavat nyt vahvasti ammattikorkeakoulujen toimintaa.

Rahoitus on korkeakoulujen ohjauksen keskeisin väline (Kivistö 2014, 198). Nykyisellään opetus- ja kulttuuriministeriö vastaa ammattikorkeakoulujen perusrahoituksen jakamisesta ja tuloksiin perustuva rahoitusmalli on ministeriön merkittävin korkeakouluohjauksen työkalu (OKM 2018a, 45). Perinteisen kustannusperusteisen rahoituksen tilalle rakennetun rahoitusjärjestelmän tavoitteena on ohjata korkeakouluja ja ennen kaikkea tehostaa niiden toimintaa (Salminen & Ylä-Anttila 2010). Ammattikorkeakoulujen uusi rahoitusmalli on kansainvälisestikin vertaillen poikkeuksellisen vahvasti tuloksellisuuteen perustuva. Mallissa korostuvat vahvasti tutkintojen ja opintopisteiden määrä tärkeimpinä tuloksellisuuden mittareina ja lähtökohtaisesti on selvää, että tulosperusteinen rahoitusmalli on lisännyt ammattikorkeakoulujen tuloksellisuutta ja tehokkuutta (OKM 2018a, 77). 

Tulosperusteisen rahoituksen lähtökohdat ammattikorkeakouluissa

Korkeakoulurahoitus on julkishallinnon tärkeä työkalu ja ohjausmekanismi. Rahoituksella mahdollistetaan korkeakoulujen toiminta, ja sitä sääntelemällä ja kohdentamalla ohjataan korkeakouluja käyttäytymään halutulla tavalla ja tekemään tietynlaisia valintoja. (Kivistö 2014, 198) Myös poliittiset tavoitteet laitetaan käytäntöön julkisen rahoituksen kautta (Kettunen 2016, 113).

Päämies-agenttiteorian mukaisesti valtio ja korkeakoulut toimivat suhteessa, jossa valtio on päämies ja korkeakoulut sen agentteja (Kivistö 2007; Lane & Kivistö 2008). Teorian mukaisesti valtio pyrkii sopimuksien ja rahoituksen avulla varmistamaan, että korkeakouluagentit tuottavat toivottuja tuloksia (Ross 1973; Kivistö 2007; Lane & Kivistö 2008; Hillman ym. 2015; Hillman ym. 2018). Vaikka korkeakoulu-uudistuksen myötä ammattikorkeakoulut osakeyhtiöitettiin ja niistä tuli itsenäisiä oikeustoimihenkilöitä, valtio on edelleen ammattikorkeakoulujen suurin rahoittaja ja sitä kautta päämiehen roolissa. Teoreettisesti korkeakoulut voisivat hankkia ulkoista rahoitusta niin paljon, että ne eivät olisi enää resurssiriippuvaisia valtiosta, mutta käytännössä tämä on kuitenkin toisin. Päämiehenä valtio pyrkii sopimuksien ja rahoituksen avulla varmistamaan, että toivottuja tuloksia syntyy (Lane & Kivistö 2008; Hillman ym. 2015; Hillman ym. 2018). Taloudelliset kannustimet pyrkivät ohjaamaan sitä, millaisia nämä tulokset ovat (Jongbloed 2008; Seuri & Vartiainen 2018). Tulosperusteisen rahoituksen peruslähtökohtana on se, että organisaatiolle on luontaista toimia taloudellisten kannustimien mukaisesti ja maksimoida toimintaansa, sillä tätä kautta se saa enemmän rahaa ja turvaa itselleen paremman taloudellisen tilanteen (Dougherty & Reddy 2011). Tätä suhdetta kuvastaa vahva resurssiriippuvuus, joka korostuu erityisen vahvasti suomalaisten ammattikorkeakoulujen toiminnassa.

Korkeakoulujen perinteinen kustannuspohjainen rahoitusjärjestelmä perustui sisään otettavaan opiskelijamäärään ja koulutuksen kustannuksiin, eikä kannustanut korkeakouluja tehokkaaseen toimintaan, vaan pikemminkin kustannusten kasvattamiseen. Nyt ansaintalogiikka on muuttunut ja toiminnan tuloksia vahvasti korostamalla uudistetun ammattikorkeakoulujen rahoitusjärjestelmän tavoitteena on ohjata ja tehostaa korkeakoulujen toimintaa, lyhentää opiskeluaikoja, vähentää keskeyttäneiden opiskelijoiden määrää ja parantaa koulutuksen laatua. (Salminen &Ylä-Anttila 2010, 19) Automaattisia kassavirtoja ei enää ole, vaan 94% ammattikorkeakoulun perusrahoituksesta syntyy tehtyjen tuloksien kautta. Tuloksia mitataan useammalla eri rahoitusindikaattorilla ja perusrahoitus korkeakoulujen kesken jaetaan niin, että keskimääräistä tuloksellisemmat, tehokkaammat ja vaikuttavammat korkeakoulut saavat enemmän rahaa (OKM 2015, 10).

Kuva 1. Ammattikorkeakoulujen rahoitusmalli vuodesta 2017 alkaen (OKM 2018b)

Tuloksiin perustuva rahoitusmalli on korkeakoulujen käytössä yhä useammissa eri maissa (Jongbloed 2008; Ziegele 2013; Kivistö & Kohtamäki 2015, 2016). Ammattikorkeakoulujen nykyinen tuloksiin perustuva rahoitusmalli perustuu kansainvälisestikin vertaillen kuitenkin poikkeuksellisen vahvasti korkeakoulujen tekemiin tuloksiin. Monissa muissa maissa tuloksiin perustuvan rahoituksen osuus on vain osa koko korkeakoulun perusrahoituksesta. Esimerkiksi Tanskassa 60% ja Alankomaissa vain 27-32% rahoituksesta perustuu tuloksiin ja loput rahoituksesta tulevat muiden rahoitusmekanismien kautta (Ziegele 2013; Kivistö & Kohtamäki 2016). Amerikassa käytännöt vaihtelevat eri osavaltioissa pienemmistä tulosperusteisuusosuuksista vähän suurempiin (Hillman ym. 2018).

Suomalaisissa yliopistoissa on käytössä ammattikorkeakoulujen kaltainen rahoitusmalli, joskin erilaisilla indikaattoreilla ja painotuksilla. Ammattikorkeakoulujen rahoitusmittareiden painotus on erittäin vahvasti koulutustehtävässä ja selvästi tärkeämmät rahoitusindikaattorit ovat suoritettujen tutkintojen määrä (40% koko rahoituksesta) sekä 55 opintopistettä lukuvuoden aikana suorittaneiden opiskelijoiden määrä (23% koko rahoituksesta). Yliopistopuolella tutkimustoiminta korostuu vahvemmin ja rahoituksen painotukset on jaettu tasaisemmin useammille eri tehtäville ja indikaattoreille. Ammattikorkeakoulujen ja yliopistojen rahoituksen erona on myös se, että yliopistopuolella tulosperusteisen rahoituksen osuus on 72%, mikä on huomattavasti vähemmän kuin ammattikorkeakouluissa (OKM 2018b). Kokonaisuudessaan ammattikorkeakoulujen ja yliopistojen tehtävät ovat erilaiset (Ammattikorkeakoululaki 932/2014, Yliopistolaki 558/2009). Tulosperusteiseen rahoitukseen liittyvää tutkimustietoa on yliopistopuolelta saatavilla jonkin verran, mutta ammattikorkeakoulupuolelta tieto on vähäistä ja siksi ammattikorkeakoulukentän laajempi tutkiminen aiheen tiimoilta tukisi koko suomalaisen korkeakoulujärjestelmän kehittämistä (Kettunen 2016; Seuri &Vartiainen 2018).

Niin suomalaisten ammattikorkeakoulujen kuin yliopistojenkin tulosperusteista rahoitusmallia on muutettu ja kehitetty lyhyen historian aikana. Yliopistojen rahoitusmalli on kompleksinen ja siihen on vuosien kuluessa tuotu uusia elementtejä paikkaamaan ei niin onnistunutta mallia (Melin ym. 2015). Myös ammattikorkeakoulujen laskentakriteereitä on uudistettu. Ammattikorkeakoulujen alkuperäistä tulosperusteista rahoitusmallia päivitettiin ministeriön toimesta vuonna 2017 ja seuraava uudistus astuu voimaan sopimuskaudelle 2021-2024. Miksi mallia on tarpeen muuttaa enemmän ja vähemmän säännöllisesti – onko tuloksien saturaatiopiste saavutettu ja tuloskehitykseen kaivataan uutta spurttia, vai piileekö taustalla jotain muuta?

Tulosperusteinen rahoitus ja ammattikorkeakoulujen tuloskehitys

Tulosperusteisen rahoituksen vaikutuksia korkeakoulujen tuloksellisuuteen on tutkittu kansainvälisesti. Monet tutkimukset osoittavat, että tuloksiin pohjautuva rahoitus on pääsääntöisesti epäonnistunut korkeakoulujen tuloksien parantamisessa. Lyhyellä tähtäimellä tulosperusteinen rahoitus voi parantaa aikaansaannoksia ja lisätä korkeakoulujen tulosvastuullisuutta, mutta useampien, pääsääntöisesti amerikkalaisten tutkimuksien mukaisesti, se ei kuitenkaan juuri paranna korkeakoulujen tuloksia ja tehokkuutta (Jongbloed 2008; Dougherty & Reddy 2013; Sandford & Hunter 2013; Tandberg & Hillman 2013; Hillman ym. 2014; Lahr ym. 2014; Ruthford & Rabovsky 2014; Hillman ym. 2015; Kivistö & Kohtamäki 2015, 2016; Pisár & Šipikal 2017; Hillman ym. 2018). Esimerkiksi Indianan osavaltiossa tulosperusteinen rahoitus ei ole kasvattanut tutkintojen määrää, vaan sen sijaan esimerkiksi tiukentanut opiskelijavalintaa (Umbricht ym. 2017).

Huomioitavaa näissä tutkimustuloksissa on kuitenkin se, että niissä valtioissa ja osavaltioissa, joissa aiheeseen liittyvää tutkimustyötä on tehty aktiivisesti, tuloksiin sidotun rahoituksen osuus on verrattain pieni suhteessa koko korkeakoulun perusrahoitukseen (Kivistö & Kohtamäki 2016). Jotta tuloksiin pohjautuvan rahoituksen todellisesta toimivuudesta ja sen sivuvaikutuksista saadaan painavaa näyttöä, enemmän tutkimustietoa tarvitaankin sellaisista korkeakoulujärjestelmistä, joiden perusrahoitus on vahvasti tuloksiin perustuva, kuten esimerkiksi Suomessa (Dougherty ym. 2014; Rutherford & Rabovsky 2014). Koska suomalaisten ammattikorkeakoulun rahoitus perustuu erittäin vahvasti korkeakoulujen tekemiin tuloksiin, tuloksien tekeminen, ja ennen kaikkea tutkintojen ja opintopisteiden tuottaminen, on talouden näkökulmasta elintärkeää yksittäiselle ammattikorkeakoululle. Korkeakoulujen resurssiriippuvuus valtion rahoituksesta korostuu Suomessa erityisen vahvasti myös siksi, että Suomessa ei ole käytössä tutkintomaksuja (Kettunen 2016). Suomessa ainoastaan pieni opiskelijaryhmä, EU- ja ETA-maiden ulkopuolelta tulevat ulkomaalaiset opiskelijat, maksavat opinnoistaan. 

Toisin kuin kansainvälisissä tutkimustuloksissa, Suomessa tulosperusteinen rahoitus on vaikuttanut tuloksien kehittymiseen positiivisesti. Tämä juontaa mitä luultavammin juurensa siitä, että toisin kuin monissa muissa maissa, Suomessa tuloksiin perustuvan rahoituksen osuus perusrahoituksesta on erittäin merkittävä. Huolimatta siitä, että ammattikorkeakoulujen kokonaisrahoitus on vuosina 2012-2018 laskenut huimat 19%, ammattikorkeakoulujen tulossuunta on ollut nousujohteinen ja esimerkiksi tutkintoja suoritetaan henkilöstömäärään suhteutettuna aikaisempaa enemmän (OKM 2018a, 26). Kokonaisuudessaan ammattikorkeakoulujen tuloksellisuus on kehittynyt jo ennen rahoitusmalliuudistusta vuodesta 2010 alkaen, jolloin erityisesti tutkintojen määrä lähti kasvamaan, kun korkeakoulujen toimintaa alettiin jo etukäteen ohjata tulosperusteisen rahoitusmallin suuntaan. Huomionarvoista on kuitenkin se, että vuoden 2015 jälkeen tuloksellisuus ei ole enää noussut ja vuoteen 2016 sen kehitys on taittunut johtuen suoritettujen tutkintojen laskusta. (OKM 2018a, 39-40) Tästä herääkin väistämättä kysymys siitä, kuinka kauan tuloskehitys voi ylipäätään jatkua, onko luonnolliset keinot tulosten kasvattamiseen käytetty, ja pystytäänkö rahoitusmallia päivittämällä saavuttaman lisää toivottua tehokkuutta.

Seurin ja Vartiaisen tutkimus (2018) yliopistopuolta osoittaa, että myös suomalaisissa yliopistoissa tulokset ovat parantuneet tulosperusteisen rahoituksen myötä. Yliopistojen tuottavuus on parantunut kaikilla mittareilla erilaisista haasteista, sivuvaikutuksista ja koulutuksen rahoitusleikkauksista huolimatta. Tämä ammattikorkeakoulujen ja yliopistojen samansuuntainen tuloskehitys osoittaa, että suomalainen korkeakoululaitos on kokonaisuudessaan tehokas ja se on pystynyt vastaamaan tulosperusteisen rahoituksen taloudellisiin kannustimiin (Arene 2016).

Toinen tärkeä ammattikorkeakoulujen tuloksellisuuteen kytkeytyvä kysymys on korkeakoulujen tuloksellisuuserot. Ammattikorkeakoulujen tuloksellisuuseroja pystytään tarkastelemaan valtakunnallisen raportoinnin ja rahoitusmittarituloksien kautta, mutta syitä sille, miksi toiset pärjäävät paremmin kuin toiset, ei juuri tiedetä.  Tuloksiin perustuvan rahoituksen myötä korkeakoulujen rahoituspaineet ja korkeakoulujen välinen kilpailu kasvaa (Jongbloed 2008, 13). Ammattikorkeakoulujen vaikeudet tehdä valtion toivomaa tulosta ovat tuoneet tullessaan ammattikorkeakoulujen sisäiset yt-neuvottelut, jossa yt-neuvottelut juontavat hyvin selkeästi organisaation heikoista tuloksista rahoitusindikaattoreissa ja sitä kautta vähenevästä valtion rahoituksesta. Mitä toiset korkeakoulut ovat tehneet menestyksensä eteen? Mitkä sisäiset ja ulkoiset tekijät ylipäätään saattavat selittää menestymisiä ja epäonnistumisia rahoitusmittelössä?

Tutkimusta tarvitaan kansallisesti ja kansainvälisesti

Uusi rahoitusjärjestelmä on muokannut korkeakoulujen toimintakenttää ja toimintatapoja Suomessa. Äärimmäisen vahva tulosperustaisuus korkeakoulurahoituksessa on haastanut ammattikorkeakouluja kilpailemaan ja uusiutumaan ja se on saanut aikaan tehokkuuden ja tuottavuuden parantumista – toisin kuin monissa muissa maissa. Muissa maissa tuloksellisuuteen pohjautuvan rahoituksen osuus on usein huomattavasti pienempi ja siksi kansainvälisesti katsottuna enemmän tutkimustietoa kaivataan erityisesti sellaisista korkeakoulujärjestelmistä, joiden perusrahoitus on vahvasti tuloksiin perustuva (Dougherty ym. 2014; Rutherford & Rabovsky 2014). Tulosperusteisen rahoituksen vaikutuksista on tehty jonkin verran kansallista ja kansainvälistä tutkimusta, mutta huomioiden, että ammattikorkeakoulujen tulosperusteinen rahoitus muodostaa 94% koko ammattikorkeakoulujen perusrahoituksesta, on AMK-sektori erityisen tärkeä tutkimuskohde Suomessa (Kettunen 2016, 122).

Työ- ja elinkeinoelämällä on aito tarve ammatillisesti orientoituneelle ja korkeakoulutetulle työvoimalle. Vastakseen näihin tarpeisiin ja tulevaisuuden haasteisiin, sekä Korkeakoulutuksen ja tutkimuksen visioon laadukkaammasta, vaikuttavammasta ja kansainvälisemmästä suomalaisesta korkeakoulu- ja tutkimusjärjestelmästä 2030, suomalainen maailman luokan korkeakoululaitos tarvitsee ennakoitavissa olevat toiminnalliset ja taloudelliset puitteet sekä riittävät resurssit (Arene 2016: 5). Suomen korkeakoulujärjestelmän kannalta on äärimmäisen tärkeä selvittää, onko tulosperusteinen rahoitusmalli johdonmukainen suhteessa niihin tavoitteisiin, joita sille on asetettu (Seuri & Vartiainen 2018). Tärkeää on myös selvittää, miten muut onnistuneen rahoituksen mittarit, kuten rahoituksen strateginen ja kannustinperusteinen orientoituminen sekä esimerkiksi sen kyky tukea korkeakoulujen pitkän tähtäimen suunnittelua, toteutuvat (Arnhold yms. 2018). Mihin korkeakoulut panostavat nyt erityisesti, ja mikä on mahdollisesti jäänyt vähemmälle huomiolle?

Lähteet

Ammattikorkeakoululaki 932/2014. Finlex.[Viitattu 3.10.2018]. Saatavissa:   
https://www.finlex.fi/fi/laki/ajantasa/2014/20140932

Ammattikorkeakoulujen rehtorineuvosto Arene. 2016. Kohti maailman parasta korkeakoululaitosta.  Arenen rakenteellisen kehittämisen työryhmän raportti. [Viitattu 3.10.2018]. Saatavissa: https://drive.google.com/file/d/0Bz7GodyqOUp7TnBRVi1jdXRENms/view

Ammattikorkeakoulujen rehtorineuvosto Arene. 2018. Ammattikorkeakoulujen rahoitusvaikutukset  selvitettävä. [Viitattu 3.10.2018]. Saatavissa: http://www.arene.fi/uutiset/amk-rahoitusmallin-vaikutukset-selvitettava/   

Arnhold, N., Kivistö, J., Vossensteyn, H., Weaver, Jason, A. & Ziegele, F. 2018. Focus on performance – World Bank support to higher education in Latvia: System-level funding (English). Washington, D.C.: World Bank Group. [Viitattu 3.10.2018]. Saatavissa: http://documents.worldbank.org/curated/en/698651524226762400/System-level-funding

Bryman A. & Bell E. 2011. Business Research Methods. Third edition. Oxford: Oxford University Press.

Cai, Y. 2018. What drives the choices of mixed methods in higher education research? Teoksessa: E. Pekkola, J. Kivistö, V. Kohtamäki, Y. Cai & A. Lyytinen. Theoretical and Methodological Perspectives on Higher Education Management and Transformation. An advanced reader for PhD students. Tampere: Tampere University Press. 29–50.

Creswell, J. 2009. Research design. Qualitative, quantitative and mixed methods approaches. Third edition. London: Sage Publications.

Creswell, J. & Tashakkori, A. 2007. Exploring the Nature of Research Questions in Mixed Methods Research. Journal of Mixed Methods Research. Vol. 1(3), 207-211. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1177/1558689807302814

Dougherty, K. & Reddy, V. 2011. The Impacts of State Performance Funding Systems on Higher Education Institutions: Research Literature Review and Policy Recommendations. New York, NY: Teachers College, Columbia University. CCRC Working Paper No. 37. [Viitattu 3.10.2018]. Saatavissa: https://ccrc.tc.columbia.edu/publications/impacts-state-performance-funding.html

Dougherty, K. & Reddy, V. 2013. Performance funding for higher education: What are the mechanisms? What are the impacts? ASHE Higher Education Report. Vol. 39(2), 109–124. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1002/aehe.20008

Dougherty, K., Jones, S., Lahr, H., Natow, R., Pheatt, L. & Reddy, V. 2014. Performance Funding for Higher Education: Forms, Origins, Impacts and Futures. The ANNALS of the American Academy of Political and Social Science. Vol. 655(1), 163–184. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1177/0002716214541042

Hillman, N., Fryar, A. & Crespin-Trujillo, V. 2018. Evaluating the Impact of Performance Funding in Ohio and Tennessee. American Educational Research Journal. Vol. 55(1), 144–170. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.3102/0002831217732951

Hillman, N., Tandberg, D. & Fryar, A. 2015. Evaluating the impacts of “new” performance funding  in higher education. Educational Evaluation and Policy Analysis. Vol. 37(4), 501–519. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.3102/0162373714560224

Hillman, N., Tandberg, D. & Gross, J. 2014. Performance funding in higher education: Do financial  incentives impact college completions? Journal of Higher Education. Vol. 85(6), 826–857. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1080/00221546.2014.11777349

Jongbloed, B. 2008. Performance-oriented Budgeting in Europe: Trends, Effects and Consequences. Zeitschrift fuer Hochschulentwicklung. Vol. 3(1), 1–18. [Viitattu 3.10.2018]. Saatavissa: https://research.utwente.nl/en/publications/performance-oriented-budgeting-in-europe-trends-effects-and-conse-2

Kettunen, J. 2016. The Performance-Based Funding Scheme of Universities. Management Dynamics in the Knowledge Economy. Vol. 4(1), 109–124. [Viitattu 3.10.2018]. Saatavissa: http://www.managementdynamics.ro/index.php/journal/article/view/151

Kivistö, J. 2007. Agency Theory as a Framework for the Government-University Relationship. Tampere: University of Tampere. [Viitattu 3.10.2018]. Saatavissa: http://tampub.uta.fi/handle/10024/67724

Kivistö, J. 2014. Korkeakoulurahoitus. Teoksessa: E. Pekkola, J. Kivistö & V. Kohtamäki, (toim.)  Korkeakouluhallinto: Johtaminen, talous ja politiikka. Helsinki: Gaudeamus. 198–224.

Kivistö, J. & Kohtamäki, V. 2015. Impacts of performance-based funding on higher education institutions: a literature review. Paper presented at the EAIR 37th Annual Forum 30.8.2018, Krems, Austria. [Viitattu 3.10.2018]. Saatavissa: https://www.researchgate.net/publication/281463975_Impacts_of_performance-based_funding_on_higher_education_institutions_A_literature_review

Kivistö, J. & Kohtamäki, V. 2016. Does Performance-Based Funding Work? Reviewing the Impacts of Performance-Based Funding on Higher Education Institutions. Teoksessa: R. Pritchard, A. Pausits & J. Williams (eds.), Positioning Higher Education Institutions: From Here to There. Rotterdam: Sense Publishers. 215–226. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1007/978-94-6300-660-6_12

Laffont, J. & Martimort, D. 2002. The Theory of Incentives: The Principal-Agent Model. Princeton and Oxford: Princeton University Press. [Viitattu 3.10.2018]. Saatavissa: https://www.researchgate.net/publication/31737757_The_Theory_of_Incentives_The_Principal-Agent_Model_JJ_Laffont_D_Martimort

Lahr, H., Pheatt, L., Dougherty K., Jones, S., Natow, R. & Reddy, V. 2014. Unintended impacts of performance funding on community colleges in three states. New York, NY: Community College Research Center, Teachers College, Columbia University. [Viitattu 3.10.2018]. Saatavissa: https://ccrc.tc.columbia.edu/publications/unintended-impacts-performance-funding.html

Lane, J. & Kivistö, J. 2008. Interests, Information, and Incentives in Higher Education: Principal-Agent Theory and Its Potential Applications to the Study of Higher Education Governance. Teoksessa: J. C. Smart (ed.), Higher Education: Handbook of theory and research, Vol. 23. Dordrecht, The Netherlands: Springer. 141–179. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1007/978-1-4020-6959-8_5

Levačič, R. 2009. Teacher Incentives and Performance: An application of Principal-Agent Theory. Oxford Development Studies. Vol. 37 (1), 33–46. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1080/13600810802660844

Li, A. & Kennedy, A. 2018. Performance Funding Policy Effects on Community College Outcomes: Are Short-Term Certificates on the Rise? Community College Review. 46(1), 3–39. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1177/0091552117743790

Melin, G., Zuijdam, F., Good B., Angelis, J. & Zegel, S. 2015. Towards a Future Proof System for Higher Education and Research in Finland. Helsinki: Opetus ja -kulttuuriministeriö. Opetus- ja kulttuurinimisteriön julkaisuja 2015:1. [Viitattu 3.10.2018]. Saatavissa: http://julkaisut.valtioneuvosto.fi/handle/10024/75119

Miller, T. 2016. Higher Education Outcomes-based Funding Models and Academic Quality.
[Viitattu 3.10.2018]. Saatavissa: https://www.luminafoundation.org/files/resources/ensuring-quality-1.pdf

Opetus- ja kulttuuriministeriö. 2015. Ehdotus ammattikorkeakoulujen rahoitusmalliksi 2017 alkaen. Helsinki: Opetus- ja kulttuuriministeriö. Opetus- ja kulttuuriministeriön työryhmämuistioita ja selvityksiä 2015:18. [Viitattu 3.10.2018]. Saatavissa: http://julkaisut.valtioneuvosto.fi/handle/10024/75159

Opetus- ja kulttuuriministeriö. 2018a. Ammattikorkeakoulu-uudistuksen arviointi. Loppuraportti. Helsinki: Opetus- ja kulttuuriministeriö. Opetus- ja kulttuuriministeriön julkaisuja 2018:32. [Viitattu 3.10.2018]. Saatavissa: http://urn.fi/URN:ISBN:978-952-263-588-4

Opetus- ja kulttuuriministeriö. 2018b. Ammattikorkeakoulujen rahoitusmalli 2017 alkaen. [Viitattu 3.10.2018]. Saatavissa: https://minedu.fi/documents/1410845/4392480/amk_rahoitusmalli_2017.pdf/

Pheatt, L., Lahr, H., Dougherty, K., Jones, S., Natow, R. & Reddy, V. 2014. Obstacles to the effective implementation of performance funding in community colleges in three states. New York, NY: Community College Research Center, Teachers College, Columbia University. [Viitattu 3.10.2018]. Saatavissa: https://ccrc.tc.columbia.edu/publications/obstacles-to-performance-funding-implementation.html

Pisár, P. & Šipikal, M. 2017. Negative Effects of Performance Based Funding of Universities: The Case of Slovakia. NISPAcee Journal of Public Administration and Policy. Vol. 10(2), 171–189. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1515/nispa-2017-0017

Pääkkönen, J. 2010. Koulutuksen markkinoilla – arvioita korkeakoulujen tehokkuuseroista ja niiden syistä. Helsinki: Valtion taloudellinen tutkimuskeskus. Valmisteluraportit 6. [Viitattu 3.10.2018]. Saatavissa: http://urn.fi/URN:ISBN:978-951-561-949-5

Ross, S. 1973. The Economic Theory of Agency: The Principal’s Problem. American Economic Review. Vol. 63(2), 134–139. [Viitattu 3.10.2018]. Saatavissa: https://www.researchgate.net/publication/4721698_The_Economic_Theory_of_Agency_The_Principal’s_Problem

Rutherford, A. & Rabovsky, T. 2014. Evaluating impacts of performance funding policies on
student outcomes in higher education. The ANNALS of the American Academy of Political and Social Science. Vol. 655(1), 185–208. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1177/0002716214541048

Sandford, D. & Hunter, J. 2013. Impact of Performance-funding on Retention and Graduation Rates. Education Policy Analysis Archives. Vol. 19(33), 1–26. [Viitattu 3.10.2018]. Saatavissa: http://dx.doi.org/10.14507/epaa.v19n33.2011

Salminen, H. & Ylä-Anttila, P. 2010. Ammattikorkeakoulujen taloudellisen ja hallinnollisen aseman uudistaminen. Selvityshenkilöiden raportti. Helsinki: Opetus- ja kulttuuriministeriö. Opetus- ja kulttuuriministeriön julkaisuja 2010:23. [Viitattu 3.10.2018]. Saatavissa: http://urn.fi/URN:ISBN:978-952-485-968-4

Seuri, A. & Vartiainen, H. 2018. Yliopistojen rahoitus, kannustimet ja rakennekehitys. Talouspolitiikan arviointineuvoston taustaraportti. Helsinki: Talouspolitiikan arviointineuvosto. [Viitattu 3.10.2018]. Saatavissa: https://www.talouspolitiikanarviointineuvosto.fi/wordpress/wp-content/uploads/2018/01/Seuri_Vartiainen_2018-1.pdf

Tandberg, D. & Hillman, N. 2013. State Performance Funding for Higher Education: Silver Bullet of Red Herring? WISCAPE POLICY BRIEF. Madison, WI: University of Wiscosin-Madison, Wiscosin Center for the Advancement of Postsecondary Education. [Viitattu 3.10.2018]. Saatavissa: https://wiscape.wisc.edu/wiscape/publications/policy-briefs/pb018

Tight, M. 2012. Researching Higher Education. Maidenhead: McGraw-Hill Education.

Umbricht, M., Fernandez, F. & Ortagus J. 2017. An Examination of the (Un)Intended Consequences of Performance Funding in Higher Education. Educational policy. Vol. 31(5), 643–675. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1177/0895904815614398

Vasikainen, S. 2014. Performance Management of The University Education Process. Oulu: University of Oulu. [Viitattu 3.10.2018]. Saatavissa: http://jultika.oulu.fi/files/isbn9789526206189.pdf

Yliopistolaki 558/2009. Finlex. [Viitattu 3.10.2018] Saatavissa: https://www.finlex.fi/fi/laki/alkup/2009/20090558.

Zielele, F. 2013. European Trends in Performance-Oriented Funding. Teoksessa: S. Bergan, E. Egron-Polak, J. Kohler & L. Purse (eds.), Leadership and Governance in Higher Education – Handbook for Decision-makers and Administrators. Berlin: Raabe. 71-88. [Viitattu 3.10.2018]. Saatavissa: https://doi.org/10.1111/j.1468-2273.2011.00502.x

Kirjoittaja

Henna Eskonsipo-Bradshaw toimii kehittämispäällikkönä Lahden ammattikorkeakoulussa ja vuodesta 2019 alkaen jatko-opiskelijana Tampereen yliopiston johtamiskorkeakoulussa. Tämä artikkeli on osa väitöskirjan tutkimussuunnitelmaa ”Tulosperusteisen rahoitusmallin vaikutukset ammattikorkeakoulujen toimintaan”. Väitöskirjatutkimuksessa tullaan tutkimaan tuloksiin perustuvan rahoituksen (performance based funding) vaikutuksia suomalaisten ammattikorkeakoulujen toimintaan. Empiirisen aineiston avulla, ja päämies-agenttiteoria (principal agent theory) tutkimustyön teoreettisena viitekehyksenä, tutkimuksessa pureudutaan ammattikorkeakoulujen tuloksellisuuden kehittymiseen uuden rahoitusjärjestelmän myötä, korkeakoulujen tuloksellisuuseroihin ja niitä selittäviin tekijöihin, sekä tulosperusteisen rahoituksen sivuvaikutuksiin.

Artikkelikuva: https://pxhere.com/en/photo/451792 (CC0)

Julkaistu 20.5.2019

Viittausohje

Eskonsipo-Bradshaw, H. 2019. Tulosperusteinen rahoitus valtion ohjausmekanismina suomalaisissa ammattikorkeakouluissa. LAMK RDI Journal. [Viitattu ja pvm]. Saatavissa:
http://www.lamkpub.fi/2019/05/20/tulosperusteinen-rahoitus-valtion-ohjausmekanismina-suomalaisissa-ammattikorkeakouluissa/


Six Skills Help You Stand Out in A Hypercompetitive Labour Market

“Anxious.” “Lost.” “Everything’s a struggle.” are some examples of the ways most recent university grads described their experience transitioning from school to the professional world. Why so? Because most of the grads need to undergo a “change-of-state” from being a student to being a short-termed (sometimes long-term) unemployed. This article is written for students who are struggling to enhance their competiveness in the labour market in order to get employed.

Authors: Phuong Nguyen and Marja Viljanen

Skills Challenge in Europe and Finland

Compared to other groups, the stagnation in the European markets hit the young more severely. For instance, the rate of youth unemployment in Finland reached 17.2% in December 2018, trebling the general unemployment rate (Statista 2018).

Skill mismatch is one of the key reasons to this dilemma. While many employers face difficulties in recruiting staff, unemployment levels remain relatively high. According to Cedefop European Skills and Jobs Survey, 39% of European employers have difficulty finding people with desirable skills. And more than half of 12 million long-termed unemployed are considered low-skilled. (Skills Panorama 2016.)

EmploySkills Project+

On recognizing the problem and aiming to solve it, Erasmus+ project, entitled “Strengthening students’ employability through enhanced skills formation (abbr. EmploySkills)” was formed. The expected outcome of the project is to develop curricula relevant to the labour market and societal needs.

The project consists of five intellectual outputs in total. Findings presented in this article are a part of the first output O1, which acts as a foundation for the next steps. Lahti University of Applied Sciences is one of the core partners in the project.

Theoretical Study of Transversal Skills

According to UNESCO IBE 2018, transversal skills are “skills related to a particular job, task, academic discipline or area of knowledge and that can be used in a wide variety of situations and work settings” (UNEVOC 2018). Some popular transversal skills are communication, collaboration, creative thinking or leadership. Nowadays, the term “transferable skills”, which has the same meaning as “transversal skills”, has been used more commonly (European Training Thesaurus 2018, as cited in ELGPN 2018).

The importance of transversal skills is indisputable. ”Transversal knowledge, skills and competencies are the building blocks for the development of the ”hard” skills and competencies required to succeed on the labour market.” (ESCOpedia 2018). As transversal skills are relevant to a broad range of occupations and sectors, they can be seen as the cornerstone for the personal development of a person (ESCOpedia 2018).

According to Nedelkoska and Quintini 2018 (as cited in Hogarth 2018), about 14% of jobs in 32 OECD countries which participated in PIAAC were highly automatable (i.e., with a probability of automation of over 70%). The only bottlenecks to automation are, however, social intelligence, cognitive intelligence, perception and manipulation that only human possess (Hogarth 2018). Therefore, transversal skills are of pivotal importance.

Research Methodology

The whole structure of the research is illustrated in Figure 1. The research adopts a deductive approach and applies the mixed-research method so as to better evaluate and understand the problem. In this case, qualitative method is used to provide an overview of the main issues while quantitative method collects descriptive data and bring an insight into the issue.

FIGURE 1. Research Structure (Nguyen 2019)

Key Findings

As a result, 20 transversal skills are divided into four groups in the order of significance for the working life (see Table 1). Amongst, type-1 comprises highly required skills at the first stage of a recruitment process, whilst type-2 includes skills that are necessary and critical for work process and career ladder. (Nguyen 2019.)

TABLE 1. Category of Transversal Skills (Nguyen 2019)

It is also worth noting that social skill is one of five most critical transversal skills, while collaboration skill is considered as the most important transversal skill by the majority of the interviewees. (Nguyen 2019.)

On the other hand, the research showed that the majority of graduate students lack these transversal skills: technology literacy, leadership, creativity, self-initiative, social skills, critical thinking and media literacy. Amongst, grads are most dissatisfied with the extent to which technology literacy and leadership skill are taught at higher education institutions (i.e. 29% and 27% respectively). (Nguyen 2019.)

Comparing opinions from both sides, it is concluded that many grads lack critical transversal skills because they misunderstood the expectation from employers. Now that we have understood the opinions from the employer side, we suggest students put more effort on the following six transversal skills in order to improve their employability: technology literacy, social skill, collaboration, self-initiative, creativity and critical thinking (Nguyen 2019.)

Although transversal skills are interpersonal and hard to teach, it is not impossible to acquire and develop a new transversal skill. As an outcome of the research, a practical guideline (see Figure 2) was created with a view to assisting students in developing their competencies in the six transversal skills.

FIGURE 2. Guidelines on the Improvement of Transversal Skills

Role of Higher Education Institutions

At the end of the focus group interview, the interviewees recommend schools should have their students take Personality Test. In addition, it is imperative that higher education institutions facilitate students to take more practical trainings that are in accordance with their career goals and integrate proactively transversal skills into the curriculum. Courses about self-management, leadership and technology seem to be in need for the matter.

Last word

Although the concept “transversal skills” is quite new, the significance of them in our life is undeniable. This research was conducted in Finland; accordingly, the result is more likely applicable to the Finnish labour market. However, future researchers can use this as a reference for the similar topic. More importantly, this research showed positive correlations between transversal skills. Therefore, it is highly recommended that future researchers do other in-depth research on the correlations between transversal skills.

References

ELGPN 2018. Transversal skills. [cited 6 Apr 2019]. Available at: http://www.elgpn.eu/elgpndb/view/251

ESCOpedia 2018. Skill reusability level. [cited 25 Feb 2018]. Available at: https://ec.europa.eu/esco/portal/escopedia/Skill_reusability_level

Hogarth, T. 2018. Economy, employment and skills: European, regional and global perspectives in an age of uncertainty. Fondazione Giacomo Brodolini. [cited 25 Feb 2018]. Available at: http://www.fondazionebrodolini.it/sites/default/files/pubblicazioni/file/q61_x_web_cor_0.pdf

Molinsky, A. & Pisman, S. 2019. The biggest hurdles recent graduates face entering the workforce. [cited 27 Apr 2019]. Available at: https://hbr.org/2019/04/the-biggest-hurdles-recent-graduates-face-entering-the-workforce

Nguyen, P. 2019. Enhancing the employability of graduate students with transversal skills. Bachelor’s thesis. Lahti University of Applied Sciences, Business Administration. Lahti. [cited 27 Apr 2019]. Available at: http://urn.fi/URN:NBN:fi:amk-201904276194

Skills Panorama 2016. Skills challenges in Europe. [cited 27 Apr 2019]. Available at: https://skillspanorama.cedefop.europa.eu/en/analytical_highlights/skills-challenges-europe-2016

Statista 2018. Youth unemployment rate in Europe (EU member states) as of December 2018 (seasonally adjusted). [cited 18 Feb 2018]. Available at: https://www.statista.com/statistics/266228/youth-unemployment-rate-in-eu-countries/

UNEVOC 2018. Transversal skills. [cited 25 Feb 2018]. Available at: https://unevoc.unesco.org/go.php?q=TVETipedia+Glossary+A-Z&id=577

Authors

Phuong Nguyen has studied Business and Administration at Faculty of Business and Hospitality Management at Lahti University of Applied Sciences and has graduated and received a BBA degree in May 2019.

Marja Viljanen works as a Senior Lecturer at the Faculty of Business and Hospitality Management, Lahti University of Applied Sciences.

Illustration: https://pxhere.com/en/photo/714525 (CC0)

Published: 13.5.2019

Reference to this publication

Nguyen, P. & Viljanen, M. 2019. Six Skills Help You Stand Out in A Hypercompetitive Labour Market. LAMK Pro. [Cited and date of citation]. Available at: http://www.lamkpub.fi/2019/05/13/six-skills-help-you-stand-out-in-a-hypercompetitive-labour-market/

Hyvinvoinnin ja itsensä johtamisen näkökulmia nykypäivän työympäristössä

Nykypäivän työpaikalla mikään ei ole niin varmaa kuin jatkuva muutos. Esimerkiksi työnkuvat ja sitä kautta työn vaatimukset voivat muuttua organisaation sisällä hyvinkin nopeasti. Kuinka yksilö voi johtaa kehitystään muuttuvassa työympäristössä jatkuvasti kasvavien vaatimusten keskellä?

Kirjoittajat: Frans Lindfors ja Sirpa Varajärvi

Kriisi herättäjänä

Useimmiten kriisitilanne saattaa olla herätys työn todelliseen tilanteeseen. Muutosten tuoma paine työpaikalla voi muuttua hyvin nopeasti työntekijälle tukalaksi. Työntekijöiden lisäkuormittamiselle voi organisaatiossa olla useita, niin tilapäisiä kuin pysyviäkin syitä. Valitettavasti organisaation muutosaloitteista noin 70-75% epäonnistuu tavoitteidensa saavuttamisessa (Dallas 2015, 11-12).

Kriisitilanteessa on hyvin yleistä, että yksilö kyseenalaistaa organisaation ja sen johdon tarkoitusperät. Se voi myös johtaa yksilön itsetutkiskeluun, itsensä kyseenalaistamiseen sekä siihen, että yksilö syyttää itseään organisaation ongelmista. (Goldsmith & Wheeler, 2009.)

Työssä kuormittuminen

Eräs syy, jonka takia muutos ei ole kestävää on se, että liian moni muutos tapahtuu samanaikaisesti. Ihmiset voivat keskittyä tehokkaasti vain muutamaan tavoitteeseen kerrallaan. Liian moni prioriteetti aiheuttaa sen, että ne menettävät merkityksensä. Yksilöllä tulisi olla samanaikaisesti korkeintaan kolme henkilökohtaista operatiivista prioriteettia. Mikäli prioriteetit vaihtuvat jatkuvasti, on niiden sisäistäminen ja toteutuksessa onnistuminen lähes mahdotonta. (Dallas 2015, 114.)

Kun työntekijöitä pyydetään tekemään yhä enemmän, saavuttavat he lopulta reagointikykyjensä äärirajat (Szalma & Hancock 2008, 46). Kun työmäärä on liian iso työntekijän hallittavaksi, työntekijä alkaa lopulta tehdä virheitä. (Panel, OWT, & Division, 1993, 56). Tärkeämpää kuin työkuorman tilastollinen muuttuminen näyttää kuitenkin olevan se, miltä työkuorma tuntuu työntekijästä. Vasta kun työntekijän kokemus omasta työkuormastaan on selvitetty, syvempiä analyysejä työkuormasta voidaan tehdä. (Brown, Duck & Jimmieson, Russel 2017, 50 mukaan.)

Nopeatempoinen ja kiireinen työskentely vaikuttaa aivotoimintaamme ja muistiimme. Monen työntekijän työ keskeytyy jatkuvasti päivittäisessä työssä. Tämän seurauksena työntekijästä voi tuntua siltä, että hänen keskittymiskykynsä on heikentynyt. (Salonen 2018.)

Työpäiväkirjasta tukea oman tekemisen tarkasteluun

Itsensä ja oman työnsä johtamisen kannalta on syytä tarkastella ja analysoida omaa työkuvaansa ja tekemistään. Frans Lindfors (2018) lähti toteuttamaan tätä tarkastelua päiväkirjamuotoisessa opinnäytetyössään, jonka päätavoitteena oli tukea henkilökohtaista kehitystä työympäristössä itsensä johtamisen kautta. Opinnäytetyötä varten kirjattiin työpäiväkirjaa kymmenen viikon ajalta. Työympäristönä toimi voittoa tavoittelemattoman organisaation talousosasto, ja työtehtävänä luottokorttien ylläpitäjä.

Päiväkirjamuotoisessa opinnäytetyössä on tarkoituksena nimenomaan seurata omia työtehtäviä päivittäisillä päiväkirjamerkinnöillä ja viikoittaisilla analyyseilla ja reflektoinneilla. Tämä on yksi tapa laajentaa ja syventää omaa ammattiosaamista, mitä yleisesti ammattikorkeakoulun opinnäytetyöllä tavoitellaan (Lahden ammattikorkeakoulu 2018).  

Kommunikaatio

Tarkkailujakson aikana huomioitiin, että asiantuntijatyön perustana on aina kommunikaatio. Mitä parempilaatuista ja tehokkaampaa kommunikointi on, sitä enemmän resursseja vapautetaan työn muille osa-alueille.

Teknisen asiantuntijan työssä kommunikointi tapahtuu usein erilaisella teknisellä ymmärryksellä ja sanastolla kuin keskustelukumppanin. Päiväkirjamuotoinen tutkimus auttoi ymmärtämään ja huomioimaan tämän lähtökohdan. Sen myötä pystyttiin kehittämään viestintää tehokkaammaksi ja paremmin keskustelukumppanien tarpeita vastaavaksi. Tärkeä oivallus oli, että tehokkuus yksin ei riitä. Vasta kun vastaanottaja ymmärtää sanoman, voi viestintää pitää onnistuneena.

Ajan ja stressin hallinta

Kiireellisten asioiden joukossa on aina petollisia tehtäviä, jotka vain vaikuttavat tärkeiltä, mutta eivät sitä ole (Wilson 2018). Kun työssä on kriisijakso ja työn vaatimukset ylittävät syystä tai toisesta suoritettavissa olevan tason, korostuu työntekijän valintojen merkitys. Tehokkuutta väheksymättä, kiireeseen reagointi paniikinomaisella suorittamisella ei todennäköisesti tuota parasta mahdollista tulosta. Myös omat rajansa työn suhteen on tärkeä tiedostaa.

Henkilökohtaisella valmistautumisella voidaan ennaltaehkäistä tai lievittää kiireen ja stressin aiheuttamia oireita sekä tukea jaksamista (Salonen 2018). Mikäli työn määrää kasvaa oleellisesti ja työpäivät venyvät pitkiksi, yhä enemmän korostuu myös palautumisen tarve. Tarkkailujakson aikana suurin koettu yksittäinen tekijä työssä viihtymisen parantamiseen sekä stressin vähentämiseen oli unen määrän suunnitelmallinen lisääminen.

Itsensä johtaminen tuottaa korkoa henkilökohtaiselle kasvulle

Työpäiväkirjan mahdollistaman itsensä tarkkailun tärkeänä hyötynä koettiin kasvanut tietoisuus niin työn haasteista kuin omista mahdollisista kehittymiskohteista. Tekijä oppi myös ymmärtämään miten erilaiset työtilanteet vaikuttivat kokemukseen työstä ja miten työkokemustaan voi paremmin kontrolloida. Ottamalla päivittäin hetkiä analysoidakseen työtilannettaan hän oppi tekemään nopeammin korjauksia työn virtauksen suuntaamiseen.

Lisäksi omaan kehittymiseen ja kasvuun panostaminen tarkkailujakson aikana vahvisti analyyttistä havainnointia sekä loi pohjaa kauaskantoisemmalle itsensä kehittämiselle. Työelämässä työtilanne on aina ensisijaisesti työntekijän itsensä kokema, joten on luonnollista, että suurin vaikuttaja tähän kokemukseen on työntekijä itse. Monesti työntekijän vaikutus suoritettavana olevan työn määrään on rajallinen, mutta hyvällä itsensä johtamisella työntekijä voi tukea omaa jaksamistaan, sekä löytää uusia keinoja kehittää osaamistaan tehtävässään. Tämä edelleen mahdollistaa paremman työtehtävistä suoriutumisen.

Lähteet

Dallas, J. 2015. Mastering the Challenges of Leading Change : Inspire the People and Succeed Where Others Fail. Hoboken:John Wiley & Sons, Incorporated. [Viitattu 27.11.2018]. Saatavilla: https://ebookcentral-proquest-com.aineistot.lamk.fi/lib/lamk-ebooks/detail.action?docID=4043016

Goldsmith, M., & Wheeler, P. 2009. Preparing for crisis. Leadership Excellence. 26(2), 5. [Viitattu 25.11.2018]. Saatavilla: https://search-proquest-com.aineistot.lamk.fi/docview/204518901?accountid=16407

Lahden ammattikorkeakoulu. 2018. Opinnäytetyön ohje, ammattikorkeakoulututkinto. Respa intranet. [Viitattu 25.3.2019]. Saatavilla: https://lamkfi.sharepoint.com/sites/intranet/Dokumentit%20%20Ohje/Opinn%C3%A4ytety%C3%B6n%20(AMK)%20ohje.pdf

Lindfors, F. 2018. Journal Thesis – Credit Card Administrator in Non-Profit Organization. AMK-opinnäytetyö. Lahden ammattikorkeakoulu, liiketalouden ja matkailun ala. Lahti. [Viitattu 14.12.2018]. Saatavilla: http://urn.fi/URN:NBN:fi:amk-2018122822897

Panel, OWT, & Division, OBASS 1993. Workload Transition : Implications for Individual and Team Performance. Washington, D.C.: National Academies Press. [Viitattu 25.11.2018]. Available at: https://ebookcentral-proquest-com.aineistot.lamk.fi/lib/lamk-ebooks/reader.action?ppg=74&docID=3376962&tm=1543186608153

Russell, E. 2017. Strategies for Effectively Managing Email at Work. Acas Research Papers 06/17. [Viitattu 20.11.2018]. Saatavilla: http://m.acas.org.uk/media/pdf/4/4/Strategies-for-effectively-managing-email-at-work.pdf

Salonen, H. 2018. Aikuisten aivot eivät enää toimi normaalisti – oireina on muistin pätkiminen ja keskittymiskyvyn katoaminen, ja se huolettaa aivotutkijoita. Iltalehti. [Viitattu 15.11.2018]. Saatavilla: https://www.iltalehti.fi/mieli/a/442169c8-0bce-4fdc-aa0d-08fcd6080ca5

Szalma, J., & Hancock, P. 2008. Performance Under Stress. Adlershot, England: CRC Press. [Viitattu 20.11.2018]. Saatavilla: https://ebookcentral-proquest-com.aineistot.lamk.fi/lib/lamk-ebooks/reader.action?ppg=1&docID=438500&tm=1542803538727

Wilson, J. 2018. Time Management Success. [viitattu. 27.11.2018]. Saatavilla: https://www.time-management-success.com/time-management-matrix.html

Kirjoittajat

Frans Lindfors valmistui Lahden ammattikorkeakoulusta tradenomiksi International Business -koulutusohjelmasta vuonna 2018.

Sirpa Varajärvi toimii lehtorina Lahden ammattikorkeakoulussa liiketalouden ja matkailun alalla.

Artikkelikuva: https://pxhere.com/en/photo/1211368 (CC0)

Julkaistu 7.5.2019

Viittausohje

Lindfors, F. & Varajärvi, S. 2019. Hyvinvoinnin ja itsensä johtamisen näkökulmia nykypäivän työympäristössä. LAMK Pro. [Viitattu ja pvm]. Saatavissa:
http://www.lamkpub.fi/2019/04/30/hyvinvoinnin-ja-itsensa-johtamisen-nakokulmia-nykypaivan-tyoymparistossa/

Käytettävyystestaus integroidussa hankkeessa

LAMKin hankkeiden eräs erityispiirre on se, että niitä integroidaan mahdollisuuksien mukaan opetukseen. Mutta kuinka saada hankkeen työpaketti integroitua opetukseen, jonka tavoiteasettelu on lähtökohtaisesti substanssivetoista eikä niinkään projektin aikataulutuksen mukaista? Tässä artikkelissa esitellään käytettävyystestausta, sen opetusta sekä sitä, kuinka integroitua hanketta käytettiin opintojaksolla oppimisen tukena.

Kirjoittaja: Minna Asplund

Digimaa -hanke sekä käytettävyyden opetus tieto- ja viestintätekniikan insinööreille

Digimaa -hankkeessa (Digimaa 2018) on tavoitteena luoda digitaalinen palvelu, jota käyttämällä pyritään tehostamaan maarakentamisen materiaalien uusiokäyttöä. LAMKin osuus on digitaalisen palvelun front-endin ohjelmointi eli käyttöliittymä. Front-endin tekemiseen on osallistunut kaksi ohjelmistotekniikan ja yksi mediatekniikan opiskelija. Toinen ohjelmoijista on lisäksi ollut mukana Usability Engineering -kurssilla, jossa hän on toiminut puoli-toiminnallisen mock-upin vastuuhenkilönä. Hanke on EAKR -rahoitteinen, ja sen varsinaisena toteuttajana on Aalto-yliopisto ja osatoteuttajana LAMK.

2000-luvun alussa LAMKin tieto- ja viestintätekniikan insinöörien ohjelmistotekniikan suuntautumisvaihtoehdossa käyttöliittymiä opiskeltiin Graafisen käyttöliittymän suunnittelu ja toteutus -kursseilla. Kurssit yhdistettiin Graafiset käyttöliittymät -kurssiksi, joka lyhennettiin muutaman vuoden jälkeen kurssiksi Käyttöliittymät. 2010-luvun puolessa välissä nimi muutettiin englannin kieliseksi, Usability Engineering (3 op), ja sisällön painotus siirtyi käytettävyyden ja sen testauksen suuntaan ollen ennen pääosin komponenttien asettelua ikkunapohjaan. Ensi syksynä kurssi siirtyy vielä askeleen lähemmäksi käyttäjää, sillä kurssi muuttuu User Experience -nimiseksi (3 op), ja sen painotus tulee olemaan käyttäjän kokemuksellisuudessa.

Käytettävyystestaus pähkinänkuoressa       

Käytettävyyden oppi-isänä pidetään Jakob Nielseniä, ja perustavaa laatua olevana kirjana hänen kirjoittamaansa Usability Engineering (Nielsen 1993). Nielsen esittelee sekä elinkaarimallin käytettävyyden huomioimiseksi ohjelmistotuotannossa että 10 heuristiikkaa, joiden avulla käytettävyysasiantuntija voi ennen ohjelmaversion julkaisua raakata pahimpia käytettävyyteen vaikuttavia virheitä pois käyttöliittymästä. Analyyttisten arviointien lisäksi Nielsen huomioi joitakin empiirisen arvioinnin piiriin kuuluvia käyttäjätestausmenetelmiä (kuvio 1). Antti Oulasvirta (2011) jakaa analyyttisen ja empiirisen arvioinnin menetelmät sellaisiin, joita tehdään ilman käyttäjiä sekä niihin, joissa käyttäjät ovat mukana; sama asia eri sanoin. Toki sitten vuoden 1993 on käyttöliittymien heuristiikkoja kehitetty eteenpäin mm. mobiili- ja web-käyttöliittymille (Nielsen Norman Group 2019).

Kuvio 1. Joitakin käytettävyyden arvioinnin menetelmiä (kuva: Minna Asplund)

Oulasvirran toimittamassa kirjassa (2011) todetaan, että on olennaista huomioida käyttöliittymän suunnitteluprosessissa järjestelmälle määritellyt käyttökontekstit. Näiden lisäksi on määriteltävä järjestelmää käyttävän käyttäjän ja sen organisaation, jolle järjestelmää kehitetään, vaatimukset. Nykyään ketterässä ohjelmistotuotannossa puhutaan kuitenkin mieluummin käyttäjätarinoista kuin vaatimuksista (Haikala & Mikkonen 2011). Nielsenin (1993) elinkaarimallissa näitä vastaavat vaiheet ovat käyttäjän tunteminen (Know the User) sekä tavoitteiden asettaminen (Goal Setting). Näitä tavoitteita, vaatimuksia, käyttötapauksia tai käyttäjätarinoita vastaan evaluoidaan tehdyt käyttöliittymäratkaisut, tehdään siis käytettävyystestaukset.

Analyyttisten, ilman käyttäjää tehtävien, käytettävyystestausten ehdottomasti parhaana puolena voidaan pitää sitä, että niitä päästään suorittamaan ohjelmistokehityksen alkuvaiheessa riippumatta käytettävästä ohjelmistotuotannon elinkaarimallista (IID, Scrum, jne.). Testaukset voidaan tehdä esimerkiksi toiminnallisille mock-upeille, ja kuten Kasurinen (2013) kirjoittaa, silloin ne eivät ole sidottuja työvaiheisiin, joissa suurin osa järjestelmää on jo toteutettu ja toimii. Käyttäjätesteillä puolestaan päästään mainiosti kiinni itse käyttäjän tekemän työn onnistumiseen tai siihen, kuinka hyvin loppukäyttäjä pystyy ilman ohjeita löytämään haluamansa toiminnot. Lopuksi voidaan todeta kuten Kasurinen (2013) kirjoittaa, että käytettävyystestauksen ”painopiste on rakennetun järjestelmän käyttöliittymän toimivuudessa ja intuitiivisuudessa”.

Käytettävyystestaus hankkeessa

Opiskelijoille opetettiin analyyttisistä arvioinneista heuristinen arviointi sekä kognitiivinen läpikäynti. Kurssin opiskelija, joka on mukana Digimaa -hankkeessa, kirjoitti kognitiivista läpikäyntiä varten viisi skenaariota tehtävineen. Tämän jälkeen heille annettiin linkki Digimaa -hankkeen sen hetkiseen käyttöliittymään, joka oli puolitoimiva mock-up. Opiskelijat tekivät arviointeja 3-4 hengen ryhmissä. Arviointien jälkeen ryhmän tehtävänä oli löydösten perusteella tehdä oma parannusehdotus käyttöliittymään.

Heuristisessa arvioinnissa havaittiin esimerkiksi seuraavan tyyppisiä asioita:

  • sovelluksen logo ei ollut näkyvissä jokaisessa näkymässä
  • asiointiroolien näkymättömyys (näillä vaikutusta jatkokäytössä)
  • tooltipsit puuttuivat eikä ohjenappia sovelluksen käyttöön ollut muutenkaan
  • osissa näkymistä käyttäjä ei intuitiivisesti osannut päätellä mitä siinä pitäisi tehdä
  • osissa näkymiä toimintojen yhdenmukainen nimeäminen oli horjuvaa
  • erilaisten maa-materiaaleihin liittyvien ominaisuuksien näyttäminen oli puutteellista
  • joidenkin painonappien toiminnallisuutta ei voinut päätellä.

Kognitiivisessa läpikäynnissä suurin havaittu ongelma oli toiminnoista saatavan palautteen puuttuminen, mutta se selittyi mock-upin keskeneräisyydellä. Lisäksi osa löydöksistä liittyi siihen, että skenaarion tehtävän suorittamiseksi tarvittavaa napin tai kentän painallusta ei hoksattu käyttöliittymästä, mutta tämä on taklattavissa käyttöopastuksella oikeassa käyttötilanteessa.

Molempia arviointeja häiritsi hieman mock-upin toiminnallisuuden puutteellisuus. Tästä opiksi jäi se, että mock-upin rakentamiseen kannattaa uhrata hiukan aikaa, jotta merkittäviin käytettävyysvirheisiin päästään mahdollisimman aikaisessa vaiheessa käsiksi. Lisäksi varsinainen kehittämistiimi sai käyttöönsä tärkeitä havaintoja, joita on sovelluskehityksen tässä vaiheessa mahdollista ottaa huomioon helpohkosti.

Itse Usability Engineering -kurssin osalta hankkeen integrointi opetukseen sujui kivutta. Kurssin sisäistä aikataulutusta piti hiukan säätää, jotta mock-up olisi kohtuullisen toimivassa kunnossa ja jotta käytettävyystestauksessa tarvittavat asiat voitiin oppia ennen niiden soveltamista käytäntöön.

Lähteet

Digimaa. 2018. DIGIMAA – Uusiomateriaalien digipalvelut maarakentamisessa. [Viitattu 22.1.2019]. Saatavissa:  https://www.lamk.fi/fi/hanke/digimaa-uusiomateriaalien-digipalvelut-maarakentamisessa

Haikala, I. & Mikkonen. T. 2011. Ohjelmistotuotannon käytännöt. Hämeenlinna: Talentum Oy.

Kasurinen, J. P. 2013. Ohjelmistotestauksen käsikirja. Jyväskylä: Docendo.

Nielsen, J. 1993. Usability Engineering. Cambridge, MA : Academic Press.

NN/g Nielsen Norman Group. World Leaders in Research-Based User Experience. [Viitattu 22.1.2019]. Saatavissa: https://www.nngroup.com/

Oulasvirta, A. (toim.). 2011. Ihmisen ja tietokoneen vuorovaikutus. Helsinki: Gaudeamus.

Kirjoittaja

Minna Asplund (TkL) työskentelee tekniikan alalla ohjelmistotekniikan lehtorina Lahden ammattikorkeakoulussa. Lisäksi hän on ylemmässä ammattikorkeakoulussa vastuuopettajana Digitaalisten teknologioiden sekä Digitaalisten ratkaisujen insinööriopetuksessa. Artikkeli on kirjoitettu EAKR Digimaa -hankkeessa.

Julkaistu 7.3.2019

Viittausohje

Asplund, M. 2019. Käytettävyystestaus integroidussa hankkeessa. LAMK Pro. [Viitattu ja pvm]. Saatavissa:
http://www.lamkpub.fi/2019/03/07/kaytettavyystestaus-integroidussa-hankkeessa/