Testaukset ja käyttäjäkokeilut

Tuloksellisen testauksen ja käyttäjäkokeilun toteutus

Älykkäitä tuotteita ja palveluja testataan digitaalisissa, vakioiduissa ja autenttisissa ympäristöissä. Ammattikorkeakoulut koordinoivat sekä suunnittelevat ja toteuttavat yhdessä yritysten ja palveluntuottajien kanssa digitaalisten tuotteiden ja palvelujen testauksia. Testauksia toteutetaan simulaatio- ja  virtuaaliympäristöissä, laboratoriotiloissa sekä aidoissa käyttöympäristöissä. Yritys saa testauksesta tukea tuote- ja palvelukehitykseen sekä referenssin kaupallistamista ja markkinointia varten.

Testauksella tarkoitetaan tässä yhteydessä sekä testausta simuloiduissa ympäristöissä että käyttäjäkokeilua autenttisissa käyttöympristöissä. Testauksen vaiheet on esitelty kuviossa 1. Testauksesta sovitaan aina etukäteen kehittämissuunnitelmaa laadittaessa ja lisäksi tehdään sopimus testausta toteuttavien organisaatioden välille. Testauksen suunnittelu toteuteaan yhteiskehittämisenä. Toteuttajat määrittävät yhdessä testauksen tavoitteet ja sen, miten ja milloin testausaineisto sekä käyttäjäpalaute kerätään. Erityisesti etä- ja hybriditoteutuksissa on luottamuksen ja sitoutumisen vahvistamiseksi keskeistä huolellinen suunnitteluun paneutuminen. Se vaatii enemmän aikaa kuin lähitapaamisina toteutettu testaus. Suunnittelun tueksi tarvitaan sähköisiä ja organisaatioiden välillä jaettavia yhteisiä työalustoja, joiden avulla voidaan parantaa työskentelyn joustavuutta. 

Kuvio 1. Testaus- ja käyttäjäkokeiluprosessi. Kuvio auki kirjoitettuna:  1. Kehittämissuunnitelma 2. Käyttäjäkokeiluprosessin yhteiskehittäminen 3. Tutkimussuunnitelman ja eettisen lupahakemuksen valmistelu 4. Osallistujien kutsuminen 5. Ympäristön valmistelu 6. Käyttöönottoa koskeva ohjaus ja koulutus 7. Kokeilun toteutus, aineiston keruu ja analyysi 8. Kokeiluympäristön purkaminen ja hankinta 9. Raportointi 

Koska yritykset hyötyvät erityisesti tutkimuksen avulla osoitettavista vaikutuksista, laaditaan tarvittaessa myös tutkimussuunnitelma sekä haetaan eettistä lupaa testauksen toteutukselle. Ammattikorkeakoulut ovat sitoutuneet Tutkimuseettisen neuvottelukunnan ohjeeseen Ihmiseen kohdistuvan tutkimuksen eettiset periaatteet ja ihmistieteiden eettinen ennakkoarviointi Suomessa (pdf). Toteutus edellyttää aina testaajien informointia ja kirjallista suostumusta ja testaukseen osallistumisen on oltava vapaaehtoista. Jotta yritys voisi käyttää tuloksia referenssinä, osallistujia tiedotetaan niin testattavasta ratkaisusta kuin testauksen toteutuksesta ja osallistujilta pyydetään kirjalliset suostumukset testaukseen osallistumisesta ja anonymisoitujen tulosten hyödyntämisestä.

Testauksen valmisteluvaihe käsittää testaajien rekrytoinnin, testausympäristön valmistelun sekä käyttäjien ja henkilökunnan perehdytyksen ratkaisun käyttöön. Osallistujien kutsuminen voidaan tehdä avoimesti tai kohdennetusti esimerkiksi tietyltä asuinalueelta tai järjestöstä. Etä- ja hybriditestausten rekrytoinnissa korostuu testausyksikön henkilökunnan tai mukana olevan järjestön rooli. Ammatillakorkeakouluilla toteutetuissa, mahdollisesti keskeneräisten tuotteiden testauksissa testaajina voivat toimia myös opiskelijat, kun taas aitoihin käyttöympäristöihin viedään testattavaksi vain valmiita tuotteita. 

Testausympäristössä tehdään tarvittavat valmistelut, esimerkiksi sähkötöitä, sensorien asentamista, laitteiden käyttöönottoa ja käyttäjätunnusten luomista. Kaikissa digitaalisten ratkaisujen testauksissa on tarkistettava teknologiset puitteet, erityisesti internetyhteyden toimivuus testauksiin suunnitelluissa tiloissa sekä käyttäjien ja henkilöstön teknologiset tiedot, taidot ja asenteet.

Osallistujat ohjataan tuotteen tai palvelun käyttöön ja heille laaditaan tarvittavat ohjeet. Toisinaan käyttöönotto edellyttää  toimintatapojen muutosta, jolloin perehdytykseen tarvitaan mukaan laajempaa valmennusta, ohjausta tai koulutusta. Esimerkiksi toimintakykyä edistävien ratkaisujen, kuten erilaisten pelien ja sovellusten käyttö ja käyttöönotto voi vaatia useampia tapaamisia ja pidempiaikaista opastusta. Sensoriteknologian käyttöönotosta saadaan hyötyä vain, mikäli henkilökunta osaa lukea ja tulkita sensorien tuottamaa tietoa ja on sen lisäksi halukas tekemään käytäntöihin tarvittavia muutoksia. Siksi jo testausvaiheessa olisi hyödyllistä käynnistää syvempää ja pitkäkestoisempaa valmennusta. Palveluasumisyksiköissä voi olla tarpeen muokata päivittäisiä ohjelmia tai toteutusta. Tätä varten tarvitaan erikseen yksi tai useampia ohjaajia, coachausta sekä esihenkilöiden tukea. 

Valmisteluvaihetta seuraa varsinainen toteutus, jonka ajallinen kesto voi vaihdella yksittäisestä tilanteesta useisiin kuukausiin. Kaikki vaiheet voidaan toteuttaa joko kokonaan lähi-, etä- tai hybriditoteutuksena. Toteutusvaihe käynnistyy lähtötilanteen kartoituksilla ja tutkimuksellisessa testauksessa lähtötilannetta koskevalla aineiston keruulla. Lähtötilanneaineistot voivat käsittää käyttäjien haastatteluja ja kyselyjä sekä toimintakyvyn sekä ympäristötekijöiden ja yksilötekijöiden arviointia ja kuvausta. Kuvauksissa voidaan hyödyntää esimerkiksi karttoja, pohjapiirroksia, valokuvia, videoita tai 3D-kuvia. 

Toteutusvaiheessa testaajat käyttävät tuotetta tai palvelua suunnitelman mukaisesti. Tuotteen käyttöä voidaan seurata laitteiden tuottaman informaation avulla etänä ja paikan päällä sekä osallistuvan havainnoinnin avulla muun muassa henkilökunnan tai läheisten toimesta. Testaajille ja muille osallistujille tarjotaan tarpeen mukaan tukea ja valmennusta, ja testaukseen liittyvät mahdolliset ongelmatilanteet ratkaistaan, jotta testaus pääsee etenemään sovitusti. Etätestauksessa käyttäjät ja testauksen toteuttajat ovat eri paikoissa. Tällöin on erityisen tärkeää huolehtia siitä, että etätapaamisia on järjestetty riittävän usein ja että tapaamisissa on mukana testauksessa mukana olevia henkilöitä. Tapaamisten avulla voidaan seurata ratkaisujen käyttöä ja tunnistaa tilanteita, joissa henkilökunta tai muut käyttäjät tarvitsevat lisätukea. 

Testauksen päättyessä kerätty palaute ja laitteiden keräämät aineistot analysoidaan. Tuloksia reflektoidaan yhdessä käyttäjien kanssa loppukeskustelussa, joka voidaan toteuttaa joko etä- tai lähitapaamisena. Loppukeskusteluun osallistuu mahdollisimman laajasti kaikki mukana olleet käyttäjäryhmät. Avoimessa keskustelussa tarkastellaan muun muassa testatusta ratkaisusta saatuja hyötyjä, käyttömahdollisuuksia ja sitä rajoittaneita tekijöitä sekä muutostarpeita. Yritys saa keskustelun kautta tärkeää tietoa tuotteen kehittämiseksi, käyttöönoton helpottamiseksi ja myös markkinoinnin tueksi. Testauksen päätteeksi kokemuksia voidaan kerätä myös strukturoidusti, esimerkiksi hyödyntämällä käytettävyyden mittaamiseen tarkoitettua System Usability Scale -kyselyä, eli SUS-kyselyä (Bangor, Kortum & Miller 2009).

Testiympäristöstä puretaan pois testausta varten toteutetut järjestelyt, esimerkiksi poistetaan testikäytössä olleet laitteet. Testaustoiminnan kehittämiseksi yritykseltä ja testaajilta pyydetään palaute testauspalvelusta. Testauksen tulokset toimivat yritykselle referenssinä tuotteen tai palvelun käyttäjälähtöisestä kehittämisestä. Vaikka testaus ei milloinkaan ole lupaus yritykselle tuotteen myynnistä, voi se joissakin tapauksissa johtaa myös siihen, että hyväksi ja hyödylliseksi koettu tuote halutaan hankkia tai tuotteen testausta jatkaa vielä pidempäänkin. Yritys saa testauksesta myös raportin, jossa tulokset ja testauksen toteutus on kuvattu tarkemmin, tätä raporttia voidaan käyttää yrityksen sisäisen koulutuksen ja markkinoinnin tukena. Jos testauksessa on käytetty tutkimuksellista tapaa voidaan tulokset myös julkaista alkuperäisenä tutkimusjulkaisuna.

HIPPA-hankkeissa on toteutettu useita etä-, lähi- ja hybriditestauksia ja käyttäjäkokeiluja. Niiden pohjalta olemme kehittäneet uudistetun, yllä esitellyn mallin testausprosessin toteutuksesta sekä lomakkeita (liite 1). Kokemuksemme ovat osoittaneet, että hyvällä valmistelulla on suuri merkitys testauksen tai käyttäjäkokeilun onnistumiselle.

Tämä artikkeli on aiemmin julkaistu otsikolla Testaukset ja käyttäjäkokeilut TUTTUnet-verkkopalvelusssa vuonna 2021. Artikkeli on päivitetty vuonna 2023 HIPPA-Remote-hankkeen jälkeen etä- ja hybriditoteutuksia koskevilla huomioilla. 

Lähteet:

Bangor, A., Kortum, P. & Miller, J. 2009. Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale (uxpajournal.org). Journal of User Experience 2009: 4: 3: 114-123. 

Kirjoittajat:

Kirsi Jokinen, Jaana Kokko, Suvi Hagström, Tarja Heinonen, Anna Kaipainen & Toini Harra

Lue lisää