Hvordan ekstern testing ble en spillveksler

(Kamilla Liljedahl)

Som UX-designere hos SVTi er vi ansvarlige for kontinuerlig å snakke med brukerne våre, som forstår både deres atferd, utfordringer og behov, og oversetter disse til brukerinnsikt. Da pandemien fikk oss til å jobbe eksternt, og sosial distansering ble den nye normen, vår vanlige måte å samle denne informasjonen på; holde brukertestøkter på kontoret; var ikke lenger et alternativ.

Vi ble tvunget til å flytte tilbakemeldingsøktene våre på nettet, og til tross for bekymringene vi hadde på forhånd, har vi nå funnet en metode som vi har blitt veldig glad i. Vi vil prøve å dele våre viktigste takeaways fra de siste åtte månedene med ekstern UX-forskning, og diskutere hvorfor vi ikke ser oss gå tilbake til våre pre-pandemiske måter å teste brukerne på.

Første ting først, her ser vår generelle forskningsprosess ut:

Vi ser behovet for tilbakemeldinger fra brukerne; enten gjennom rett opp brukervennlighetstesting eller en mer formativ tilnærming med brukerintervjuer; i vårt daglige arbeid med ulike deler av SVT Play. Etter å ha bestemt oss for tilnærmingen sammen med teamet, definerte vi forskningsspørsmål som hjalp oss med å danne testoppsettet og kriteriene for deltakerrekruttering. I løpet av rekrutteringsfasen forberedte vi observasjonslokaler, protokoller for notering, testoppsett og tidsplan. To uker senere ønsket vi brukere velkommen til vår permanent bygde stue på kontoret.

En bygd stue på kontoret for testøkter
Uansett hvor koselig den oppbygde stuen vår på kontoret er, er det vanskelig å slå den virkelige tingen

Innimellom hver testøkt satte de to testlederne og observatørene seg ned og oppsummerte det vi nettopp hadde hørt. Kort tid etter testdagen møttes vi igjen for en syntesesesjon som skulle lede oss mot de viktigste brukerinnsiktene vi ville dele med teamet og resten av teknologiorganisasjonen.

Mange av trinnene beskrevet ovenfor er selvfølgelig fortsatt viktige deler av prosessen vår, mens andre har blitt overflødige eller erstattet.

Går fjernkontroll

Ikke lenge etter at pandemien traff, og vi begynte å jobbe hjemmefra over natten, vi gjorde spranget til ekstern testing. La oss grave i våre viktigste takeaways og tips, pluss noen myte-busting, alt avledet fra testrundene vi har gjort online i forskjellige team og prosjekter i løpet av året.

Først ut er de aspektene vi forventet ville ha være fordeler med ekstern testing:

Å samle tilbakemeldinger fra nord til sør. Siden det var nødvendig å besøke kontoret vårt For våre brukerintervjuer før pandemien gjør fjerntesting oss nå i stand til enkelt og kostnadseffektivt å samle brukerinnsikt fra mennesker over hele Sverige. Dette er flott siden det gjør det mulig for oss å validere produktet vårt fra flere forskjellige perspektiver, noe som er i tråd med SVTs oppdrag å representere alle.

“uten pendeltid kommer mer mangfold i vilkår for okkupasjon og tilgjengelighet ”

En rekke yrker. Fjernkontroll, langt fra alle hadde muligheten til å ta seg tid ut av dagen for å besøke oss, men uten pendlingstid kommer mer mangfold når det gjelder okkupasjon og tilgjengelighet.

Følgende er aspekter som ikke opprinnelig var en del av oss med tanke på går fjernkontroll, men det viste seg å være veldig verdifullt for oss:

Din egen enhet innen rekkevidde. Under brukervennlighetstester fra hjemmet kan deltakerne nå bruke sine egne enheter, som var en ekte spillveksler. Hvis de er mest komfortable med den bærbare datamaskinen vi har møtet på, kan de bare begynne å dele skjermen. Hvis de vanligvis bruker SVT Play på TV-en, kan de bare ta tak i fjernkontrollen, snu den bærbare datamaskinen og vise oss hvordan de kommuniserer med den på en autentisk måte.

Dokumentasjon: Ferdig. Hvis du er kjent med brukervennlighetstesting eller brukerintervjuer, vet du at det er nok dokumentasjon nødvendig hvis du vil dele innsikt, samle kvalitative data eller bare ha en bøtte med inspirasjon for fremtidig forskning. De fleste deler av dokumentasjonen vår var selvfølgelig digital før covid-19 til og med var en del av ordforrådene våre, men nå har vi konvertert til og med de siste fysiske bitene. Et eksempel er vårt elskede innlegg på tavler, nå erstattet med digitale versjoner av de to, noe som sparer oss verdifull tid som vi kan bruke på analyse.

Som du sikkert har lagt merke til nå, har vi blitt ganske glad i eksternt brukertesting.Men selvfølgelig, som med alt, er det også ulemper . Her er noen ting vi har lagt merke til, noen mer generelle og andre mer spesifikke for vårt produkt:

Testbarhet av prototyper. Når vi sitter i et fysisk rom med respondenten, kan vi alltid gi dem en enhet med den nyeste prototypen eller produktversjonen vår ennå ikke rullet ut. Men når vi er eksterne, må vi holde oss til prototyper som kan kjøres på en hvilken som helst enhet, eller bare vise dem vår prototype eller produktversjon på en delt skjerm, og be dem tenke høyt og instruere oss om hvordan de vil navigere i det, som selvfølgelig ikke ideell.

Fortsetter ikke å nå alle. Folk fra en rekke yrker er fortsatt harde for å nå tilbakemeldingsøkter, og når pandemien er over, kan det hende at vi er mer begrenset når det gjelder representerte yrker enn det vi for øyeblikket opplever.

Nei naturlig observatørsamarbeid. Under de fysiske testøktene satt observatørene i samme rom og kunne raskt sjekke eventuelle uklarheter i tolkninger med hverandre. Dette er ikke noe stort, og vi kan etterligne dette ved å ha en egen taleanrop mellom observatørene, men så langt har vi ikke testet dette.

Verdt å merke seg: Selv om vi alltid spør deltakerne våre på slutten av sesjonen hvordan de opplevde det, har vi ikke analysert hvordan brukerne våre opplever forskjellen fra persontesting. Videre er hjemmemiljøet et naturlig miljø for å bruke tjenesten vår, noe som gjør den til den ideelle innstillingen for en tilbakemeldingsøkt for oss, men dette er selvfølgelig ikke tilfelle for alle produkter og tjenester.

Fjern myte- busting

Vi nevnte at vi hadde noen bekymringer om ekstern testing før vi prøvde det. Dette er grunnen til at vi mener at du ikke skal la dem stoppe deg.

Bekymring 1: ved å møte online vil vi bare nå teknologikyndige deltakere. Å hoppe på en videosamtale med fremmede og gi dem tilbakemelding er ikke noe vi kan forvente at folk generelt er villige til å gjøre, så ved å teste fjernkontrollen risikerer vi å skjevgjøre brukerdataene våre .

Virkelighet: 2020 var året alle, teknisk kunnskapsrike eller ikke, ble tvunget til å bli venner med videosamtaler, så vel som med andre digitale tjenester og muligheter. Pandemien fikk oss til å gjøre et digitalt sprang på 5 år fremover . Mer generelt vil vi aldri kvitte oss med skjevheten som følger med å samle inn kvalitativ tilbakemelding – vi kan jobbe med hvilke insentiver vi gir deltakerne og hvilke tidsluker vi tilbyr for testingen, men vi vil alltid være begrenset til å nå folk som er villige til å bruk tid og energi på å gi oss tilbakemeldinger.

Bekymring 2: møte på nettet er for begrenset og upersonlig. Vi ville ikke være i stand til å koble oss til respondentene våre på en måte som er nødvendig for testen eller intervjuet, og vi vil gå glipp av viktige nyanser i hva brukeren virkelig føler og tenker.

Virkelighet: Selv om det ikke er det samme å møte digitalt som å møte personlig, er vi nå fra våre eksterne erfaringer sikre på at vi er i stand til å koble nok til og oppfatte nok fra deltakerne våre også over video. En refleksjon imidlertid: dette er sannsynligvis lettere nå enn før 2020, igjen knyttet til det digitale spranget og det faktum at vi alle har vært nødt til å omfavne video for å opprettholde selv våre nære relasjoner.

Tips for testing

Sist, men ikke minst, her er noen få hender på tips basert på det vi har sett i fjerntesten:

  • Fremhev møtekoblingen, periode. For å unngå å miste verdifull testtid på tekniske problemer, er det bare å få deltakeren til møtet ved å markere møtekoblingen øverst i invitasjons-e-posten. Annen relevant møteinformasjon kan gå etter lenken. Noen deltakere vil forberede seg nøye, og andre ikke, så ta også hensyn til alle TL; DRs der ute.
  • Håndtering av synlighet for observatør (in) . I fysiske tester var observatørene våre nesten usynlige, mens de nå er deltakere i det digitale møtet. Å fortelle brukeren at vi vil invitere noen få kolleger til å lytte inn, og sørge for at det er OK, er derfor like viktig som før. Våre observatører kobler seg dempet og med video slått av, for å redusere følelsen av å ha en publikum som ser på. Hvis de vil stille oppfølgingsspørsmål, viderefører de disse til den tekniske testledningen gjennom en egen chat under testøkten.
  • Bærbar datamaskin klemmer .For mobil eller nettbrett har vi testet og blitt forelsket i klemmer av bærbare datamaskiner (ja, vi savner alle klemmer personlig!) – brukeren snur den bærbare datamaskinen og justerer vinkelen på webkameraet slik at vi kan se samspillet mens brukeren holder på berøringsenheten. Gjennom dette er det enda enklere for oss å følge interaksjonene enn det var i våre fysiske testsessioner.
Laptopklemmer i aksjon

Har fjerntesting blitt en spillveksler? Svaret for oss er Y-E-S. Bekymringene vi hadde på forhånd var ikke så problematiske som vi trodde de ville være, og det viste seg å være mange oppturer med å gå fjernt. For oss er det lettere å nå hele Sverige det viktigste, noe som gjør fjernkontrollen til en ekte spillveksler.

Vi tviler på at vi vil gå tilbake til å ha personlige brukersessioner som vår standard foran oss, men vi utelukker ikke å bruke dem når det er fornuftig. Og når vi går inn i det nye året, er vi opptatt av å fortsette å skjerpe våre ferdigheter for ekstern testing og bringe verdifull brukerinnsikt til organisasjonen.

Hva er dine erfaringer med ekstern testing? Vi vil gjerne høre dem!

Av Elin Nevdahl og Kamilla Liljedahl

Legg igjen en kommentar

Din e-postadresse vil ikke bli publisert. Obligatoriske felt er merket med *