Hur fjärrtestning blev en spelväxlare

(Kamilla Liljedahl)

Som UX-designers på SVTi är vi ansvariga för att kontinuerligt prata med våra användare, förstå både deras beteenden, utmaningar och behov och översätta dessa till användarinsikter. När pandemin fick oss att arbeta på distans och social distansering blev den nya normen, vårt vanliga sätt att samla in denna information; hålla användartest sessioner på kontoret; var inte längre ett alternativ.

Vi tvingades flytta våra användares feedback-sessioner online, och trots de farhågor vi hade i förväg har vi nu hittat en metod som vi har blivit väldigt förtjusta i. Vi kommer att försöka dela med oss ​​av våra huvudupphämtningar från de senaste åtta månaderna med fjärransluten UX-forskning och diskutera varför vi inte ser oss gå tillbaka till våra pre-pandemiska sätt att testa användare.

Först och främst, så här ser vår generella forskningsprocess ut:

Vi skulle upptäcka behovet av användarfeedback; antingen genom rakt upp användbarhetstest eller en mer formativ metod med användarintervjuer; i vårt dagliga arbete med olika delar av SVT Play. Efter att ha beslutat om tillvägagångssättet tillsammans med teamet definierade vi forskningsfrågor som hjälpte oss att skapa testuppsättningen och kriterier för deltagarrekrytering. Under rekryteringsfasen förberedde vi observationsrum, protokoll för anteckningar, testinställningar och schema. Två veckor senare välkomnade vi användare till vårt permanentbyggda vardagsrum på kontoret.

Ett byggt vardagsrum på kontoret för testsessioner
Oavsett hur mysigt vårt inbyggda vardagsrum på kontoret är, är det svårt att slå den riktiga saken

Mellan varje testsession satte sig de två testledningarna och observatörerna ner och sammanfattade vad vi just hört. Strax efter testdagen träffades vi igen för en syntesperiod som skulle leda oss mot de viktigaste användarinsikterna vi skulle dela med teamet och resten av teknikorganisationen.

Många av stegen som beskrivs ovan är naturligtvis fortfarande viktiga delar av vår process, medan andra har blivit överflödiga eller ersatta.

Går fjärr

Inte långt efter pandemin drabbade och vi över natten började arbeta hemifrån gjorde springet i fjärrtestning. Låt oss gräva i våra huvudsakliga takeaways och tips, plus några myt-busting, alla härledda från testrundorna vi har gjort online i olika team och projekt under året.

Först och främst är de aspekter som vi förväntade oss skulle vara fördelar med fjärrtester:

Samla in feedback från norr till söder. Eftersom det var nödvändigt att besöka vårt kontor För våra användarintervjuer före pandemin gör fjärrtestning det nu möjligt för oss att enkelt och kostnadseffektivt samla in användarinsikter från människor i hela Sverige. Det här är fantastiskt eftersom det gör det möjligt för oss att validera vår produkt från mer olika perspektiv, vilket överensstämmer med SVT: s uppdrag att representera alla.

“utan pendeltid kommer mer mångfald i villkor för ockupation och tillgänglighet ”

En mängd olika yrken. Pre remote, far från alla hade möjlighet att ta sig tid att besöka oss, men utan pendeltid kommer mer mångfald när det gäller ockupation och tillgänglighet.

Följande är aspekter som ursprungligen inte var en del av oss med tanke på går fjärrkontroll, men det visade sig vara mycket värdefullt för oss:

Din egen enhet inom räckhåll. Under användbarhetstester från hemmet kan deltagare nu använda sina egna enheter, vilket var en riktig spelväxlare. Om de är mest bekväma med den bärbara datorn som vi har mötet på kan de bara börja dela sin skärm. Om de vanligtvis använder SVT Play på sin TV kan de bara ta tag i fjärrkontrollen, vända på sin bärbara dator och visa oss hur de interagerar med den på ett autentiskt sätt.

Dokumentation: Klar. Om du är bekant med användbarhetstester eller användarintervjuer vet du att det finns gott om dokumentation om du vill dela insikter, samla kvalitativa data eller bara ha en hink med inspiration för framtida forskning. De flesta delar av vår dokumentation var naturligtvis digital innan covid-19 till och med var en del av våra vokabular, men nu har vi konverterat till och med de senaste fysiska bitarna. Ett exempel är vår älskade post på whiteboards, nu ersatt med digitala versioner av de två, vilket sparar värdefull tid som vi kan spendera på analys.

Som du förmodligen har märkt nu har vi blivit ganska förtjusta i test av fjärranvändare.Men naturligtvis, som med allt, finns nackdelar också . Här är några saker vi har märkt, några mer generella och andra mer specifika för vår produkt:

Testbarhet för prototyper. När vi sitter i ett fysiskt rum med respondenten kan vi alltid skicka dem en enhet med vår senaste prototyp eller produktversion ännu inte utrullad. Men när vi är avlägsna måste vi hålla oss till prototyper som kan köras på vilken enhet som helst, eller helt enkelt visa dem vår prototyp eller produktversion på en delad skärm och be dem att tänka högt och instruera oss hur de skulle navigera den, vilket är naturligtvis inte perfekt.

Fortfarande når inte alla. Människor från ett antal yrken är fortfarande hårda för att nå feedback-sessioner, och när pandemin är över kan vi vara mer begränsade när det gäller representerade yrken än vad vi för närvarande upplever.

Nej naturligt observatörssamarbete. Under de fysiska testmötena satt observatörerna i samma rum och kunde snabbt kontrollera alla tvetydigheter i tolkningar med varandra. Detta är inget större, och vi kan efterlikna detta genom att ha ett separat röstsamtal mellan observatörerna, men hittills har vi inte testat detta.

Värt att notera: Även om vi alltid ber våra deltagare i slutet av sessionen hur de upplevde det, vi har inte analyserat hur våra användare upplever skillnaden från persontestning. Dessutom är hemmiljön en naturlig miljö för att använda vår tjänst, vilket gör den till den perfekta inställningen för en återkopplingssession för oss, men det är naturligtvis inte fallet för alla produkter och tjänster.

Fjärr myt- busting

Vi nämnde att vi hade några problem med fjärrtester innan vi försökte det. Det är därför vi tycker att du inte ska låta dem stoppa dig.

Oro 1: genom att träffas online når vi bara tekniskt kunniga deltagare. Att hoppa på ett videosamtal med främlingar och ge dem feedback är inte något vi kan förvänta oss att människor i allmänhet är villiga att göra, så genom att testa fjärrkontroll skulle vi riskera att vrida vår användardata .

Verklighet: 2020 var året alla, tekniskt kunniga eller inte, tvingades bli vänner med videosamtal, liksom med andra digitala tjänster och möjligheter. Pandemin fick oss att göra ett digitalt steg på fem år framåt . Mer allmänt kommer vi aldrig att helt bli av med den skevhet som kommer med att samla in kvalitativ feedback – vi kan arbeta med vilka incitament vi ger deltagarna och vilka tidsluckor vi erbjuder för vårt test, men vi kommer alltid att vara begränsade till att nå människor som är villiga att spendera tid och energi på att ge oss feedback.

Oro 2: att möta online är för begränsat och opersonligt. Vi skulle inte kunna ansluta till våra respondenter på ett sätt som är nödvändigt för testet eller intervjun, och vi skulle missa viktiga nyanser i vad användaren verkligen känner och tänker.

Verklighet: Trots att möten digitalt inte är samma som att träffas personligen, är vi nu från våra fjärrupplevelser övertygade om att vi kan ansluta tillräckligt med och uppfatta tillräckligt från våra deltagare också över video. En reflektion dock: detta är förmodligen lättare nu än före 2020, återigen relaterat till det digitala språnget och det faktum att vi alla har fått omfamna video för att upprätthålla även våra nära relationer.

Tips för testning

Sist men inte minst, här är några tips på tips baserat på vad vi har sett i vår fjärrtestning:

  • Markera möteslänken, period. För att undvika att förlora värdefull testtid på tekniska frågor, skaffa bara deltagaren till mötet genom att markera möteslänken högst upp i inbjudan via e-post. Annan relevant mötesinformation kan följas efter länken. Vissa deltagare vill förbereda sig noggrant och andra inte, så tillgodoser också alla TL; DRs där ute.
  • Hantering av synlighet för observatör (in) . I fysiska tester var våra observatörer praktiskt taget osynliga medan de nu är deltagare i det digitala mötet. Att berätta för användaren att vi vill bjuda in några kollegor att lyssna på och se till att det är OK är därför lika viktigt som tidigare. Våra observatörer ansluter avstängda och med video avstängd för att minska känslorna av att publiken tittar på. Om de vill ställa uppföljningsfrågor skickar de dessa till den tekniska testledningen genom en separat chatt under testsessionen.
  • Bärbar bärbar dator .För mobil eller surfplatta har vi testat och förälskat oss i att krama bärbara datorer (ja, vi saknar alla kramar personligen!) – användaren vänder den bärbara datorn och justerar vinkeln på webbkameran så att vi kan se interaktionerna medan användaren håller sin pekdon. Genom detta är det ännu enklare för oss att följa interaktionerna än vad det var under våra fysiska testsessioner.
Laptop kramar i aktion

Så har fjärrtestning blivit en spelväxlare? Svaret för oss är Y-E-S. De farhågor vi hade i förväg var inte alls lika problematiska som vi trodde att de skulle vara, och det visade sig att det var gott om uppgångar med att gå fjärran. För oss är det viktigaste att lättare nå hela Sverige, vilket gör fjärrkontrollen till en riktig spelväxlare.

Vi tvivlar på att vi kommer att återvända till personliga användarsessioner som vår standard framför oss, men vi utesluter inte att använda dem när det är vettigt. Och när vi går in i det nya året är vi angelägna om att fortsätta att skärpa våra fjärrtestningskunskaper och ge värdefull användarinsikt till organisationen.

Vilka är dina erfarenheter av fjärrtestning? Vi skulle gärna höra dem!

Av Elin Nevdahl och Kamilla Liljedahl

Lämna ett svar

Din e-postadress kommer inte publiceras. Obligatoriska fält är märkta *