Hoe testen op afstand een game-wisselaar werd

(Kamilla Liljedahl)

Als UX-ontwerpers bij SVTi zijn we verantwoordelijk voor het voortdurend praten met onze gebruikers, begrijpen zowel hun gedrag, uitdagingen en behoeften, en vertalen deze naar gebruikersinzichten. Toen de pandemie ervoor zorgde dat we op afstand werkten, en sociale afstand de nieuwe norm werd, onze standaardmanier om deze informatie te verzamelen; het houden van gebruikerstestsessies op kantoor; was niet langer een optie.

We waren gedwongen onze gebruikersfeedbacksessies online te verplaatsen, en ondanks de zorgen die we vooraf hadden, hebben we nu een methode gevonden waar we dol op zijn geworden. We zullen proberen onze belangrijkste afhaalrestaurants van de laatste acht maanden van UX-onderzoek op afstand te delen, en bespreken waarom we ons niet terug zien gaan naar onze pre-pandemische manieren van gebruikerstests.

Allereerst, hier is hoe ons algemene onderzoeksproces er vroeger uitzag:

We zouden zien dat er behoefte is aan feedback van gebruikers; hetzij door middel van directe bruikbaarheidstests of een meer formatieve benadering met gebruikersinterviews; in ons dagelijkse werk met verschillende onderdelen van SVT Play. Nadat we samen met het team de aanpak hadden bepaald, hebben we onderzoeksvragen gedefinieerd die ons hielpen bij het vormen van de testopstelling en criteria voor de werving van deelnemers. Tijdens de rekruteringsfase hebben we observatieruimten voorbereid, protocollen voor het maken van notities, testopstelling en planning. Twee weken later verwelkomden we gebruikers in onze permanent bebouwde woonkamer op kantoor.

Een bebouwde woonkamer op kantoor voor testsessies
Hoe gezellig onze bebouwde woonkamer op kantoor ook is, het is moeilijk om het echte werk te verslaan

Tussen elke testsessie door gingen de twee meetsnoeren en waarnemers zitten om samen te vatten wat we zojuist hadden gehoord. Kort na de testdag kwamen we weer bijeen voor een synthesesessie die ons zou leiden naar de belangrijkste gebruikersinzichten die we zouden delen met het team en de rest van de technische organisatie.

Veel van de hierboven beschreven stappen zijn natuurlijk nog steeds essentiële onderdelen van ons proces, terwijl andere overbodig zijn geworden of vervangen.

Op afstand gaan

Niet lang nadat de pandemie toesloeg, en we s nachts begonnen te werken vanuit huis, maakte de sprong naar testen op afstand. Laten we eens kijken naar onze belangrijkste afhaalrestaurants en tips, plus wat mythevrijheid, allemaal afgeleid van de testrondes die we in de loop van het jaar online hebben gedaan in verschillende teams en projecten.

Ten eerste zijn er de aspecten die we verwachtten. voordelen opleveren met testen op afstand:

Feedback verzamelen van noord naar zuid. Sinds een bezoek aan ons kantoor noodzakelijk was voor onze gebruikersinterviews vóór de pandemie, stellen remote testen ons nu in staat om eenvoudig en kostenefficiënt gebruikersinzichten te verzamelen van mensen in heel Zweden. Dit is geweldig omdat het ons in staat stelt ons product vanuit meer verschillende perspectieven te valideren, wat in lijn is met de missie van SVT in het algemeen om iedereen te vertegenwoordigen.

“zonder reistijd komt er meer diversiteit in termen van beroep en toegankelijkheid ”

Een verscheidenheid aan beroepen. Pre-remote, ver van iedereen had de gelegenheid om tijd vrij te maken om ons te bezoeken, maar zonder reistijd komt er meer diversiteit in termen van bezetting en bereikbaarheid.

De volgende zijn aspecten die aanvankelijk niet bij ons waren overwogen op afstand gaan, maar dat bleek erg waardevol voor ons:

Je eigen apparaat binnen handbereik. Tijdens bruikbaarheidstests van thuis kunnen deelnemers nu hun eigen apparaten gebruiken, wat een echte game-wisselaar was. Als ze het meest vertrouwd zijn met de laptop waarop we de vergadering houden, kunnen ze gewoon beginnen met het delen van hun scherm. Als ze SVT Play normaal op hun tv gebruiken, kunnen ze gewoon hun afstandsbediening pakken, hun laptop omdraaien en ons laten zien hoe ze er op een authentieke manier mee omgaan.

Documentatie: klaar. Als u bekend bent met bruikbaarheidstests of gebruikersinterviews, weet u dat er voldoende documentatie nodig is als u inzichten wilt delen, kwalitatieve gegevens wilt verzamelen of heb gewoon een emmer inspiratie voor toekomstig onderzoek. De meeste delen van onze documentatie waren natuurlijk digitaal voordat covid-19 zelfs maar deel uitmaakte van onze vocabulaires, maar nu hebben we zelfs de laatste paar fysieke stukjes geconverteerd. Een voorbeeld is onze geliefde post-its op whiteboards, nu vervangen door digitale versies van de twee, waardoor we kostbare tijd besparen die we aan analyse kunnen besteden.

Zoals je waarschijnlijk inmiddels hebt opgemerkt, zijn we erg gesteld op het testen van externe gebruikers.Maar natuurlijk, zoals bij alles, er zijn ook nadelen . Hier zijn een paar dingen die we hebben opgemerkt, sommige algemener en andere specifieker voor ons product:

Testbaarheid van prototypes. Zittend in een fysieke kamer met de respondent, konden we hem altijd een apparaat geven met ons nieuwste prototype of productversie die nog niet is uitgerold. Maar omdat we op afstand zijn, moeten we ons houden aan prototypes die op elk apparaat kunnen worden uitgevoerd, of ze gewoon ons prototype of productversie laten zien op een gedeeld scherm, hen vragen hardop na te denken en ons te instrueren hoe ze er doorheen zouden navigeren, en dat is natuurlijk niet ideaal.

Bereik nog steeds niet iedereen. Mensen met een aantal beroepen zijn nog steeds moeilijk om feedbacksessies te vinden, en wanneer de pandemie voorbij is, kunnen we merken dat we beperkter zijn in termen van vertegenwoordigde beroepen dan wat we momenteel ervaren.

Nee natuurlijke samenwerking met waarnemers. Tijdens de fysieke testsessies zaten de waarnemers in dezelfde kamer en konden ze snel eventuele onduidelijkheden in interpretaties met elkaar controleren. Dit is niet belangrijk, en we zouden dit kunnen nabootsen door een aparte spraakoproep tussen de waarnemers te houden, maar tot dusver hebben we dit niet getest.

Vermeldenswaard: hoewel we onze deelnemers altijd aan het einde van de sessie hoe ze het hebben ervaren, hebben we niet geanalyseerd hoe onze gebruikers het verschil ervaren met persoonlijk testen. Bovendien is de thuisomgeving een natuurlijke omgeving om onze service te gebruiken, waardoor het voor ons de ideale setting is voor een feedbacksessie, maar dit is natuurlijk niet het geval voor alle producten en diensten.

Mythe op afstand- busting

We zeiden dat we ons zorgen maakten over testen op afstand voordat we het probeerden. Dit is waarom we denken dat u zich niet door hen moet laten tegenhouden.

Probleem 1: door online te vergaderen zouden we alleen technisch onderlegde deelnemers bereiken. Een videogesprek voeren met vreemden en hen feedback geven is niet iets waarvan we konden verwachten dat mensen over het algemeen bereid zijn te doen, dus door op afstand te testen, lopen we het risico onze gebruikersgegevens scheef te trekken .

Realiteit: 2020 was het jaar waarin iedereen, technisch onderlegd of niet, werd gedwongen om vrienden te maken met videogesprekken en met andere digitale diensten en mogelijkheden. De pandemie deed ons een digitale sprong maken van 5 jaar vooruit . Meer in het algemeen zullen we de scheefheid die gepaard gaat met het verzamelen van kwalitatieve feedback nooit volledig wegnemen – we kunnen werken met welke prikkels we deelnemers geven en welke tijdvakken we bieden voor onze tests, maar we zullen altijd beperkt blijven tot het bereiken van mensen die dat willen besteed tijd en energie aan het geven van feedback.

Probleem 2: online vergaderen is te beperkt en onpersoonlijk. We zouden niet in staat zijn om met onze respondenten in contact te komen op een manier die nodig is voor de test of het interview, en we zouden belangrijke nuances missen in wat de gebruiker werkelijk voelt en denkt.

Realiteit: hoewel digitaal vergaderen niet hetzelfde is als persoonlijk vergaderen, zijn we er nu vanuit onze ervaringen op afstand van overtuigd dat we voldoende verbinding kunnen maken met en genoeg kunnen waarnemen van onze deelnemers ook via video. Eén overweging echter: dit is waarschijnlijk gemakkelijker nu dan vóór 2020, opnieuw gerelateerd aan de digitale sprong en het feit dat we allemaal video moesten omarmen om zelfs onze hechte relaties te onderhouden.

Tips voor testen

Last but not least, hier zijn een paar praktische tips gebaseerd op wat we hebben gezien tijdens onze tests op afstand:

  • Markeer de ontmoetingslink, punt. Om te voorkomen dat u kostbare testtijd verliest aan technische problemen, kunt u de deelnemer aan de vergadering laten deelnemen door de vergaderlink bovenaan de uitnodigingsmail te markeren. Andere relevante vergaderinformatie kan achter de link worden geplaatst. Sommige deelnemers willen zich zorgvuldig voorbereiden, en anderen niet, dus zorg ook voor alle TL; DRs die er zijn.
  • Omgaan met (on) zichtbaarheid van waarnemers . Bij fysieke tests waren onze waarnemers vrijwel onzichtbaar, terwijl ze nu deelnemen aan de digitale bijeenkomst. De gebruiker vertellen dat we graag een paar collegas willen uitnodigen om mee te luisteren, en ervoor zorgen dat het goed is, is daarom net zo belangrijk als voorheen. Onze waarnemers verbinden gedempt en met video uitgeschakeld, om het gevoel te verminderen dat een menigte kijkt. Als ze vervolgvragen willen stellen, geven ze deze door aan de technische testleider via een aparte chat tijdens de testsessie.
  • Laptop hugging .Voor mobiel of tablet hebben we getest en zijn we verliefd geworden op laptopknuffelen (ja, we missen knuffelen allemaal persoonlijk!) – de gebruiker draait de laptop om en past de hoek van de webcamera aan zodat we de interacties kunnen zien terwijl de gebruiker houdt zijn aanraakapparaat vast. Hierdoor is het voor ons nog gemakkelijker om de interacties te volgen dan tijdens onze fysieke testsessies.
Laptop knuffelen in actie

Is testen op afstand een game-wisselaar geworden? Het antwoord voor ons is Y-E-S. De zorgen die we vooraf hadden, waren lang niet zo problematisch als we dachten dat ze zouden zijn, en er bleken veel voordelen te zijn aan het op afstand gaan. Voor ons is het gemakkelijker om heel Zweden te bereiken, waardoor de afstandsbediening een echte game-wisselaar wordt.

We betwijfelen of we terug zullen gaan naar persoonlijke gebruikerssessies als onze standaard. maar we sluiten het gebruik ervan niet uit als het zinvol is. En terwijl we het nieuwe jaar ingaan, willen we onze vaardigheden voor testen op afstand blijven aanscherpen en waardevolle gebruikersinzichten voor de organisatie brengen.

Wat zijn uw ervaringen met testen op afstand? We horen ze graag!

Door Elin Nevdahl en Kamilla Liljedahl

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *