Jak zdalne testowanie zmieniło zasady gry

(Kamilla Liljedahl)

Jako projektanci UX w SVTi jesteśmy odpowiedzialni za ciągłe rozmowy z naszych użytkowników, rozumiejąc ich zachowania, wyzwania i potrzeby oraz przekładając je na spostrzeżenia użytkowników. Kiedy pandemia zmusiła nas do pracy zdalnej, a dystans społeczny stał się nową normą, naszym standardowym sposobem gromadzenia tych informacji; przeprowadzanie sesji testów użytkowników w biurze; nie wchodziło już w grę.

Byliśmy zmuszeni przenieść nasze sesje opinii użytkowników do trybu online i pomimo wcześniejszych obaw znaleźliśmy metodę, którą bardzo polubiliśmy. Spróbujemy podzielić się naszymi głównymi wnioskami z ostatnich ośmiu miesięcy zdalnych badań UX i przedyskutować, dlaczego nie widzimy, abyśmy wracali do naszych przedpandemicznych sposobów testowania użytkowników.

Najpierw najważniejsze, tak wyglądał nasz ogólny proces badawczy:

Zauważylibyśmy potrzebę uzyskania opinii użytkowników; albo przez proste testy użyteczności, albo przez bardziej formatywne podejście z wywiadami z użytkownikami; w naszej codziennej pracy z różnymi częściami SVT Play. Po podjęciu wspólnie z zespołem decyzji o podejściu, zdefiniowaliśmy pytania badawcze, które pomogły nam sformułować konfigurację testu i kryteria rekrutacji uczestników. W fazie rekrutacji przygotowaliśmy sale obserwacyjne, protokoły sporządzania notatek, przygotowanie testów i harmonogram. Dwa tygodnie później powitaliśmy użytkowników w naszym na stałe zabudowanym salonie w biurze.

Pokój dzienny w biurze do sesji testowych
Bez względu na to, jak przytulny jest nasz salon w biurze, ciężko jest pobić prawdziwy

Pomiędzy każdą sesją testową dwóch przewodów testowych i obserwatorów usiadło i podsumowało to, co właśnie usłyszeliśmy. Wkrótce po dniu testów spotkaliśmy się ponownie na sesji podsumowującej, która doprowadziła nas do kluczowych spostrzeżeń użytkowników, którymi podzielilibyśmy się z zespołem i resztą organizacji technicznej.

Wiele z opisanych powyżej kroków są oczywiście nadal istotnymi częściami naszego procesu, podczas gdy inne stały się zbędne lub zastąpione.

Przejście na odległość

Niedługo po wybuchu pandemii i z dnia na dzień zaczęliśmy pracować w domu, pogrążył się w zdalnym testowaniu. Przyjrzyjmy się naszym głównym wnioskom i wskazówkom, a także obalaniu mitów, a wszystko to pochodzi z rund testowych, które przeprowadziliśmy online w różnych zespołach i projektach w ciągu roku.

Na początek spodziewaliśmy się, że będą odnieś korzyści ze zdalnego testowania:

Zbieranie opinii z północy na południe. Ponieważ wizyta w naszym biurze była konieczna w przypadku wywiadów z użytkownikami przed pandemią, zdalne testy pozwalają nam teraz w łatwy i efektywny kosztowo sposób gromadzić informacje o użytkownikach z całej Szwecji. To wspaniałe, ponieważ umożliwia nam walidację naszego produktu z bardziej różnych perspektyw, co jest zgodne z misją SVT w ogóle, aby reprezentować wszystkich.

„Bez dojazdów do pracy jest większa różnorodność warunki zawodu i dostępność ”

Różne zawody. Wcześniej zdalne, daleko każdy miał okazję spędzić trochę czasu, aby nas odwiedzić, ale bez dojazdów do pracy wiąże się większa różnorodność pod względem zawodu i dostępności.

Poniżej przedstawiono aspekty, które początkowo nie były częścią naszego rozważania zdalne, ale okazało się to dla nas bardzo cenne:

Twoje własne urządzenie w zasięgu. Podczas testów użyteczności z domu uczestnicy mogą teraz korzystać z własnych urządzeń, co było prawdziwym przełomem. Jeśli najwygodniej będzie im posługiwać się laptopem, na którym prowadzimy spotkanie, może po prostu zacząć udostępniać swój ekran. Jeśli normalnie używają SVT Play na swoim telewizorze, mogą po prostu chwycić pilota, obrócić laptopa i pokazać nam, jak korzystają z niego w autentyczny sposób.

Dokumentacja: Gotowe. Jeśli jesteś zaznajomiony z testami użyteczności lub wywiadami z użytkownikami, wiesz, że do dzielenia się spostrzeżeniami, gromadzenia danych jakościowych lub po prostu mieć wiadro inspiracji do przyszłych badań. Większość części naszej dokumentacji była oczywiście cyfrowa, zanim covid-19 był nawet częścią naszego słownika, ale teraz przekonwertowaliśmy nawet kilka ostatnich fizycznych bitów. Jednym z przykładów jest nasz ukochany post-it na białych tablicach, teraz zastąpiony cyfrowymi wersjami dwóch, oszczędzając nam cenny czas, który możemy przeznaczyć na analizę.

Jak już zapewne zauważyłeś, polubiliśmy zdalne testowanie użytkowników.Ale oczywiście, jak wszystko, są też wady . Oto kilka rzeczy, które zauważyliśmy, niektóre bardziej ogólne, a inne bardziej szczegółowe dla naszego produktu:

Testowalność prototypów. Siedząc w fizycznym pokoju z respondentem, zawsze mogliśmy przekazać mu urządzenie z naszym najnowszym prototypem lub wersją produktu, która nie została jeszcze wdrożona. Ale będąc zdalnym, musimy trzymać się prototypów, które można uruchomić na dowolnym urządzeniu lub po prostu pokazać im nasz prototyp lub wersję produktu na wspólnym ekranie, prosząc ich, aby myśleli na głos i poinstruowali nas, jak mają się po nim poruszać, czyli oczywiście nie idealne.

Nadal nie dociera do wszystkich. Ludzie z wielu zawodów wciąż mają trudności sięgnąć po sesje opinii, a po zakończeniu pandemii możemy być bardziej ograniczeni pod względem reprezentowanych zawodów niż to, czego obecnie doświadczamy.

Nie współpraca obserwatorów naturalnych. Podczas sesji testów fizycznych obserwatorzy siedzieli w tym samym pomieszczeniu i mogli szybko sprawdzić wszelkie niejasności w interpretacjach. Nie jest to nic poważnego i możemy to naśladować, prowadząc oddzielną rozmowę głosową między obserwatorami, ale jak dotąd tego nie testowaliśmy.

Warto zauważyć: chociaż zawsze pytamy naszych uczestników pod koniec sesji, jak tego doświadczyli, nie analizowaliśmy, jak nasi użytkownicy odczuwają różnicę w porównaniu z osobistymi testami. Ponadto środowisko domowe jest naturalnym miejscem korzystania z naszych usług, co sprawia, że ​​jest to dla nas idealne miejsce na sesję opinii, ale oczywiście nie dotyczy to wszystkich produktów i usług.

Zdalny mit – busting

Wspomnieliśmy, że mieliśmy pewne obawy dotyczące zdalnego testowania, zanim go wypróbowaliśmy. Oto powód, dla którego uważamy, że nie powinieneś pozwolić im się powstrzymać.

Problem 1: spotykając się online, dotarlibyśmy tylko do osób znających się na technologii. Przeskakiwanie do rozmowy wideo z nieznajomymi i przekazywanie im opinii nie jest czymś, czego moglibyśmy oczekiwać od ludzi w ogóle, więc testując zdalnie, ryzykowalibyśmy wypaczenie naszych danych użytkownika .

Rzeczywistość: 2020 był rokiem, w którym wszyscy, niezależnie od technologii, byli zmuszeni do zaprzyjaźnienia się z rozmowami wideo, a także innymi usługami i możliwościami cyfrowymi. Pandemia sprawiła, że ​​dokonaliśmy cyfrowego skoku o 5 lat naprzód . Mówiąc bardziej ogólnie, nigdy nie pozbędziemy się w pełni wypaczeń, które wynikają z gromadzenia jakościowych informacji zwrotnych – możemy pracować nad tym, jakie zachęty dajemy uczestnikom i jakie przedziały czasowe oferujemy na nasze testy, ale zawsze będziemy ograniczać się do dotarcia do osób, które chcą poświęcać czas i energię na przekazywanie nam swoich opinii.

Obawa 2: spotkanie online jest zbyt ograniczone i bezosobowe. Nie bylibyśmy w stanie połączyć się z naszymi respondentami w sposób niezbędny do przeprowadzenia testu lub rozmowy kwalifikacyjnej i przegapilibyśmy ważne niuanse w tym, co naprawdę czuje i myśli użytkownik.

Rzeczywistość: chociaż spotkanie cyfrowe to nie to samo, co spotkanie osobiste, teraz z naszych odległych doświadczeń jesteśmy przekonani, że jesteśmy w stanie wystarczająco się połączyć z naszymi uczestnikami i dostatecznie od nich postrzegać także wideo. Jedna refleksja: teraz jest to prawdopodobnie łatwiejsze niż przed rokiem 2020, ponownie w związku z cyfrowym skokiem i faktem, że wszyscy musieliśmy korzystać z wideo, aby utrzymać nawet nasze bliskie relacje.

Wskazówki dotyczące testowania

Na koniec kilka wskazówek opartych na tym, co widzieliśmy podczas testów zdalnych:

  • Zaznacz link do spotkania, kropka. Aby nie tracić cennego czasu na testowanie problemów technicznych, po prostu zaproś uczestnika na spotkanie, podświetlając link do spotkania u góry e-maila z zaproszeniem. Inne istotne informacje dotyczące spotkania można znaleźć po linku. Niektórzy uczestnicy chcą się przygotowywać ostrożnie, a inni nie, więc zadbaj też o wszystkie TL; DRs .
  • Obsługa (nie) widoczności obserwatora . W testach fizycznych nasi obserwatorzy byli praktycznie niewidoczni, podczas gdy teraz są uczestnikami cyfrowego spotkania. Poinformowanie użytkownika, że ​​chcielibyśmy zaprosić kilku współpracowników do posłuchania i upewnienie się, że wszystko jest w porządku, jest zatem równie ważne jak wcześniej. Nasi obserwatorzy łączą się wyciszeni i przy wyłączonym wideo, aby zmniejszyć poczucie oglądania przez tłum. Jeśli chcą zadać dodatkowe pytania, przekazują je kierownikowi testów technicznych przez oddzielny czat podczas sesji testowej.
  • Przytulanie laptopa .W przypadku telefonu komórkowego lub tabletu przetestowaliśmy i pokochaliśmy przytulanie laptopa (tak, wszyscy tęsknimy za przytulaniem osobiście!) – użytkownik obraca laptopa i dostosowuje kąt kamery internetowej, aby widzieć interakcje podczas użytkownik trzyma swoje urządzenie dotykowe. Dzięki temu śledzenie interakcji jest jeszcze łatwiejsze niż podczas sesji testów fizycznych.
Przytulanie laptopa w akcji

Czy więc zdalne testowanie zmieniło zasady gry? Odpowiedzią dla nas jest Y-E-S. Obawy, które mieliśmy wcześniej, nie były aż tak problematyczne, jak myśleliśmy, że będą, i okazało się, że ma wiele plusów związanych z pilotowaniem. Dla nas najłatwiejsze dotarcie do całej Szwecji jest najważniejsze, co sprawia, że ​​zdalne sterowanie to prawdziwy przełom.

Wątpimy, czy wrócimy do sesji osobistych jako naszego standardu. ale nie wykluczamy ich używania, gdy ma to sens. Wkraczając w nowy rok, z chęcią będziemy doskonalić nasze umiejętności w zakresie zdalnego testowania i przekazywać organizacji cenne informacje o użytkownikach.

Jakie są Twoje doświadczenia z testowaniem zdalnym? Bardzo chcielibyśmy ich usłyszeć!

Autorzy: Elin Nevdahl i Kamilla Liljedahl

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *