Opowieści z wirtualności – badania poddane kwarantannie w MIT Media Laboratorium

(19 maja 2020 r.)

Autor: Joe Paradiso, absolwent ETH Zurich i profesor MIT

Kredyt: Joe Paradiso

Kaskada przyczynowa COVID-19 rozpoczęła się dla mnie pod koniec lutego , gdy północne Włochy zaczęły ogarniać pandemię. Właśnie wróciłem do Bostonu z tygodnia w tym regionie, gdzie wygłosiłem serię wykładów i wziąłem kilka dni urlopu. Obserwując narastający kryzys wkrótce po powrocie, każdy kaszel lub zatory wydawały się znaczącym objawem, ale było już wiele bardziej łagodnych przyczyn. Wydawało się, że nie przynieśliśmy go ze sobą – tylko wspaniałe wspomnienia, kilka butelek dobrego włoskiego wina, zwykłe pamiątki i wiele płyt CD z ostrym włoskim rockiem i jazzem, ponieważ zbieram niezwykła muzyka wszędzie, gdzie idę , nawyk sięgający moich czasów, kiedy mieszkałem w Szwajcarii cztery dekady temu. Ale wirus już znajdował inne drogi do obszaru Bostonu. Wydaje się, że pierwszym „superspreading” wydarzeniem w tym obszarze było Doroczne spotkanie liderów Biogen , które odbyło się tutaj tydzień po naszym powrocie.

Jeden z moich kolegów wydziałowych w Media Lab jest biochemikiem, który spędził większość swojego życia zawodowego, koncentrując się na chorobach zakaźnych, stąd mieliśmy ostrą wczesną prognozę tego, co nadchodzi. Zachęcaliśmy naszych pracowników i studentów do pracy zdalnej tam, gdzie to możliwe, już na początku marca, a większość MIT poszła w ich ślady tydzień lub dwa później. Kiedy zegar wybił północ we wtorek 17 marca, budynek MIT Media Lab został zamknięty, wraz z większością MIT. Wszystkie zajęcia na MIT zostały odwołane na tydzień 16 marca i stały się całkowicie wirtualne po zakończeniu ferii wiosennych tydzień później. Dało to wykładowcom i nauczycielom dwa tygodnie na przeniesienie wszystkiego do sieci. Narzędzia, które niektórzy z nas badali za pośrednictwem platform MIT Stellar, MITx i OpenCourseWare, zostały wprowadzone do małżeństw typu shotgun z Zoom, Jitsi, Google Hangout i innymi skalowalnymi platformami wideokonferencyjnymi, a nauczanie na MIT przeszło całkowicie wirtualnie do 30 marca. Flagowa klasa Sensors w tym semestrze, ale odroczona, ponieważ w ostatnim semestrze wykonywałem dodatkowe obowiązki dydaktyczne. Ta klasa byłaby bardzo trudna do pełnej wirtualizacji, ponieważ obejmuje obszerne praktyczne laboratoria i końcowy projekt intensywnie wykorzystujący sprzęt. Moi koledzy, którzy prowadzą zajęcia oparte na projektach na MIT i innych uniwersytetach, które wymagają sprzętu, wysyłają komponenty do studentów w domu i przeprowadzają wirtualną krytykę. Z drugiej strony moi przyjaciele z Wydziału Fizyki MIT uczący ich słynnej klasy „Junior Lab” (nieco podobnej do klasy Physik Praktikum, którą prowadziłem na ETH) uważają się za szczęśliwych, ponieważ uczniowie wzięli już większość danych, które potrzebne i mogą skupić się na analizie (nawet na MIT trudno jest wysłać aparaty rentgenowskie, źródła radioaktywne, sprzęt NMR itp. do domów uczniów).

Źródło: Joe Paradiso i studenci z grupy Responsive Environments

Na MIT, as na naszych siostrzanych uczelniach technicznych na całym świecie badania nigdy się nie kończą. Dlatego musiałem szybko zwirtualizować mój zespół około 20 studentów i badaczy, którzy przyjechali do mnie z całego świata, aby kontynuować nasze projekty. Wiele badań prowadzonych w mojej grupie Responsive Environments dotyczy sprzętu, a my posiadamy światowej klasy laboratorium elektroniczne, na którym polegamy (i wiele innych grup w tym budynku). W związku z tym zaczęliśmy przenosić sprzęt z budynku na tydzień przed zamknięciem, a moi uczniowie porozumiewali się między sobą co do tego, kto będzie kustoszem czego. Zaimprowizowane laboratoria pojawiły się w rogach mieszkań członków mojego zespołu – jak widać na fotomontażu naszych domowych stref pracy, uczniowie dzielą swoją przestrzeń życiową z drukarkami 3D, piecami przepuszczającymi, stanowiskami do testowania / montażu elektroniki , pakiety rozwojowe systemów wbudowanych, macierze GPU do głębokiego uczenia się (które również pomagają ogrzać ich mieszkanie), systemy VR, a nawet sprzęt do muzyki elektronicznej (kilku z nich jest również muzykami i wykorzystuje w swojej pracy mapowania audio). W związku z tym większość naszej fizycznej pracy była w stanie kontynuować pomimo jej różnorodności – na przykład wykonujemy dwa eksperymenty na Międzynarodowej Stacji Kosmicznej (jeden właśnie się zakończył i rozpoczyna analizę danych, podczas gdy drugi właśnie został wysłany do naszych współpracowników w JAXA) w Japonii w celu przygotowania się do wprowadzenia na rynek) i mamy zamiar wyprodukować 20 par bezprzewodowych okularów z czujnikami, z jednym z naszych partnerów przemysłowych, które są przeznaczone do pomiaru cech związanych ze stanem uwagi użytkownika.Kilku moich uczniów we współpracy z innymi zespołami Media Lab tworzy prototypy systemów open source w domu, aby udaremnić dotykowe ścieżki infekcji COVID-19 . Obejmują one wyjątkowo tanie czujniki do noszenia oparte na czujnikach ultradźwiękowych lub magnetycznych, które ostrzegają, gdy ręce zbliżają się do twarzy, oraz spryskiwacz na ramieniu, który aktywuje się automatycznie, gdy Twoje palce zbliżą się do powierzchni i / lub wykonasz specjalny gest .

Ponieważ mamy wiele projektów skupionych wokół interakcji człowiek-komputer (HCI), badania użytkowników uderzyły w nas znacznie bardziej. Wprowadzenie znacznej liczby ludzi do wspólnej przestrzeni w celu dzielenia się aparatem (czy to HoloLens z inteligentnym przewodnikiem po AR, czy z interfejsem inteligentnej tkaniny) najprawdopodobniej nie będzie możliwe przed terminem prac, więc moi uczniowie i ja kreatywnie przeprowadzamy burzę mózgów . Znaczna część Media Lab działa dzięki wsparciu naszych członków z branży przemysłowej, którzy odwiedzają go dwa razy w roku, aby wziąć udział w ogromnych spotkaniach, na których każdy z dumą prezentuje swoje najnowsze wersje demonstracyjne. Atmosfera jest zawsze elektryzująca podczas tych kluczowych wydarzeń, ale niestety, ponieważ nie można ich teraz przetrzymać w fizycznym świecie, staramy się wymyślić sposoby na zachowanie emocji w wirtualnym otoczeniu.

Kredyt: Joe Paradiso

Zmiana we własnej rutyna była drastyczna. Przed marcem podróże były dużą częścią mojego życia. Podobnie jak wielu starszych pracowników akademickich, często leciałem samolotem na posiedzenie komitetu lub wykładałem w różnych zakątkach świata, a gdy byłem miejscowy, pędziłem na spotkania w całym kampusie. Teraz zawsze jestem w domu. To ograniczenie doprowadziło jednak do innego poziomu produktywności – stos prac dyplomowych, artykułów i propozycji, które muszę napisać / zrecenzować / zweryfikować, zaczyna się zmniejszać i w końcu byłem w stanie (prawie) dokończyć moją muzykę domową studio syntezatorów, zadanie, na które czekało lata. Aby zachować spójność mojego zespołu, w razie potrzeby planujemy spotkania Zoom, a co drugi piątki organizujemy spotkania dla wszystkich grup. Pozostałe piątki są jednak w całości poświęcone na 1–1 spotkań badawczych ze wszystkimi członkami mojego zespołu – chociaż to prawdziwy maraton, są to chyba jedne z najbardziej stymulujących i satysfakcjonujących dni, jakie kiedykolwiek miałem.

W świecie fizycznym jest zbyt wiele rzeczy, które mogą rozpraszać i przeszkadzać lub opóźniać tego rodzaju spotkania, podczas gdy w sferze wirtualnej jest to czysto intensywna 20–30-minutowa sesja skupiona wokół pomysłów, koncepcji, strategii i postęp. Mamy szczęście przyciągać wielkie talenty do naszych programów badawczych i akademickich na MIT, a te spotkania zawsze to potwierdzają.

Nasze życie oparte na Zoom ewoluowało w dziwny sposób, gdy widzę, jak moi koledzy z wydziału zmieniają się na ekranie. Nasze włosy stają się coraz dłuższe, a niektórzy zapuszczają nowe brody. Początkowo utrzymywaliśmy świat fizyczny w tle – gdy pozwalała nam pogoda, podglądaliśmy nawzajem swoje pokoje dzienne, gabinety, kuchnie, a nawet zewnętrzne tarasy. Teraz bardziej prawdopodobne jest zobaczenie czyjegoś sufitu lub tła zdjęcia, od ustawień alpejskich po pejzaże chmur; zmieniamy je jak koszulki pamiątkowe. Po zobaczeniu, jak niektórzy z moich kolegów z administracji MIT na tle Marscapes wziętych z łazików JPL, postanowiłem zagłębić się w fantazję i pojawić się na tle osiadłego Marsa z The Expanse (doskonałego serialu telewizyjnego z neo-kosmicznej opery, który pożarł podczas kwarantanny), Rigel 7 z oryginalnego Star Trek, a nawet zeskanowałem kilka zabytkowych druków przedstawiających idylliczne europejskie krajobrazy sprzed wieków, które kupiłem, mieszkając w Szwajcarii i które teraz mogę zamieszkać. Ponieważ bardzo brakuje mi doświadczenia związanego z uczęszczaniem na koncerty, jednym z moich ulubionych scenerii jest zdjęcie, które zrobiłem podczas pokazu Hawkwind w cudownym Roundhouse w Londynie, będąc w mieście, aby wygłosić wykład EE w Imperial College kilka lat temu.

Teraz boso prowadziłem i uczestniczyłem w wszystkich ważnych spotkaniach. Zanim przedstawiłem jednego z moich doktorantów podczas jego obrony pracy magisterskiej Zoom w zeszłym miesiącu, podniosłem stopę do aparatu, aby podkreślić ten fakt – było to dość właściwe, ponieważ jego praca dotyczyła ponowne renderowanie dźwięku z gęstych macierzy mikrofonów w świecie rzeczywistym, dzięki czemu można bezbłędnie przenieść słuchacza w analogiczne środowisko wirtualne. Chciałem podkreślić, jak powszechna stała się wirtualność. Popularna analogia do nas wszystkich żyjących w świecie „science fiction” trafia teraz w sedno, kiedy kulimy się w bliskości ludzi i kokonie wokół naszych wirtualnych monitorów. Być może wczesny zwiastun można znaleźć w opowiadaniu E.M. Forstera z 1909 r. „Maszyna zatrzymuje się”, ale od razu przychodzą mi na myśl sceny z powieści Isaaca Asimova „The Naked Sun” z 1956 r., Którą pożerałem w szkole podstawowej.

Źródło: Gershon Dublon

Wiele pracy mojego zespołu badawczego w ciągu ostatnich 15 lat dotyczyło różnych sposobów łączenia ludzi z informacjami przesyłanymi strumieniowo z wbudowanych czujników coraz bardziej wszędzie i jak może to zmienić charakter obecności – temat, który zyskał teraz natychmiastowe znaczenie. Dziesięć lat temu zainstalowaliśmy kamery, mikrofony strumieniowe zaciemniające mowę i inne czujniki w całym naszym kompleksie Media Lab w celu prowadzenia badań nad rozproszonymi i zdalnymi interakcjami, których kulminacją był nasz projekt DoppelLab – prekursor tego, co jest obecnie komercyjnie określane jako DigitalTwin, odwiedzający mogli wędrować po naszym wirtualnym budynku z dowolnego miejsca i widzieć / słyszeć w czasie rzeczywistym dźwięki i bodźce przechodzące z odpowiednich miejsc w fizycznej lokalizacji.

Jak niektóre z tych kamer i czujników nadal działają, udostępniliśmy ich strumienie członkom Media Lab, aby mogli je oglądać jako tło otoczenia. Widok jednodniowej przepustki w naszym prawie pustym kompleksie przypomina nam o naszym wspólnym domu i odmładza obietnicę naszego oczekującego powrotu.

Źródło: Brian Mayton

Bardziej popularne są jednak transmisje na żywo z naszego Projekt Tidmarsh , w ramach którego rozprowadziliśmy kamery, mikrofony i setki bezprzewodowych czujników w odrestaurowanym rezerwacie dzikiej przyrody na mokradłach w Plymouth, godzinę jazdy na południe od Bostonu, aby dodatkowo wspierać badania ekologiczne aby odkrywać nowe granice wirtualizacji . Tutaj, z kwarantanny twojego domu w dowolnym miejscu na świecie, możesz połączyć się z pięknym naturalnym krajobrazem w prawdziwym życiu lub poprzez wirtualne zanurzenie. Nadal spędzam godziny z jednym z moich ekranów przywiązanym do Stawu śledziowego , słuchając gęsi, ptaków, owadów i żab, mając nadzieję, że ujrzę kręcą się tam czaple internetowe, które często wydają się kłuć przed kamerą. W naszym ostatnim Projekcie Mediated Atmospheres opracowaliśmy pokoje, które automatycznie zmieniają się między naturalnymi ustawieniami za pomocą renderowanego oświetlenia, wyświetlanego obrazu i dźwięku w zależności od reakcji mieszkańców na nie – tak jak my wszystkie zamknięte w domu wokół ekranów, inicjatywa ta ma coraz większe znaczenie.

Chociaż możemy wirtualnie łączyć się z miejscami na różne sposoby, które dają pewien stopień satysfakcji, łączenie się z ludźmi stanowi zupełnie inne wyzwania. Nasze obecne życie spędzone na wpatrywaniu się w płaskie montaże Hollywood-Squares oferowane przez Zoom i inne platformy konferencyjne online zaczyna zbierać męczące żniwo. W przypadku małych spotkań tylko z kilkoma osobami te doświadczenia mogą działać, ale większe grupy rozpadają się, wywołując coś, co uważam za paranoję wywołaną Zoomem. Nasze mózgi są zbudowane tak, aby zwracać szczególną uwagę na twarze, ale nie jesteśmy w stanie odpowiednio przetworzyć wachlarza twarzy, które gdzieś się na nas gapią na zwykłym płaskim ekranie. Kiedy powinniśmy włamać się do rozmowy i jaką reakcję naprawdę otrzymujemy? Jak mogę szeptać do sąsiada lub naturalnie wejść w osobną rozmowę z boczną grupą ludzi, tak jak na przyjęciu lub przyjęciu? Wydawało mi się to dość niepokojące, na przykład podczas rozmowy przez Zoom, aby zobaczyć zdjęcia stockowe kolegów (zwykle uśmiechniętych), którzy mają wyłączone wideo zestawione z transmisjami wideo na żywo ludzi pokazujących prawdziwe wyrażenia i reakcje – porównanie może sprawić, że pomyślisz, że ludzie korzystający z transmisji strumieniowej nie są zadowoleni, mimo że ich miny są przynajmniej neutralne. Zajęcia z Media Lab są zwykle bardzo angażujące i zawierają dużo dyskusji – kilku moich kolegów, którzy uczą tego semestru, zauważyło, że ciężar zajęć w stylu Zoom coraz bardziej osłabia entuzjazm uczniów w miarę rozwoju tego semestru.

Ponieważ nasz zbiorowe nerwy zaczynają się strzępić z powodu tego nienaturalnego przeciążenia społecznego / poznawczego, staje się oczywiste, że istnieją ogromne możliwości badawcze dotyczące tego, jak możemy odpowiednio przedstawić niuanse ludzkiej obecności w sposób, który naturalnie się skaluje. Czy możemy również zwirtualizować nieoczekiwane i spontaniczne interakcje między ludźmi w miejscach pracy, szkołach, centrach miast itp., Które działają jak podprogowy klej semantyczny, łączący nas ze sobą i ustanawiający wspólną tożsamość? A co z moim bardzo przegapionym doświadczeniem związanym z wyjściem na koncert? Oglądanie transmisji wideo nawet na wspaniałym telewizorze z niesamowitym dźwiękiem to nie to samo, co faktyczne przebywanie w ostrej prasie ludzkości, która wspólnie dzieli się i wzmacnia swoje podekscytowanie poprzez subtelne sygnały, których wciąż ledwo rozumiemy.

Pamiętam popularny okres rozkwitu współdzielonych światów 3D VR, takich jak SecondLife, dobrą dekadę lub więcej temu, i jak duże przedsiębiorstwa, takie jak IBM, mocno stawiają na nie jako na przyszłość telekonferencji.Tak, było wcześnie i nie byliśmy wtedy jeszcze gotowi na Cyberprzestrzeń – prymitywne renderowanie, problemy z opóźnieniami, brak jakości platform VR / AR itp. Ograniczyły te środowiska głównie do wyspecjalizowanych węzłów użytkowników zajmujących się immersyjnymi grami lub poszukujących nisz doświadczenie. Teraz jednak widzimy, jak ważne jest wyodrębnienie interakcji międzyludzkich, a podstawowa technologia jest znacznie bardziej wydajna niż wtedy. Ci z nas, którzy pracują w HCI, od jakiegoś czasu szperają w tym zamku, ale pole zdalnej współpracy i abstrakcyjnej obecności jest gotowe na renesans. Wspólnie zmieniliśmy się dzięki COVID-19 i kiedy wrócimy do pracy, igła wirtualizacji nie zostanie całkowicie zresetowana.

Źródło: Nan Zhao

Podobnie jak wielu innych osób pracujących z wbudowanym czujnikiem, odczułem podekscytowanie w okresie rozkwitu wszechobecnego informatyki i Internetu rzeczy wzbudził niepokój, gdy zaczynamy widzieć elementy tej infrastruktury wykorzystywane w alarmujący sposób. Właśnie ukończyłem rozszerzone wprowadzenie dla redaktorów gościnnych dotyczące nadchodzącego wydania IEEE Pervasive Computing Magazine na ten temat, ponieważ ten numer koncentruje się na dwóch stronach uwagi, które tworzą kryzysy nasz sieciowy świat – niechciana uwaga poświęcona mi [inwigilacja] a moja własna uwaga jest nieświadomie odwrócona [manipulacja]. Chociaż połączone w sieć kamery i czujniki, które szybko wypełniają świat, zaprosiły nas do tego kryzysu, zapewniły również sposób trzymania nas razem w izolacji i mogą utorować drogę do powrotu do normalności w ciągu najbliższych miesięcy, ponieważ wykorzystamy te informacje do śledzenia potencjalnie zarażonych osób. na przykład poprzez monitorowanie lokalizacji i sieciowe wykrywanie temperatury.

Żyjemy w wyjątkowych czasach, które odbiły się na naszych systemach osobistych, zawodowych, kulturowych i ekonomicznych. Ale dostarczył nam również innego spojrzenia na to, dokąd zmierza ludzkość, podkreślając jeszcze więcej niebezpieczeństw, ale także ujawniając nowe obietnice i nowe możliwości. Nie mogę się doczekać, kiedy społeczności badawcze z całego świata będą razem, aby przenieść ludzkość poza erę COVID-19 i w jeszcze lepszą przyszłość.

Ten post jest również umieszczony w Blog ETH Zurich i Witryna internetowa Media Lab .

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *