Tales from Virtuality – Research under quarantine at the MIT Media Lab (Svenska)

(19 maj 2020)

Av Joe Paradiso, ETH Zürichs alumn och professor vid MIT

Kredit: Joe Paradiso

COVID-19 kausalitetskaskad började för mig i slutet av februari , när norra Italien började möta pandemin. Jag hade just återvänt till Boston från en vecka i den regionen, där jag höll en serie föreläsningar och tog några dagars semester. När man såg krisen bygga där strax efter återkomsten kändes hosta eller trängsel som ett signifikant symptom, men det fanns massor av mer godartade orsaker till det redan. Det verkade som om vi inte tog med oss ​​det – bara fantastiska minnen, några flaskor gott italienskt vin, de vanliga souvenirerna och många CD-skivor med edgy italiensk rock och jazz när jag samlar in ovanlig musik överallt jag går , en vana som går till mina dagar då jag bodde i Schweiz för fyra decennier sedan. Men viruset hittade redan andra vägar till Boston-området. Den första ”superspreading” -händelsen i detta område verkar ha varit Biogen Årliga ledarskapsmöte som ägde rum här en vecka efter att vi återvände.

En av mina fakultetskollegor på Media Lab är en biokemist som har tillbringat en stor del av sitt yrkesliv med fokus på smittsam sjukdom, därför fick vi en snabb tidig prognos om vad som snart skulle komma. Vi uppmuntrade vår personal och studenter att arbeta på distans där det var möjligt, redan i början av mars, och huvuddelen av MIT följde efter en vecka eller två senare. När klockan slog midnatt tisdagen den 17 mars var MIT Media Lab-byggnaden låst, tillsammans med större delen av MIT. Alla MIT-lektioner avbröts under veckan den 16 mars och blev helt virtuella efter slutet av Spring Break en vecka senare. Detta gav lärare och instruktionspersonal två veckor på sig att flytta allt på nätet. Verktyg som några av oss utforskade via MIT: s Stellar-, MITx- och OpenCourseWare-plattformar pressades in i hagelgevärsäktenskap med Zoom, Jitsi, Google Hangout och andra skalbara videokonferensplattformar, och undervisningen vid MIT gick helt virtuellt senast den 30 mars. Jag skulle normalt lära mina flaggskeppssensorer klass den här terminen, men skjutits upp när jag hade extra läraransvar förra terminen. Den här klassen skulle ha varit mycket svår att helt virtualisera genom att det omfattar omfattande praktiska laboratorier och ett hårdvaruintensivt slutprojekt. Mina kollegor som undervisar projektbaserade klasser vid MIT och andra universitet som involverar hårdvara får komponenter skickade till studenter hemma och driver virtuell kritik. Å andra sidan räknar mina vänner i MIT Physics Department som undervisar sin berömda Junior Lab-klass (något som liknar Physik Praktikum-klassen som jag brukade undervisa vid ETH) att de hade turen genom att eleverna redan hade tagit de flesta uppgifterna de behövs och kan fokusera på analys (även vid MIT är det svårt att skicka röntgenapparater, radioaktiva källor, NMR-redskap etc. till studenternas hem).

Kredit: Joe Paradiso och eleverna i gruppen Responsive Miljö

Vid MIT, som vid våra syster tekniska universitet över hela världen slutar aldrig forskning. Därför behövde jag snabbt virtualisera mitt team med cirka 20 studenter och forskare som hade kommit för att arbeta med mig från hela världen för att hålla våra projekt igång. Mycket av forskningen i min Responsive Environments-grupp involverar hårdvara och vi har ett elektroniklaboratorium i världsklass som vi (och många andra grupper i byggnaden) litar på. Följaktligen började vi flytta utrustning ut ur byggnaden veckan före avstängning, och mina elever knackade affärer med varandra om vem som skulle vara vårdnadshavare för vad. Impromptu labs dyker upp i hörn av mina teammedlemmars lägenheter – som du kan se på fotomontage i våra hemma arbetszoner delar studenterna sitt bostadsutrymme med 3D-skrivare, re-flow ugnar, elektronik test / monteringsstationer , inbyggda systemutvecklingssviter, GPU-arrays för djupinlärning (som också hjälper till att värma upp deras lägenhet), VR-system och till och med elektronisk musikutrustning (flera av dem är också musiker och involverar ljudmappningar i sitt arbete). Följaktligen kunde mycket av vårt fysiska arbete fortsätta, trots dess mångfald – till exempel flyger vi två experiment på den internationella rymdstationen (det ena har just avslutat och går in i dataanalys, medan det andra precis har skickats till våra medarbetare på JAXA i Japan för att förbereda sig för lansering) och vi håller på att tillverka 20 par sensorladdade trådlösa glasögon med en av våra industripartners som är utformade för att mäta funktioner relaterade till bärarens uppmärksamhetstillstånd.Några av mina elever i samarbete med andra Media Lab-team prototyper öppen källkodssystem hemma för att hindra taktila smittsamma vägar för COVID-19 . Dessa inkluderar ultralåga bärbara sensorer baserade på ultraljud eller magnetisk avkänning som ger en varning om dina händer närmar sig ditt ansikte och en armmonterad desinfektionsspruta som aktiveras automatiskt när fingrarna närmar sig en yta och / eller du gör en speciell gest .

Eftersom vi har många projekt centrerade kring Human-Computer Interaction (HCI) har användarstudier drabbat oss mycket hårdare. Att få ett betydande antal människor till ett gemensamt utrymme för att dela en apparat (vare sig det är en HoloLens som kör en intelligent AR-guide eller ett smart tyggränssnitt) kommer sannolikt inte att vara möjligt innan avhandlingar beror, så mina studenter och jag är kreativt brainstorming triage . Mycket av Media Lab drivs av stöd från våra industriella medlemmar, som besöker två gånger per år för stora möten där alla stolt visar sina senaste demonstrationer. Atmosfären är alltid elektrisk under dessa viktiga händelser, men tyvärr, eftersom de inte kan hållas nu i den fysiska världen, krypterar vi för att tänka på sätt att bevara spänning i en virtuell miljö.

Kredit: Joe Paradiso

Förändringen i min egen rutinen har varit drastisk. Innan mars var resor en stor del av mitt liv. Liksom många äldre akademiker skulle jag ofta vara på ett plan till ett kommittémöte eller föreläsning i olika hörn av världen, och när jag var lokal, rusade jag till möten över hela campus. Nu är jag alltid hemma. Denna begränsning har dock lett till en annan produktivitetsnivå – högen av avhandlingar, artiklar och förslag som jag behöver skriva / granska / revidera börjar minska och jag har äntligen kunnat (nästan) slutföra min hemmamusik synthesizer studio, en uppgift som har väntat i flera år. För att hålla mitt team sammanhängande schemalägger vi Zoom-möten efter behov och har hangouts i hela gruppen på alternativa fredagar. De återstående fredagarna är dock helt dedikerade till 1–1 forskningsmöten med alla mina teammedlemmar – även om det här är ett riktigt maraton, är det kanske bland de mest stimulerande och uppfyllande dagarna jag någonsin har haft.

I den fysiska världen finns det för många saker som kan distrahera och störa eller skjuta upp denna typ av möte, medan det i den virtuella sfären är rent en intensiv 20-30-minuters session inriktad på idéer, koncept, strategi och framsteg. Vi har turen att attrahera stor talang till våra forsknings- och akademiska program vid MIT, och dessa möten bekräftar alltid det för mig.

Vårt zoombaserade liv har utvecklats på konstiga sätt när jag ser mina fakultetskollegor förvandlas. på skärm. Vårt hår blir allt långt, och vissa får nya skägg. Ursprungligen höll vi den fysiska världen i bakgrunden – vi skulle vara voyeurs i varandras vardagsrum, studier, kök eller till och med utomhusdäck när vädret tillät. Nu är det mer troligt att du ser någons tak eller en fotobakgrund, som sträcker sig från alpina inställningar till molnbilder; vi byter dem som souvenier T-shirts. Efter att ha sett några av mina kollegor i MIT-administrationen som sportade Marscapes tagna från JPL-rovers som bakgrund bestämde jag mig för att dyka in i fantasi och framstå mot en vy av en bosatt Mars från The Expanse (en utmärkt ny-rymd-opera TV-serie som jag har slukat under karantän), Rigel 7 från den ursprungliga Star Trek, och har till och med skannat några antika tryck som visar idylliska europeiska landskap från århundraden sedan som jag köpte medan jag bodde i Schweiz och nu kan bo. Eftersom jag verkligen saknar upplevelsen av att delta i konserter är en av mina favoritbakgrunder ett foto jag tog under en Hawkwind-show på underbara Roundhouse i London medan jag var i stan för att hålla en EE-föreläsning på Imperial College för några år sedan.

Jag har varit värd och gått barfota på alla sätt av viktiga möten nu. Innan jag presenterade en av mina doktorander vid hans Zoom-avhandling förra månaden lyfte jag min fot mot kameran för att understryka det faktum – detta var mildt sagt lämpligt, eftersom hans arbete var runt återge ljud från täta mikrofonsystem i den verkliga världen så att du kan släppa lyssnaren felfritt i en analog virtuell miljö, och jag ville betona hur utbredd virtualitet har blivit. Den populära analogin om att vi alla lever i en ”Science Fiction” -värld slår nu hem när vi hyser mänsklig närhet och kokos runt våra virtuella bildskärmar. Kanske kan en tidig förkunnare hittas i E.M. Forsters berättelse ”The Machine Stops” från 1909, men jag tänker genast på scener från Isaac Asimovs roman ”The Naked Sun” från 1956, som jag slukade i grundskolan.

Kredit: Gershon Dublon

Mycket av arbetet i mitt forskargrupp under de senaste 15 åren har fokuserat på olika sätt att ansluta människor till informationsströmning från sensorer inbäddade allt mer överallt , och hur detta kan förändra närvaron, ett ämne som nu har uppnått omedelbar relevans. För ett decennium sedan installerade vi kameror, talförstörande strömmande mikrofoner och andra sensorer i hela vårt Media Lab-byggnadskomplex för forskning om distribuerad och fjärrinteraktion som kulminerade i vårt DoppelLab-projekt – en föregångare till det som nu kommersiellt kallas DigitalTwin, besökare kan vandra genom vår virtuella byggnad var som helst och se / höra realtidsljud och stimuli tunnlar in från motsvarande platser på den fysiska platsen.

Som några av dessa kameror och sensorer är fortfarande funktionella, vi öppnade sina strömmar för Media Lab-medlemmar att se som omgivande bakgrund. Att se ett dagspass i vårt nästan tomma komplex påminner oss om vårt gemensamma hem och föryngrar löftet om vår väntande återkomst.

Kredit: Brian Mayton

Mer populärt är dock livemedieströmmarna från vårt Tidmarsh-projekt , där vi distribuerade kameror, mikrofoner och hundratals trådlösa sensorer genom en återställd naturreservat för våtmark i Plymouth, en timmes bilresa söder om Boston, för att stödja ekologisk forskning. till utforska nya gränser inom virtualisering . Här, från karantänområdet för ditt hem var som helst i världen, kan du ansluta till ett vackert naturlandskap i antingen verkliga livet eller via virtuell nedsänkning. Jag spenderar fortfarande timmar med en av mina skärmar knuten till Silldammen och lyssnar på gäss, fåglar, insekter och grodor medan jag hoppas på en glimt av internetstjärnhäger som hänger där ute som ofta verkar hamra för kameran. Vårt senaste Mediated Atmospheres Project har utvecklat rum som automatiskt växlar mellan naturliga inställningar via renderad belysning, projicerad bild och ljud beroende på hur invånarna reagerar på dem – som vi är alla samlas hemma runt skärmar har detta initiativ alltmer relevans.

Även om vi praktiskt taget kan ansluta till platser på olika sätt som ger en viss tillfredsställelse, är det helt andra utmaningar att ansluta till människor. Våra nuvarande liv tillbringade med att stirra på platta Hollywood-Squares-montage som erbjuds av Zoom och andra online-konferensplattformar börjar ta en ansträngande vägtull. För små möten med endast ett fåtal personer kan dessa upplevelser fungera, men större grupper går sönder och inducerar det jag ser som en zoominducerad paranoia. Våra hjärnor är byggda för att ägna särskild uppmärksamhet åt ansikten, men vi kan inte ordentligt bearbeta ett panoply av ansikten som stirrar något vagt på oss från en gemensam platt skärm. När ska vi bryta in i en konversation och vilken typ av reaktion får vi egentligen? Hur kan jag viska till en granne eller naturligt driva in i en separat konversation med en sidogrupp av människor, som jag skulle göra på en fest eller mottagning? Jag har tyckte att det var ganska oroväckande, till exempel när jag pratade på Zoom för att se stockfoton av kollegor (vanligtvis leende) som har video utanför sidan tillsammans med levande videoflöden av människor som visar verkliga uttryck och reaktioner – jämförelsen kan få dig att tro att de riktigt strömmande människorna är inte nöjda trots att deras uttryck är åtminstone neutrala. Media Lab-klasser är vanligtvis mycket engagerande med massor av diskussioner – flera av mina kollegor som undervisar den här termen har noterat vikten av Zoom-klasser som i allt högre grad minskar elevernas entusiasm när termen har utvecklats.

Som vår kollektiva nerver börjar bråka från denna onaturliga sociala / kognitiva överbelastning, blir det uppenbart att det finns enorma forskningsmöjligheter i hur vi på ett lämpligt sätt kan representera nyansen av mänsklig närvaro på ett sätt som naturligt skalas. Kan vi också virtualisera de serendipitösa och spontana interaktionerna mellan människor på arbetsplatser, skolor, stadskärnor etc. som fungerar som ett sublimint semantiskt lim för att binda oss samman och skapa en gemensam identitet? Och hur är det med min mycket missade upplevelse att vara ute på en konsert? Att titta på en videoström även på en magnifik TV med fantastiskt ljud är inte samma sak som att vara där i mänsklighetens skarpa press som kollektivt delar och förstärker sin spänning via subtil signalering som vi fortfarande knappt förstår.

Jag minns den populära storhetstiden för delade 3D VR-världar som SecondLife för ett bra decennium eller mer sedan, och hur stora företag som IBM satsade mycket på dem som framtiden för telekonferenser.Ja, det var tidigt, och vi var inte helt redo för Cyberspace då – de primitiva rendering, latensproblem, brist på kvalitet VR / AR-plattformar etc. begränsade dessa miljöer främst till dedikerade knutar av användare som gör uppslukande spel eller bedriver lite nisch upplevelser. Nu ser vi dock vikten av att abstrahera mänsklig interaktion, och den underliggande tekniken är mycket mer kapabel än den var då. De av oss som arbetar i HCI har klottrat på det här låset ett tag, men fältet för fjärransamarbete och abstrakt närvaro är redo för en renässans. Vi har förändrats kollektivt genom COVID-19-upplevelsen, och när vi återvänder till jobbet återställs virtualiseringsnålen inte helt.

Kredit: Nan Zhao

Som många andra som arbetar med inbäddad avkänning, den spänning jag kände på storhetstiden för Ubiquitous Computing och Internet of Things har lett till oro när vi börjar se delar av denna infrastruktur som används på alarmerande sätt. Jag avslutade precis en utökad introduktion för gästredaktörer för den kommande upplagan av IEEE Pervasive Computing Magazine om detta, eftersom denna fråga fokuserar på de två sidorna av uppmärksamhet som bildar kriser i vår nätverksvärld – oönskad uppmärksamhet ägnas åt mig [övervakning] mot min egen uppmärksamhet som oavsiktligt avleds [manipulation]. Även om nätverkskamerorna och sensorerna som snabbt fyller världen har bjudit in denna kris, tillhandahöll de också medel för att hålla oss i isolering och kan bana vägen för att återgå till det normala under de närmaste månaderna när vi använder den informationen för att spåra potentiellt smittade människor till exempel genom platsövervakning och temperaturavkänning i nätverk.

Vi lever i en exceptionell tid som har betonat våra personliga, professionella, kulturella och ekonomiska system. Men det har också gett oss en annan uppfattning om vart mänskligheten är på väg och lyfter fram ännu fler faror, men har också avslöjat nya löften och nya möjligheter. Jag ser fram emot att se världens forskargrupper samlas för att föra mänskligheten förbi COVID-19-eran och in i en ännu ljusare framtid.

Detta inlägg visas också på ETH Zürichs blogg och Media Labs webbplats .

Lämna ett svar

Din e-postadress kommer inte publiceras. Obligatoriska fält är märkta *