Tales from Virtuality – Research under quarantine at the MIT Media Lab (Norsk)

(19. mai 2020)

Av Joe Paradiso, ETH Zürich-alumn og professor ved MIT

Kreditt: Joe Paradiso

COVID-19 kausalitetskaskaden begynte for meg i slutten av februar , da Nord-Italia begynte å møte pandemien. Jeg hadde nettopp returnert til Boston fra en uke i regionen, der jeg holdt en serie foredrag og tok noen dager ferie. Da man så krisen bygge der kort tid etter retur, føltes hoste eller overbelastning som et betydelig symptom, men det var mange mer godartede årsaker til det allerede. Det virket som om vi ikke tok den med oss ​​- bare gode minner, noen få flasker god italiensk vin, de vanlige suvenirene og mange CD-er med edgy italiensk rock og jazz mens jeg samler uvanlig musikk overalt hvor jeg går , en vane som dateres til dagene jeg bodde i Sveits for fire tiår siden. Men viruset fant allerede andre veier til Boston-området. Den første superspreading -hendelsen i dette området ser ut til å ha vært Biogen Annual Leadership Meeting som fant sted her en uke etter at vi kom tilbake.

En av kollegene ved fakultetet ved Media Lab er en biokjemiker som har brukt mye av sitt yrkesliv med fokus på smittsom sykdom, og derfor hadde vi en tidlig tidlig prognose for hva som snart kom. Vi oppfordret våre ansatte og studenter til å jobbe eksternt der det var mulig, allerede i begynnelsen av mars, og mesteparten av MIT fulgte etter en uke eller to senere. Da klokken gikk midnatt tirsdag 17. mars, var MIT Media Lab-bygningen låst ned, sammen med det meste av MIT. Alle MIT-timene ble avlyst uken 16. mars, og ble helt virtuelle etter slutten av Spring Break en uke senere. Dette ga lærere og instruksjonsmedarbeidere to uker på å flytte alt på nettet. Verktøy som noen av oss utforsket via MITs Stellar-, MITx- og OpenCourseWare-plattformer, ble presset inn i hagle-ekteskap med Zoom, Jitsi, Google Hangout og andre skalerbare videokonferanseplattformer, og undervisning ved MIT gikk virtuelt innen 30. mars. Jeg lærte normalt min flaggskip Sensors klasse denne termen, men utsatt da jeg hadde ekstra undervisningsansvar forrige semester. Denne klassen ville ha vært veldig vanskelig å fullstendig virtualisere ved at den involverer omfattende praktiske laboratorier og et maskinvarekrevende sluttprosjekt. Mine kolleger som underviser i prosjektbaserte klasser ved MIT og andre universiteter som involverer maskinvare, får komponenter sendt til studenter hjemme og kjører virtuell kritikk. På den annen side teller vennene mine i MIT Physics Department som underviser i sin berømte Junior Lab-klasse (noe som ligner Physik Praktikum-klassen jeg pleide å undervise på ETH) seg heldige ved at studentene allerede hadde tatt mesteparten av dataene de nødvendig og kunne fokusere på analyse (selv på MIT er det vanskelig å sende røntgenmaskiner, radioaktive kilder, NMR-utstyr osv. til studentenes hjem).

Kreditt: Joe Paradiso og studentene i gruppen Responsive Miljø

På MIT, som ved våre søstertekniske universiteter over hele verden, stopper ikke forskning. Derfor trengte jeg raskt å virtualisere teamet mitt på rundt 20 studenter og forskere som hadde kommet til å jobbe med meg fra hele verden for å holde prosjektene våre i gang. Mye av forskningen i gruppen Responsive Miljøer involverer maskinvare, og vi huser et elektronikklaboratorium i verdensklasse som vi (og mange andre grupper i bygningen) stoler på. Følgelig begynte vi å flytte utstyr ut av bygningen uken før stengingen, og studentene mine knuste avtaler med hverandre om hvem som skulle være forvalter av hva. Impromptu labs dukket opp i hjørnene i teammedlemmene mine – som du kan se på fotomontasjen av våre hjemmearbeidsoner, deler studentene sitt boareal med 3D-skrivere, re-flow ovner, elektronikk test / monteringsstasjoner , innebygde suiter for systemutvikling, GPU-matriser for dyp læring (som også hjelper til med å varme opp leiligheten deres), VR-systemer og til og med elektronisk musikkutstyr (flere av dem er også musikere og involverer lydkartlegging i arbeidet sitt). Derfor var mye av vårt fysiske arbeid i stand til å fortsette, til tross for dets mangfold – for eksempel flyr vi to eksperimenter på den internasjonale romstasjonen (den ene er ferdig og går inn i dataanalyse, mens den andre nettopp har sendt til våre samarbeidspartnere på JAXA i Japan for å forberede lanseringen) og vi er i ferd med å produsere 20 par sensorbelastede trådløse briller med en av våre industripartnere som er designet for å måle funksjoner relatert til brukerens oppmerksomhetsstatus.Noen få av studentene mine i samarbeid med andre Media Lab-team prototyper åpen kildekode-systemer hjemme for å hindre taktile smittsomme veier for COVID-19 . Disse inkluderer ultra-rimelige bærbare sensorer basert på ultralyd eller magnetisk sensing som gir en advarsel hvis hendene nærmer seg ansiktet ditt, og en armmontert desinfiseringssprøyte som aktiveres automatisk når fingrene nærmer seg en overflate og / eller du lager en spesiell gest .

Siden vi har mange prosjekter sentrert rundt Human-Computer Interaction (HCI), har brukerstudier slått oss mye hardere. Å få et betydelig antall mennesker inn i et felles rom for å dele et apparat (det være seg en HoloLens som kjører en intelligent AR-guide eller et smart stoffgrensesnitt) vil sannsynligvis ikke være mulig før avhandlingene forfaller, så studentene mine og jeg er kreativt brainstorming . Mye av Media Lab kjører på støtte fra våre industrielle medlemmer, som besøker to ganger hvert år for store møter der alle stolt viser sine siste demoer. Atmosfæren er alltid elektrisk under disse viktige begivenhetene, men akk, da de ikke kan holdes nå i den fysiske verden, krypter vi for å tenke på måter å bevare spenningen i en virtuell setting.

Kreditt: Joe Paradiso

Endringen i min egen rutinen har vært drastisk. Før mars var reiser en stor del av livet mitt. Som mange seniorakademikere, ville jeg ofte være på et fly til et komitémøte eller foredrag i forskjellige hjørner av verden, og når jeg var lokal, rushing til møter over hele campus. Nå er jeg alltid hjemme. Denne begrensningen har imidlertid ført til et annet produktivitetsnivå – bunken med teser, papirer og forslag som jeg trenger for å skrive / gjennomgå / revidere begynner å avta, og jeg har endelig klart å (nesten) fullføre hjemmemusikken min synthesizer studio, en oppgave som har ventet mange år. For å holde teamet mitt sammenhengende, planlegger vi Zoom-møter etter behov, og har hangouts i hele gruppen på alternative fredager. De resterende fredagene er imidlertid helt dedikert til 1–1 forskningsmøter med alle teammedlemmene mine – selv om dette er et skikkelig maratonløp, er disse kanskje blant de mest stimulerende og oppfyllende dagene jeg noen gang har hatt.

I den fysiske verden er det for mange ting som kan distrahere og forstyrre eller utsette denne typen møter, mens det i den virtuelle sfæren bare er en intens 20-30-minutters økt rettet mot ideer, konsepter, strategi og framgang. Vi er heldige som tiltrekker oss stort talent til våre forsknings- og akademiske programmer ved MIT, og disse møtene bekrefter alltid det for meg.

Vårt zoom-baserte liv har utviklet seg på rare måter når jeg ser kollegene mine fra fakultetet forme seg. på skjermen. Håret vårt blir langt, og noen får nye skjegg. Opprinnelig holdt vi den fysiske verden i bakgrunnen – vi ville være voyeurs inn i hverandres stuer, studier, kjøkken eller til og med utendørs dekk når været tillot det. Nå er det mer sannsynlig at du ser noen tak eller et fotobakgrunn, som spenner fra alpine innstillinger til skylandskap; vi bytter dem som suvenier T-skjorter. Etter å ha sett noen av kollegene mine i MIT-administrasjonen med sportslige Marscapes hentet fra JPL-rovere som bakgrunn, bestemte jeg meg for å fordype meg i fantasi og fremstå mot et syn på en bosatt Mars fra The Expanse (en utmerket TV-serie med nyrom-opera som jeg har fortært under karantene), Rigel 7 fra den opprinnelige Star Trek, og har til og med skannet noen antikke utskrifter som viser idylliske europeiske landskap fra århundrer siden som jeg kjøpte mens jeg bodde i Sveits og nå kan bo. Ettersom jeg veldig savner opplevelsen av å delta på konserter, er et av favorittbakgrunnene mine et bilde jeg tok under et Hawkwind-show på det fantastiske Roundhouse i London mens jeg var i byen for å holde et EE-foredrag på Imperial College for noen år siden.

Jeg har vært vert og deltatt på alle oppføringer av viktige møter barbeint nå. Før jeg introduserte en av doktorgradsstudentene ved Zoom-avhandlingens forsvar i forrige måned, løftet jeg foten mot kameraet mitt for å understreke det faktum – dette var mildt sagt passende, ettersom arbeidet hans var rundt gjengi lyd fra tette mikrofonarrays i den virkelige verden slik at du kan slippe lytteren feilfritt inn i et analogt virtuelt miljø, og jeg ønsket å understreke hvor utbredt virtualitet har blitt. Den populære analogien om at vi alle lever i en ”Science Fiction” -verden, treffer nå hjemmet når vi hiver oss nær menneskelig nærhet og kokong rundt våre virtuelle skjermer. Kanskje en tidlig forkjemper kan bli funnet i E.M. Forsters historie fra 1909 ‘The Machine Stops,’ men jeg tenker umiddelbart scener fra Isaac Asimovs roman fra 1956 ‘The Naked Sun’, som jeg slukte på barneskolen.

Kreditt: Gershon Dublon

Mye av arbeidet i forskerteamet mitt de siste 15 årene har dreid seg om forskjellige måter å koble mennesker til informasjonsstrømming fra innebygde sensorer stadig mer overalt , og hvordan dette kan endre tilstedeværelse, et emne som nå har nådd umiddelbar relevans. For et tiår siden installerte vi kameraer, støyende mikrofoner og andre sensorer i hele vårt Media Lab-bygningskompleks for forskning på distribuert og ekstern interaksjon som kulminerte i DoppelLab-prosjektet – en forløper for det som nå kommersielt kalles DigitalTwin, kunne besøkende vandre gjennom den virtuelle bygningen vår hvor som helst og se / høre sanntidslyder og stimuli som tunneler inn fra tilsvarende steder på det fysiske nettstedet.

Som noen av disse kameraene og sensorene er fortsatt funksjonelle, vi åpnet strømmen deres for Media Lab-medlemmer å se som omgivende bakgrunn. Å se et dagspass i vårt nesten tomme kompleks minner oss om vårt felles hjem og forynger løftet om vår ventende retur.

Kreditt: Brian Mayton

Mer populært er imidlertid live mediestrømmer fra Tidmarsh-prosjekt , der vi distribuerte kameraer, mikrofoner og hundrevis av trådløse sensorer gjennom et restaurert våtmarksreservat i Plymouth, en times kjøretur sør for Boston, for å støtte økologisk forskning i tillegg til å utforske nye grenser i virtualisering . Her, fra hjemmets karantene, hvor som helst i verden, kan du koble deg til et vakkert naturlandskap i enten det virkelige liv eller via virtuell nedsenking. Jeg tilbringer fortsatt timer med en av skjermene mine knyttet til Sildedammen , og hører på gjess, fugler, insekter og frosker, mens jeg håper på et glimt av internettstjernehegre som henger der ute som ofte ser ut til å hamre for kameraet. Vårt nylige Mediated Atmospheres Project har utviklet rom som automatisk forvandler mellom naturlige omgivelser via gjengitt belysning, projisert bilde og lyd i henhold til hvordan beboerne reagerer på dem – som vi er alt sammen hengt opp rundt skjermene, har dette initiativet stadig mer relevans.

Selv om vi praktisk talt kan koble til steder på forskjellige måter som gir en viss tilfredshet, gir det å knytte seg til mennesker helt andre utfordringer. Våre nåværende liv brukt på å stirre på flate Hollywood-Squares-montasjer som tilbys av Zoom og andre online konferanseplattformer begynner å ta en utmattende toll. For små møter med bare noen få mennesker kan disse opplevelsene fungere, men større grupper brytes sammen og induserer det jeg ser som en zoomindusert paranoia. Hjernen vår er bygget for å være spesielt oppmerksom på ansiktene, men vi kan ikke behandle en panoply av ansikter som stirrer noe vagt på oss fra en vanlig flatskjerm. Når skal vi bryte inn i en samtale, og hva slags reaksjon får vi egentlig? Hvordan kan jeg hviske til en nabo eller naturlig gå ut i en egen samtale med en sidegruppe mennesker, som jeg ville gjort på fest eller mottakelse? Jeg har funnet det ganske foruroligende, for eksempel når jeg snakker på Zoom for å se arkivbilder av kolleger (vanligvis smilende) som har video av sammen med live videofeeder av mennesker som viser ekte uttrykk og reaksjoner – sammenligningen kan få deg til å tenke at de ekte strømmende menneskene er ikke fornøyde selv om deres uttrykk i det minste er nøytrale. Media Lab-klasser er vanligvis veldig engasjerende med mye diskusjon – flere av mine kolleger som underviser i dette begrepet har lagt merke til at pliktene til Zoom-stil i økende grad sliter på studentenes entusiasme etter hvert som begrepet har utviklet seg. kollektive nerver begynner å slå seg fra denne unaturlige sosiale / kognitive overbelastningen, det blir åpenbart at det er enorme forskningsmuligheter i hvordan vi på riktig måte kan representere nyansen av menneskelig tilstedeværelse på en måte som naturlig skalerer. Kan vi også virtualisere serendipitous og spontane interaksjoner mellom mennesker på arbeidsplasser, skoler, bysentre osv. Som fungerer som et sublimint semantisk lim for å binde oss sammen og etablere en felles identitet? Og hva med min veldig savnede opplevelse av å være ute på konsert? Å se en videostrøm selv på en storslått TV med fantastisk lyd er ikke det samme som å være der i menneskehetens skarpe presse som samlet deler og forsterker sin spenning via subtil signalering som vi fremdeles knapt forstår.

Jeg husker den populære storhetstiden for delte 3D VR-verdener som SecondLife for et godt tiår eller mer siden, og hvordan store bedrifter som IBM satset tungt på dem som fremtiden for telefonkonferanser.Ja, det var tidlig, og vi var ikke helt klare for Cyberspace da – de primitive gjengivelsene, forsinkelsesproblemene, mangelen på VR / AR-plattformer av høy kvalitet osv. Begrenset disse miljøene hovedsakelig til dedikerte knuter av brukere som gjør oppslukende spill eller forfølger noe nisje. opplevelser. Nå ser vi imidlertid viktigheten av å abstrahere menneskelig interaksjon, og den underliggende teknologien er mye mer i stand enn den var den gang. De av oss som jobber i HCI, har skrapet på denne låsen en stund, men feltet for eksternt samarbeid og abstrakt tilstedeværelse er klar for en renessanse. Vi har samlet endret oss gjennom COVID-19-opplevelsen, og når vi kommer tilbake til jobb, vil virtualiseringsnålen ikke tilbakestilles helt.

Kreditt: Nan Zhao

Som mange andre som jobber med innebygd sensing, er spenningen jeg følte i storhetstiden til Ubiquitous Computing og Internet of Things har ført til bekymring når vi begynner å se elementer av denne infrastrukturen brukt på alarmerende måter. Jeg har nettopp fullført en utvidet introduksjon av Guest Editors for den kommende utgaven av IEEE Pervasive Computing Magazine om dette, ettersom dette nummeret fokuserer på de to sidene av oppmerksomhet som danner kriser i vår nettverksverden – uønsket oppmerksomhet rettet mot meg [overvåking] mot min egen oppmerksomhet som uforvarende ble omdirigert [manipulasjon]. Selv om kameraene og sensorene i nettverket som raskt fyller verden, har invitert denne krisen, ga de også midler til å holde oss sammen isolert og kan bane veien for å komme tilbake til det normale i løpet av de neste månedene når vi utnytter denne informasjonen for å spore potensielt smittede mennesker gjennom lokalitetsovervåking og nettverksmåling av temperatur, for eksempel.

Vi lever i en eksepsjonell tid som har understreket vårt personlige, profesjonelle, kulturelle og økonomiske system. Men det har også gitt oss et annet syn på hvor menneskeheten er på vei, og fremhever enda flere farer, men samtidig avdekker nye løfter og nye muligheter. Jeg ser frem til å se verdenssamfunnets forskningsmiljøer for å bringe menneskeheten forbi COVID-19-tiden og inn i en enda lysere fremtid.

Dette innlegget er også omtalt på ETH Zürich-bloggen og Nettsted for Media Lab .

Legg igjen en kommentar

Din e-postadresse vil ikke bli publisert. Obligatoriske felt er merket med *