Tales from Virtuality – Research under quarantine at the MIT Media Lab

(19. maj 2020)

Af Joe Paradiso, ETH Zürich-alumnen og professor ved MIT

Kredit: Joe Paradiso

COVID-19 kausalitetskaskaden begyndte for mig i slutningen af ​​februar , da det nordlige Italien begyndte at støde på pandemien. Jeg var lige vendt tilbage til Boston fra en uge i regionen, hvor jeg holdt en række foredrag og tog et par dages ferie. Når man så krisen bygge der kort efter hjemkomsten, føltes enhver hoste eller overbelastning som et signifikant symptom, men der var mange flere godartede årsager til det allerede omkring. Det så ud til, at vi ikke bragte det tilbage med os – kun gode minder, et par flasker god italiensk vin, de sædvanlige souvenirs og mange cder med spændende italiensk rock og jazz, da jeg samler usædvanlig musik overalt, hvor jeg går , en vane, der dateres til mine dage med at bo i Schweiz for fire årtier siden. Men virussen fandt allerede andre måder til Boston-området. Den første superspreading-begivenhed i dette område ser ud til at have været Biogen Annual Leadership Meeting , der fandt sted her en uge efter vi kom tilbage.

En af mine fakultetskollegaer på Media Lab er en biokemiker, der har brugt meget af sit professionelle liv med fokus på smitsom sygdom, og derfor havde vi en hurtig tidlig prognose for, hvad der snart kom. Vi opfordrede vores medarbejdere og studerende til at arbejde eksternt, hvor det var muligt, allerede i begyndelsen af ​​marts, og størstedelen af ​​MIT fulgte trop en uge eller to senere. Da uret gik midnat tirsdag den 17. marts, var MIT Media Lab-bygningen låst sammen med det meste af MIT. Alle MIT-klasser blev aflyst ugen den 16. marts og blev helt virtuelle efter afslutningen af ​​Spring Break en uge senere. Dette gav fakultetet og instruktionsmedarbejdere to uger til at flytte alt online. Værktøjer, som nogle af os udforskede via MITs Stellar-, MITx- og OpenCourseWare-platforme, blev skubbet ind i haglgeværsægteskaber med Zoom, Jitsi, Google Hangout og andre skalerbare videokonferenceplatforme, og undervisning ved MIT gik alt virtuelt inden 30. marts. Jeg underviste normalt i mine flagskibssensorer klasse dette semester, men udsat, da jeg havde ekstra undervisningsansvar sidste periode. Denne klasse ville have været meget vanskelig at virtualisere fuldt ud, idet den involverer omfattende praktiske laboratorier og et hardwareintensivt afsluttende projekt. Mine kolleger, der underviser i projektbaserede klasser på MIT og andre universiteter, der involverer hardware, får komponenter sendt til studerende derhjemme og kører virtuel kritik. På den anden side tæller mine venner i MIT Physics Department, der underviser i deres berømte Junior Lab klasse (noget svarende til Physik Praktikum-klassen, som jeg plejede at undervise på ETH), sig heldige, fordi de studerende allerede havde taget de fleste af de data, de nødvendigt og kunne fokusere på analyse (selv ved MIT er det svært at sende røntgenmaskiner, radioaktive kilder, NMR-udstyr osv. til studerendes hjem).

Kredit: Joe Paradiso og eleverne i gruppen Responsive Miljøer

På MIT, som på vores søstertekniske universiteter overalt i verden stopper forskningen aldrig. Derfor havde jeg brug for hurtigt at virtualisere mit team på cirka 20 studerende og forskere, der var kommet for at arbejde sammen med mig fra hele verden for at holde vores projekter i gang. Meget af forskningen i min Responsive Miljø-gruppe involverer hardware, og vi huser et elektroniklaboratorium i verdensklasse, som vi (og mange andre grupper i bygningen) stoler på. Derfor begyndte vi at flytte udstyr ud af bygningen ugen før nedlukning, og mine studerende knækkede aftaler med hinanden om, hvem der ville være vogter af hvad. Impromptu laboratorier dukket op i hjørnerne af mine teammedlemmers lejligheder – som du kan se i fotomontagen i vores hjemmearbejdszoner, deler eleverne deres opholdsstue med 3D-printere, re-flow ovne, elektronik test / samlingsstationer , integrerede systemudviklingssuiter, GPU-arrays til dyb læring (som også hjælper med at opvarme deres lejlighed), VR-systemer og endda elektronisk musikudstyr (flere af dem er også musikere og involverer lydkortlægninger i deres arbejde). Derfor var meget af vores fysiske arbejde i stand til at fortsætte på trods af dets mangfoldighed – for eksempel flyver vi to eksperimenter på den internationale rumstation (den ene er lige færdig og går i dataanalyse, mens den anden netop er sendt til vores samarbejdspartnere på JAXA i Japan for at forberede lanceringen), og vi er ved at fremstille 20 par sensorbelastede trådløse briller med en af ​​vores industrielle partnere, der er designet til at måle funktioner relateret til bærerens opmærksomhedstilstand.Et par af mine studerende i samarbejde med andre Media Lab-teams prototyper open source-systemer derhjemme for at modvirke taktile infektiøse stier til COVID-19 . Disse inkluderer ultra-lave bærbare sensorer baseret på ultralyd eller magnetisk sensing, der giver en advarsel, hvis dine hænder nærmer sig dit ansigt, og en armmonteret desinficeringssprøjte, der automatisk aktiveres, når dine fingre nærmer sig en overflade og / eller du laver en speciel gest .

Da vi har mange projekter centreret omkring Human-Computer Interaction (HCI), har brugerundersøgelser ramt os meget hårdere. At få et betydeligt antal mennesker ind i et fælles rum til at dele et apparat (det være sig en HoloLens, der kører en intelligent AR-guide eller en smart stofgrænseflade), vil sandsynligvis ikke være mulig, før afhandlinger skal udføres, så mine studerende og jeg brainstormer kreativt triage . Meget af Media Lab kører på support fra vores industrielle medlemmer, der besøger to gange årligt for store møder, hvor alle stolt viser deres seneste demoer. Atmosfæren er altid elektrisk under disse nøglebegivenheder, men ak, da de ikke kan holdes nu i den fysiske verden, kæmper vi for at tænke på måder til at bevare spænding i virtuelle omgivelser.

Kredit: Joe Paradiso

Ændringen i min egen rutinen har været drastisk. Før marts var rejser en stor del af mit liv. Som mange seniorakademikere ville jeg ofte være på et fly til et komitémøde eller foredrag i forskellige hjørner af verden, og når jeg var lokal, skyndte mig til møder over hele campus. Nu er jeg altid hjemme. Denne begrænsning har dog ført til et andet produktivitetsniveau – bunken af ​​afhandlinger, papirer og forslag, som jeg har brug for til at skrive / gennemgå / revidere, begynder at aftage, og jeg har endelig været i stand til (næsten) at færdiggøre min hjemmemusik synthesizer studio, en opgave, der har ventet mange år. For at holde mit team sammenhængende planlægger vi Zoom-møder efter behov og har hangouts i hele gruppen på alternative fredage. De resterende fredage er dog helt dedikeret til 1–1 forskningsmøder med alle mine teammedlemmer – selvom dette er et rigtigt maraton, er disse måske blandt de mest stimulerende og tilfredsstillende dage, jeg nogensinde har haft.

I den fysiske verden er der for mange ting, der kan distrahere og forstyrre eller udsætte denne form for møde, mens det i den virtuelle sfære er rent en intens 20-30-minutters session rettet mod ideer, koncepter, strategi og fremskridt. Vi er heldige at tiltrække stort talent til vores forsknings- og akademiske programmer på MIT, og disse møder bekræfter altid det for mig.

Vores Zoom-baserede liv har udviklet sig på mærkelige måder, da jeg ser mine fakultetskollegaer forme sig. på skærmen. Vores hår bliver alt sammen langt, og nogle får nye skæg. Oprindeligt holdt vi den fysiske verden i baggrunden – vi ville være voyeurs ind i hinandens stuer, studier, køkkener eller endda udendørs dæk, når vejret tillod det. Nu er det mere sandsynligt, at du ser en persons loft eller et fotobaggrund, der spænder fra alpine indstillinger til skylandskaber; vi ændrer dem som souvenier T-shirts. Efter at have set nogle af mine kolleger i MIT-administrationen, der havde sportslige Marscapes taget fra JPL-rovere som baggrund, besluttede jeg at fordybe mig i fantasi og optræde mod en visning af en bosat Mars fra The Expanse (en fremragende neo-space-tv-serie, som jeg har fortæret under karantæne), Rigel 7 fra den originale Star Trek, og har endda scannet nogle antikke udskrifter, der viser idylliske europæiske landskaber fra århundreder siden, som jeg købte, mens jeg boede i Schweiz og nu kan bo. Da jeg meget savner oplevelsen af ​​at deltage i koncerter, er et af mine foretrukne kulisser et foto, jeg tog under et Hawkwind-show på det vidunderlige Roundhouse i London, mens jeg var i byen for at holde et EE-foredrag på Imperial College for et par år siden.

Jeg har vært og deltaget i alle manerer på vigtige møder barfodet nu. Før jeg introducerede en af ​​mine ph.d.-studerende ved hans Zoom-afhandling i sidste måned, løftede jeg foden mod mit kamera for at understrege den kendsgerning – det var mildt sagt passende, da hans arbejde var omkring gengivelse af lyd fra tætte mikrofonarrays i den virkelige verden, så du kunne droppe lytteren fejlfrit i et analogt virtuelt miljø, og jeg ville understrege, hvordan udbredt virtualitet er blevet. Den populære analogi om, at vi alle lever i en Science Fiction -verden, rammer nu, når vi krøller ved menneskelig nærhed og kokon omkring vores virtuelle skærme. Måske kan en tidlig forkyndelse findes i E.M. Forsters historie fra 1909 Maskinen stopper, men jeg tænker straks på scener fra Isaac Asimovs roman “Den nøgne sol” fra 1956, som jeg fortærede i folkeskolen.

Kredit: Gershon Dublon

Meget af arbejdet i mit forskerteam de sidste 15 år har drejet sig om forskellige måder at forbinde mennesker til informationsstreaming fra sensorer indlejret i stigende grad overalt , og hvordan dette kan ændre karakteren af ​​tilstedeværelse, et emne, der nu har nået øjeblikkelig relevans. For et årti siden installerede vi kameraer, tale-tilslørende streamingmikrofoner og andre sensorer i hele vores Media Lab-bygningskompleks til forskning i distribueret og fjerninteraktion, der kulminerede i vores DoppelLab-projekt – en forløber for det, der nu kommercielt kaldes DigitalTwin, kunne besøgende strejfe gennem vores virtuelle bygning overalt og se / høre realtidslyde og stimuli, der tunneler ind fra tilsvarende steder på det fysiske sted.

Som nogle af disse kameraer og sensorer er stadig funktionelle, vi åbnede deres streams for Media Lab-medlemmer til at se som omgivende baggrund. At se et dagskort i vores næsten tomme kompleks minder os om vores fælles hjem og forynger løftet om vores afventende tilbagevenden.

Kredit: Brian Mayton

Mere populært er dog live mediestreams fra vores Tidmarsh-projekt , hvor vi distribuerede kameraer, mikrofoner og hundreder af trådløse sensorer i et restaureret vådområde i Plymouth, en times kørsel syd for Boston, for at understøtte økologisk forskning ud over til udforskning af nye grænser i virtualisering . Her, fra karantænet i dit hjem hvor som helst i verden, kan du oprette forbindelse til et smukt naturlandskab i enten det virkelige liv eller via virtuel nedsænkning. Jeg bruger stadig timer med en af ​​mine skærme bundet til Sildedammen og lytter til gæs, fugle, insekter og frøer, mens jeg håber på et glimt af internetstjernehegre der hænger derude, der ofte ser ud til at hamre for kameraet. Vores nylige Mediated Atmospheres Project har udviklet rum, der automatisk transformerer mellem naturlige indstillinger via gengivet belysning, projiceret billede og lyd i henhold til, hvordan beboerne reagerer på dem – som vi er alt sammen coopet derhjemme omkring skærme, har dette initiativ stadig mere relevans.

Selvom vi stort set kan oprette forbindelse til steder på forskellige måder, der giver en vis tilfredshed, giver forbindelsen til mennesker helt andre udfordringer. Vores nuværende liv brugt på at stirre på flade Hollywood-Squares-montager, der tilbydes af Zoom, og andre online-konferenceplatforme begynder at tage en udmattende vejafgift. For små møder med kun få mennesker kan disse oplevelser fungere, men større grupper går i stykker og inducerer det, jeg ser som en zoom-induceret paranoia. Vores hjerner er bygget til at være særlig opmærksomme på ansigter, men vi kan ikke behandle et panoply af ansigter, der stirrer et eller andet sted vagt på os fra en fælles fladskærm. Hvornår skal vi bryde ind i en samtale, og hvilken slags reaktion får vi virkelig? Hvordan kan jeg hviske til en nabo eller naturligt køre ind i en separat samtale med en sidegruppe mennesker, som jeg ville gøre ved en fest eller reception? Jeg har fundet det ganske foruroligende, for eksempel når jeg taler på Zoom for at se stockfotos af kolleger (normalt smilende), der har video ud for hinanden sammen med live videofeeds af mennesker, der viser ægte udtryk og reaktioner – sammenligningen kan få dig til at tro, at de virkelige streaming mennesker er ikke glade, selvom deres udtryk i det mindste er neutrale. Media Lab-klasser er normalt meget engagerende med masser af diskussioner – flere af mine kolleger, der underviser i dette semester, har bemærket, at det er nødvendigt med Zoom-stil-klasser, der i stigende grad nedbryder elevernes entusiasme, efterhånden som udtrykket er skredet frem.

Som vores kollektive nerver begynder at slå sig ud af denne unaturlige sociale / kognitive overbelastning, det bliver tydeligt, at der er en enorm forskningsmulighed i, hvordan vi passende kan repræsentere nuancen af ​​menneskelig tilstedeværelse på en måde, der naturligt skaleres. Kan vi også virtualisere de serendipitøse og spontane interaktioner mellem mennesker på arbejdspladser, skoler, bycentre osv., Der fungerer som en subliminal semantisk lim for at binde os sammen og etablere en fælles identitet? Og hvad med min meget savnede oplevelse af at være ude på en koncert? At se en videostream selv på et storslået tv med fantastisk lyd er ikke det samme som at være der i menneskehedens skarpe presse, der kollektivt deler og forstærker deres begejstring via subtil signalering, som vi stadig næppe forstår.

Jeg husker den populære storhedstid for delte 3D VR-verdener som SecondLife for et godt årti eller mere siden, og hvordan store virksomheder som IBM satsede meget på dem som fremtiden for telekonference.Ja, det var tidligt, og vi var ikke helt klar til cyberspace dengang – de primitive gengivelser, latenstidsproblemer, manglende VR / AR-platforme osv. Begrænsede disse miljøer hovedsageligt til dedikerede knuder af brugere, der gør fordybende spil eller forfølger noget niche erfaringer. Nu ser vi dog vigtigheden af ​​at abstrahere menneskelig interaktion, og den underliggende teknologi er meget mere i stand end dengang var. De af os, der arbejder i HCI, har skrabet på denne lås i et stykke tid, men området med fjernt samarbejde og abstrakt tilstedeværelse er klar til en renæssance. Vi har samlet ændret os gennem COVID-19-oplevelsen, og når vi vender tilbage til arbejde, nulstilles virtualiseringsnålen ikke helt.

Kredit: Nan Zhao

Som mange andre, der arbejder i indlejret sensing, den spænding jeg følte i storhedstid for allestedsnærværende databehandling og tingenes internet har ført til bekymring, da vi begynder at se elementer i denne infrastruktur brugt på alarmerende måder. Jeg har lige afsluttet en udvidet introduktion til Guest Editors til den kommende udgave af IEEE Pervasive Computing Magazine om dette, da dette nummer fokuserer på de to sider af opmærksomhed, der danner kriser i vores netværksverden – uønsket opmærksomhed blev betalt til mig [overvågning] versus min egen opmærksomhed blev uforvarende omdirigeret [manipulation]. Selvom de netværkskameraer og sensorer, der hurtigt fylder verden, har inviteret denne krise, leverede de også midlerne til at holde os sammen isoleret og muligvis bane vejen for at vende tilbage til det normale i de næste måneder, da vi udnytter disse oplysninger til at spore potentielt inficerede mennesker f.eks. gennem placeringsovervågning og netværksregistrering af temperatur.

Vi lever i en usædvanlig tid, der har understreget vores personlige, professionelle, kulturelle og økonomiske systemer. Men det har også givet os en anden opfattelse af, hvor menneskeheden er på vej, og fremhæver endnu flere farer, men afslører også nye løfter og nye muligheder. Jeg ser frem til at se verdenssamfundets forskningsmiljøer for at bringe menneskeheden forbi COVID-19-æraen og ind i en endnu lysere fremtid.

Dette indlæg er også omtalt på ETH Zürich-blog og Media Lab-websted .

Skriv et svar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *