Tales from Virtualuality – Onderzoek onder quarantaine bij de MIT Media Lab

(19 mei 2020)

Door Joe Paradiso, ETH Zurich alumnus en professor aan het MIT

Credit: Joe Paradiso

De cascade van COVID-19-causaliteit begon voor mij eind februari , toen Noord-Italië de pandemie begon te ontmoeten. Ik was net teruggekeerd naar Boston van een week in die regio, waar ik een reeks lezingen gaf en een paar dagen vakantie nam. Toen ik zag hoe de crisis zich daar opbouwde kort na zijn terugkeer, voelde elke hoest of opstopping als een significant symptoom, maar er waren al veel meer goedaardige oorzaken. Het leek erop dat we het niet hadden meegenomen – alleen geweldige herinneringen, een paar flessen goede Italiaanse wijn, de gebruikelijke souvenirs en veel cds met edgy Italiaanse rock en jazz, terwijl ik ongebruikelijke muziek overal waar ik ga , een gewoonte die dateert uit mijn dagen dat ik vier decennia geleden in Zwitserland woonde. Maar het virus vond al andere manieren om de omgeving van Boston te bereiken. Het eerste superspreading-evenement op dit gebied lijkt de Biogen Annual Leadership Meeting te zijn geweest die hier een week nadat we terugkwamen plaatsvond.

Een van mijn faculteitscollegas bij het Media Lab is een biochemicus die een groot deel van zijn professionele leven gericht heeft op infectieziekten, dus we hadden een scherpe vroege voorspelling van wat er snel zou komen. We moedigden onze medewerkers en studenten aan om waar mogelijk al op afstand te werken, al begin maart, en het grootste deel van MIT volgde een week of twee later. Tegen de tijd dat de klok dinsdag 17 maart middernacht sloeg, was het MIT Media Lab-gebouw gesloten, samen met het grootste deel van MIT. Alle MIT-lessen werden geannuleerd voor de week van 16 maart en werden volledig virtueel na het einde van Spring Break een week later. Dit gaf docenten en onderwijzend personeel twee weken de tijd om alles online te verplaatsen. Tools die sommigen van ons verkenden via MITs Stellar, MITx en OpenCourseWare-platforms werden in shotgun-huwelijken geduwd met Zoom, Jitsi, Google Hangout en andere schaalbare videoconferentieplatforms, en het lesgeven aan MIT ging allemaal virtueel tegen 30 maart. Normaal gesproken zou ik mijn vlaggenschip Sensors-les dit semester, maar uitgesteld omdat ik het afgelopen semester extra onderwijstaken droeg. Deze klasse zou erg moeilijk zijn geweest om volledig te virtualiseren, omdat het uitgebreide hands-on labs en een hardware-intensief eindproject omvat. Mijn collegas die projectgebaseerde lessen geven aan het MIT en andere universiteiten waarbij hardware betrokken is, laten componenten naar de studenten thuis verzenden en geven virtuele kritiek. Aan de andere kant, mijn vrienden op de afdeling natuurkunde van het MIT die hun beroemde Junior Lab-klas geven (enigszins vergelijkbaar met de Physik Praktikum-klas die ik vroeger aan de ETH gaf), prijzen zichzelf gelukkig omdat de studenten de meeste gegevens die ze al hadden verzameld al hadden nodig en kan zich concentreren op analyse (zelfs bij MIT is het moeilijk om röntgenapparatuur, radioactieve bronnen, NMR-apparatuur, enz. naar de huizen van studenten te sturen).

Credit: Joe Paradiso en de studenten van de Responsive Environments-groep

Bij MIT, zoals aan onze zuster technische universiteiten over de hele wereld stopt onderzoek nooit. Daarom moest ik snel mijn team van ongeveer 20 studenten en onderzoekers die van over de hele wereld met mij waren komen virtualiseren om onze projecten gaande te houden. Veel van het onderzoek in mijn Responsive Environments-groep betreft hardware, en we huisvesten een elektronicalab van wereldklasse waar we (en vele andere groepen in het gebouw) op vertrouwen. Dienovereenkomstig begonnen we de week voor de sluiting met het verplaatsen van apparatuur het gebouw uit, en mijn studenten sloegen afspraken met elkaar over wie de bewaker van wat zou zijn. Impromptu-labs doken op in de hoeken van de appartementen van mijn teamleden – zoals je kunt zien in de fotomontage van onze werkzones aan huis, delen de studenten hun leefruimte met 3D-printers, re-flowovens, test- / assemblagestations voor elektronica , embedded systeemontwikkelingssuites, GPU-arrays voor diep leren (die ook helpen om hun appartement te verwarmen), VR-systemen en zelfs elektronische muziekuitrusting (een aantal van hen zijn ook muzikanten en gebruiken audiotoewijzingen in hun werk). Dienovereenkomstig kon veel van ons fysieke werk doorgaan, ondanks de diversiteit – we vliegen bijvoorbeeld twee experimenten op het internationale ruimtestation ISS (een is net klaar en voert gegevensanalyse in, terwijl de andere net is verzonden naar onze medewerkers bij JAXA. in Japan om de lancering voor te bereiden) en we staan ​​op het punt om samen met een van onze industriële partners 20 paar draadloze brillen met sensoren te produceren die zijn ontworpen om kenmerken te meten die verband houden met de aandachtstoestand van de drager.Een paar van mijn studenten in samenwerking met andere Media Lab-teams maken thuis prototypes van open-source systemen om tactiele besmettelijke paden voor COVID-19 te dwarsbomen. Deze omvatten ultra-goedkope draagbare sensoren op basis van echografie of magnetische detectie die een waarschuwing geven als uw handen uw gezicht naderen, en een op de arm gemonteerde ontsmettingsspray die automatisch wordt geactiveerd wanneer uw vingers een oppervlak naderen en / of u een speciaal gebaar maakt. .

Aangezien we veel projecten hebben rond mens-computerinteractie (HCI), hebben gebruikersstudies ons veel harder geraakt. Een aanzienlijk aantal mensen in een gemeenschappelijke ruimte krijgen om een ​​apparaat te delen (of het nu een HoloLens is met een intelligente AR-gids of een slimme fabric-interface) zal hoogstwaarschijnlijk niet mogelijk zijn voordat de scripties af zijn, dus mijn studenten en ik zijn creatief aan het brainstormen over triage . Een groot deel van het Media Lab wordt ondersteund door onze industriële leden, die twee keer per jaar op bezoek komen voor grote bijeenkomsten waar iedereen trots zijn nieuwste demos laat zien. De sfeer is altijd opwindend tijdens deze belangrijke gebeurtenissen, maar helaas, aangezien ze nu niet in de fysieke wereld kunnen worden gehouden, proberen we manieren te bedenken om de opwinding in een virtuele omgeving te behouden.

Dankbetuiging: Joe Paradiso

De verandering in mijn eigen routine is drastisch geweest. Vóór maart maakte reizen een groot deel uit van mijn leven. Zoals veel senior academici zat ik vaak in het vliegtuig naar een commissievergadering of lezing in verschillende uithoeken van de wereld, en als ik lokaal was, haastte ik me naar bijeenkomsten over de hele campus. Nu ben ik altijd thuis. Deze beperking heeft echter tot een ander productiviteitsniveau geleid – de stapel scripties, papers en voorstellen die ik moet schrijven / reviewen / herzien begint af te nemen, en ik heb eindelijk (bijna) mijn thuismuziek kunnen voltooien. synthesizer studio, een taak waar jaren op wachten. Om mijn team coherent te houden, plannen we Zoom-vergaderingen naar behoefte en hebben we op afwisselende vrijdagen hangouts voor alle groepen. De overige vrijdagen zijn echter volledig gewijd aan 1–1 onderzoeksbijeenkomsten met al mijn teamleden – hoewel dit een echte marathon is, zijn dit misschien wel de meest stimulerende en bevredigende dagen die ik ooit heb gehad.

In de fysieke wereld zijn er te veel dingen die dit soort vergaderingen kunnen afleiden, hinderen of uitstellen, terwijl het in de virtuele sfeer puur een intense sessie van 20-30 minuten is, gericht op ideeën, concepten, strategie en vooruitgang. We hebben het geluk om groot talent aan te trekken voor onze onderzoeks- en academische programmas aan het MIT, en deze bijeenkomsten bevestigen dat altijd voor mij.

Ons op Zoom gebaseerde leven is op vreemde manieren geëvolueerd naarmate ik mijn collegas van de faculteit zie veranderen op het scherm. Ons haar wordt allemaal lang, en sommige krijgen nieuwe baarden. Oorspronkelijk hielden we de fysieke wereld op de achtergrond – we zouden voyeurs zijn in elkaars huiskamers, studeerkamers, keukens of zelfs buitendekken als het weer het toeliet. Nu heb je meer kans om iemands plafond of een fotoachtergrond te zien, variërend van alpine omgevingen tot wolkenlandschappen; we veranderen ze als souvenier-T-shirts. Nadat ik een aantal van mijn collegas in de MIT-administratie met Marscapes uit JPL-rovers als achtergrond had gezien, besloot ik me in de fantasie te verdiepen en te verschijnen tegen een uitzicht op een gevestigde Mars uit The Expanse (een uitstekende neo-space-opera tv-serie die ik heb verslonden tijdens quarantaine), Rigel 7 van de originele Star Trek, en heb zelfs enkele antieke prenten gescand met idyllische Europese landschappen van eeuwen geleden die ik kocht toen ik in Zwitserland woonde en nu kan bewonen. Omdat ik de ervaring van het bijwonen van concerten erg mis, is een van mijn favoriete achtergronden een foto die ik heb gemaakt tijdens een Hawkwind-show in het prachtige Roundhouse in Londen terwijl ik in de stad was om een ​​EE-lezing te geven op Imperial College een paar jaar geleden.

Ik heb nu blootsvoets alle manieren van belangrijke vergaderingen georganiseerd en bijgewoond. Voordat ik vorige maand een van mijn promovendi introduceerde bij zijn Zoom-proefschriftverdediging, hief ik mijn voet naar mijn camera om dat feit te onderstrepen – dit was redelijk gepast, aangezien zijn werk rond was het opnieuw renderen van audio van compacte microfoonarrays in de echte wereld, zodat je de luisteraar feilloos in een analoge virtuele omgeving kunt laten vallen, en ik wilde benadrukken hoe wijdverbreid virtualiteit is geworden. De populaire analogie van ons allemaal die in een ‘Science Fiction’ -wereld leven, raakt nu thuis wanneer we ineenkrimpen voor menselijke nabijheid en cocon rond onze virtuele monitoren. Misschien is een vroege voorbode te vinden in het verhaal The Machine Stops van E.M. Forster uit 1909, maar ik denk meteen aan scènes uit de roman The Naked Sun uit 1956 van Isaac Asimov, die ik verslond op de lagere school.

Credit: Gershon Dublon

Veel van het werk in mijn onderzoeksteam in de afgelopen 15 jaar heeft zich gericht op verschillende manieren om mensen in contact te brengen met informatiestreaming van ingebouwde sensoren steeds vaker , en hoe dit de aard van de aanwezigheid kan veranderen, een onderwerp dat nu onmiddellijk relevant is. Tien jaar geleden installeerden we cameras, spraakverblindende streaming-microfoons en andere sensoren in ons Media Lab-gebouwencomplex voor onderzoek naar gedistribueerde en externe interactie dat culmineerde in ons DoppelLab-project – een voorloper van wat nu commercieel wordt genoemd DigitalTwin, bezoekers konden overal door ons virtuele gebouw dwalen en real-time geluiden en stimuli zien / horen die binnenkomen vanaf overeenkomstige locaties op de fysieke site.

Zoals Sommige van deze cameras en sensoren zijn nog steeds functioneel, we hebben hun streams opengesteld voor Media Lab-leden om te bekijken als omgevingsachtergrond. Het zien van een dagpas in ons bijna lege complex herinnert ons aan ons gemeenschappelijke huis en verjongt de belofte van onze wachtende terugkeer.

Credit: Brian Mayton

Populairder zijn echter de live mediastreams van onze Tidmarsh-project , waar we cameras, microfoons en honderden draadloze sensoren verspreidden in een gerestaureerd natuurreservaat in wetlands in Plymouth, een uur rijden ten zuiden van Boston, om daarnaast ecologisch onderzoek te ondersteunen naar het verkennen van nieuwe grenzen in virtualisatie . Hier, vanuit de quarantaine van uw huis waar ook ter wereld, kunt u verbinding maken met een prachtig natuurlijk landschap in het echte leven of via virtuele onderdompeling. Ik breng nog steeds uren door met een van mijn schermen vastgebonden aan de Haringvijver , luisterend naar de ganzen, vogels, insecten en kikkers, in de hoop een glimp op te vangen van de internetsterreiger die daar rondhangt en vaak lijkt te hameren voor de camera. Ons recente Mediated Atmospheres Project heeft kamers ontwikkeld die automatisch transformeren tussen natuurlijke omgevingen via gerenderde verlichting, geprojecteerd beeld en audio, afhankelijk van hoe bewoners erop reageren – zoals wij zijn thuis opgesloten rond schermen, wordt dit initiatief steeds relevanter.

Hoewel we virtueel verbinding kunnen maken met plaatsen op verschillende manieren die een zekere mate van voldoening opleveren, levert het contact met mensen totaal andere uitdagingen op. Onze huidige levens doorgebracht met het staren naar platte Hollywood-Squares-montages die worden aangeboden door Zoom en andere online conferentieplatforms beginnen een vermoeiende tol te eisen. Voor kleine bijeenkomsten met slechts een paar mensen kunnen deze ervaringen werken, maar grotere groepen vallen uiteen en veroorzaken wat ik zie als een door Zoom veroorzaakte paranoia. Onze hersenen zijn gebouwd om speciale aandacht te besteden aan gezichten, maar we kunnen een reeks gezichten die ons ergens vaag aanstaren vanaf een gewone flatscreen niet goed verwerken. Wanneer moeten we een gesprek beginnen, en wat voor reactie krijgen we echt? Hoe kan ik tegen een buurman fluisteren of op natuurlijke wijze in een apart gesprek met een zijgroep mensen afdwalen, zoals op een feestje of receptie? Ik vond het bijvoorbeeld nogal verontrustend als ik op Zoom sprak om stockfotos te zien van collegas (meestal glimlachend) die video hebben afgewisseld met live videofeeds van mensen die echte uitdrukkingen en reacties vertonen – de vergelijking kan je doen denken dat de real-streaming-mensen zijn niet gelukkig, ook al zijn hun uitdrukkingen op zijn minst neutraal. Media Lab-lessen zijn meestal erg boeiend en er is veel discussie – verschillende van mijn collegas die deze term lesgeven, hebben opgemerkt dat de verantwoordelijkheid van Zoom-achtige lessen het enthousiasme van de studenten steeds slechter maakt naarmate de term vordert.

Zoals onze collectieve zenuwen beginnen te rafelen van deze onnatuurlijke sociale / cognitieve overbelasting, wordt het duidelijk dat er enorme onderzoeksmogelijkheden zijn naar hoe we de nuance van menselijke aanwezigheid op een natuurlijke manier kunnen weergeven. Kunnen we ook de toevallige en spontane interacties virtualiseren tussen mensen op het werk, scholen, stadscentra, enz. Die werken als een subliminale semantische lijm om ons samen te binden en een gedeelde identiteit te vestigen? En hoe zit het met mijn zeer gemiste ervaring tijdens een concert? Naar een videostream kijken, zelfs op een magnifieke tv met verbluffend geluid, is niet hetzelfde als aanwezig zijn in de doordringende pers van de mensheid die hun opwinding collectief deelt en versterkt via subtiele signalen die we nog steeds nauwelijks begrijpen.

Ik herinner me de populaire hoogtijdagen van gedeelde 3D VR-werelden zoals SecondLife een goed decennium of langer geleden, en hoe grote ondernemingen zoals IBM er zwaar op inzetten als de toekomst van teleconferenties.Ja, het was vroeg, en we waren toen nog niet helemaal klaar voor Cyberspace – de primitieve weergave, latentieproblemen, gebrek aan kwaliteitsvolle VR / AR-platforms, enz. Beperkten deze omgevingen voornamelijk tot toegewijde groepen gebruikers die meeslepende gaming deden of een enigszins niche nastreven ervaringen. Nu zien we echter hoe belangrijk het is om menselijke interactie te abstraheren, en de onderliggende technologie is veel beter in staat dan toen. Degenen onder ons die bij HCI werken, hebben een tijdje naar deze sluis gekrabbeld, maar het veld van samenwerking op afstand en abstracte aanwezigheid is klaar voor een renaissance. We zijn collectief veranderd door de COVID-19-ervaring en wanneer we weer aan het werk gaan, wordt de virtualisatienaald niet helemaal gereset.

Credit: Nan Zhao

Net als vele anderen die in embedded sensing werkten, voelde de opwinding die ik voelde op de hoogtijdagen van Ubiquitous Computing en het internet der dingen heeft tot bezorgdheid geleid, omdat we zien dat elementen van deze infrastructuur op alarmerende manieren worden gebruikt. Ik heb zojuist een uitgebreide introductie voor gasteditors afgerond voor de komende editie van IEEE Pervasive Computing Magazine hierover, aangezien dit nummer zich richt op de twee kanten van de aandacht die crises vormen in onze genetwerkte wereld – ongewenste aandacht die aan mij wordt besteed [surveillance] versus mijn eigen aandacht die onbewust wordt afgeleid [manipulatie]. Hoewel de netwerkcameras en sensoren die de wereld snel vullen, deze crisis hebben uitgelokt, hebben ze ons ook in isolatie bij elkaar gehouden en kunnen ze de weg vrijmaken om de komende maanden weer normaal te worden, aangezien we die informatie gebruiken om mogelijk geïnfecteerde mensen op te sporen. bijvoorbeeld door locatiemonitoring en genetwerkte temperatuurmeting.

We leven in een uitzonderlijke tijd die onze persoonlijke, professionele, culturele en economische systemen zwaar heeft belast. Maar het heeft ons ook een andere kijk gegeven op waar de mensheid naartoe gaat, waarbij nog meer gevaren worden belicht, maar ook nieuwe beloften en nieuwe kansen worden onthuld. Ik kijk er naar uit om te zien dat de onderzoeksgemeenschappen van de wereld samenwerken om de mensheid voorbij het COVID-19-tijdperk te brengen en naar een nog mooiere toekomst te brengen.

Dit bericht staat ook op de ETH Zürich blog en de Media Lab-website .

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *