Tales from Virtuality – Cercetare în carantină la MIT Media Lab

(19 mai 2020)

De Joe Paradiso, absolvent al ETH Zurich și profesor la MIT

Credit: Joe Paradiso

Cascada de cauzalitate COVID-19 a început pentru mine la sfârșitul lunii februarie , pe măsură ce nordul Italiei a început să se confrunte cu pandemia. Tocmai m-am întors la Boston de la o săptămână în acea regiune, unde am ținut o serie de prelegeri și am luat câteva zile de vacanță. Urmărind cum criza se dezvoltă acolo la scurt timp după întoarcere, orice tuse sau congestie s-au simțit ca un simptom semnificativ, dar au existat deja multe cauze mai benigne. Se pare că nu l-am adus înapoi cu noi – doar amintiri minunate, câteva sticle de vin italian bun, suveniruri obișnuite și multe CD-uri de rock și jazz italian nervos, în timp ce colectez muzică neobișnuită oriunde merg , un obicei datând de zilele mele de trai în Elveția de acum patru decenii. Dar virusul găsea deja alte căi spre zona Bostonului. Primul eveniment de „extindere” din această zonă pare să fi fost Reuniunea anuală de conducere Biogen care a avut loc aici la o săptămână după ce ne-am întors.

Unul dintre colegii mei de la facultatea de la Media Lab este un biochimist care și-a petrecut o mare parte din viața profesională concentrându-se pe bolile infecțioase, prin urmare am avut o prognoză stridentă timpurie a ceea ce se întâmpla rapid. Ne-am încurajat personalul și studenții să lucreze de la distanță, acolo unde este posibil, deja la începutul lunii martie, iar cea mai mare parte a MIT a urmat exemplul o săptămână sau două mai târziu. În momentul în care ceasul a bătut marți, 17 martie, la miezul nopții, clădirea MIT Media Lab a fost blocată, împreună cu cea mai mare parte a MIT. Toate cursurile MIT au fost anulate pentru săptămâna 16 martie și au devenit în întregime virtuale după sfârșitul Pauzelor de primăvară, o săptămână mai târziu. Acest lucru a dat profesorilor și personalului de instruire două săptămâni pentru a muta totul online. Instrumentele pe care unii dintre noi le-au explorat prin intermediul platformelor Stellar, MITx și OpenCourseWare ale MIT au fost împinse în căsătorii cu pușcă cu Zoom, Jitsi, Google Hangout și alte platforme de videoconferință scalabile, iar predarea la MIT a devenit virtuală până pe 30 martie. Clasa senzorilor de vârf în acest termen, dar amânat pentru că am avut responsabilități de predare suplimentare în ultimul termen. Această clasă ar fi fost foarte dificil de virtualizat pe deplin, în sensul că implică laboratoare practice extinse și un proiect final intensiv în hardware. Colegii mei care predau cursuri bazate pe proiecte la MIT și alte universități care implică hardware primesc componente livrate studenților acasă și rulează critici virtuale. Pe de altă parte, prietenii mei din cadrul Departamentului de Fizică al MIT care predau celebra lor clasă „Junior Lab” (oarecum asemănătoare cu clasa Physik Praktikum pe care o predau la ETH) se consideră fericiți în sensul că studenții au luat deja majoritatea datelor pe care le-au primit necesar și s-ar putea concentra pe analize (chiar și la MIT, este dificil să trimiteți mașini cu raze X, surse radioactive, echipamente RMN etc. la casele studenților).

Credit: Joe Paradiso și studenții grupului Responsive Environments

La MIT, ca la universitățile noastre tehnice surori din întreaga lume, cercetarea nu se oprește niciodată. Prin urmare, trebuia să-mi virtualizez rapid echipa de aproximativ 20 de studenți și cercetători care veniseră să lucreze cu mine din întreaga lume pentru a ne continua proiectele. O mare parte din cercetările din grupul meu de medii responsive implică hardware și găzduim un laborator electronic de clasă mondială pe care ne bazăm noi (și multe alte grupuri din clădire). În consecință, am început să mutăm echipamentul din clădire în săptămâna anterioară închiderii, iar studenții mei au încheiat acorduri reciproce cu privire la cine ar fi custodele a ceea ce. Laboratoarele improvizate au apărut în colțurile apartamentelor membrilor echipei mele – așa cum puteți vedea în montajul foto al zonelor noastre de lucru la domiciliu, studenții își împart spațiul de locuit cu imprimante 3D, cuptoare de re-flux, stații de testare / asamblare electronice , suite de dezvoltare de sisteme încorporate, tablouri GPU pentru învățare profundă (care ajută și la încălzirea apartamentului), sisteme VR și chiar echipamente de muzică electronică (mai multe dintre ele sunt, de asemenea, muzicieni și implică mapări audio în munca lor). În consecință, o mare parte a muncii noastre fizice a reușit să continue, în ciuda diversității sale – de exemplu, efectuăm două experimente pe Stația Spațială Internațională (unul tocmai s-a încheiat și intră în analiza datelor, în timp ce celălalt tocmai a fost livrat colaboratorilor noștri la JAXA în Japonia pentru a ne pregăti pentru lansare) și suntem pe punctul de a produce 20 de perechi de ochelari fără fir încărcați de senzori cu unul dintre partenerii noștri industriali, care sunt proiectați pentru a măsura caracteristicile legate de starea atențională a purtătorului.Câțiva dintre studenții mei, în colaborare cu alte echipe Media Lab, fac prototipuri de sisteme open-source la domiciliu pentru a contracara căi infecțioase tactile pentru COVID-19 . Acestea includ senzori portabili cu costuri foarte mici, bazate pe ultrasunete sau senzori magnetici, care transmit un avertisment dacă mâinile tale se apropie de față și un pulverizator de dezinfectare montat pe braț, care se activează automat atunci când degetele se apropie de o suprafață și / sau faci un gest special. .

Deoarece avem multe proiecte axate pe interacțiunea om-computer (HCI), studiile efectuate de utilizatori ne-au lovit mult mai greu. Atrage un număr semnificativ de persoane într-un spațiu comun pentru a partaja un aparat (fie că este vorba de un HoloLens care rulează un ghid turistic inteligent AR sau o interfață inteligentă pentru țesături), cel mai probabil nu va fi posibil înainte ca aceste teze să fie date, așa că eu și studenții mei facem brainstorminguri . O mare parte din Media Lab se bazează pe sprijinul membrilor noștri industriali, care vizitează de două ori pe an pentru întâlniri uriașe, unde toată lumea își arată cu mândrie cele mai recente demonstrații. Atmosfera este întotdeauna electrică în timpul acestor evenimente cheie, dar, din păcate, deoarece nu pot fi ținute acum în lumea fizică, ne străduim să ne gândim la modalități de a păstra emoția într-un cadru virtual.

Credit: Joe Paradiso

Schimbarea mea rutina a fost drastică. Înainte de martie, călătoriile erau o mare parte din viața mea. La fel ca mulți academicieni seniori, aș fi adesea într-un avion la o întâlnire a comitetului sau la prelegeri în diferite colțuri ale lumii și, atunci când sunt local, mă grăbeam la întâlniri în tot campusul. Acum, sunt întotdeauna acasă. Această constrângere a condus la un nivel diferit de productivitate, totuși – teancul de teze, lucrări și propuneri pe care trebuie să le scriu / revizuiesc / revizuiesc începe să se diminueze și, în sfârșit, am reușit să (aproape) să-mi completez muzica de acasă studio de sintetizator, o sarcină de așteptare de ani de zile. Pentru a menține echipa mea coerentă, programăm întâlniri Zoom după cum este necesar și organizăm hangouturi pentru toate grupurile în zilele de vineri alternative. Cu toate acestea, zilele de vineri rămase sunt dedicate în întregime 1-1 întâlniri de cercetare cu toți membrii echipei mele – deși acesta este un adevărat maraton, acestea sunt probabil printre cele mai stimulante și satisfăcătoare zile pe care le-am avut vreodată.

În lumea fizică, există prea multe lucruri care pot distrage atenția și pot interfera sau amâna acest tip de întâlnire, în timp ce în sfera virtuală este pur și simplu o sesiune intensă de 20-30 de minute orientată în jurul ideilor, conceptelor, strategiei și progres. Suntem norocoși să atragem mari talente în programele noastre de cercetare și academice de la MIT, iar aceste întâlniri reafirmă întotdeauna acest lucru pentru mine.

Viața noastră bazată pe Zoom a evoluat în moduri ciudate pe măsură ce îi văd pe colegii mei din facultate pe ecran. Părul nostru se lungește, iar unii cresc barbă nouă. Inițial, am păstrat lumea fizică în fundal – am fi voyeurs reciproc în camerele de zi, studii, bucătării sau chiar punți în aer liber, când vremea ne-a permis-o. Acum este mai probabil să vedeți plafonul cuiva sau un fundal foto, care variază de la setări alpine la cloudscapes; le schimbăm ca niște tricouri suvenir. După ce am văzut câțiva dintre colegii mei din administrația MIT sporturi de peisaj, luate de pe roverii JPL, am decis să mă adâncesc în fantezie și să mă opun vederii unui Marte stabilit din The Expanse (un excelent serial de televiziune neo-spațială pe care l-am devorat) în timpul carantinei), Rigel 7 din originalul Star Trek și chiar au scanat câteva amprente antice care arătau peisaje idilice europene de acum secole pe care le-am cumpărat în timp ce locuiam în Elveția și acum pot locui. Deoarece îmi este foarte dor de experiența de a participa la concerte, unul dintre fundalurile mele preferate este o fotografie pe care am făcut-o în timpul unui spectacol Hawkwind la minunata Roundhouse din Londra în timp ce eram în oraș pentru a susține o prelegere de EE la Imperial College acum câțiva ani.

Am găzduit și am participat desculț la toate manierele întâlnirilor importante. Înainte să-l prezint pe unul dintre doctoranzii mei la apărarea tezei sale Zoom luna trecută, mi-am ridicat piciorul spre aparatul de fotografiat pentru a sublinia acest fapt – acest lucru era ușor adecvat, întrucât munca lui era în jur de redarea sunetului din matrici dense de microfon în lumea reală, astfel încât să puteți lăsa ascultătorul fără cusur într-un mediu virtual analog și am vrut să subliniez cât de multă virtualitate a devenit. Analogia populară a tuturor celor care trăim într-o lume „Științifico-ficțională” ajunge acum acasă când ne liniștim în apropierea omului și ne înghesuim în jurul monitoarelor noastre virtuale. Poate că un vestitor timpuriu poate fi găsit în povestea lui E.M. Forster din 1909 „Mașina se oprește”, dar mă gândesc imediat la scene din romanul lui Isaac Asimov din 1956 „Soarele gol”, pe care le-am devorat în școala elementară.

Credit: Gershon Dublon

O mare parte din munca echipei mele de cercetare din ultimii 15 ani a pivotat în jurul diferitelor moduri de conectare a oamenilor la fluxul de informații de la senzorii încorporați din ce în ce mai pretutindeni și modul în care acest lucru poate schimba natura prezenței, un subiect care a atins acum relevanță imediată. În urmă cu un deceniu, am instalat camere de luat vederi, microfoane de streaming care ascund vorbirea și alți senzori în complexul nostru de clădiri Media Lab pentru cercetarea interacțiunii distribuite și la distanță, care a culminat cu proiectul DoppelLab a> – un precursor al ceea ce se numește acum DigitalTwin, vizitatorii ar putea călători prin clădirea noastră virtuală de oriunde și pot vedea / auzi sunete în timp real și stimuli tunelând din locațiile corespunzătoare de pe site-ul fizic.

unele dintre aceste camere și senzori sunt încă funcționale, le-am deschis fluxurile pentru ca membrii Media Lab să le vadă ca fundal ambiental. Văzând o zi trecând în complexul nostru aproape gol ne amintește de casa noastră comună și întinerim promisiunea întoarcerii noastre în așteptare.

Credit: Brian Mayton

Totuși, mai populare sunt fluxurile media live din Proiectul Tidmarsh , unde am distribuit camere, microfoane și sute de senzori fără fir într-un sanctuar sălbatic restaurat din zona umedă din Plymouth, la o oră de mers cu mașina la sud de Boston, pentru a sprijini cercetarea ecologică în plus la explorarea noilor frontiere în virtualizare . Aici, din limitele carantinei ale casei dvs. oriunde în lume, vă puteți conecta la un peisaj natural frumos, fie în viața reală, fie prin imersiune virtuală. Încă mai petrec ore întregi cu unul dintre ecranele mele legat de Iazul de hering , ascultând gâștele, păsările, insectele și broaștele, în timp ce sper să arunc o privire asupra stârc de internet care atârnă acolo, care pare să arate de multe ori pentru camera foto. Proiectul nostru recent Mediator Atmospheres a dezvoltat camere care se transformă automat între setările naturale prin iluminare redată, imagine proiectată și sunet în funcție de modul în care rezidenții reacționează la ele – așa cum suntem noi toate cuplate acasă în jurul ecranelor, această inițiativă are o relevanță din ce în ce mai mare.

Deși ne putem conecta practic la locuri în moduri diferite care produc un grad de satisfacție, conectarea la oameni prezintă provocări complet diferite. Viața noastră actuală petrecută cu privirea la montajele plate Hollywood-Squares oferite de Zoom și de alte platforme de conferințe online încep să aibă un efect extenuant. Pentru întâlnirile mici cu doar câțiva oameni, aceste experiențe pot funcționa, dar grupurile mai mari se descompun, inducând ceea ce văd ca o paranoia indusă de zoom. Creierele noastre sunt construite pentru a acorda o atenție specială fețelor, dar nu putem procesa corect o panoplie de fețe care ne privesc undeva vag de la un ecran plat comun. Când ar trebui să intrăm într-o conversație și ce fel de reacție primim cu adevărat? Cum pot să șoptesc un vecin sau să intru în mod natural într-o conversație separată cu un grup secundar de oameni, așa cum aș face la o petrecere sau la recepție? Mi s-a părut destul de desconcertant, de exemplu, când vorbesc pe Zoom pentru a vedea fotografii stoc ale colegilor (de obicei zâmbitori) care au video oprit alături de fluxuri video live de oameni care arată expresii și reacții reale – comparația vă poate face să credeți că oamenii în flux real nu sunt fericiți, chiar dacă expresiile lor sunt cel puțin neutre. Cursurile Media Lab sunt, de obicei, foarte interesante, cu multe discuții – mai mulți dintre colegii mei care predau acest termen au remarcat sarcina cursurilor în stil Zoom care epuizează tot mai mult entuziasmul studenților pe măsură ce termenul a progresat.

nervii colectivi încep să se prăbușească din această suprasolicitare nenaturală socială / cognitivă, devine evident că există o oportunitate extraordinară de cercetare a modului în care putem reprezenta în mod adecvat nuanța prezenței umane într-un mod care escalează în mod natural. Putem, de asemenea, să virtualizăm interacțiunile serendipite și spontane dintre oameni la locul de muncă, școli, centre ale orașului etc. care funcționează ca un lipici semantic subliminal pentru a ne lega împreună și a stabili o identitate comună? Și ce zici de experiența mea foarte ratată de a fi la un concert? Vizionarea unui flux video chiar și pe un televizor magnific cu un sunet uimitor nu este același lucru cu a fi de fapt acolo în presa înțepătoare a umanității care împărtășesc și își amplifică entuziasmul prin semnalizarea subtilă pe care încă nu o înțelegem încă.

Îmi amintesc de perioada de glorie populară a lumilor VR 3D partajate, precum SecondLife, acum un deceniu bun sau mai mult, și modul în care marile companii precum IBM au pariat puternic pe ele ca viitor al teleconferințelor.Da, era devreme și atunci nu eram prea pregătiți pentru spațiul cibernetic – redarea primitivă, problemele de latență, lipsa platformelor VR / AR de calitate etc. au restricționat aceste medii în principal la noduri dedicate de utilizatori care fac jocuri captivante sau care urmăresc o nișă oarecum de nișă experiențe. Acum, însă, vedem importanța abstractizării interacțiunii umane, iar tehnologia de bază este mult mai capabilă decât era atunci. Cei dintre noi care lucrează în HCI ne-am luptat de ceva vreme la această încuietoare, dar domeniul colaborării la distanță și al prezenței abstracte este pregătit pentru o renaștere. Ne-am schimbat colectiv prin experiența COVID-19 și, când ne întoarcem la lucru, acul de virtualizare nu se va reseta în totalitate.

Credit: Nan Zhao

La fel ca mulți alții care lucrează în detecție încorporată, emoția pe care am simțit-o în perioada de glorie a calculelor omniprezente și a internetului obiectelor a condus la îngrijorare în timp ce începem să vedem elemente ale acestei infrastructuri folosite în moduri alarmante. Tocmai am terminat o introducere extinsă a editorilor invitați pentru ediția viitoare a Revista IEEE Pervasive Computing despre acest lucru, deoarece acest număr se concentrează pe părțile duble ale atenției care formează crize în lumea noastră în rețea – atenție nedorită acordată mie [supraveghere] vs propria atenție fiind distrasă în mod involuntar [manipulare]. Deși camerele de rețea și senzorii care umple rapid lumea au invitat această criză, ele ne-au oferit și mijloacele de a ne ține împreună în izolare și ar putea deschide drumul spre revenirea la normal în următoarele luni, pe măsură ce folosim acele informații pentru a urmări persoanele potențial infectate. de exemplu, prin monitorizarea locației și prin detectarea în rețea a temperaturii.

Trăim într-un moment excepțional care ne-a subliniat sistemele personale, profesionale, culturale și economice. Dar ne-a oferit, de asemenea, o viziune diferită despre unde se îndreaptă omenirea, evidențiind și mai multe pericole, dar și dezvăluind noi promisiuni și noi oportunități. Aștept cu nerăbdare să văd comunitățile de cercetare ale grupului mondial pentru a aduce omenirea peste epoca COVID-19 și într-un viitor și mai luminos.

Această postare este prezentată și pe ETH Zurich blog și Site-ul web Media Lab .

Lasă un răspuns

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *