Tales from Virtuality – Recherche en quarantaine au MIT Media Lab

(19 mai 2020)

Par Joe Paradiso, ancien élève de lETH Zurich et professeur au MIT

Crédit: Joe Paradiso

La cascade de causalité COVID-19 a commencé pour moi fin février , alors que le nord de lItalie commençait à faire face à la pandémie. Je venais de rentrer à Boston après une semaine dans cette région, où jai donné une série de conférences et pris quelques jours de vacances. En regardant la crise monter là-bas peu de temps après le retour, toute toux ou congestion semblait être un symptôme important, mais il y avait déjà beaucoup de causes bénignes à cela. Il semblait que nous ne lavions pas ramené avec nous – seulement de bons souvenirs, quelques bouteilles de bon vin italien, les souvenirs habituels et de nombreux CD de rock et de jazz italiens énervés, comme je collectionne musique inhabituelle partout où je vais , une habitude qui remonte à mes jours de vie en Suisse il y a quatre décennies. Mais le virus trouvait déjà dautres moyens datteindre la région de Boston. Le premier événement «de grande diffusion» dans ce domaine semble avoir été la Réunion annuelle des dirigeants de Biogen qui a eu lieu ici une semaine après notre retour.

Un de mes collègues professeurs au Media Lab est un biochimiste qui a passé une grande partie de sa vie professionnelle à se concentrer sur les maladies infectieuses, nous avons donc eu une prévision précoce de ce qui allait bientôt arriver. Nous avons encouragé notre personnel et nos étudiants à travailler à distance lorsque cela était possible, déjà au début du mois de mars, et la majeure partie du MIT a emboîté le pas une semaine ou deux plus tard. Au moment où lhorloge sonna le mardi 17 mars à minuit, le bâtiment du MIT Media Lab était verrouillé, ainsi que la plupart du MIT. Tous les cours du MIT ont été annulés pour la semaine du 16 mars et sont devenus entièrement virtuels après la fin des vacances de printemps une semaine plus tard. Cela a donné au corps professoral et au personnel enseignant deux semaines pour tout mettre en ligne. Les outils que certains dentre nous ont explorés via les plates-formes Stellar, MITx et OpenCourseWare du MIT ont été poussés dans des mariages de fusil de chasse avec Zoom, Jitsi, Google Hangout et dautres plates-formes de visioconférence évolutives, et lenseignement au MIT est devenu entièrement virtuel le 30 mars. cours phare sur les capteurs ce trimestre, mais reporté car javais des responsabilités denseignement supplémentaires le trimestre dernier. Cette classe aurait été très difficile à virtualiser entièrement, en ce quelle implique de vastes laboratoires pratiques et un projet final exigeant en matériel. Mes collègues qui enseignent des cours basés sur des projets au MIT et dans dautres universités qui impliquent du matériel font livrer des composants aux étudiants à la maison et exécutent des critiques virtuelles. Dun autre côté, mes amis du département de physique du MIT qui enseignent leur célèbre classe «  Junior Lab (un peu similaire à la classe Physik Praktikum que javais lhabitude denseigner à lETH) se considèrent chanceux dans la mesure où les étudiants avaient déjà pris la plupart des données quils nécessaire et pourrait se concentrer sur lanalyse (même au MIT, il est difficile denvoyer des appareils à rayons X, des sources radioactives, du matériel de RMN, etc. au domicile des étudiants).

Crédit: Joe Paradiso et les étudiants du groupe Responsive Environments

Au MIT, comme dans nos universités techniques sœurs du monde entier, la recherche ne sarrête jamais. Par conséquent, javais besoin de virtualiser rapidement mon équipe dune vingtaine détudiants et de chercheurs venus travailler avec moi du monde entier pour poursuivre nos projets. Une grande partie de la recherche dans mon groupe Environnements réactifs implique du matériel, et nous hébergeons un laboratoire délectronique de classe mondiale sur lequel nous (et de nombreux autres groupes dans le bâtiment) comptons. En conséquence, nous avons commencé à déplacer léquipement hors du bâtiment la semaine précédant la fermeture, et mes étudiants ont conclu des accords entre eux pour savoir qui serait le gardien de quoi. Des labos Impromptu ont surgi dans les coins des appartements des membres de mon équipe – comme vous pouvez le voir dans le montage photo de nos zones de travail à domicile, les étudiants partagent leur espace de vie avec des imprimantes 3D, des fours à refusion, des stations de test / assemblage électroniques , des suites de développement de systèmes embarqués, des baies GPU pour lapprentissage en profondeur (qui aident également à chauffer leur appartement), des systèmes de réalité virtuelle et même du matériel de musique électronique (plusieurs dentre eux sont également des musiciens et impliquent des mappages audio dans leur travail). En conséquence, une grande partie de notre travail physique a pu se poursuivre, malgré sa diversité – par exemple, nous pilotons deux expériences sur la Station spatiale internationale (lune vient de se terminer et entre dans lanalyse des données, tandis que lautre vient dêtre expédiée à nos collaborateurs de JAXA. au Japon pour préparer le lancement) et nous sommes sur le point de fabriquer 20 paires de lunettes sans fil chargées de capteurs avec lun de nos partenaires industriels, conçues pour mesurer les caractéristiques liées à létat dattention du porteur.Quelques-uns de mes étudiants, en collaboration avec dautres équipes du Media Lab, prototypent des systèmes open source chez eux pour contrecarrer les chemins infectieux tactiles pour COVID-19 . Ceux-ci incluent des capteurs portables ultra-économiques basés sur la détection par ultrasons ou magnétique qui émettent un avertissement si vos mains sapprochent de votre visage, et un pulvérisateur de désinfectant monté sur le bras qui sactive automatiquement lorsque vos doigts sapprochent dune surface et / ou que vous faites un geste spécial .

Comme nous avons de nombreux projets centrés sur linteraction homme-machine (HCI), les études sur les utilisateurs nous ont beaucoup plus frappés. Amener un nombre important de personnes dans un espace commun pour partager un appareil (quil sagisse dun HoloLens exécutant un guide touristique AR intelligent ou une interface de tissu intelligent) ne sera probablement pas possible avant la date déchéance des thèses, donc mes étudiants et moi réfléchissons de manière créative au triage . Une grande partie du Media Lab fonctionne avec le soutien de nos membres industriels, qui se rendent deux fois par an pour dénormes réunions où tout le monde montre fièrement ses dernières démos. Latmosphère est toujours électrique lors de ces événements clés, mais hélas, comme ils ne peuvent pas avoir lieu maintenant dans le monde physique, nous nous efforçons de réfléchir à des moyens de préserver lexcitation dans un cadre virtuel.

Crédit: Joe Paradiso

Le changement à moi la routine a été drastique. Avant mars, les voyages étaient une grande partie de ma vie. Comme beaucoup duniversitaires chevronnés, je me trouvais souvent dans un avion pour une réunion de comité ou une conférence dans différents coins du monde, et lorsque jétais local, je me précipitais vers des réunions partout sur le campus. Maintenant, je suis toujours à la maison. Cette contrainte a cependant conduit à un niveau de productivité différent – la pile de thèses, darticles et de propositions que jai besoin décrire / de réviser / de réviser commence à diminuer, et jai enfin pu (presque) compléter ma musique à la maison. studio de synthétiseur, une tâche qui attend depuis des années. Pour assurer la cohérence de mon équipe, nous planifions des réunions Zoom au besoin et organisons des hangouts pour tous les groupes un vendredi sur deux. Les vendredis restants, cependant, sont entièrement consacrés à 1 à 1 réunions de recherche avec tous les membres de mon équipe – bien que ce soit un vrai marathon, ce sont peut-être parmi les jours les plus stimulants et les plus enrichissants que jai jamais eu.

Dans le monde physique, il y a trop de choses qui peuvent distraire et interférer avec ou différer ce type de réunion, alors que dans la sphère virtuelle, il sagit purement dune session intense de 20 à 30 minutes axée sur des idées, des concepts, des stratégies et le progrès. Nous avons la chance dattirer de grands talents dans nos programmes de recherche et universitaires au MIT, et ces réunions le réaffirment toujours pour moi.

Notre vie basée sur Zoom a évolué de manière étrange alors que je vois mes collègues du corps professoral se transformer À lécran. Nos cheveux deviennent tous longs et certains font pousser de nouvelles barbes. À lorigine, nous gardions le monde physique en arrière-plan – nous étions des voyeurs dans les salons, les études, les cuisines ou même les terrasses extérieures lorsque le temps le permettait. Vous êtes désormais plus susceptible de voir le plafond de quelquun ou un fond de photo, qui vont des paramètres alpins aux paysages de nuages; nous les changeons comme des T-shirts de souvenir. Après avoir vu certains de mes collègues de ladministration du MIT arborant des Marscapes tirés de rovers du JPL comme arrière-plan, jai décidé de me plonger dans la fantaisie et dapparaître contre une vue dun Mars réglé de The Expanse (une excellente série télévisée dopéra néo-spatial que jai dévoré pendant la quarantaine), Rigel 7 du Star Trek original, et jai même numérisé des gravures anciennes montrant des paysages européens idylliques dil y a des siècles que jai achetés en vivant en Suisse et que je peux maintenant habiter. Comme lexpérience dassister à des concerts me manque beaucoup, lun de mes décors préférés est une photo que jai prise lors dun spectacle Hawkwind au magnifique Roundhouse de Londres alors que jétais en ville pour donner une conférence sur lEE à lImperial College il y a quelques années.

Jai accueilli et assisté à toutes sortes de réunions importantes pieds nus maintenant. Avant de présenter lun de mes doctorants à sa soutenance de thèse Zoom le mois dernier, jai levé le pied vers mon appareil photo pour souligner ce fait – cétait plutôt approprié, car son travail était autour de re-rendre laudio à partir de réseaux de microphones denses dans le monde réel afin que vous puissiez placer lauditeur parfaitement dans un environnement virtuel analogue, et je voulais souligner à quel point la virtualité est devenue répandue. L’analogie populaire selon laquelle nous vivons tous dans un monde de «science-fiction» frappe maintenant à la maison lorsque nous nous blottissons à proximité humaine et cocon autour de nos moniteurs virtuels. On peut peut-être trouver un précurseur dans l’histoire de 1909 de E.M. Forster, «La machine s’arrête», mais je pense immédiatement aux scènes du roman d’Isaac Asimov de 1956, «Le soleil nu», que j’ai dévoré à l’école primaire.

Crédit: Gershon Dublon

Une grande partie du travail de mon équipe de recherche au cours des 15 dernières années a tourné autour de différentes façons de connecter les gens à des informations diffusées à partir de capteurs intégrés de plus en plus partout , et comment cela peut changer la nature de la présence, un sujet qui a maintenant atteint une pertinence immédiate. Il y a dix ans, nous avons installé des caméras, des microphones de diffusion en continu à occultation vocale et dautres capteurs dans lensemble de notre complexe de bâtiments Media Lab pour la recherche sur linteraction distribuée et à distance qui a abouti à notre projet DoppelLab – un précurseur de ce que lon appelle maintenant dans le commerce DigitalTwin, les visiteurs pouvaient parcourir notre bâtiment virtuel de nimporte où et voir / entendre des sons en temps réel et des stimuli provenant des emplacements correspondants sur le site physique.

Comme certaines de ces caméras et capteurs sont toujours fonctionnels, nous avons ouvert leurs flux pour que les membres du Media Lab les voient comme arrière-plan ambiant. Voir un jour passer dans notre complexe presque vide nous rappelle notre maison commune et rajeunit la promesse de notre retour imminent.

Crédit: Brian Mayton

Plus populaires, cependant, sont les flux multimédias en direct de notre Projet Tidmarsh , dans le cadre duquel nous avons distribué des caméras, des microphones et des centaines de capteurs sans fil dans un sanctuaire animalier restauré à Plymouth, à une heure de route au sud de Boston, pour soutenir en outre la recherche écologique pour explorer les nouvelles frontières de la virtualisation . Ici, depuis les limites de votre maison en quarantaine partout dans le monde, vous pouvez vous connecter à un magnifique paysage naturel dans la vraie vie ou via une immersion virtuelle. Je passe encore des heures avec lun de mes écrans attaché à l Herring Pond , à écouter les oies, les oiseaux, les insectes et les grenouilles, tout en espérant avoir un aperçu de la Héron star de linternet traînant là-bas qui semble souvent marteler pour la caméra. Notre récent Projet Atmosphères Médiées a développé des salles qui se transforment automatiquement entre les environnements naturels via un éclairage rendu, une image projetée et un son en fonction de la façon dont les résidents y réagissent – comme nous le sommes tous enfermés à la maison autour décrans, cette initiative est de plus en plus pertinente.

Bien que nous puissions virtuellement nous connecter à des lieux de différentes manières qui donnent un certain degré de satisfaction, se connecter aux gens présente des défis entièrement différents. Nos vies actuelles passées à regarder les montages plats dHollywood-Squares proposés par Zoom et dautres plates-formes de conférence en ligne commencent à faire des ravages épuisant. Pour de petites réunions avec seulement quelques personnes, ces expériences peuvent fonctionner, mais des groupes plus importants seffondrent, provoquant ce que je considère comme une paranoïa induite par Zoom. Nos cerveaux sont conçus pour accorder une attention particulière aux visages, mais nous ne pouvons pas traiter correctement une panoplie de visages qui nous regardent vaguement à partir dun écran plat commun. Quand devons-nous entamer une conversation et quel genre de réaction avons-nous vraiment? Comment puis-je chuchoter à un voisin ou dériver naturellement dans une conversation séparée avec un groupe de personnes, comme je le ferais lors dune fête ou dune réception? Jai trouvé assez déconcertant, par exemple, lorsque je parle sur Zoom de voir des photos darchives de collègues (généralement souriants) qui ont une vidéo juxtaposée avec des flux vidéo en direct de personnes montrant de vraies expressions et réactions – la comparaison peut vous faire penser que les gens en streaming réel ne sont pas heureux même si leurs expressions sont au moins neutres. Les classes de Media Lab sont généralement très engageantes avec beaucoup de discussions – plusieurs de mes collègues qui enseignent ce terme ont noté que le fardeau des cours de style Zoom épuisait de plus en plus lenthousiasme des étudiants à mesure que le trimestre progressait.

les nerfs collectifs commencent à seffilocher à cause de cette surcharge sociale / cognitive contre nature, il devient évident quil existe une formidable opportunité de recherche sur la manière de représenter de manière appropriée la nuance de la présence humaine dune manière qui évolue naturellement. Pouvons-nous aussi virtualiser les interactions fortuites et spontanées entre les personnes sur les lieux de travail, les écoles, les centres-villes, etc. qui fonctionnent comme une colle sémantique subliminale pour nous unir et établir une identité partagée? Et quen est-il de mon expérience très manquée dêtre à un concert? Regarder un flux vidéo même sur un téléviseur magnifique avec un son incroyable nest pas la même chose que dêtre présent dans la presse piquante de lhumanité qui partage et amplifie collectivement son excitation via une signalisation subtile que nous comprenons encore à peine.

Je me souviens de lapogée populaire des mondes de RV 3D partagés comme SecondLife il y a une bonne décennie ou plus, et comment de grandes entreprises comme IBM pariaient fortement sur eux comme lavenir de la téléconférence.Oui, il était tôt, et nous nétions pas tout à fait prêts pour le cyberespace à lépoque – le rendu primitif, les problèmes de latence, le manque de plates-formes VR / AR de qualité, etc. restreignaient ces environnements principalement à des nœuds dédiés dutilisateurs faisant des jeux immersifs ou poursuivant une certaine niche. expériences. Maintenant, cependant, nous voyons limportance dabstraire linteraction humaine, et la technologie sous-jacente est beaucoup plus capable quelle ne létait alors. Ceux dentre nous qui travaillons dans HCI ont essayé cette serrure pendant un certain temps, mais le domaine de la collaboration à distance et de la présence abstraite est sur le point de connaître une renaissance. Nous avons collectivement changé grâce à lexpérience COVID-19, et lorsque nous retournerons au travail, laiguille de virtualisation ne sera pas entièrement réinitialisée.

Crédit: Nan Zhao

Comme beaucoup dautres travaillant dans la détection intégrée, lexcitation que jai ressentie à lapogée de linformatique omniprésente et de lInternet des objets a suscité des inquiétudes alors que nous commençons à voir des éléments de cette infrastructure utilisés de manière alarmante. Je viens de terminer une introduction aux rédacteurs en chef invités pour la prochaine édition de IEEE Pervasive Computing Magazine à ce sujet, car ce numéro se concentre sur les deux côtés de lattention qui forment des crises dans notre monde en réseau – une attention non désirée ma été [surveillance] vs ma propre attention étant détournée involontairement [manipulation]. Bien que les caméras et les capteurs en réseau qui remplissent rapidement le monde aient invité cette crise, ils ont également fourni les moyens de nous tenir ensemble dans lisolement et pourraient ouvrir la voie au retour à la normale au cours des prochains mois, alors que nous exploitons ces informations pour retracer les personnes potentiellement infectées grâce à la surveillance de lemplacement et à la détection de température en réseau, par exemple.

Nous vivons une période exceptionnelle qui a mis à mal nos systèmes personnels, professionnels, culturels et économiques. Mais cela nous a également fourni une vision différente de la direction que prend lhumanité, mettant en évidence encore plus de dangers, tout en dévoilant de nouvelles promesses et de nouvelles opportunités. Jai hâte de voir les communautés de recherche du monde entier se regrouper pour amener lhumanité au-delà de lère COVID-19 et dans un avenir encore meilleur.

Cet article est également présenté sur le Blog de lETH Zurich et Site Web du Media Lab .

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *