Geschichten aus der Virtualität – Forschung unter Quarantäne im MIT Media Labor

(19. Mai 2020)

Von Joe Paradiso, Absolvent der ETH Zürich und Professor am MIT

Bildnachweis: Joe Paradiso

Die Kausalitätskaskade von COVID-19 begann für mich Ende Februar als Norditalien begann, der Pandemie zu begegnen. Ich war gerade von einer Woche in dieser Region nach Boston zurückgekehrt, wo ich eine Reihe von Vorträgen hielt und ein paar Tage Urlaub machte. Als wir sahen, wie sich die Krise kurz nach der Rückkehr dort aufbaute, fühlte sich jeder Husten oder jede Verstopfung wie ein bedeutendes Symptom an, aber es gab bereits viele weitere harmlose Ursachen dafür. Es schien, als hätten wir es nicht mitgebracht – nur tolle Erinnerungen, ein paar Flaschen guten italienischen Weins, die üblichen Souvenirs und viele CDs mit nervösem italienischem Rock und Jazz, während ich überall ungewöhnliche Musik , eine Angewohnheit aus meiner Zeit in der Schweiz vor vier Jahrzehnten. Aber das Virus fand bereits andere Wege in die Gegend von Boston. Das erste „Superspreading“ -Ereignis in diesem Bereich scheint das Biogen Annual Leadership Meeting gewesen zu sein, das hier eine Woche nach unserer Rückkehr stattfand.

Einer meiner Fakultätskollegen am Media Lab ist ein Biochemiker, der einen Großteil seines Berufslebens mit Infektionskrankheiten verbracht hat. Daher hatten wir eine strenge frühe Prognose dessen, was schnell kommen würde. Wir ermutigten unsere Mitarbeiter und Studenten, bereits Anfang März, wenn möglich, remote zu arbeiten, und der Großteil des MIT folgte ein oder zwei Wochen später. Als die Uhr am Dienstag, dem 17. März, Mitternacht schlug, war das MIT Media Lab-Gebäude zusammen mit dem größten Teil des MIT geschlossen. Alle MIT-Kurse wurden für die Woche vom 16. März abgesagt und nach dem Ende der Frühlingsferien eine Woche später vollständig virtuell. Dies gab den Lehrkräften und Lehrkräften zwei Wochen Zeit, um alles online zu stellen. Tools, die einige von uns über die Stellar-, MITx- und OpenCourseWare-Plattformen des MIT erkundet haben, wurden mit Zoom, Jitsi, Google Hangout und anderen skalierbaren Videokonferenzplattformen in Schrotflinten-Ehen geschoben, und der Unterricht am MIT wurde bis zum 30. März virtuell. Normalerweise unterrichtete ich meine Flaggschiff Sensoren Klasse in diesem Semester, aber verschoben, da ich im letzten Semester zusätzliche Lehrverantwortung hatte. Es wäre sehr schwierig gewesen, diese Klasse vollständig zu virtualisieren, da sie umfangreiche praktische Übungen und ein hardwareintensives Abschlussprojekt umfasst. Meine Kollegen, die projektbasierte Kurse am MIT und an anderen Universitäten unterrichten, die Hardware beinhalten, lassen Komponenten an Studenten zu Hause liefern und führen virtuelle Kritiken durch. Andererseits schätzen sich meine Freunde in der MIT-Physikabteilung, die ihre berühmte Junior Lab-Klasse unterrichten (ähnlich der Physik-Praktikum-Klasse, die ich an der ETH unterrichtete), glücklich schätzen, dass die Studenten bereits die meisten Daten genommen hatten, die sie hatten benötigt und könnte sich auf die Analyse konzentrieren (selbst am MIT ist es schwierig, Röntgengeräte, radioaktive Quellen, NMR-Geräte usw. zu den Schülern nach Hause zu schicken).

Bildnachweis: Joe Paradiso und die Schüler der Gruppe Responsive Environments

Am MIT, as An unseren technischen Schwesteruniversitäten auf der ganzen Welt hört die Forschung nie auf. Daher musste ich mein Team von ca. 20 Studenten und Forschern, die mit mir aus der ganzen Welt zusammengearbeitet hatten, schnell virtualisieren, um unsere Projekte am Laufen zu halten. Ein Großteil der Forschung in meiner Responsive Environments-Gruppe umfasst Hardware, und wir beherbergen ein erstklassiges Elektroniklabor, auf das wir (und viele andere Gruppen im Gebäude) angewiesen sind. Dementsprechend haben wir in der Woche vor dem Herunterfahren damit begonnen, Geräte aus dem Gebäude zu entfernen, und meine Schüler haben miteinander Geschäfte gemacht, wer der Verwalter von was sein würde. In den Ecken der Wohnungen meiner Teammitglieder tauchten spontane Labore auf. Wie Sie auf der Fotomontage unserer Arbeitsbereiche zu Hause sehen können, teilen sich die Schüler ihren Wohnraum mit 3D-Druckern, Reflow-Öfen und elektronischen Test- / Montagestationen , Embedded-Systementwicklungssuiten, GPU-Arrays für Deep Learning (die auch zum Heizen ihrer Wohnung beitragen), VR-Systeme und sogar elektronische Musikgeräte (einige von ihnen sind auch Musiker und beziehen Audio-Mappings in ihre Arbeit ein). Dementsprechend konnte ein Großteil unserer körperlichen Arbeit trotz ihrer Verschiedenartigkeit fortgesetzt werden – zum Beispiel fliegen wir zwei Experimente auf der Internationalen Raumstation (eines ist gerade fertig und geht in die Datenanalyse ein, während das andere gerade an unsere Mitarbeiter bei JAXA ausgeliefert wurde in Japan, um den Start vorzubereiten) und wir sind dabei, mit einem unserer Industriepartner 20 Paar sensorgeladene Funkbrillen herzustellen, mit denen Merkmale gemessen werden sollen, die mit dem Aufmerksamkeitszustand des Trägers zusammenhängen.Einige meiner Schüler arbeiten in Zusammenarbeit mit anderen Media Lab-Teams zu Hause an Prototypen von Open-Source-Systemen, um taktile Infektionspfade für COVID-19 zu vereiteln. Dazu gehören äußerst kostengünstige tragbare Sensoren auf der Basis von Ultraschall oder Magnetsensor, die eine Warnung ausgeben, wenn sich Ihre Hände Ihrem Gesicht nähern, und ein am Arm montiertes Desinfektionssprühgerät, das automatisch aktiviert wird, wenn sich Ihre Finger einer Oberfläche nähern und / oder Sie eine spezielle Geste ausführen

Da wir viele Projekte rund um die Mensch-Computer-Interaktion (HCI) haben, haben uns Benutzerstudien viel stärker getroffen. Es wird höchstwahrscheinlich nicht möglich sein, eine beträchtliche Anzahl von Personen in einen gemeinsamen Raum zu bringen, um einen Apparat zu teilen (sei es eine HoloLens, die einen intelligenten AR-Reiseleiter oder eine intelligente Stoffschnittstelle ausführt), bevor diese fällig werden. Meine Schüler und ich arbeiten daher kreativ an einer Triage . Ein Großteil des Medienlabors wird von unseren Industriemitgliedern unterstützt, die zweimal jährlich zu großen Meetings kommen, bei denen alle stolz ihre neuesten Demos zeigen. Die Atmosphäre ist während dieser Schlüsselereignisse immer elektrisierend, aber leider müssen wir uns überlegen, wie wir die Aufregung in einer virtuellen Umgebung bewahren können, da sie derzeit in der physischen Welt nicht stattfinden können.

Bildnachweis: Joe Paradiso

Die Änderung in meiner eigenen Routine war drastisch. Vor März war Reisen ein großer Teil meines Lebens. Wie viele hochrangige Akademiker war ich oft in einem Flugzeug zu einer Ausschusssitzung oder einem Vortrag in verschiedenen Ecken der Welt und eilte, wenn ich vor Ort war, zu Treffen auf dem ganzen Campus. Jetzt bin ich immer zu Hause. Diese Einschränkung hat jedoch zu einem anderen Produktivitätsniveau geführt – der Stapel von Thesen, Papieren und Vorschlägen, die ich schreiben / überprüfen / überarbeiten muss, nimmt ab, und ich konnte endlich meine Heimmusik (fast) fertigstellen Synthesizer-Studio, eine Aufgabe, auf die man jahrelang gewartet hat. Um mein Team kohärent zu halten, planen wir Zoom-Meetings nach Bedarf und veranstalten abwechselnd freitags Treffpunkte für alle Gruppen. Die verbleibenden Freitage sind jedoch ausschließlich 1–1 Forschungstreffen mit all meinen Teammitgliedern gewidmet – obwohl dies ein echter Marathon ist, gehören diese vielleicht zu den anregendsten und erfüllendsten Tagen, die ich je hatte.

In der physischen Welt gibt es zu viele Dinge, die diese Art von Besprechung ablenken und stören oder verschieben können, während es in der virtuellen Sphäre lediglich eine intensive 20- bis 30-minütige Sitzung ist, die sich auf Ideen, Konzepte, Strategien und Themen konzentriert Fortschritt. Wir haben das Glück, große Talente für unsere Forschungs- und akademischen Programme am MIT zu gewinnen, und diese Treffen bestätigen dies immer wieder für mich.

Unser zoombasiertes Leben hat sich auf seltsame Weise entwickelt, als ich sehe, wie sich meine Fakultätskollegen verwandeln auf dem Bildschirm. Unsere Haare werden alle lang und einige wachsen neue Bärte. Ursprünglich hatten wir die physische Welt im Hintergrund – wir waren Voyeure in den Wohnzimmern, Arbeitszimmern, Küchen oder sogar Außendecks des anderen, wenn das Wetter es erlaubte. Jetzt ist es wahrscheinlicher, dass Sie die Decke oder den Fotohintergrund einer Person sehen, die von alpinen Einstellungen bis zu Wolkenlandschaften reichen. Wir ändern sie wie Souvenir-T-Shirts. Nachdem ich einige meiner Kollegen in der MIT-Administration mit Marscapes von JPL-Rovers als Hintergrund gesehen hatte, entschloss ich mich, in die Fantasie einzutauchen und vor dem Blick auf einen sesshaften Mars aus The Expanse (einer exzellenten Neo-Space-Opera-TV-Serie, die ich verschlungen habe) aufzutreten während der Quarantäne), Rigel 7 aus dem Original Star Trek, und haben sogar einige antike Drucke gescannt, die idyllische europäische Landschaften von vor Jahrhunderten zeigen, die ich während meines Aufenthalts in der Schweiz gekauft habe und jetzt bewohnen kann. Da ich die Erfahrung, Konzerte zu besuchen, sehr vermisse, ist eine meiner Lieblingskulissen ein Foto, das ich vor einigen Jahren während einer Hawkwind-Show im wunderschönen Roundhouse in London in der Stadt gemacht habe, um einen EE-Vortrag am Imperial College zu halten.

Ich habe jetzt alle Arten wichtiger Meetings barfuß veranstaltet und besucht. Bevor ich letzten Monat einen meiner Doktoranden bei seiner Verteidigung der Zoom-Arbeit vorstellte, hob ich meinen Fuß zu meiner Kamera, um diese Tatsache zu unterstreichen – dies war leicht angemessen, da es sich bei seiner Arbeit um handelte Das Rendern von Audio von dichten Mikrofon-Arrays in der realen Welt, damit Sie den Hörer fehlerfrei in eine analoge virtuelle Umgebung versetzen können, und ich wollte betonen, wie weit verbreitet Virtualität geworden ist. Die beliebte Analogie von uns allen, die in einer Science-Fiction-Welt leben, schlägt jetzt ein, wenn wir uns in menschlicher Nähe zusammenkauern und um unsere virtuellen Monitore kokonieren. Vielleicht ist ein früher Vorbote in E.M. Forsters 1909er Geschichte „The Machine Stops“ zu finden, aber ich denke sofort an Szenen aus Isaac Asimovs 1956er Roman „The Naked Sun“, den ich in der Grundschule verschlungen habe.

Gutschrift: Gershon Dublon

Ein Großteil der Arbeit in meinem Forschungsteam in den letzten 15 Jahren drehte sich um verschiedene Möglichkeiten, Menschen mit Informationen zu verbinden, die von eingebetteten Sensoren gestreamt werden zunehmend überall und wie dies die Art der Präsenz verändern kann, ein Thema, das jetzt unmittelbare Relevanz erlangt hat. Vor einem Jahrzehnt haben wir in unserem Gebäudekomplex Media Lab Kameras, sprachverschleierende Streaming-Mikrofone und andere Sensoren installiert, um verteilte und entfernte Interaktionen zu untersuchen, die in unserem DoppelLab-Projekt – Als Vorläufer dessen, was heute kommerziell als DigitalTwin bezeichnet wird, können Besucher von überall durch unser virtuelles Gebäude streifen und Echtzeitgeräusche und -stimuli sehen / hören, die von entsprechenden Orten auf dem physischen Standort aus tunneln.

As Einige dieser Kameras und Sensoren sind noch funktionsfähig. Wir haben ihre Streams für Media Lab-Mitglieder geöffnet, um sie als Hintergrund für die Umgebung anzuzeigen. Ein Tagesablauf in unserem fast leeren Komplex zu sehen, erinnert uns an unser gemeinsames Zuhause und verjüngt das Versprechen unserer bevorstehenden Rückkehr.

Bildnachweis: Brian Mayton

Beliebter sind jedoch die Live-Medien-Streams von unserer Tidmarsh-Projekt , bei dem wir Kameras, Mikrofone und Hunderte von drahtlosen Sensoren in einem restaurierten Naturschutzgebiet in Plymouth, eine Autostunde südlich von Boston, verteilt haben, um zusätzlich die ökologische Forschung zu unterstützen Erkundung neuer Grenzen in der Virtualisierung . Hier können Sie von den unter Quarantäne gestellten Grenzen Ihres Hauses überall auf der Welt aus eine Verbindung zu einer wunderschönen Naturlandschaft im realen Leben oder durch virtuelles Eintauchen herstellen. Ich verbringe immer noch Stunden mit einem meiner Bildschirme, die mit dem Hering Pond verbunden sind, und höre den Gänsen, Vögeln, Insekten und Fröschen zu, während ich auf einen Blick auf den Dort draußen hängt ein Internet-Star-Reiher, der oft vor der Kamera zu hämmern scheint. Unser kürzlich durchgeführtes Mediated Atmospheres Project hat Räume entwickelt, die automatisch zwischen natürlichen Umgebungen über gerenderte Beleuchtung, projiziertes Bild und Audio wechseln, je nachdem, wie die Bewohner auf sie reagieren – so wie wir sind Diese Initiative ist immer relevanter.

Obwohl wir uns auf unterschiedliche Weise virtuell mit Orten verbinden können, die ein gewisses Maß an Zufriedenheit bieten, stellt die Verbindung zu Menschen ganz andere Herausforderungen. Unser derzeitiges Leben mit flachen Hollywood-Squares-Montagen, die von Zoom und anderen Online-Konferenzplattformen angeboten werden, fordert einen anstrengenden Tribut. Bei kleinen Meetings mit nur wenigen Personen können diese Erfahrungen funktionieren, aber größere Gruppen brechen zusammen und führen zu einer meiner Ansicht nach Zoom-induzierten Paranoia. Unser Gehirn ist darauf ausgelegt, Gesichtern besondere Aufmerksamkeit zu schenken, aber wir können eine Vielzahl von Gesichtern, die uns von einem normalen Flachbildschirm aus vage anstarren, nicht richtig verarbeiten. Wann sollten wir in ein Gespräch einbrechen und welche Reaktion bekommen wir wirklich? Wie kann ich einem Nachbarn flüstern oder auf natürliche Weise in ein separates Gespräch mit einer Nebengruppe von Menschen geraten, wie ich es auf einer Party oder einem Empfang tun würde? Ich fand es zum Beispiel ziemlich beunruhigend, wenn ich auf Zoom spreche, um Fotos von Kollegen (normalerweise lächelnd) zu sehen, bei denen das Video neben Live-Video-Feeds von Menschen mit echten Ausdrücken und Reaktionen angezeigt wird – der Vergleich kann Sie dazu bringen, das zu denken Die Real-Streaming-Leute sind nicht glücklich, obwohl ihre Äußerungen zumindest neutral sind. Media Lab-Kurse sind in der Regel sehr spannend – viele meiner Kollegen, die dieses Semester unterrichten, haben festgestellt, dass Zoom-Kurse im Laufe des Semesters zunehmend die Begeisterung der Schüler verringern.

Wie unsere Kollektive Nerven beginnen durch diese unnatürliche soziale / kognitive Überlastung zu zerfressen. Es wird deutlich, dass es enorme Forschungsmöglichkeiten gibt, wie wir die Nuance menschlicher Präsenz auf eine Weise angemessen darstellen können, die natürlich skaliert. Können wir auch die zufälligen und spontanen Interaktionen zwischen Menschen an Arbeitsplätzen, Schulen, Stadtzentren usw. virtualisieren, die als unterschwelliger semantischer Klebstoff dienen, um uns zusammenzubinden und eine gemeinsame Identität herzustellen? Und was ist mit meiner sehr vermissten Erfahrung, auf einem Konzert zu sein? Das Anschauen eines Videostreams selbst auf einem großartigen Fernseher mit erstaunlichem Klang ist nicht dasselbe wie in der scharfen Presse der Menschheit zu sein, die gemeinsam ihre Erregung durch subtile Signale teilt und verstärkt, die wir immer noch kaum verstehen.

Ich erinnere mich an die beliebte Blütezeit gemeinsamer 3D-VR-Welten wie SecondLife vor gut einem Jahrzehnt oder länger und daran, wie große Unternehmen wie IBM als Zukunft der Telefonkonferenzen stark auf sie setzen.Ja, es war früh, und wir waren damals noch nicht ganz bereit für den Cyberspace – das primitive Rendering, Latenzprobleme, der Mangel an hochwertigen VR / AR-Plattformen usw. beschränkten diese Umgebungen hauptsächlich auf bestimmte Knoten von Benutzern, die immersives Spielen betreiben oder eine Nische verfolgen Erfahrungen. Jetzt sehen wir jedoch, wie wichtig es ist, die menschliche Interaktion zu abstrahieren, und die zugrunde liegende Technologie ist viel leistungsfähiger als damals. Diejenigen von uns, die bei HCI arbeiten, haben eine Weile an diesem Schloss gearbeitet, aber das Gebiet der Remote-Zusammenarbeit und der abstrakten Präsenz steht vor einer Renaissance. Wir haben uns durch die COVID-19-Erfahrung gemeinsam verändert, und wenn wir zur Arbeit zurückkehren, wird die Virtualisierungsnadel nicht vollständig zurückgesetzt.

Bildnachweis: Nan Zhao

Wie viele andere, die in der eingebetteten Wahrnehmung arbeiten, fühlte ich die Aufregung In der Blütezeit von Ubiquitous Computing und dem Internet der Dinge hat dies zu Besorgnis geführt, da wir sehen, dass Elemente dieser Infrastruktur auf alarmierende Weise genutzt werden. Ich habe gerade eine erweiterte Einführung der Gastredakteure für die kommende Ausgabe des IEEE Pervasive Computing Magazine abgeschlossen, da sich diese Ausgabe auf die beiden Seiten der Aufmerksamkeit konzentriert, die Krisen bilden unsere vernetzte Welt – unerwünschte Aufmerksamkeit, die mir [Überwachung] geschenkt wird, und meine eigene Aufmerksamkeit, die unabsichtlich abgelenkt wird [Manipulation]. Obwohl die vernetzten Kameras und Sensoren, die die Welt schnell füllen, diese Krise ausgelöst haben, boten sie auch die Möglichkeit, uns isoliert zusammenzuhalten, und könnten den Weg für eine Normalisierung in den nächsten Monaten ebnen, wenn wir diese Informationen nutzen, um potenziell infizierte Menschen aufzuspüren Zum Beispiel durch Standortüberwachung und vernetzte Temperaturerfassung.

Wir leben in einer außergewöhnlichen Zeit, die unser persönliches, berufliches, kulturelles und wirtschaftliches System belastet hat. Aber es hat uns auch eine andere Sicht auf die Richtung der Menschheit gegeben, die noch mehr Gefahren hervorhebt und gleichzeitig neue Versprechen und neue Möglichkeiten enthüllt. Ich freue mich darauf, die Forschungsgemeinschaften der Welt zusammenzubringen, um die Menschheit über die COVID-19-Ära hinaus in eine noch bessere Zukunft zu bringen.

Dieser Beitrag wird auch auf der veröffentlicht Blog der ETH Zürich und Media Lab-Website .

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.