Tales from Virtuality – Pesquisa em quarentena no MIT Media Laboratório

(19 de maio de 2020)

Por Joe Paradiso, ex-aluno da ETH Zurich e professor do MIT

Crédito: Joe Paradiso

A cascata de causalidade COVID-19 começou para mim no final de fevereiro , quando o norte da Itália começou a enfrentar a pandemia. Eu tinha acabado de voltar para Boston de uma semana naquela região, onde dei uma série de palestras e tirei alguns dias de férias. Vendo a crise se acumular logo após o retorno, qualquer tosse ou congestão parecia um sintoma significativo, mas já havia muitas causas mais benignas disso por aí. Parece que não o trouxemos de volta conosco – apenas ótimas lembranças, algumas garrafas de bom vinho italiano, os souvenirs usuais e muitos CDs de rock e jazz italiano ousados, conforme coleciono música incomum onde quer que eu vá , um hábito que remonta aos meus dias de morar na Suíça há quatro décadas. Mas o vírus já estava encontrando outros caminhos para a área de Boston. O primeiro evento de superespalhamento nesta área parece ter sido a Reunião Anual de Liderança da Biogen , que ocorreu aqui uma semana após nosso retorno.

Um dos meus colegas professores no Media Lab é um bioquímico que passou grande parte de sua vida profissional focado em doenças infecciosas, portanto, tivemos uma previsão inicial estridente do que estava por vir. Incentivamos nossos funcionários e alunos a trabalhar remotamente sempre que possível, já no início de março, e a maior parte do MIT seguiu o exemplo uma ou duas semanas depois. No momento em que o relógio bateu meia-noite na terça-feira, 17 de março, o prédio do MIT Media Lab estava fechado, junto com a maior parte do MIT. Todas as aulas do MIT foram canceladas para a semana de 16 de março e tornaram-se totalmente virtuais após o final das férias de primavera, uma semana depois. Isso deu ao corpo docente e à equipe de ensino duas semanas para colocar tudo online. Ferramentas que alguns de nós exploramos por meio das plataformas Stellar, MITx e OpenCourseWare do MIT foram levadas a casamentos forçados com Zoom, Jitsi, Google Hangout e outras plataformas de videoconferência escalonáveis, e o ensino no MIT tornou-se totalmente virtual em 30 de março. Eu normalmente estaria ensinando meu O carro-chefe da aula de Sensores neste semestre, mas adiado porque carreguei responsabilidades extras de ensino no semestre passado. Essa aula teria sido muito difícil de virtualizar totalmente, pois envolve extensos laboratórios práticos e um projeto final intensivo em hardware. Meus colegas que ministram aulas baseadas em projetos no MIT e em outras universidades que envolvem hardware estão enviando componentes para os alunos em casa e executando análises virtuais. Por outro lado, meus amigos do Departamento de Física do MIT ensinando sua famosa aula de Laboratório Júnior (algo semelhante à aula de Physik Praktikum que eu costumava dar na ETH) se consideram afortunados pelo fato de os alunos já terem obtido a maioria dos dados que eles necessário e poderia se concentrar na análise (mesmo no MIT, é difícil enviar máquinas de raio-X, fontes radioativas, equipamento de RMN etc. para as casas dos alunos).

Crédito: Joe Paradiso e os alunos do grupo Responsive Environments

No MIT, como em nossas universidades técnicas irmãs em todo o mundo, a pesquisa nunca para. Portanto, eu precisava virtualizar rapidamente minha equipe de cerca de 20 alunos e pesquisadores que vieram trabalhar comigo de todo o mundo para manter nossos projetos em andamento. Grande parte da pesquisa em meu grupo de Ambientes Responsivos envolve hardware, e nós hospedamos um laboratório de eletrônica de classe mundial do qual nós (e muitos outros grupos no prédio) confiamos. Conseqüentemente, começamos a retirar o equipamento do prédio uma semana antes do fechamento, e meus alunos fecharam acordos uns com os outros sobre quem seria o guardião de quê. Laboratórios improvisados ​​surgiram nos cantos dos apartamentos dos membros da minha equipe – como você pode ver na fotomontagem de nossas zonas de trabalho em casa, os alunos estão compartilhando seu espaço com impressoras 3D, fornos de refluxo, estações de teste / montagem de eletrônicos , suítes de desenvolvimento de sistema embarcado, matrizes de GPU para aprendizado profundo (que também ajudam a aquecer seu apartamento), sistemas de RV e até mesmo equipamentos de música eletrônica (vários deles também são músicos e envolvem mapeamentos de áudio em seu trabalho). Consequentemente, muito do nosso trabalho físico foi capaz de continuar, apesar de sua diversidade – por exemplo, estamos voando dois experimentos na Estação Espacial Internacional (um acabou de terminar e está entrando na análise de dados, enquanto o outro acaba de ser enviado para nossos colaboradores na JAXA no Japão para se preparar para o lançamento) e estamos prestes a fabricar 20 pares de óculos sem fio com sensores com um de nossos parceiros industriais que são projetados para medir características relacionadas ao estado de atenção do usuário.Alguns dos meus alunos, em colaboração com outras equipes do Media Lab, estão criando protótipos de sistemas de código aberto em casa para impedir caminhos infecciosos táteis para COVID-19 . Isso inclui sensores vestíveis de custo ultrabaixo baseados em ultrassom ou detecção magnética que emitem um aviso se suas mãos se aproximarem de seu rosto e um pulverizador higienizador montado no braço que é ativado automaticamente quando seus dedos se aproximam de uma superfície e / ou você faz um gesto especial .

Como temos muitos projetos centrados na Interação Humano-Computador (HCI), os estudos de usuários têm nos afetado muito mais. Colocar um número significativo de pessoas em um espaço comum para compartilhar um aparato (seja um HoloLens executando um guia turístico AR inteligente ou uma interface de tecido inteligente) provavelmente não será possível antes do vencimento das teses, então meus alunos e eu estamos fazendo um brainstorming criativo . Muito do Media Lab é executado com o apoio de nossos membros industriais, que nos visitam duas vezes por ano para grandes reuniões onde todos mostram com orgulho suas últimas demos. A atmosfera é sempre elétrica durante esses eventos importantes, mas, como eles não podem ser realizados agora no mundo físico, estamos lutando para pensar em maneiras de preservar a emoção em um ambiente virtual.

Crédito: Joe Paradiso

A mudança em meu próprio a rotina tem sido drástica. Antes de março, as viagens eram uma grande parte da minha vida. Como muitos acadêmicos seniores, eu costumava estar em um avião para uma reunião de comitê ou palestra em diferentes cantos do mundo e, quando era local, corria para reuniões em todo o campus. Agora, estou sempre em casa. Essa restrição levou a um nível diferente de produtividade, no entanto – a pilha de teses, artigos e propostas que preciso escrever / revisar / revisar começa a diminuir e finalmente consegui (quase) completar minha música doméstica estúdio de sintetizador, uma tarefa que espera há anos. Para manter minha equipe coerente, programamos reuniões do Zoom conforme necessário e temos hangouts para todos os grupos nas sextas-feiras alternadas. As sextas-feiras restantes, no entanto, são inteiramente dedicadas a 1-1 reuniões de pesquisa com todos os membros da minha equipe – embora esta seja uma verdadeira maratona, esses são talvez os dias mais estimulantes e gratificantes que já tive.

No mundo físico, existem muitas coisas que podem distrair e interferir ou adiar esse tipo de reunião, enquanto na esfera virtual é puramente uma sessão intensa de 20-30 minutos voltada para ideias, conceitos, estratégia e progresso. Temos a sorte de atrair grandes talentos para nossos programas acadêmicos e de pesquisa no MIT, e essas reuniões sempre reafirmam isso para mim.

Nossa vida baseada em zoom evoluiu de maneiras estranhas conforme vejo meus colegas do corpo docente se transformarem na tela. Nossos cabelos estão ficando compridos, e alguns estão deixando novas barbas. Originalmente, mantivemos o mundo físico em segundo plano – seríamos voyeurs nas salas de estar uns dos outros, estudos, cozinhas ou até mesmo decks ao ar livre quando o tempo permitisse. Agora é mais provável que você veja o teto de alguém ou uma foto de fundo, que varia de configurações alpinas a nuvens; estamos mudando-os como camisetas de souvenir. Depois de ver alguns dos meus colegas na administração do MIT ostentando Marscapes tirados dos rovers do JPL como pano de fundo, decidi mergulhar na fantasia e aparecer contra a visão de um Marte estabelecido da Expansão (uma excelente série de TV neo-espacial-ópera que eu devorei durante a quarentena), Rigel 7 do Star Trek original, e até digitalizei algumas gravuras antigas mostrando paisagens idílicas da Europa de séculos atrás que comprei enquanto morava na Suíça e agora posso habitar. Como sinto muita falta da experiência de assistir a shows, um dos meus cenários favoritos é uma foto que tirei durante um show do Hawkwind no maravilhoso Roundhouse em Londres enquanto estava na cidade para dar uma palestra EE no Imperial College alguns anos atrás.

Eu já organizei e participei de todos os tipos de reuniões importantes descalço agora. Antes de apresentar um dos meus alunos de PhD em sua defesa de tese sobre o Zoom no mês passado, levantei meu pé para a câmera para ressaltar esse fato – isso foi moderadamente apropriado, já que seu trabalho foi em torno de re-renderizar áudio de matrizes densas de microfones no mundo real para que você pudesse colocar o ouvinte perfeitamente em um ambiente virtual análogo, e eu queria enfatizar como a virtualidade se tornou predominante. A analogia popular de todos nós vivendo em um mundo de ‘Ficção Científica’ agora chega quando nos encolhemos com a proximidade humana e nos protegemos em torno de nossos monitores virtuais. Talvez um dos primeiros precursores possa ser encontrado na história de 1909 de E.M. Forster, ‘The Machine Stops’, mas imediatamente penso nas cenas do romance ‘The Naked Sun’ de Isaac Asimov, de 1956, que devorei na escola primária.

Crédito: Gershon Dublon

Muito do trabalho da minha equipe de pesquisa nos últimos 15 anos girou em torno de diferentes maneiras de conectar pessoas a fluxo de informações de sensores incorporados cada vez mais em todos os lugares , e como isso pode mudar a natureza da presença, um tema que agora alcançou relevância imediata. Uma década atrás, instalamos câmeras, microfones de streaming de ofuscação de fala e outros sensores em todo o nosso complexo de edifícios do Media Lab para pesquisas sobre interação distribuída e remota que culminou em nosso projeto DoppelLab – um precursor do que agora é comercialmente denominado DigitalTwin, os visitantes podiam percorrer nosso prédio virtual de qualquer lugar e ver / ouvir sons em tempo real e estímulos em túneis de locais correspondentes no site físico.

Como algumas dessas câmeras e sensores ainda estão funcionais, abrimos seus streams para os membros do Media Lab verem como fundo do ambiente. Ver um dia passar em nosso complexo quase vazio nos lembra de nossa casa comum e rejuvenesce a promessa de nosso retorno pendente.

Crédito: Brian Mayton

Mais populares, porém, são as transmissões de mídia ao vivo de nosso Projeto Tidmarsh , onde distribuímos câmeras, microfones e centenas de sensores sem fio em um santuário de vida selvagem restaurado em pântano em Plymouth, a uma hora de carro ao sul de Boston, para apoiar pesquisas ecológicas adicionais para explorar novas fronteiras na virtualização . Aqui, dos confins de quarentena de sua casa em qualquer lugar do mundo, você pode se conectar a uma bela paisagem natural na vida real ou por meio de imersão virtual. Eu ainda passo horas com uma das minhas telas amarradas ao Lago de arenque , ouvindo gansos, pássaros, insetos e sapos, enquanto espero ver o a garça estrela da Internet andando por aí, que muitas vezes parece estar presa para a câmera. Nosso recente Projeto de Atmosferas Mediadas desenvolveu salas que se transformam automaticamente entre configurações naturais por meio de iluminação renderizada, imagem projetada e áudio de acordo com a forma como os residentes reagem a eles – como nós somos tudo enfiado em casa em torno de telas, essa iniciativa tem cada vez mais relevância.

Embora possamos nos conectar virtualmente a lugares de maneiras diferentes que geram um grau de satisfação, conectar-se a pessoas apresenta desafios totalmente diferentes. Nossas vidas atuais, passadas olhando para montagens planas de Hollywood-Square oferecidas pela Zoom e outras plataformas de conferência online, começam a cobrar um preço exaustivo. Para pequenas reuniões com apenas algumas pessoas, essas experiências podem funcionar, mas grupos maiores se rompem, induzindo o que considero uma paranóia induzida pelo Zoom. Nossos cérebros são feitos para prestar atenção especial aos rostos, mas não podemos processar adequadamente uma panóplia de rostos que olham para nós em algum lugar vagamente de uma tela plana comum. Quando devemos iniciar uma conversa e que tipo de reação estamos realmente recebendo? Como posso sussurrar para um vizinho ou naturalmente entrar em uma conversa separada com um grupo de pessoas, como faria em uma festa ou recepção? Achei bastante desconcertante, por exemplo, ao falar no Zoom para ver fotos de colegas (geralmente sorrindo) que tinham vídeos justapostos com feeds de vídeo ao vivo de pessoas mostrando expressões e reações reais – a comparação pode fazer você pensar que as pessoas da transmissão real não estão felizes, embora suas expressões sejam pelo menos neutras. As aulas do Media Lab são geralmente muito envolventes, com muita discussão – vários dos meus colegas que estão ensinando este semestre notaram o ônus das aulas no estilo Zoom desgastando cada vez mais o entusiasmo dos alunos à medida que o semestre avança.

Como nosso os nervos coletivos começam a se desgastar com essa sobrecarga social / cognitiva anormal, torna-se óbvio que há uma tremenda oportunidade de pesquisa sobre como podemos representar apropriadamente as nuances da presença humana de uma forma que se expanda naturalmente. Podemos também virtualizar as interações serendipitosas e espontâneas entre pessoas em locais de trabalho, escolas, centros de cidades, etc. que funcionam como uma cola semântica subliminar para nos unir e estabelecer uma identidade compartilhada? E a minha experiência tão perdida de estar em um show? Assistir a um stream de vídeo, mesmo em uma TV magnífica com um som incrível, não é o mesmo que estar presente na imprensa pungente da humanidade que coletivamente compartilha e amplifica sua empolgação por meio de sinais sutis que ainda mal entendemos.

Lembro-me do apogeu popular dos mundos VR 3D compartilhados como o SecondLife há uma boa década ou mais atrás, e como grandes empresas como a IBM apostaram fortemente neles como o futuro da teleconferência.Sim, era cedo e ainda não estávamos prontos para o ciberespaço – a renderização primitiva, os problemas de latência, a falta de plataformas de VR / AR de qualidade etc. restringiam esses ambientes principalmente a nós dedicados de usuários fazendo jogos imersivos ou buscando algum nicho experiências. Agora, entretanto, vemos a importância de abstrair a interação humana, e a tecnologia subjacente é muito mais capaz do que era então. Aqueles de nós que trabalham em HCI já tentamos encontrar esse bloqueio por um tempo, mas o campo da colaboração remota e da presença abstrata está prestes a renascer. Mudamos coletivamente por meio da experiência COVID-19 e, quando voltarmos ao trabalho, a agulha de virtualização não será totalmente redefinida.

Crédito: Nan Zhao

Como muitos outros que trabalham com sensoriamento incorporado, a empolgação que senti no apogeu da Computação Ubíqua e da Internet das Coisas tem causado preocupação à medida que começamos a ver os elementos dessa infraestrutura sendo usados ​​de maneiras alarmantes. Acabei de terminar uma introdução estendida aos editores convidados para a próxima edição da Revista IEEE Pervasive Computing sobre isso, já que esta edição se concentra nos dois lados da atenção que formam as crises em nosso mundo em rede – atenção indesejada prestada a mim [vigilância] versus minha própria atenção sendo inadvertidamente desviada [manipulação]. Embora as câmeras e sensores em rede que preenchem rapidamente o mundo tenham gerado esta crise, eles também forneceram os meios de nos manter juntos em isolamento e podem preparar o caminho para o retorno ao normal nos próximos meses, conforme aproveitamos essas informações para rastrear pessoas potencialmente infectadas por meio de monitoramento de localização e sensoriamento de temperatura em rede, por exemplo.

Estamos vivendo em uma época excepcional que tem estressado nossos sistemas pessoais, profissionais, culturais e econômicos. Mas também nos forneceu uma visão diferente de para onde a humanidade está caminhando, destacando ainda mais perigos, mas também revelando novas promessas e novas oportunidades. Estou ansioso para ver as comunidades de pesquisa do mundo se unirem para levar a humanidade para além da era COVID-19 e para um futuro ainda mais brilhante.

Esta postagem também é destaque no blog ETH Zurich e o Site do Media Lab .

Deixe uma resposta

O seu endereço de email não será publicado. Campos obrigatórios marcados com *