Episódio 31: O Boneco SenToy

Felicidade. Medo. Zanga. Nojo. Surpresa. Infelicidade. São seis emoções humanas que um boneco, de seu nome SenToy, aprendeu a detetar e a transmitir para um computador. Estamos no início do século, em 2001, e o que parece uma brincadeira é na verdade um dos primeiros projetos europeus na área da computação afetiva, conduzido por uma equipa multidisciplinar do Técnico. Estava a nascer a tecnologia de interfaces tangíveis, que permite controlar personagens num jogo através de um objeto físico, hoje tão popular entre consolas de videojogos. E o SenToy, que inclui no nome a ideia de sentir (sensing) e de brinquedo (toy), foi um dos primeiros embaixadores da tecnologia, tendo viajado por todo o mundo.
SenToy é um boneco sem rosto, sem género e sem idade, desenvolvido para comunicar emoções para um computador e interagir com um jogo. Cor cinzenta, calção azul, cerca de meio metro de altura, duas pernas, dois braços, tronco e pouco mais. Sensores e acelerómetros para detetar movimentos e um lugar na história da investigação nacional.
“Chegámos à conclusão que se o boneco fosse muito parecido com um humano as pessoas tinham dificuldade em manipulá-lo, sentiam-se mal em fazê-lo. Porque nós pedíamos para dobrá-los para transmitir emoções”, explica Rui Prada, professor do Departamento de Engenharia Informática no Técnico e investigador na área de inteligência artificial e de jogos digitais. “Acabámos por fazer uma coisa de meio metro, fofinho, que era neutro em termos de características humanas”, resume.

Para definir como essas emoções seriam representadas, foi estudado como é que as pessoas usavam o boneco e que tipo de movimentos faziam para comunicar essas emoções. As mais frequentes foram as utilizadas no boneco. “Por exemplo, a felicidade seria o boneco a saltar de um lado para o outro. O medo seria encolher o boneco. A surpresa seria saltar para trás. Com isso criámos os sensores no boneco para identificar estes sinais”, explica Rui Prada. A partir desses movimentos, foi criada uma mecânica de jogo em que os personagens tinham um estado emocional e agiam de acordo com esse estado emocional. Ao jogador cabia a responsabilidade de mudar as emoções.
O SenToy e o jogo nasceram no contexto de um projeto europeu, o Safira, coordenado por Ana Paiva, professora catedrática do Departamento de Informática do Instituto Superior Técnico e investigadora no Grupo de Inteligência Artificial para Pessoas e Sociedade (GAIPS / INESC ID). “Quando desenhámos o projeto, pensámos em como as emoções estão muito ligadas ao corpo. Achámos que seria interessante explorar a interação entre os humanos e a máquina, usando as emoções. Na altura, pareceu-nos interessante explorar um objeto que fizesse de interface na expressão dessas emoções”, explica. “Na altura não havia ainda interfaces tangíveis, não havia a Wii [que só surge depois]. Portanto esta ideia de controlar personagens num jogo através de um objeto físico foi muito inovadora, porque não havia nada”, defende. “Foi pouco depois do livro “Afective Computing” ter surgido, da Rosalind Picard. O projeto foi muito inovador: as pessoas conheciam, falavam do Sentoy”, recorda.

O trabalho de investigação pretendia explorar a capacidade de construir um objeto que permitisse às pessoas expressar emoções que controlassem um ambiente virtual. “O potencial deste tipo de interação pode ser usado para muitas coisas, nomeadamente para terapia, para fazer com que as pessoas libertem um conjunto de frustrações”, explica. Exemplo: o SenToy foi usado num jogo que pretendia ajudar crianças vítimas de bullying (no contexto de um projeto de Mestrado do Técnico).
“Foi uma época muito motivadora que criou de certa maneira o GAIPS, o grupo de investigação que agora tem muita gente”, recorda. O projeto reuniu uma equipa multidisciplinar de cooperação entre áreas como a eletrónica, o processamento de sinal, a parte de jogos, a computação afetiva, a psicologia e o design. A parte eletrónica foi assegurada na altura pela equipa de Moisés Piedade, professor aposentado do Técnico, e que agora volta a pensar num futuro para o boneco. É atualmente um dos responsáveis pelo Museu Faraday, que se encontra no campus Alameda do Técnico, e aponta a intenção: “O nosso objetivo aqui no Museu é pô-lo a trabalhar. 20 anos depois era um feito importante. Trouxe-o para aqui exatamente para isso, mas todos os dias aqui no Museu há mais trabalho do que o que conseguimos fazer”. Ana Paiva e Rui Prada mostram-se contentes com essa possibilidade. Ou, na linguagem SenToy, boneco aos saltos de um lado para o outro.


Conteúdo Extra: Duas Histórias contadas por Ana Paiva e por Rui Prada

Um: Sentoy, um ator em Nova Iorque
«Em Nova Iorque, tínhamos que apresentar o SenToy e o jogo. Tínhamos uma demonstração e deram-nos dois minutos para fazer publicidade ao projeto. E, na altura, estava eu, o Rui Prada e outro investigador do grupo que era o Marco Paulo, e não sabíamos bem como explicar em dois minutos como era o SenToy, como é que era o jogo e fazer com que as pessoas viessem ver o jogo. Então decidimos que a melhor maneira era jogar o jogo, em dois minutos. Só que não podíamos montar o jogo… então decidimos fazer da seguinte maneira: O Marco tinha o SenToy numa mão, eu era uma personagem e o Rui era outra. Então fizemos uma peça de teatro com os três: eu e o Rui eramos personagens de jogos e o Marco controlava o Rui através do Sentoy, numa luta entre mim e o Rui. Obviamente que foi tão giro que nós tivemos uma fila enorme de pessoas a querer ver a nossa demonstração».
(Ana Paiva)

Dois: SenToy, boneco à prova de crianças e gerador de empatia
«Não quisemos que o interface funcionasse só com crianças. Naturalmente as crianças gostaram mais do interface porque se identificaram mais com o boneco e tinham menos medo de o manipular. Aliás, o boneco revelou-se bastante robusto porque o que as crianças faziam era de facto… interessante. Tínhamos sempre o receio que aquilo deixasse de funcionar. Por exemplo, quando queriam mostrar que o boneco estava zangado, mexiam violentamente com o boneco. Enquanto que um adulto tem mais cuidado a demonstrar. Embora que nós vimos vários casos de adultos que se envolveram bastante, que pareciam crianças. Esse era também o nosso objetivo .Conseguimos fazer uma interface que de facto conseguia ser usada para transmitir emoções. Uma das outras coisas que estudámos foi a própria relação que as pessoas tinham com o objeto e conseguimos criar de alguma forma uma empatia, as pessoas gostaram e sentiram-se ligadas ao boneco que estavam a usar. Depois o jogo mostrou que é possível fazer experiências com base só na manipulação de emoções. Em que trabalhando emoções se consegue fazer um jogo interessante de que as pessoas gostem, se divirtam e que se preocupem. Com isto, as pessoas perceberam ao jogar que temos estados emocionais. Toda gente sabe que temos emoções mas não pensam assim tanto sobre isso.»
(Rui Prada)

Categorias