Aplicativo pode ajudar deficientes auditivos a consumir música

Com o intuito de incluir as pessoas que possuem alguma deficiência auditiva no universo sonoro e musical, Rafael Zinni Lopes, doutorando pelo Instituto de Ciências Matemáticas e de Computação da Universidade de São Paulo (ICMC-USP) e ex-bolsista da FAPESP, desenvolveu o Timbrasom, aplicativo que transforma os sons em vibrações rítmicas.

O Timbrasom é capaz de traduzir as ondas sonoras em vibrações por meio do smartphone, como se o celular dançasse na palma da mão do usuário. O aplicativo possui duas funções principais: a primeira é que consegue traduzir o som ambiente em vibrações. Já a segunda função permite a tradução do áudio de outros aplicativos do smartphone de forma simultânea, como YouTube e Netflix, por exemplo.

Atualmente, o aplicativo está disponível gratuitamente para qualquer celular Android e não requer processadores fortes. O aplicativo é um produto mínimo viável, o que significa que ele está em uma versão mais básica, mas já com as funções e recursos fundamentais. Segundo Lopes, o programa está sendo refinado aos poucos, mas a tecnologia já está pronta para ser usada para traduzir sons ambientes e sons de outros aplicativos por meio do smartphone.

Lopes explica que uma das inspirações para a criação do aplicativo foi quando ele estagiava no Laboratório Bioma da Faculdade de Medicina Veterinária e Zootecnia da USP, onde trabalhou com trote de cavalos, e ao ter que diferenciar esses trotes acabou aprendendo os parâmetros sonoros. Nesse estágio, o doutorando do ICMC desenvolveu atividades focadas em programação e para entender as características do som. Dessa maneira descobriu essa aptidão para a computação.

O criador do aplicativo conta que participou de um hackathon, uma maratona de programação em que desenvolvedores de software se reúnem por horas. O objetivo nesse caso foi trazer mais pessoas para o mundo da música, e assim surgiu a ideia de criar o Timbrasom. O aplicativo inclui deficientes auditivos nesse universo musical. Ele foi desenvolvido em conjunto com um dos participantes desse hackathon, Victor Dias de Oliveira, e demorou três anos para ser produzido.

O aplicativo consegue traduzir até as ondas sonoras mais agudas, segundo Lopes: “Eu participei de uma sinfônica, em Utah, nos Estados Unidos, e consegui, por meio do Timbrasom, traduzir o agudo do violino para os patronos surdos da Utah Symphony, mesmo sendo ondas muito agudas”. Além disso, as vibrações podem trazer uma experiência sensorial nova para pessoas que não tenham nenhum grau de surdez. O pesquisador diz que não é só ouvir, mas sentir a música e os sons na palma da mão, o que promove uma nova relação sensorial com o universo musical.

Inclusão e outros dispositivos

O Timbrasom pode apresentar uma nova forma de consumir sons, mas também gerar inclusão na produção de arte. Segundo Lopes, já existem projetos para auxiliar, principalmente as crianças com algum nível de surdez, a tocar instrumentos musicais. Um exemplo é ajudar uma criança a tocar bateria, com o aplicativo no bolso, traduzindo em tempo real o som da bateria.

A ferramenta pode promover também aulas de dança para deficientes auditivos, porque o ritmo musical é traduzido em ritmo vibracional, possibilitando uma nova expressão corporal para esse grupo.

Projetos de desenvolvimento de novos dispositivos que complementam a ferramenta estão em desenvolvimento. “Eu já conversei como uma empresa de automóveis para desenvolver comandos acessíveis para pessoas surdas nos carros, transformando o som em vibração, para a pessoa ter uma percepção melhor tanto do ambiente interno, dentro do carro, quanto do ambiente externo”, afirma o doutorando.

Outros dispositivos que poderiam melhorar a eficiência do Timbrasom são braceletes que seriam conectados via bluetooth. “Imagine um pai que é ouvinte e fala com um filho surdo, colocando o bracelete no filho é possível que o pai se comunique com ele de outro ambiente ou cômodo, transformando a voz dele em vibrações e, através das vibrações, o filho entende o comando de voz”, explica.

Outra ferramenta que pode complementar o aplicativo são óculos com legendas simultâneas, uma tecnologia que ainda não é presente no Brasil, conectando vibração, legendas e até mesmo Libras, trazendo uma experiência completa.

*por Agência FAPESP
*com informações da Assessoria de Comunicação do ICMC-USP

Veja nossa campanha de financiamento coletivo, nosso crowdfunding.

Conheça os canais do Drops de Jogos no YouTube, no Facebook, na Twitch, no TikTok e no Instagram.