Libridge
Inteligência Artificial e Visão Computacional para aproximar pessoas através da Libras.
Projeto desenvolvido para a Olimpíada Brasileira de Tecnologia (OBT), com foco em acessibilidade, inclusão e inovação tecnológica.
O Desafio da Comunicação
Mais de 10 milhões de brasileiros possuem deficiência auditiva. A ausência de intérpretes em ambientes cotidianos cria barreiras significativas de comunicação e exclusão.
Barreiras Cotidianas
Pessoas surdas enfrentam dificuldades em escolas, hospitais, serviços públicos e ambientes profissionais sem intérpretes disponíveis.
Acessibilidade Digital
A inclusão digital exige interfaces e ferramentas que respeitem diferentes formas de comunicação, incluindo línguas de sinais.
Impacto Social
Garantir comunicação acessível é fundamental para educação, autonomia, cidadania e participação plena na sociedade.
Como o Libridge Funciona
Um pipeline de Visão Computacional e Aprendizado Profundo transforma movimentos em linguagem natural.
Captura de Vídeo
A câmera registra mãos, postura e expressões em tempo real.
Extração de Landmarks
Pontos-chave do corpo são detectados quadro a quadro.
Rede Neural
Uma LSTM processa a sequência temporal de landmarks.
Reconhecimento dos Sinais
O modelo identifica o sinal executado em Libras.
Tradução para Português
O sinal reconhecido é convertido em texto/fala em português.
Arquitetura do Sistema
Cada camada do pipeline foi escolhida para equilibrar precisão, performance e portabilidade.
Captura & Visão
MediaPipe extrai landmarks de mãos, corpo e face com OpenCV otimizando os frames.
Modelo Temporal
Uma rede LSTM aprende padrões sequenciais que caracterizam cada sinal em movimento.
Tradução
A saída do modelo é mapeada para palavras e frases em português, exibidas em tempo real.
Tecnologias Utilizadas
Ferramentas open-source consolidadas em pesquisa e indústria.
Desenvolvimento do Projeto
Cada etapa documentada com método científico.
Pesquisa sobre Libras
Estudo da estrutura linguística e gramatical da Língua Brasileira de Sinais.
Planejamento do Sistema
Definição da arquitetura, fluxo de dados e requisitos do aplicativo.
Coleta de Dados
Captura e organização de vídeos de sinais para o conjunto de treinamento.
Desenvolvimento do Aplicativo
Implementação da interface no MIT App Inventor e integração com a IA.
Treinamento da IA
Treinamento da rede neural LSTM com os landmarks extraídos.
Testes
Validação técnica do modelo e testes de usabilidade do aplicativo.
Validação dos Resultados
Análise de métricas de precisão e ajustes finais do sistema.
Telas do Libridge
Aplicativo desenvolvido no MIT App Inventor, projetado para uso simples e direto.
Mais do que Tecnologia
O Libridge é um instrumento de transformação social através da ciência.
Próximos Passos
Direções de pesquisa e desenvolvimento para as próximas iterações do projeto.
Expansão do conjunto de sinais
Ampliar o vocabulário reconhecido pelo modelo.
Maior precisão do modelo
Refinar a arquitetura e o processo de treinamento.
Reconhecimento de frases completas
Tradução contextual ao nível sentencial.
Análise de expressões faciais
Incorporar componentes não-manuais da Libras.
Tradução em tempo real
Latência mínima para conversas naturais.
Versão multiplataforma
Disponibilidade ampliada e código aberto para pesquisa.
Quem desenvolveu o Libridge
Estudantes pesquisadores comprometidos com ciência e inclusão.
José Robério de Aquino Silva Junior
Responsável pela visão do projeto, desenvolvimento principal da IA e condução técnica da ideia.
Gabriel Ribeiro Moura Gomes
Responsável pela coleta de dados e suporte geral ao desenvolvimento do projeto.
Nicolas Marques da Silva
Responsável por parte do frontend e da experiência visual do aplicativo.