Classificação automática de sinais visuais da Língua Brasileira de Sinais representados por caracterização espaço-temporal

Machado, Marcelo Chamy; http://lattes.cnpq.br/9752088014983044

Dissertação

Classificação automática de sinais visuais da Língua Brasileira de Sinais representados por caracterização espaço-temporal

A tradução automática da Língua Brasileira de Sinais (LIBRAS) para o português é um problema bastante complexo, devido às particularidades e características desta linguagem de sinais. Diversas pesquisas já foram realizadas e resultados importantes foram obtidos. Porém, a maioria dos métodos propo...

ver descrição completa

Autor principal:	Machado, Marcelo Chamy
Outros Autores:	http://lattes.cnpq.br/9752088014983044
Grau:	Dissertação
Idioma:	por
Publicado em:	Universidade Federal do Amazonas 2018
Assuntos:	Caracterização espaço-temporal Classificação automática de vídeos Base de Dados da LIBRAS Classificação da LIBRAS CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO
Acesso em linha:	https://tede.ufam.edu.br/handle/tede/6645

id	oai:https:--tede.ufam.edu.br-handle-:tede-6645
recordtype	dspace
spelling	oai:https:--tede.ufam.edu.br-handle-:tede-66452018-10-02T05:03:28Z Classificação automática de sinais visuais da Língua Brasileira de Sinais representados por caracterização espaço-temporal Automatic visual sign classification of Brazilian Sign Language represented by spatio-temporal features Machado, Marcelo Chamy Santos, Eulanda Miranda dos http://lattes.cnpq.br/9752088014983044 http://lattes.cnpq.br/3054990742969890 Carvalho, José Reginaldo Hughes Souto, Eduardo James Pereira Pio, José Luiz de Souza Caracterização espaço-temporal Classificação automática de vídeos Base de Dados da LIBRAS Classificação da LIBRAS CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO A tradução automática da Língua Brasileira de Sinais (LIBRAS) para o português é um problema bastante complexo, devido às particularidades e características desta linguagem de sinais. Diversas pesquisas já foram realizadas e resultados importantes foram obtidos. Porém, a maioria dos métodos propostos reconhece somente letras e números, ou uma quantidade reduzida de palavras. Além disso, devido a essas limitações, os resultados dessas pesquisas ainda não são suficientes para tornar possível a comunicação com os surdos sem a dependência de intérpretes, e os serviços básicos como educação e saúde necessitam desses profissionais para suprirem a demanda de atendimento a deficientes auditivos. Outro problema enfrentado ao tentar vislumbrar soluções é a inexistência de uma base de dados pública que contenha um número significativo de sinais rotulados por especialistas desta área. Por fim, técnicas de aprendizado profundo têm sido utilizadas para resolver muitos problemas de visão computacional, mas não foram encontrados trabalhos diretamente relacionados à classificação automática da LIBRAS utilizando tais técnicas. Diante dessas observações, este trabalho utiliza um método baseado em rede neural profunda convolutiva em 3 dimensões (3D), características espaços-temporais extraídas, estratégia de transferência de aprendizado e dados de profundidade associados aos do tipo Red, Green, Blue (RGB), para realizar a classificação dos sinais da LIBRAS mais comuns empregados na alfabetização de surdos. Além disso, outra contribuição importante é a base de dados gerada e rotulada, composta por 510 instâncias, todas representando sinais dinâmicos, dada a inexistência de bases de vídeos da LIBRAS com essa quantidade de amostras. The automatic translation of the Brasilian Sign Languagem (LIBRAS) into Portuguese is a very complex problem, due to the peculiarities and characteristics of this sign language. Several researches have already been carried out and important results have been obtained. However, most of the proposed methods recognize only letters and numbers, or a reduced number of words. In addition, due to such limitations, the results of these researches are still insufficient to enable communication with deaf people without the dependency of interpreters, and basic services such as education and health need these professionals to meet the demand for care of the hearing impaired. Another problem faced on trying to envision solutions is the lack of a public database containing a significant number of signals, labeled by experts in this area. Finally, deep learning techniques have been used to solve many computer vision problems, but we have not found any work directly related to the automatic classification of LIBRAS. In light of these observations, this work uses a method based on deep convolutional 3D neural network, extracted spatiotemporal characteristics, strategy of transfer learning and depth data associated with RGB, to perform the classification of the most common LIBRAS signs used in the literacy of deaf people. In addition, another important contribution is the generated labeled database, composed of 510 instances, all representing dynamic signals, given that there is no LIBRAS database available with such an amount of samples. 2018-10-01T19:23:04Z 2018-08-27 Dissertação MACHADO, Marcelo Chamy. Classificação automática de sinais visuais da Língua Brasileira de Sinais representados por caracterização espaço-temporal. 2018. 62 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas, Manaus, 2018. https://tede.ufam.edu.br/handle/tede/6645 por Acesso Aberto http://creativecommons.org/licenses/by-nc-sa/4.0/ application/pdf Universidade Federal do Amazonas Instituto de Computação Brasil UFAM Programa de Pós-graduação em Informática
institution	TEDE - Universidade Federal do Amazonas
collection	TEDE-UFAM
language	por
topic	Caracterização espaço-temporal Classificação automática de vídeos Base de Dados da LIBRAS Classificação da LIBRAS CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO
spellingShingle	Caracterização espaço-temporal Classificação automática de vídeos Base de Dados da LIBRAS Classificação da LIBRAS CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO Machado, Marcelo Chamy Classificação automática de sinais visuais da Língua Brasileira de Sinais representados por caracterização espaço-temporal
topic_facet	Caracterização espaço-temporal Classificação automática de vídeos Base de Dados da LIBRAS Classificação da LIBRAS CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO
description	A tradução automática da Língua Brasileira de Sinais (LIBRAS) para o português é um problema bastante complexo, devido às particularidades e características desta linguagem de sinais. Diversas pesquisas já foram realizadas e resultados importantes foram obtidos. Porém, a maioria dos métodos propostos reconhece somente letras e números, ou uma quantidade reduzida de palavras. Além disso, devido a essas limitações, os resultados dessas pesquisas ainda não são suficientes para tornar possível a comunicação com os surdos sem a dependência de intérpretes, e os serviços básicos como educação e saúde necessitam desses profissionais para suprirem a demanda de atendimento a deficientes auditivos. Outro problema enfrentado ao tentar vislumbrar soluções é a inexistência de uma base de dados pública que contenha um número significativo de sinais rotulados por especialistas desta área. Por fim, técnicas de aprendizado profundo têm sido utilizadas para resolver muitos problemas de visão computacional, mas não foram encontrados trabalhos diretamente relacionados à classificação automática da LIBRAS utilizando tais técnicas. Diante dessas observações, este trabalho utiliza um método baseado em rede neural profunda convolutiva em 3 dimensões (3D), características espaços-temporais extraídas, estratégia de transferência de aprendizado e dados de profundidade associados aos do tipo Red, Green, Blue (RGB), para realizar a classificação dos sinais da LIBRAS mais comuns empregados na alfabetização de surdos. Além disso, outra contribuição importante é a base de dados gerada e rotulada, composta por 510 instâncias, todas representando sinais dinâmicos, dada a inexistência de bases de vídeos da LIBRAS com essa quantidade de amostras.
author_additional	Santos, Eulanda Miranda dos
author_additionalStr	Santos, Eulanda Miranda dos
format	Dissertação
author	Machado, Marcelo Chamy
author2	http://lattes.cnpq.br/9752088014983044
author2Str	http://lattes.cnpq.br/9752088014983044
title	Classificação automática de sinais visuais da Língua Brasileira de Sinais representados por caracterização espaço-temporal
title_short	Classificação automática de sinais visuais da Língua Brasileira de Sinais representados por caracterização espaço-temporal
title_full	Classificação automática de sinais visuais da Língua Brasileira de Sinais representados por caracterização espaço-temporal
title_fullStr	Classificação automática de sinais visuais da Língua Brasileira de Sinais representados por caracterização espaço-temporal
title_full_unstemmed	Classificação automática de sinais visuais da Língua Brasileira de Sinais representados por caracterização espaço-temporal
title_sort	classificação automática de sinais visuais da língua brasileira de sinais representados por caracterização espaço-temporal
publisher	Universidade Federal do Amazonas
publishDate	2018
url	https://tede.ufam.edu.br/handle/tede/6645
_version_	1831969665415380992
score	11.753735

Classificação automática de sinais visuais da Língua Brasileira de Sinais representados por caracterização espaço-temporal

Registros relacionados