Uma estratégia para reconhecimento de sinais de Língua Brasileira de Sinais utilizando aprendizado profundo

Cruz, Ada Raquel dos Santos; http://lattes.cnpq.br/8183701728172908

Dissertação

Uma estratégia para reconhecimento de sinais de Língua Brasileira de Sinais utilizando aprendizado profundo

As línguas de sinais são línguas naturais e vivas utilizadas para comunicação não oral entre surdos, deficientes auditivos e ouvintes. No Brasil, a língua de sinais, conhecida como Libras, é legalmente reconhecida como meio de expressão e comunicação dessa parcela da população, que equivale a cerca...

ver descrição completa

Autor principal:	Cruz, Ada Raquel dos Santos
Outros Autores:	http://lattes.cnpq.br/8183701728172908
Grau:	Dissertação
Idioma:	por
Publicado em:	Universidade Federal do Amazonas 2020
Assuntos:	Língua brasileira de sinais Redes neurais (Computação) CIÊNCIAS EXATAS E DA TERRA Língua de sinais Língua Brasileira de Sinais Reconhecimento de Gestos Aprendizado Profundo Redes Neurais Convolutivas Tecnologia Assistiva
Acesso em linha:	https://tede.ufam.edu.br/handle/tede/7855

id	oai:https:--tede.ufam.edu.br-handle-:tede-7855
recordtype	dspace
spelling	oai:https:--tede.ufam.edu.br-handle-:tede-78552020-07-28T05:03:19Z Uma estratégia para reconhecimento de sinais de Língua Brasileira de Sinais utilizando aprendizado profundo Cruz, Ada Raquel dos Santos Santos, Eulanda Miranda dos http://lattes.cnpq.br/8183701728172908 http://lattes.cnpq.br/3054990742969890 Cristo, Marco Antônio Pinheiro de Araújo, Tiago Maritan Ugulino de Língua brasileira de sinais Redes neurais (Computação) CIÊNCIAS EXATAS E DA TERRA Língua de sinais Língua Brasileira de Sinais Reconhecimento de Gestos Aprendizado Profundo Redes Neurais Convolutivas Tecnologia Assistiva As línguas de sinais são línguas naturais e vivas utilizadas para comunicação não oral entre surdos, deficientes auditivos e ouvintes. No Brasil, a língua de sinais, conhecida como Libras, é legalmente reconhecida como meio de expressão e comunicação dessa parcela da população, que equivale a cerca de 9 milhões de pessoas. Com o intuito de facilitar a comunicação entre surdos e ouvintes, algumas tecnologias assistivas de transcrição da Libras para o português foram desenvolvidas, especialmente baseadas em técnicas de visão computacional. Nesse cenário, as redes neurais convolutivas são amplamente utilizadas por apresentarem resultados considerados estado da arte em reconhecimento de gestos. Porém, ainda não foi encontrada uma solução efetiva para o problema, devido, principalmente: ao alto custo financeiro de implantação, como por exemplo, a utilização de dispositivos específicos de aquisição de dados; ao aspecto intrusivo, visto que algumas soluções utilizam sensores portáteis, como luvas equipadas com sensores de movimento; e a limitações técnicas, pois, apesar da maioria dos sinais da Libras possuir movimento, a área de reconhecimento de sinais da Libras é majoritariamente dominada por soluções que consideram apenas sinais estáticos. Além disso, poucos trabalhos exploram o impacto da utilização de técnicas como transferência de aprendizado e aumento de dados, ou fusão de diferentes canais de dados. Assim, o desenvolvimento deste trabalho se apoia na necessidade da elaboração de um método para reconhecimento de sinais da Libras, que seja de baixo custo, não intrusivo e eficiente no reconhecimento de sinais que são executados em movimento. Como resultado, este trabalho apresenta uma estratégia para reconhecimento de sinais estáticos e dinâmicos da Libras combinando rede neural convolutiva tridimensional, fusão de dados de múltiplos canais e transferência de aprendizado. Sign languages are natural and living languages used for non-verbal communication between deaf, hearing impaired and hearing people. In Brazil, the sign language known as Libras is legally recognized as the language of expression and communication for this group of the population, composed of approximately 9 million people. To facilitate communication between deaf and hearing people, some assistive technologies for transcription of Libras to Portuguese have been developed, especially using vision-based techniques. In this scenario, convolutional neural networks are widely used due to achieving results considered state of the art in the area of gesture recognition. However, an effective solution to this problem has not yet been found, mainly due to: the high financial cost of implementation, such as the use of specific data acquisition devices; the intrusive aspect, since some solutions use portable sensors, such as gloves equipped with motion sensors; and technical limitations, because, despite the majority of Libras signs being executed with motion, the Libras signs recognition area is especially dominated by solutions that consider only static signs. Besides, few studies explore the impact of using techniques such as transfer learning, data augmentation and fusion different data channels. Thus, the development of this work is based on the need for a method to perform signs Libras recognition, which low cost, in a non-intrusive manner, and efficient in recognizing signs that are executed in motion. To accomplish this, this work aims to present a strategy for the recognition of static and dynamic Libras signs employing a three-dimensional convolutional neural network, fusion data from multiple channels and transfer learning. CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior 2020-07-27T17:58:28Z 2020-05-26 Dissertação CRUZ, Ada Raquel dos Santos. Uma estratégia para reconhecimento de sinais de Língua Brasileira de Sinais utilizando aprendizado profundo. 2020. 78 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas, Manaus (AM), 2020. https://tede.ufam.edu.br/handle/tede/7855 por Acesso Aberto http://creativecommons.org/licenses/by-nc-sa/4.0/ application/pdf Universidade Federal do Amazonas Instituto de Computação Brasil UFAM Programa de Pós-graduação em Informática
institution	TEDE - Universidade Federal do Amazonas
collection	TEDE-UFAM
language	por
topic	Língua brasileira de sinais Redes neurais (Computação) CIÊNCIAS EXATAS E DA TERRA Língua de sinais Língua Brasileira de Sinais Reconhecimento de Gestos Aprendizado Profundo Redes Neurais Convolutivas Tecnologia Assistiva
spellingShingle	Língua brasileira de sinais Redes neurais (Computação) CIÊNCIAS EXATAS E DA TERRA Língua de sinais Língua Brasileira de Sinais Reconhecimento de Gestos Aprendizado Profundo Redes Neurais Convolutivas Tecnologia Assistiva Cruz, Ada Raquel dos Santos Uma estratégia para reconhecimento de sinais de Língua Brasileira de Sinais utilizando aprendizado profundo
topic_facet	Língua brasileira de sinais Redes neurais (Computação) CIÊNCIAS EXATAS E DA TERRA Língua de sinais Língua Brasileira de Sinais Reconhecimento de Gestos Aprendizado Profundo Redes Neurais Convolutivas Tecnologia Assistiva
description	As línguas de sinais são línguas naturais e vivas utilizadas para comunicação não oral entre surdos, deficientes auditivos e ouvintes. No Brasil, a língua de sinais, conhecida como Libras, é legalmente reconhecida como meio de expressão e comunicação dessa parcela da população, que equivale a cerca de 9 milhões de pessoas. Com o intuito de facilitar a comunicação entre surdos e ouvintes, algumas tecnologias assistivas de transcrição da Libras para o português foram desenvolvidas, especialmente baseadas em técnicas de visão computacional. Nesse cenário, as redes neurais convolutivas são amplamente utilizadas por apresentarem resultados considerados estado da arte em reconhecimento de gestos. Porém, ainda não foi encontrada uma solução efetiva para o problema, devido, principalmente: ao alto custo financeiro de implantação, como por exemplo, a utilização de dispositivos específicos de aquisição de dados; ao aspecto intrusivo, visto que algumas soluções utilizam sensores portáteis, como luvas equipadas com sensores de movimento; e a limitações técnicas, pois, apesar da maioria dos sinais da Libras possuir movimento, a área de reconhecimento de sinais da Libras é majoritariamente dominada por soluções que consideram apenas sinais estáticos. Além disso, poucos trabalhos exploram o impacto da utilização de técnicas como transferência de aprendizado e aumento de dados, ou fusão de diferentes canais de dados. Assim, o desenvolvimento deste trabalho se apoia na necessidade da elaboração de um método para reconhecimento de sinais da Libras, que seja de baixo custo, não intrusivo e eficiente no reconhecimento de sinais que são executados em movimento. Como resultado, este trabalho apresenta uma estratégia para reconhecimento de sinais estáticos e dinâmicos da Libras combinando rede neural convolutiva tridimensional, fusão de dados de múltiplos canais e transferência de aprendizado.
author_additional	Santos, Eulanda Miranda dos
author_additionalStr	Santos, Eulanda Miranda dos
format	Dissertação
author	Cruz, Ada Raquel dos Santos
author2	http://lattes.cnpq.br/8183701728172908
author2Str	http://lattes.cnpq.br/8183701728172908
title	Uma estratégia para reconhecimento de sinais de Língua Brasileira de Sinais utilizando aprendizado profundo
title_short	Uma estratégia para reconhecimento de sinais de Língua Brasileira de Sinais utilizando aprendizado profundo
title_full	Uma estratégia para reconhecimento de sinais de Língua Brasileira de Sinais utilizando aprendizado profundo
title_fullStr	Uma estratégia para reconhecimento de sinais de Língua Brasileira de Sinais utilizando aprendizado profundo
title_full_unstemmed	Uma estratégia para reconhecimento de sinais de Língua Brasileira de Sinais utilizando aprendizado profundo
title_sort	uma estratégia para reconhecimento de sinais de língua brasileira de sinais utilizando aprendizado profundo
publisher	Universidade Federal do Amazonas
publishDate	2020
url	https://tede.ufam.edu.br/handle/tede/7855
_version_	1831969884342321152
score	11.753735

Uma estratégia para reconhecimento de sinais de Língua Brasileira de Sinais utilizando aprendizado profundo

Registros relacionados