Compressão de modelos de reconhecimento de atividades humanas usando destilação de conhecimento

Gonçalves, Paulo Henrique Nellessen; http://lattes.cnpq.br/7877382081420209

Dissertação

Compressão de modelos de reconhecimento de atividades humanas usando destilação de conhecimento

O uso de dispositivos móveis e vestíveis tem possibilitado o monitoramento contínuo das atividades realizadas pelo usuário. Entretanto, esse processo é desafiador devido à natureza complexa dos dados capturados pelos sensores disponíveis nestes dispositivos. Recentemente, o uso de redes neurais prof...

ver descrição completa

Autor principal:	Gonçalves, Paulo Henrique Nellessen
Outros Autores:	http://lattes.cnpq.br/7877382081420209
Grau:	Dissertação
Idioma:	por
Publicado em:	Universidade Federal do Amazonas 2022
Assuntos:	Redes neurais (Computação) Smartphones CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO Reconhecimento de atividades humanas Smartphone Redes neurais profundas Destilação de conhecimento Compressão
Acesso em linha:	https://tede.ufam.edu.br/handle/tede/9182

id	oai:https:--tede.ufam.edu.br-handle-:tede-9182
recordtype	dspace
spelling	oai:https:--tede.ufam.edu.br-handle-:tede-91822022-12-21T05:03:49Z Compressão de modelos de reconhecimento de atividades humanas usando destilação de conhecimento Gonçalves, Paulo Henrique Nellessen Souto, Eduardo James Pereira http://lattes.cnpq.br/7877382081420209 http://lattes.cnpq.br/3875301617975895 Giusti, Rafael http://lattes.cnpq.br/0613781010575440 Lima, Wesllen Sousa http://lattes.cnpq.br/4666827294263489 Redes neurais (Computação) Smartphones CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO Reconhecimento de atividades humanas Smartphone Redes neurais profundas Destilação de conhecimento Compressão O uso de dispositivos móveis e vestíveis tem possibilitado o monitoramento contínuo das atividades realizadas pelo usuário. Entretanto, esse processo é desafiador devido à natureza complexa dos dados capturados pelos sensores disponíveis nestes dispositivos. Recentemente, o uso de redes neurais profundas tem ampliado os limites para reconhecer atividades humanas com alta precisão. No entanto, no contexto móvel e vestível, as restrições de hardware podem inviabilizar o uso de redes neurais profundas, pois os recursos computacionais são limitados. Para mitigar as limitações relacionadas ao custo computacional de redes neurais profundas, este trabalho propõe um método chamado KD-HAR (Knowledge Distillation for Human Activity Recognition) para compressão de redes neurais profundas baseado na técnica de destilação de conhecimento aplicada a modelos de reconhecimento de atividade humana usando dados de sensores inerciais. Os conhecimentos adquiridos por modelos professores, obtidos por meio de técnicas de otimização de hiperparâmetros, são transferidos para modelos estudantes com menor complexidade. Uma das vantagens do método proposto é a capacidade de extração automática de características, baixo custo computacional e a aproximação da precisão na classificação das atividades quando comparado a redes mais complexas. Para avaliar a capacidade de compressão do método proposto, este trabalho utiliza duas bases de dados (UCI-HAR e WISDM) de sensores inerciais de smartphones. Os resultados obtidos mostram que o método é capaz de manter acurácia competitiva com taxas de compressão que variam de 18 a 42 vezes o número de parâmetros da rede neural profunda destilada em relação ao modelo de professor treinado. The use of mobile and wearable devices can enable continuous monitoring of activities performed by the user. However, this process is challenging due to the complex nature of data devices by available devices. Recently, the use of deep neural networks has pushed the limits to recognize human activities with high accuracy. However, in the wearable mobile context, hardware restriction can make the use of deep neural networks unfeasible, as computational resources are limited. To mitigate as related to the computational cost of deep neural networks, this project work of a method called KD-HAR (Knowledge Distillation for Human Activity Recognition) for deep neural network compression based on the knowledge distillation technique applied to models of human activity recognition using data from inertial sensors. The knowledge acquired by teacher models, through hyperparameter optimization techniques, are transferred to student models with less complexity. One of the advantages of the proposed method is the ability to automatically extract features, low computational cost and the approximation of precision in the classification of activities when compared to more complex networks. To evaluate the compression capacity of the proposed method, this work uses two databases (UCI-HAR and WISDM) of smartphone inertial sensors. The results obtained show that the method can maintain competitive accuracy with compression rates ranging from 18 to 42 times the number of parameters of the distilled deep neural network in relation to the trained teacher model. CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior Editar um depósito para fazer qualquer modificação necessária e apenas reenviar. 2022-12-20T20:23:50Z 2022-05-17 Dissertação GONÇALVES, Paulo Henrique Nellessen. Compressão de modelos de reconhecimento de atividades humanas usando destilação de conhecimento. 2022. 56 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas, Manaus (AM), 2022. https://tede.ufam.edu.br/handle/tede/9182 por Acesso Aberto http://creativecommons.org/licenses/by-nc-sa/4.0/ application/pdf Universidade Federal do Amazonas Instituto de Computação Brasil UFAM Programa de Pós-graduação em Informática
institution	TEDE - Universidade Federal do Amazonas
collection	TEDE-UFAM
language	por
topic	Redes neurais (Computação) Smartphones CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO Reconhecimento de atividades humanas Smartphone Redes neurais profundas Destilação de conhecimento Compressão
spellingShingle	Redes neurais (Computação) Smartphones CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO Reconhecimento de atividades humanas Smartphone Redes neurais profundas Destilação de conhecimento Compressão Gonçalves, Paulo Henrique Nellessen Compressão de modelos de reconhecimento de atividades humanas usando destilação de conhecimento
topic_facet	Redes neurais (Computação) Smartphones CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO Reconhecimento de atividades humanas Smartphone Redes neurais profundas Destilação de conhecimento Compressão
description	O uso de dispositivos móveis e vestíveis tem possibilitado o monitoramento contínuo das atividades realizadas pelo usuário. Entretanto, esse processo é desafiador devido à natureza complexa dos dados capturados pelos sensores disponíveis nestes dispositivos. Recentemente, o uso de redes neurais profundas tem ampliado os limites para reconhecer atividades humanas com alta precisão. No entanto, no contexto móvel e vestível, as restrições de hardware podem inviabilizar o uso de redes neurais profundas, pois os recursos computacionais são limitados. Para mitigar as limitações relacionadas ao custo computacional de redes neurais profundas, este trabalho propõe um método chamado KD-HAR (Knowledge Distillation for Human Activity Recognition) para compressão de redes neurais profundas baseado na técnica de destilação de conhecimento aplicada a modelos de reconhecimento de atividade humana usando dados de sensores inerciais. Os conhecimentos adquiridos por modelos professores, obtidos por meio de técnicas de otimização de hiperparâmetros, são transferidos para modelos estudantes com menor complexidade. Uma das vantagens do método proposto é a capacidade de extração automática de características, baixo custo computacional e a aproximação da precisão na classificação das atividades quando comparado a redes mais complexas. Para avaliar a capacidade de compressão do método proposto, este trabalho utiliza duas bases de dados (UCI-HAR e WISDM) de sensores inerciais de smartphones. Os resultados obtidos mostram que o método é capaz de manter acurácia competitiva com taxas de compressão que variam de 18 a 42 vezes o número de parâmetros da rede neural profunda destilada em relação ao modelo de professor treinado.
author_additional	Souto, Eduardo James Pereira
author_additionalStr	Souto, Eduardo James Pereira
format	Dissertação
author	Gonçalves, Paulo Henrique Nellessen
author2	http://lattes.cnpq.br/7877382081420209
author2Str	http://lattes.cnpq.br/7877382081420209
title	Compressão de modelos de reconhecimento de atividades humanas usando destilação de conhecimento
title_short	Compressão de modelos de reconhecimento de atividades humanas usando destilação de conhecimento
title_full	Compressão de modelos de reconhecimento de atividades humanas usando destilação de conhecimento
title_fullStr	Compressão de modelos de reconhecimento de atividades humanas usando destilação de conhecimento
title_full_unstemmed	Compressão de modelos de reconhecimento de atividades humanas usando destilação de conhecimento
title_sort	compressão de modelos de reconhecimento de atividades humanas usando destilação de conhecimento
publisher	Universidade Federal do Amazonas
publishDate	2022
url	https://tede.ufam.edu.br/handle/tede/9182
_version_	1831970128815718400
score	11.755432

Compressão de modelos de reconhecimento de atividades humanas usando destilação de conhecimento

Registros relacionados