Impactos de curto, médio e longo prazo de funções de inicialização de pesos em NeuroEvolução Profunda

Evangelista, Lucas Gabriel Coimbra; http://lattes.cnpq.br/7148963684814562

Dissertação

Impactos de curto, médio e longo prazo de funções de inicialização de pesos em NeuroEvolução Profunda

A Computação NeuroEvoutiva surgiu como uma abordagem promissora para propor arquiteturas de redes neurais sem interferência humana. No entanto, o custo computacional muitas vezes alto dessas abordagens é um sério desafio para sua aplicação e pesquisa. Neste trabalho, analisamos empiricamente prática...

ver descrição completa

Autor principal:	Evangelista, Lucas Gabriel Coimbra
Outros Autores:	http://lattes.cnpq.br/7148963684814562
Grau:	Dissertação
Idioma:	por
Publicado em:	Universidade Federal do Amazonas 2023
Assuntos:	Algorítmos genéticos Otimização combinatória Redes neurais (Computação) CIENCIAS EXATAS E DA TERRA: CIENCIA DA COMPUTACAO Aprendizagem de máquina NeuroEvolução Profunda Funções de inicialização Algoritmo Genético v
Acesso em linha:	https://tede.ufam.edu.br/handle/tede/9599

id	oai:https:--tede.ufam.edu.br-handle-:tede-9599
recordtype	dspace
spelling	oai:https:--tede.ufam.edu.br-handle-:tede-95992023-08-24T05:03:33Z Impactos de curto, médio e longo prazo de funções de inicialização de pesos em NeuroEvolução Profunda Evangelista, Lucas Gabriel Coimbra Giusti, Rafael http://lattes.cnpq.br/7148963684814562 http://lattes.cnpq.br/0613781010575440 Santos, Eulanda Miranda dos Costa, Elloá Barreto Guedes da Algorítmos genéticos Otimização combinatória Redes neurais (Computação) CIENCIAS EXATAS E DA TERRA: CIENCIA DA COMPUTACAO Aprendizagem de máquina NeuroEvolução Profunda Funções de inicialização Algoritmo Genético v A Computação NeuroEvoutiva surgiu como uma abordagem promissora para propor arquiteturas de redes neurais sem interferência humana. No entanto, o custo computacional muitas vezes alto dessas abordagens é um sério desafio para sua aplicação e pesquisa. Neste trabalho, analisamos empiricamente práticas padrão com o algoritmo Coevolution of Deep NeuroEvolution of Augmenting Topologies (CoDeepNEAT) e o efeito que diferentes funções de inicialização e ativação têm quando os experimentos são ajustados para redes de rápida evolução em números variados de gerações e populações. Comparamos redes inicializadas com as funções He, Glorot e Random em diferentes configurações de tamanho da população, número de gerações, épocas de treinamento etc. Nossos resultados sugerem que a configuração adequada de hiperparâmetros para treinamentos de poucas épocas em cada geração pode ser suficiente para produzir redes neurais competitivas. Observamos também que a inicialização He, quando associada à NeuroEvolução, tende a criar arquiteturas com múltiplas conexões residuais, enquanto o inicializador Glorot tem o efeito oposto. Neural evolutionary computation has risen as a promising approach to propose neural network architectures without human interference. However, the often high computational cost of these approaches is a serious challenge for their application and research. In this work, we empirically analyse standard practices with Coevolution of Deep NeuroEvolution of Augmenting Topologies (CoDeepNEAT) and the effect that different initialization functions have when experiments are tuned for quick evolving networks on a small number of generations and small populations. We compare networks initialized with the He, Glorot, and Random initializations on different settings of population size, number of generations, training epochs, etc. Our results suggest that properly setting hyperparameters for short training sessions in each generation may be sufficient to produce competitive neural networks. We also observed that the He initialization, when associated with neural evolution, has a tendency to create architectures with multiple residual connections, while the Glorot initializer has the opposite effect. CAPES - Coordenação de Aperfeiçoamento Pessoal e Nível Superior 2023-08-23T11:59:45Z 2023-04-10 Dissertação EVANGELISTA, Lucas Gabriel Coimbra. Impactos de curto, médio e longo prazo de funções de inicialização de pesos em NeuroEvolução Profunda. 2023. 91 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas, Manaus (AM), 2023. https://tede.ufam.edu.br/handle/tede/9599 por Acesso Aberto http://creativecommons.org/licenses/by/4.0/ application/pdf Universidade Federal do Amazonas Instituto de Computação Brasil UFAM Programa de Pós-graduação em Informática
institution	TEDE - Universidade Federal do Amazonas
collection	TEDE-UFAM
language	por
topic	Algorítmos genéticos Otimização combinatória Redes neurais (Computação) CIENCIAS EXATAS E DA TERRA: CIENCIA DA COMPUTACAO Aprendizagem de máquina NeuroEvolução Profunda Funções de inicialização Algoritmo Genético v
spellingShingle	Algorítmos genéticos Otimização combinatória Redes neurais (Computação) CIENCIAS EXATAS E DA TERRA: CIENCIA DA COMPUTACAO Aprendizagem de máquina NeuroEvolução Profunda Funções de inicialização Algoritmo Genético v Evangelista, Lucas Gabriel Coimbra Impactos de curto, médio e longo prazo de funções de inicialização de pesos em NeuroEvolução Profunda
topic_facet	Algorítmos genéticos Otimização combinatória Redes neurais (Computação) CIENCIAS EXATAS E DA TERRA: CIENCIA DA COMPUTACAO Aprendizagem de máquina NeuroEvolução Profunda Funções de inicialização Algoritmo Genético v
description	A Computação NeuroEvoutiva surgiu como uma abordagem promissora para propor arquiteturas de redes neurais sem interferência humana. No entanto, o custo computacional muitas vezes alto dessas abordagens é um sério desafio para sua aplicação e pesquisa. Neste trabalho, analisamos empiricamente práticas padrão com o algoritmo Coevolution of Deep NeuroEvolution of Augmenting Topologies (CoDeepNEAT) e o efeito que diferentes funções de inicialização e ativação têm quando os experimentos são ajustados para redes de rápida evolução em números variados de gerações e populações. Comparamos redes inicializadas com as funções He, Glorot e Random em diferentes configurações de tamanho da população, número de gerações, épocas de treinamento etc. Nossos resultados sugerem que a configuração adequada de hiperparâmetros para treinamentos de poucas épocas em cada geração pode ser suficiente para produzir redes neurais competitivas. Observamos também que a inicialização He, quando associada à NeuroEvolução, tende a criar arquiteturas com múltiplas conexões residuais, enquanto o inicializador Glorot tem o efeito oposto.
author_additional	Giusti, Rafael
author_additionalStr	Giusti, Rafael
format	Dissertação
author	Evangelista, Lucas Gabriel Coimbra
author2	http://lattes.cnpq.br/7148963684814562
author2Str	http://lattes.cnpq.br/7148963684814562
title	Impactos de curto, médio e longo prazo de funções de inicialização de pesos em NeuroEvolução Profunda
title_short	Impactos de curto, médio e longo prazo de funções de inicialização de pesos em NeuroEvolução Profunda
title_full	Impactos de curto, médio e longo prazo de funções de inicialização de pesos em NeuroEvolução Profunda
title_fullStr	Impactos de curto, médio e longo prazo de funções de inicialização de pesos em NeuroEvolução Profunda
title_full_unstemmed	Impactos de curto, médio e longo prazo de funções de inicialização de pesos em NeuroEvolução Profunda
title_sort	impactos de curto, médio e longo prazo de funções de inicialização de pesos em neuroevolução profunda
publisher	Universidade Federal do Amazonas
publishDate	2023
url	https://tede.ufam.edu.br/handle/tede/9599
_version_	1831970209887420416
score	11.753735

Impactos de curto, médio e longo prazo de funções de inicialização de pesos em NeuroEvolução Profunda

Registros relacionados