Modelos de Tópicos baseados em Autocodificadores Variacionais utilizando as distribuições Gumbel-Softmax e mistura de Normais-Logísticas

Silveira, Denys Dionísio Bezerra; http://lattes.cnpq.br/0002624116190554

Dissertação

Modelos de Tópicos baseados em Autocodificadores Variacionais utilizando as distribuições Gumbel-Softmax e mistura de Normais-Logísticas

Modelos probabilísticos de tópicos são modelos estatísticos capazes de identificar tópicos em uma coleção de texto. Eles são amplamente aplicados em tarefas relacionadas à área de Processamento de Linguagem Natural, uma vez que capturam com sucesso relações latentes por meio da análise de dados não...

ver descrição completa

Autor principal:	Silveira, Denys Dionísio Bezerra
Outros Autores:	http://lattes.cnpq.br/0002624116190554
Grau:	Dissertação
Idioma:	por
Publicado em:	Universidade Federal do Amazonas 2019
Assuntos:	Redes neurais (Computação) Teoria bayesiana de decisão estatística CIÊNCIAS EXATAS E DA TERRA CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO Modelos de Tópicos Autocodificadores Variacionais Inferência Bayesiana Aprendizagem Profunda
Acesso em linha:	https://tede.ufam.edu.br/handle/tede/7439

id	oai:https:--tede.ufam.edu.br-handle-:tede-7439
recordtype	dspace
spelling	oai:https:--tede.ufam.edu.br-handle-:tede-74392019-10-24T05:03:53Z Modelos de Tópicos baseados em Autocodificadores Variacionais utilizando as distribuições Gumbel-Softmax e mistura de Normais-Logísticas Silveira, Denys Dionísio Bezerra Cristo, Marco Antônio Pinheiro de http://lattes.cnpq.br/0002624116190554 http://lattes.cnpq.br/6261175351521953 Colonna, Juan Gabriel http://lattes.cnpq.br/9535853909210803 Pappa, Gisele Lobo http://lattes.cnpq.br/5936682335701497 Carvalho, André Luiz da Costa http://lattes.cnpq.br/4863447798119856 Redes neurais (Computação) Teoria bayesiana de decisão estatística CIÊNCIAS EXATAS E DA TERRA CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO Modelos de Tópicos Autocodificadores Variacionais Inferência Bayesiana Aprendizagem Profunda Modelos probabilísticos de tópicos são modelos estatísticos capazes de identificar tópicos em uma coleção de texto. Eles são amplamente aplicados em tarefas relacionadas à área de Processamento de Linguagem Natural, uma vez que capturam com sucesso relações latentes por meio da análise de dados não rotulados. Entretanto, soluções analíticas para a inferência Bayesiana desses modelos são geralmente intratáveis, dificultando a proposta de modelos probabilísticos que sejam mais expressivos. Neste cenário, os Autocodificadores Variacionais (ACVs), métodos que empregam uma rede de inferência baseada em redes neurais responsável por estimar a distribuição a posteriori, tornaram-se uma alternativa promissora para inferir distribuições de tópicos em coleções de texto. Estes modelos, contudo, também introduzem novos desafios, tal como a necessidade de distribuições contínuas e reparametrizáveis que podem não se ajustar às distribuições reais dos tópicos. Além disso, redes de inferência tendem a apresentar um problema conhecido como colapso de componentes, onde apenas alguns tópicos contendo poucos termos correlacionados são efetivamente extraídos. Para tentar evitar estes problemas, propõem-se dois novos métodos de tópicos. O primeiro (GSDTM) é baseado em uma distribuição contínua pseudocategórica denominada Gumbel-Softmax, capaz de gerar amostras aproximadamente categóricas, enquanto o segundo (LMDTM) adota uma mistura de distribuições Normais-logísticas, que pode ser adequada em cenários onde a distribuição dos dados é complexa. Apresenta-se também um estudo sobre o impacto que diferentes escolhas de modelagem têm sobre os tópicos gerados, observando um compromisso entre coerência dos tópicos e a qualidade do modelo gerador. Por meio de experimentos usando duas coleções de dados de referência, três métricas distintas de avaliação quantitativa e uma inspeção qualitativa, mostra-se que o modelo GSDTM supera de forma significativa os modelos de tópicos considerados estado da arte em grande parte dos cenários de teste, em termos de coerência média de tópicos e perplexidade. Probabilistic topic models are statistical models which are able to identify topics on textual data. They are widely applied in many tasks related to Natural Language Processing due to their effective use of unlabeled data to capture latent relations. Analytical solutions for Bayesian inference of such models, however, are usually intractable, hindering the proposition of highly expressive text models. In this scenario, Variational Auto-Encoders (VAEs), where an artificial neural-based inference network is used to approximate the posterior distribution, became a promising alternative for inferring latent topic distributions of text documents. These models, however, also pose new challenges such as the requirement of continuous and reparameterizable distributions which may not fit so well the true latent topic distributions. Moreover, inference networks are prone to a well-known problem called component collapsing, where a little number of topics are effectively retrieved. To overcome these problems, we propose two new text topic models. The first (GSDTM) is based on the pseudo-categorical continuous distribution called Gumbel-Softmax which is able to generate categorical-like samples, while the second (LMDTM) adopts a mixture of Normal-Logistic distributions which can fits well in scenarios where the data distribution is complex. We also provide a study on the impact of different modeling choices on the generated topics, observing a trade-off between topic coherence and generative model quality. Through experiments using two reference datasets, three different quantitative metrics and one qualitative inspection, we show that GSDTM largely outperforms previous state-of-the-art baselines in most of scenarios, when considering average topic coherence and perplexity. CNPq - Conselho Nacional de Desenvolvimento Científico e Tecnológico CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior FAPEAM - Fundação de Amparo à Pesquisa do Estado do Amazonas 2019-10-23T15:15:59Z 2018-12-11 Dissertação SILVEIRA, Denys Dionísio Bezerra. Modelos de Tópicos baseados em Autocodificadores Variacionais utilizando as distribuições Gumbel-Softmax e mistura de Normais-Logísticas. 2018. 115 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas, Manaus, 2018. https://tede.ufam.edu.br/handle/tede/7439 por Acesso Aberto http://creativecommons.org/licenses/by/4.0/ application/pdf Universidade Federal do Amazonas Instituto de Computação Brasil UFAM Programa de Pós-graduação em Informática
institution	TEDE - Universidade Federal do Amazonas
collection	TEDE-UFAM
language	por
topic	Redes neurais (Computação) Teoria bayesiana de decisão estatística CIÊNCIAS EXATAS E DA TERRA CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO Modelos de Tópicos Autocodificadores Variacionais Inferência Bayesiana Aprendizagem Profunda
spellingShingle	Redes neurais (Computação) Teoria bayesiana de decisão estatística CIÊNCIAS EXATAS E DA TERRA CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO Modelos de Tópicos Autocodificadores Variacionais Inferência Bayesiana Aprendizagem Profunda Silveira, Denys Dionísio Bezerra Modelos de Tópicos baseados em Autocodificadores Variacionais utilizando as distribuições Gumbel-Softmax e mistura de Normais-Logísticas
topic_facet	Redes neurais (Computação) Teoria bayesiana de decisão estatística CIÊNCIAS EXATAS E DA TERRA CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO Modelos de Tópicos Autocodificadores Variacionais Inferência Bayesiana Aprendizagem Profunda
description	Modelos probabilísticos de tópicos são modelos estatísticos capazes de identificar tópicos em uma coleção de texto. Eles são amplamente aplicados em tarefas relacionadas à área de Processamento de Linguagem Natural, uma vez que capturam com sucesso relações latentes por meio da análise de dados não rotulados. Entretanto, soluções analíticas para a inferência Bayesiana desses modelos são geralmente intratáveis, dificultando a proposta de modelos probabilísticos que sejam mais expressivos. Neste cenário, os Autocodificadores Variacionais (ACVs), métodos que empregam uma rede de inferência baseada em redes neurais responsável por estimar a distribuição a posteriori, tornaram-se uma alternativa promissora para inferir distribuições de tópicos em coleções de texto. Estes modelos, contudo, também introduzem novos desafios, tal como a necessidade de distribuições contínuas e reparametrizáveis que podem não se ajustar às distribuições reais dos tópicos. Além disso, redes de inferência tendem a apresentar um problema conhecido como colapso de componentes, onde apenas alguns tópicos contendo poucos termos correlacionados são efetivamente extraídos. Para tentar evitar estes problemas, propõem-se dois novos métodos de tópicos. O primeiro (GSDTM) é baseado em uma distribuição contínua pseudocategórica denominada Gumbel-Softmax, capaz de gerar amostras aproximadamente categóricas, enquanto o segundo (LMDTM) adota uma mistura de distribuições Normais-logísticas, que pode ser adequada em cenários onde a distribuição dos dados é complexa. Apresenta-se também um estudo sobre o impacto que diferentes escolhas de modelagem têm sobre os tópicos gerados, observando um compromisso entre coerência dos tópicos e a qualidade do modelo gerador. Por meio de experimentos usando duas coleções de dados de referência, três métricas distintas de avaliação quantitativa e uma inspeção qualitativa, mostra-se que o modelo GSDTM supera de forma significativa os modelos de tópicos considerados estado da arte em grande parte dos cenários de teste, em termos de coerência média de tópicos e perplexidade.
author_additional	Cristo, Marco Antônio Pinheiro de
author_additionalStr	Cristo, Marco Antônio Pinheiro de
format	Dissertação
author	Silveira, Denys Dionísio Bezerra
author2	http://lattes.cnpq.br/0002624116190554
author2Str	http://lattes.cnpq.br/0002624116190554
title	Modelos de Tópicos baseados em Autocodificadores Variacionais utilizando as distribuições Gumbel-Softmax e mistura de Normais-Logísticas
title_short	Modelos de Tópicos baseados em Autocodificadores Variacionais utilizando as distribuições Gumbel-Softmax e mistura de Normais-Logísticas
title_full	Modelos de Tópicos baseados em Autocodificadores Variacionais utilizando as distribuições Gumbel-Softmax e mistura de Normais-Logísticas
title_fullStr	Modelos de Tópicos baseados em Autocodificadores Variacionais utilizando as distribuições Gumbel-Softmax e mistura de Normais-Logísticas
title_full_unstemmed	Modelos de Tópicos baseados em Autocodificadores Variacionais utilizando as distribuições Gumbel-Softmax e mistura de Normais-Logísticas
title_sort	modelos de tópicos baseados em autocodificadores variacionais utilizando as distribuições gumbel-softmax e mistura de normais-logísticas
publisher	Universidade Federal do Amazonas
publishDate	2019
url	https://tede.ufam.edu.br/handle/tede/7439
_version_	1831969808853237760
score	11.755432

Modelos de Tópicos baseados em Autocodificadores Variacionais utilizando as distribuições Gumbel-Softmax e mistura de Normais-Logísticas

Registros relacionados