Multi-objective optimization in learn to pre-compute evidence fusion to obtain high quality compressed web search indexes

Pal, Anibrata; http://lattes.cnpq.br/7698547811883708

Dissertação

Multi-objective optimization in learn to pre-compute evidence fusion to obtain high quality compressed web search indexes

Máquinas de busca web para a web indexam grandes volumes de dados, lidando com coleções que muitas vezes são compostas por dezenas de bilhões de documentos. Métodos aprendizagem de máquina têm sido adotados para gerar as respostas de alta qualidade nesses sistemas e, mais recentemente, há métodos...

ver descrição completa

Autor principal:	Pal, Anibrata
Outros Autores:	http://lattes.cnpq.br/7698547811883708
Grau:	Dissertação
Idioma:	por
Publicado em:	Universidade Federal do Amazonas 2016
Assuntos:	Otimização Multi-Objetivo Combinação Linear Convexo Geométrico Médio Ponderado Algoritmo Evolutivo Pareto Compressão do Índice Linear Convex Combination Weighted Geometric Mean Pareto Evolutionary Algorithm Index Compression Multi-Objective Optimization CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO
Acesso em linha:	http://tede.ufam.edu.br/handle/tede/5128

id	oai:https:--tede.ufam.edu.br-handle-:tede-5128
recordtype	dspace
spelling	oai:https:--tede.ufam.edu.br-handle-:tede-51282016-08-16T05:03:15Z Multi-objective optimization in learn to pre-compute evidence fusion to obtain high quality compressed web search indexes Pal, Anibrata Moura, Edleno Silva de http://lattes.cnpq.br/7698547811883708 http://lattes.cnpq.br/4737852130924504 Otimização Multi-Objetivo Combinação Linear Convexo Geométrico Médio Ponderado Algoritmo Evolutivo Pareto Compressão do Índice Linear Convex Combination Weighted Geometric Mean Pareto Evolutionary Algorithm Index Compression Multi-Objective Optimization CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO Máquinas de busca web para a web indexam grandes volumes de dados, lidando com coleções que muitas vezes são compostas por dezenas de bilhões de documentos. Métodos aprendizagem de máquina têm sido adotados para gerar as respostas de alta qualidade nesses sistemas e, mais recentemente, há métodos de aprendizagem de máquina propostos para a fusão de evidências durante o processo de indexação das bases de dados. Estes métodos servem então não somente para melhorar a qualidade de respostas em sistemas de busca, mas também para reduzir custos de processamento de consultas. O único método de fusão de evidências em tempo de indexação proposto na literatura tem como foco exclusivamente o aprendizado de funções de fusão de evidências que gerem bons resultados durante o processamento de consulta, buscando otimizar este único objetivo no processo de aprendizagem. O presente trabalho apresenta uma proposta onde utiliza-se o método de aprendizagem com múltiplos objetivos, visando otimizar, ao mesmo tempo, tanto a qualidade de respostas produzidas quando o grau de compressão do índice produzido pela fusão de rankings. Os resultados apresentados indicam que a adoção de um processo de aprendizagem com múltiplos objetivos permite que se obtenha melhora significativa na compressão dos índices produzidos sem que haja perda significativa na qualidade final do ranking produzido pelo sistema. The world of information retrieval revolves around web search engines. Text search engines are one of the most important source for routing information. The web search engines index huge volumes of data and handles billions of documents. The learn to rank methods have been adopted in the recent past to generate high quality answers for the search engines. The ultimate goal of these systems are to provide high quality results and, at the same time, reduce the computational time for query processing. Drawing direct correlation from the aforementioned fact; reading from smaller or compact indexes always accelerate data read or in other words, reduce computational time during query processing. In this thesis we study about using learning to rank method to not only produce high quality ranking of search results, but also to optimize another important aspect of search systems, the compression achieved in their indexes. We show that it is possible to achieve impressive gains in search engine index compression with virtually no loss in the final quality of results by using simple, yet effective, multi objective optimization techniques in the learning process. We also used basic pruning techniques to find out the impact of pruning in the compression of indexes. In our best approach, we were able to achieve more than 40% compression of the existing index, while keeping the quality of results at par with methods that disregard compression. CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior 2016-08-15T17:57:29Z 2016-04-19 Dissertação PAL, Anibrata. Multi-objective optimization in learn to pre-compute evidence fusion to obtain high quality compressed web search indexes. 2016. 76 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas, Manaus, 2016. http://tede.ufam.edu.br/handle/tede/5128 por Acesso Aberto application/pdf Universidade Federal do Amazonas Instituto de Computação Brasil UFAM Programa de Pós-graduação em Informática
institution	TEDE - Universidade Federal do Amazonas
collection	TEDE-UFAM
language	por
topic	Otimização Multi-Objetivo Combinação Linear Convexo Geométrico Médio Ponderado Algoritmo Evolutivo Pareto Compressão do Índice Linear Convex Combination Weighted Geometric Mean Pareto Evolutionary Algorithm Index Compression Multi-Objective Optimization CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO
spellingShingle	Otimização Multi-Objetivo Combinação Linear Convexo Geométrico Médio Ponderado Algoritmo Evolutivo Pareto Compressão do Índice Linear Convex Combination Weighted Geometric Mean Pareto Evolutionary Algorithm Index Compression Multi-Objective Optimization CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO Pal, Anibrata Multi-objective optimization in learn to pre-compute evidence fusion to obtain high quality compressed web search indexes
topic_facet	Otimização Multi-Objetivo Combinação Linear Convexo Geométrico Médio Ponderado Algoritmo Evolutivo Pareto Compressão do Índice Linear Convex Combination Weighted Geometric Mean Pareto Evolutionary Algorithm Index Compression Multi-Objective Optimization CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO
description	Máquinas de busca web para a web indexam grandes volumes de dados, lidando com coleções que muitas vezes são compostas por dezenas de bilhões de documentos. Métodos aprendizagem de máquina têm sido adotados para gerar as respostas de alta qualidade nesses sistemas e, mais recentemente, há métodos de aprendizagem de máquina propostos para a fusão de evidências durante o processo de indexação das bases de dados. Estes métodos servem então não somente para melhorar a qualidade de respostas em sistemas de busca, mas também para reduzir custos de processamento de consultas. O único método de fusão de evidências em tempo de indexação proposto na literatura tem como foco exclusivamente o aprendizado de funções de fusão de evidências que gerem bons resultados durante o processamento de consulta, buscando otimizar este único objetivo no processo de aprendizagem. O presente trabalho apresenta uma proposta onde utiliza-se o método de aprendizagem com múltiplos objetivos, visando otimizar, ao mesmo tempo, tanto a qualidade de respostas produzidas quando o grau de compressão do índice produzido pela fusão de rankings. Os resultados apresentados indicam que a adoção de um processo de aprendizagem com múltiplos objetivos permite que se obtenha melhora significativa na compressão dos índices produzidos sem que haja perda significativa na qualidade final do ranking produzido pelo sistema.
author_additional	Moura, Edleno Silva de
author_additionalStr	Moura, Edleno Silva de
format	Dissertação
author	Pal, Anibrata
author2	http://lattes.cnpq.br/7698547811883708
author2Str	http://lattes.cnpq.br/7698547811883708
title	Multi-objective optimization in learn to pre-compute evidence fusion to obtain high quality compressed web search indexes
title_short	Multi-objective optimization in learn to pre-compute evidence fusion to obtain high quality compressed web search indexes
title_full	Multi-objective optimization in learn to pre-compute evidence fusion to obtain high quality compressed web search indexes
title_fullStr	Multi-objective optimization in learn to pre-compute evidence fusion to obtain high quality compressed web search indexes
title_full_unstemmed	Multi-objective optimization in learn to pre-compute evidence fusion to obtain high quality compressed web search indexes
title_sort	multi-objective optimization in learn to pre-compute evidence fusion to obtain high quality compressed web search indexes
publisher	Universidade Federal do Amazonas
publishDate	2016
url	http://tede.ufam.edu.br/handle/tede/5128
_version_	1831969399006822400
score	11.753896

Multi-objective optimization in learn to pre-compute evidence fusion to obtain high quality compressed web search indexes

Registros relacionados