Máquinas de busca estão entre as principais formas de se obter informações na internet,recebendo
milhões de consultas diárias. Este volume avantajado de consultas gera uma considerável carga
nos processadores de consultas das máquinas de busca, que devem não apenas se preocupar
com a qualidade da resposta final recebida pelos usuários, mas também com a latência desta
consulta ,já que uma demora excessiva no tempo de resposta pode prejudicar a experiência de
seus usuários.
Nos últimos anos tem havido um considerável esforço de pesquisa na aplicação de técnicas
de aprendizado de máquina durante o processamento de consultas, objetivando-se principalmente
um aumento na qualidade final de suas respostas. Nesta tese estudamos a aplicação de técnicas de
aprendizagem de máquina durante a geração de índices, ao invés de aplicá-las ao processamento
de consultas, abrindo portanto uma nova frente para a aplicação de técnicas de aprendizagem de
máquina em sistemas de busca. Dentro do estudo, propomos duas técnicas para a aplicação de
aprendizado de máquina na indexação de documentos em máquinas de busca, mostrando com
isso que há espaço para melhorar a indexação com o uso dessas técnicas.
A vantagem de tal abordagem é que, como esse processamento é feito antes das consultas
serem feitas à maquina de busca, independente de quão custoso computacionalmente seja este
processo, isto não refletirá diretamente no tempo de processamento de consultas. Propomos aqui
duas técnicas: LePrEF, uma técnica de fusão de evidências em tempo de indexação que tem
como objetivo a melhoria do desempenho de máquinas de busca durante o processamento de
consultas, por meio da geração de índices que codificam melhor a importância de cada termo em
cada documento, e uma técnica de detecção de termos frasais (os sintagmas), com o objetivo de
melhorar a qualidade das respostas obtidas por elas.
A técnica LePrEF realiza a fusão de fontes de evidência de relevância em tempo de indexação
utilizando para tanto aprendizagem de máquina. A necessidade da fusão de evidências no
processamento de consultas deriva do fato de que sistemas de busca em geral utilizam diversas
fontes de evidência para computar suas respostas, tais como o texto das páginas web, o texto dos
apontadores recebidos por cada página, métodos de análise de apontadores como o PageRank,
dentre muitos outros. Porém, o acréscimo de novas fontes de evidência leva também a novos
custos de processamento. Isto, aliado ao constante crescimento na quantidade de conteúdo
|
