Representação de dados heterogêneos em cenário de poucos dados aplicada a automação de teste de software através de redes siamesas

Soares, Yan Rodrigo da Silva; http://lattes.cnpq.br/2493530642028747

Dissertação

Representação de dados heterogêneos em cenário de poucos dados aplicada a automação de teste de software através de redes siamesas

O lançamento de novas versões do sistema operacional Android induz os fabricantes de dispositivos móveis a introduzirem suas próprias atualizações para garantir a compatibilidade e a qualidade do software. No entanto, para assegurar a sua qualidade, é necessário conduzir testes rigorosos no mesmo, o...

ver descrição completa

Autor principal:	Soares, Yan Rodrigo da Silva
Outros Autores:	http://lattes.cnpq.br/2493530642028747
Grau:	Dissertação
Idioma:	por
Publicado em:	Universidade Federal do Amazonas 2024
Assuntos:	CIENCIAS EXATAS E DA TERRA: CIENCIA DA COMPUTACAO Redes siamesas BERT BLOOM Similaridade de cosseno Fusão de ranking
Acesso em linha:	https://tede.ufam.edu.br/handle/tede/10018

id	oai:https:--tede.ufam.edu.br-handle-:tede-10018
recordtype	dspace
spelling	oai:https:--tede.ufam.edu.br-handle-:tede-100182024-02-24T05:03:44Z Representação de dados heterogêneos em cenário de poucos dados aplicada a automação de teste de software através de redes siamesas Heterogeneous data representation in low data scenario applied to software test automation Soares, Yan Rodrigo da Silva Carvalho, André Luiz da Costa http://lattes.cnpq.br/2493530642028747 http://lattes.cnpq.br/4863447798119856 Moura, Edleno Silva de http://lattes.cnpq.br/4737852130924504 Marinho, Leandro Balby http://lattes.cnpq.br/3728312501032061 CIENCIAS EXATAS E DA TERRA: CIENCIA DA COMPUTACAO Redes siamesas BERT BLOOM Similaridade de cosseno Fusão de ranking O lançamento de novas versões do sistema operacional Android induz os fabricantes de dispositivos móveis a introduzirem suas próprias atualizações para garantir a compatibilidade e a qualidade do software. No entanto, para assegurar a sua qualidade, é necessário conduzir testes rigorosos no mesmo, o que frequentemente implica em despesas crescentes. Desta forma, existe uma clara necessidade de automatizar ao máximo esse processo. Para isto, as empresas podem dispor de um framework que inclui uma série de comandos de automação, destinados a realizar tarefas simples de teste. Nesse contexto, um operador é encarregado de ler a descrição de um caso de teste e selecionar o comando correspondente. Diante dessa problemática, o objetivo deste trabalho é ajudar os operadores na busca por comandos, onde para cada passo de um caso de teste, procura-se o comando que executa esta ação. Foram utilizados redes siamesas, combinadas com MLM (Masked Language Model), para representar tanto os passos quanto os comandos de automação no mesmo espaço vetorial. Isso nos permite buscar comandos com base na similaridade de cosseno. Nos propomos a usar uma função de perda que aproxime os passos de teste de seus comandos correspondentes, de modo que fiquem próximos no espaço latente de representação. Além disso, foi incorporado o uso da BLOOM, um modelo de linguagem, para gerar dados sintéticos que auxiliam na busca por comandos quando não há um par correspondente de passo de teste. Para representar os dados, foi utilizado o modelo RoBERTa e por fim, aplicado o LambdaMART para realizar uma fusão de ranking nas sugestões de classificação dadas nos rankings, criando assim um ranking enriquecido. Os resultados finais foram muito promissores em ambos os experimentos propostos, avaliados por meio das métricas MRR, MAP e HitRate, onde houve uma média de 0.58 para o MRR no primeiro experimento e 0.31 no segundo experimento, concluindo que a proposta analisada é eficaz ao recomendar os comandos corretos nas posições mais altas do ranking recomendado. The release of new versions of the Android operating system prompts mobile device manufacturers to introduce their own updates to ensure software compatibility and quality. However, to guarantee its quality, it is necessary to conduct rigorous tests on it, which often involves increasing expenses. Therefore, there is a clear need to automate this process as much as possible. To achieve this, companies can have a framework that includes a series of automation commands, designed to carry out simple testing tasks. In this context, an operator is tasked with reading the description of a test case and selecting the corresponding command. Faced with this problem, the objective of this work is to help operators in the search for commands, where for each step of a test case, look for the command that performs this action. Siamese networks were used, combined with MLM (Masked Language Model), to represent both steps and automation commands in the same vector space. This allows us to search for commands based on cosine similarity. We propose to use a loss function that approximates the test steps of their corresponding commands, so that it is close in the latent representation space. Furthermore, the use of BLOOM, a language model, was incorporated to generate synthetic data that assists in searching for commands when there is no corresponding pair of test steps. To represent the data, the RoBERTa model was used and finally, LambdaMART was applied to perform a ranking fusion on the classification suggestions given in the rankings, thus creating an enriched ranking. The final results were very promising in both proposed experiments, evaluated using the MRR, MAP and HitRate metrics, where there was an average of 0.58 for MRR in the first experiment and 0.31 in the second experiment, concluding that the proposal presented is effective in recommending the correct commands in the highest positions of the recommended ranking. CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior FAPEAM - Fundação de Amparo à Pesquisa do Estado Amazonas Como sugestão, colocar uma tabela com os códigos das áreas de conhecimento e uma citação padrão ABNT na Descrição. 2024-02-23T21:01:53Z 2023-10-02 Dissertação SOARES, Yan Rodrigo da Silva. Representação de dados heterogêneos em cenário de poucos dados aplicada a automação de teste de software através de redes siamesas. 2023. 114 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas, Manaus, 2023. https://tede.ufam.edu.br/handle/tede/10018 por Acesso Aberto https://creativecommons.org/licenses/by-nc-nd/4.0/ application/pdf Universidade Federal do Amazonas Instituto de Computação Brasil UFAM Programa de Pós-graduação em Informática
institution	TEDE - Universidade Federal do Amazonas
collection	TEDE-UFAM
language	por
topic	CIENCIAS EXATAS E DA TERRA: CIENCIA DA COMPUTACAO Redes siamesas BERT BLOOM Similaridade de cosseno Fusão de ranking
spellingShingle	CIENCIAS EXATAS E DA TERRA: CIENCIA DA COMPUTACAO Redes siamesas BERT BLOOM Similaridade de cosseno Fusão de ranking Soares, Yan Rodrigo da Silva Representação de dados heterogêneos em cenário de poucos dados aplicada a automação de teste de software através de redes siamesas
topic_facet	CIENCIAS EXATAS E DA TERRA: CIENCIA DA COMPUTACAO Redes siamesas BERT BLOOM Similaridade de cosseno Fusão de ranking
description	O lançamento de novas versões do sistema operacional Android induz os fabricantes de dispositivos móveis a introduzirem suas próprias atualizações para garantir a compatibilidade e a qualidade do software. No entanto, para assegurar a sua qualidade, é necessário conduzir testes rigorosos no mesmo, o que frequentemente implica em despesas crescentes. Desta forma, existe uma clara necessidade de automatizar ao máximo esse processo. Para isto, as empresas podem dispor de um framework que inclui uma série de comandos de automação, destinados a realizar tarefas simples de teste. Nesse contexto, um operador é encarregado de ler a descrição de um caso de teste e selecionar o comando correspondente. Diante dessa problemática, o objetivo deste trabalho é ajudar os operadores na busca por comandos, onde para cada passo de um caso de teste, procura-se o comando que executa esta ação. Foram utilizados redes siamesas, combinadas com MLM (Masked Language Model), para representar tanto os passos quanto os comandos de automação no mesmo espaço vetorial. Isso nos permite buscar comandos com base na similaridade de cosseno. Nos propomos a usar uma função de perda que aproxime os passos de teste de seus comandos correspondentes, de modo que fiquem próximos no espaço latente de representação. Além disso, foi incorporado o uso da BLOOM, um modelo de linguagem, para gerar dados sintéticos que auxiliam na busca por comandos quando não há um par correspondente de passo de teste. Para representar os dados, foi utilizado o modelo RoBERTa e por fim, aplicado o LambdaMART para realizar uma fusão de ranking nas sugestões de classificação dadas nos rankings, criando assim um ranking enriquecido. Os resultados finais foram muito promissores em ambos os experimentos propostos, avaliados por meio das métricas MRR, MAP e HitRate, onde houve uma média de 0.58 para o MRR no primeiro experimento e 0.31 no segundo experimento, concluindo que a proposta analisada é eficaz ao recomendar os comandos corretos nas posições mais altas do ranking recomendado.
author_additional	Carvalho, André Luiz da Costa
author_additionalStr	Carvalho, André Luiz da Costa
format	Dissertação
author	Soares, Yan Rodrigo da Silva
author2	http://lattes.cnpq.br/2493530642028747
author2Str	http://lattes.cnpq.br/2493530642028747
title	Representação de dados heterogêneos em cenário de poucos dados aplicada a automação de teste de software através de redes siamesas
title_short	Representação de dados heterogêneos em cenário de poucos dados aplicada a automação de teste de software através de redes siamesas
title_full	Representação de dados heterogêneos em cenário de poucos dados aplicada a automação de teste de software através de redes siamesas
title_fullStr	Representação de dados heterogêneos em cenário de poucos dados aplicada a automação de teste de software através de redes siamesas
title_full_unstemmed	Representação de dados heterogêneos em cenário de poucos dados aplicada a automação de teste de software através de redes siamesas
title_sort	representação de dados heterogêneos em cenário de poucos dados aplicada a automação de teste de software através de redes siamesas
publisher	Universidade Federal do Amazonas
publishDate	2024
url	https://tede.ufam.edu.br/handle/tede/10018
_version_	1831970240299270144
score	11.753735

Representação de dados heterogêneos em cenário de poucos dados aplicada a automação de teste de software através de redes siamesas

Registros relacionados