Revisão Sistemática da Literatura em Engenharia de Software: Teoria e Prática
Capítulo 4: Seleção e Avaliação de Estudos
Seleção e Avaliação de Estudos
Katia Romero Felizardo
Érica Ferreira de Souza
Ricardo de Almeida Falbo
U ma busca abrangente pode resultar em um grande número de estudos candidatos (visite o Capítulo 3 para mais detalhes sobre estratégias de busca). Desses estudos, devem ser identificados quais são relevantes e quais devem ser desconsiderados. Para isso, aplicam-se critérios de seleção (critérios de inclusão e exclusão) e de qualidade. Todos os critérios são estabelecidos antes de se iniciar o processo
de RS e são descritos no protocolo (veja o Capítulo 2 para esclarecimentos adicionais sobre o protocolo). Os critérios de seleção especificam as características que os estudos devem conter para serem incluídos ou excluídos. O objetivo desses critérios é assegurar que estudos relevantes para responder às questões de pesquisa da RS sejam incluídos e que nenhum estudo importante seja excluído. Já os critérios de qualidade objetivam avaliar aspectos metodológicos dos estudos.
O processo de seleção é composto por duas etapas: a seleção inicial e a seleção final. Inicialmente, os critérios de seleção são aplicados em todos os estudos candidatos após a leitura de seu título e resumo. Nessa etapa, os estudos só serão excluídos se eles atenderem claramente um ou mais dos critérios de exclusão. Estudos incluídos na primeira etapa são examinados com mais detalhes na segunda etapa, que consiste na aplicação dos critérios de seleção após a leitura do texto completo dos estudos. É recomendado que, após a seleção final, a qualidade dos estudos incluídos seja avaliada com base nos critérios de qualidade. Assim, aspectos como o tipo de pesquisa realizada (survey, estudo de caso, experimento etc) e o método para coleta de dados adotado (histórico, de observação, controlado etc) pelo estudo, dentre outros, são avaliados. Neste capítulo é descrito como selecionar estudos relevantes para responder às questões de pesquisa de uma RS. É também destacada a necessidade de realizar a avaliação da qualidade dos estudos.