Revisão Sistemática da Literatura em Engenharia de Software: Teoria e Prática
Questão 5: Qual é o objetivo e itens relacionados com a seção ?
Questão 5: Qual é o objetivo e itens relacionados
com a seção Seleção e avaliação de estudos?
O objetivo da seção Seleção e avaliação de estudos é documentar como os estudos relevantes para responderem às questões de pesquisa da RS serão selecionados e avaliados. Assim, contém itens como critérios de inclusão e exclusão, estratégia para seleção dos estudos e a avaliação da qualidade dos estudos.
Critérios de inclusão e exclusão são definidos pelos pesquisadores para guiar a seleção de estudos primários que sejam relevantes para aquela RS. Os critérios de inclusão servem para indicar por qual ou quais critérios um estudo foi incluído na revisão, ou seja, considerado relevante para esta. Da mesma forma, os de exclusão servem para indicar por qual ou quais critérios um estudo foi excluído da revisão, ou seja, considerado não relevante para aquela mesma RS.
Uma vez definidos os critérios de inclusão e exclusão, os pesquisadores devem definir a estratégia para seleção dos estudos. Esta consiste tanto em estabelecer as etapas da seleção (seleção inicial, seleção final e revisão da seleção), quanto a maneira como os critérios de inclusão e exclusão deverão ser aplicados durante essas etapas, ou seja, é preciso definir se para aceitar um estudo basta que ele satisfaça um ou alguns dos critérios de inclusão, ou, eventualmente, todos eles.
O objetivo principal ao utilizar critérios de qualidade é avaliar aspectos metodológicos dos estudos. Ao procurar avaliar a qualidade dos estudos primários por meio da aplicação de critérios de qualidade, o pesquisador busca aumentar a confiabilidade nos resultados que serão obtidos e também a
generalização dos mesmos (KITCHENHAM & CHARTERS, 2007). Uma maneira de se medir a qualidade de estudos primários é por meio da aplicação de checklist, ou seja, um formulário que contém itens que serão utilizados para avaliar a qualidade de cada estudo independentemente. Não há regras a serem seguidas na formulação do checklist de qualidade, mas ele pode se referir a como os dados daquele estudo foram analisados, como o estudo foi avaliado, como foram feitas as comparações de intervenções, como a população foi selecionada, ou seja, tratar de questões que avaliam os aspectos metodológicos do estudo sob análise. Se os itens do checklist puderem ter escalas numéricas atribuídas a eles, então um resultado numérico de qualidade pode ser obtido, o que muitas vezes pode auxiliar na detecção de estudos com alta, média e baixa qualidade. Além da definição dos critérios de qualidade que serão aplicados e suas escalas, deve-se estabelecer o procedimento que será adotado para aplicar esses critérios. A descrição do procedimento possibilita que a avaliação da qualidade seja reproduzida por outros pesquisadores.
Vale destacar que uma RS pode conter estudos primários que reportam resultados quantitativos e/ou qualitativos. É recomendado que se construa um checklist para avaliação da qualidade de estudos quantitativos e outro para a avaliação da qualidade de estudos qualitativos, visto que há uma grande diferença entre eles na maneira como os resultados são analisados e relatados.
Os resultados da avaliação da qualidade podem ser utilizados para auxiliar na seleção de estudos primários relevantes e/ou para ajudar na análise e sumarização dos dados. No primeiro caso, sugere-se que os dados de qualidade sejam coletados antes dos dados para preenchimento do formulário de extração, à parte, uma vez que estudos serão incluídos ou excluídos da revisão com base nos dados de qualidade obtidos. No segundo caso, os dados de qualidade podem ser coletados simultaneamente à atividade de extração de dados dos estudos, e os itens de qualidade e de extração podem estar no mesmo
formulário. Detalhes sobre a estratégia para selecionar estudos são tratados no Capítulo 4.