Questão 5: Qual a confiabilidade de uma RS?

Em função do aumento do número de RSs conduzidas na ES, tornou-se relevante compreender a confiabilidade das revisões publicadas. Entende-se por confiabilidade o fato de duas revisões conduzidas independentemente e sobre um mesmo tópico de pesquisa chegarem às mesmas conclusões

(WOHLIN et al., 2013). Nesse contexto, uma investigação sobre a confiabilidade de RSs como um método de pesquisa mostrou que duas RSs independentes são capazes de gerar as mesmas conclusões desde que sejam conduzidas por pesquisadores com experiência no processo de RS e no tópico sendo

investigado (MACDONELL et al., 2010).

Quanto à reprodutividade das RSs, em particular na atividade de seleção de estudos primários,

observa-se que pesquisadores considerados novatos não vão necessariamente selecionar os mesmos

estudos (KITCHENHAM et al., 2011). Portanto, não é possível garantir reprodutibilidade com relação à realização dessa atividade por novatos. Na mesma linha, um estudo de caso com alunos de segundo ano da graduação em Ciência da Computação mostrou que RSs podem ser realizadas por novatos, apesar de claramente desafiadoras e demoradas e, nesse caso, aconselha-se que sejam executadas em grupos

(BRERETON, 2011). Para esses novatos, a fase de condução, incluindo a atividade de seleção de estudos, é mais problemática do que a de planejamento da revisão. Por fim, para que a reprodutividade seja alcançada, pesquisadores experientes devem estar envolvidos na execução das RSs.