Revisão Sistemática da Literatura em Engenharia de Software: Teoria e Prática
Questão 7: Como avaliar o protocolo?
Como o protocolo é o documento que guia toda a RS, é de grande importância que, uma vez criado, ele seja devidamente avaliado antes da fase de condução da revisão. O ideal é que essa avaliação seja feita por pesquisadores mais experientes, sobretudo quando os pesquisadores que realizarão a revisão forem inexperientes em RS ou pesquisa em geral e não tiverem domínio sobre o tema a ser investigado. Por exemplo, no contexto acadêmico, alunos de mestrado ou doutorado deveriam solicitar que seus orientadores fizessem a avaliação de seus protocolos. No caso de pesquisas que possuem financiamento, uma possibilidade é que um grupo de pesquisadores experientes e independentes seja contratado para
avaliar o protocolo criado (KITCHENHAM & CHARTERS, 2007).
Um checklist para avaliar o protocolo, proposto pelo Centro de Revisões e Disseminações (CRD) da
Universidade de York (KHAN et al., 2003), contém perguntas como:
• Os objetivos da revisão estão claramente descritos?
• As questões de pesquisa definidas são claras e objetivas?
• As fontes a serem pesquisadas para identificar os estudos primários foram descritas? Houve alguma
restrição?
• A string de busca é devidamente derivada das questões de pesquisa?
• Os critérios de inclusão e exclusão estão descritos claramente? Não haverá dúvidas em como aplicá-
los?
• Está claro se os critérios de qualidade serão utilizados? Os critérios de qualidade e a forma como
serão aplicados estão descritos claramente?
• Os campos definidos no formulário de extração de dados são suficientes para responder às questões
de pesquisa?
• A maneira como os dados extraídos serão analisados e sumarizados está descrita? Ela é suficiente
para responder às questões de pesquisa?
Uma vez que as respostas às perguntas forem positivas e satisfatórias, o protocolo pode ser
considerado avaliado e a fase de condução da revisão poderá ser iniciada. Caso haja perguntas cujas respostas não sejam positivas, o protocolo deve ser revisado pelos pesquisadores e os itens relacionados com elas devem ser melhorados até que todas as perguntas sejam respondidas satisfatoriamente.