Revisão Sistemática da Literatura em Engenharia de Software: Teoria e Prática

Questão 7: Como avaliar o protocolo?

Como o protocolo é o documento que guia toda a RS, é de grande importância que, uma vez criado, ele seja devidamente avaliado antes da fase de condução da revisão. O ideal é que essa avaliação seja feita por pesquisadores mais experientes, sobretudo quando os pesquisadores que realizarão a revisão forem inexperientes em RS ou pesquisa em geral e não tiverem domínio sobre o tema a ser investigado. Por exemplo, no contexto acadêmico, alunos de mestrado ou doutorado deveriam solicitar que seus orientadores fizessem a avaliação de seus protocolos. No caso de pesquisas que possuem financiamento, uma possibilidade é que um grupo de pesquisadores experientes e independentes seja contratado para

avaliar o protocolo criado (KITCHENHAM & CHARTERS, 2007).

Um checklist para avaliar o protocolo, proposto pelo Centro de Revisões e Disseminações (CRD) da

Universidade de York (KHAN et al., 2003), contém perguntas como:

• Os objetivos da revisão estão claramente descritos?

• As questões de pesquisa definidas são claras e objetivas?

• As fontes a serem pesquisadas para identificar os estudos primários foram descritas? Houve alguma

restrição?

• A string de busca é devidamente derivada das questões de pesquisa?

• Os critérios de inclusão e exclusão estão descritos claramente? Não haverá dúvidas em como aplicá-

los?

• Está claro se os critérios de qualidade serão utilizados? Os critérios de qualidade e a forma como

serão aplicados estão descritos claramente?

• Os campos definidos no formulário de extração de dados são suficientes para responder às questões

de pesquisa?

• A maneira como os dados extraídos serão analisados e sumarizados está descrita? Ela é suficiente

para responder às questões de pesquisa?

Uma vez que as respostas às perguntas forem positivas e satisfatórias, o protocolo pode ser

considerado avaliado e a fase de condução da revisão poderá ser iniciada. Caso haja perguntas cujas respostas não sejam positivas, o protocolo deve ser revisado pelos pesquisadores e os itens relacionados com elas devem ser melhorados até que todas as perguntas sejam respondidas satisfatoriamente.