Questão 6: O que é e como relatar os resultados de uma RS?

O relato dos resultados corresponde à fase final de uma RS e envolve as atividades de: (i) documentação dos resultados da revisão; (ii) avaliação da documentação; e (iii) disseminação da revisão para potenciais interessados. Considerando a relevância de conduzir tais atividades de forma efetiva, aconselha-se que a estratégia para documentação e disseminação seja discutida ainda nas fases iniciais

da revisão, até mesmo com a inclusão dessa estratégia no protocolo (KITCHENHAM & CHARTERS,

2007). Além disso, é preciso identificar os possíveis interessados na RS para que o relato seja construído de acordo com as necessidades deles. De um modo geral, os principais interessados em uma RS são os pesquisadores da academia e profissionais da indústria.

É importante salientar que a qualidade de uma RS está diretamente relacionada com a da documentação dos resultados. Portanto, essa documentação deve conter uma reflexão abrangente e, ao mesmo tempo, detalhada dos resultados. Por exemplo, um relato claro sobre o processo de síntese aumenta a confiabilidade da RS, que poderá ser validada e replicada pela comunidade. Bons exemplos

de relatos dos resultados de RSs podem ser encontrados em (NGUYEN-DUC et al., 2015; ALI et al.,

2014). Para apoiar a criação dessa documentação, pode-se utilizar o protocolo da RS para direcionar a discussão dos resultados obtidos de acordo com os objetivos e as questões de pesquisa que precisam ser

respondidas (BRERETON et al., 2007).

Finalizada a documentação dos resultados, aconselha-se que avaliadores externos à revisão e, se possível, especialistas no tópico de pesquisa, conduzam uma avaliação visando identificar possíveis inconsistências, ambiguidades, limitações, ameaças, superficialidade nas discussões, entre outros. Essa avaliação costuma ser feita por revisores de periódicos, quando essa revisão é submetida a uma revista, e por membros do comitê de programa, quando submetida a um evento. De qualquer modo, o ideal é que a avaliação ocorra antes mesmo da revisão ser submetida a esses veículos de publicação para aumentar as chances de aceitação. Por outro lado, quando a RS é publicada nos meios que não exijam avaliação para publicação, tais como sites web ou relatórios técnicos, a avaliação externa torna-se imprescindível. Vale, ainda, lembrar que essa avaliação compreende toda a documentação referente à revisão, o que inclui o protocolo e as informações sobre a condução, a extração de dados, a síntese, além da discussão sobre os resultados da revisão. Para isso, um checklist mais geral pode ser encontrado em

(KITCHENHAM e CHARTERS, 2007).

Existem diferentes meios para disseminar os resultados de uma RS considerando os diferentes interessados. Para pesquisadores da academia, na grande maioria dos casos, a disseminação tem se dado por meio de periódicos e conferências da área ou subáreas correlatas da ES. Em particular, como periódicos de impacto que têm publicado RSs na área de ES, pode-se citar o Journal of Systems and

Software 12 13 , Journal of Information and Software Technology, IEEE Transactions on Software

Engineering14 15 16 , Journal Software: Practice and Experience e Empirical Software Engineering. Há, também, periódicos de subáreas da ES que têm publicado revisões sobre seus temas relacionados, como

o 17 Journal of Requirement Engineering, sobre engenharia de requisitos, e Journal of Software Testing,

Verification and Reliability 18, sobre teste de software.

Se a intenção da RS é influenciar profissionais da indústria, outras formas de disseminação podem ser também utilizadas, tais como sites web, revistas e periódicos destinados aos profissionais, além de relatórios técnicos disponibilizados em repositórios de documentos.

Embora tenham um bom alcance para a disseminação de RSs, conferências e periódicos trazem, muitas vezes, limitação quanto ao número máximo de páginas. Uma estratégia que pode ser adotada para mitigar isto é complementar o conteúdo dos artigos por meio da disponibilização de informações adicionais em sites web, relatórios técnicos ou mesmo teses de alunos de pós-graduação. Recomenda-se que essa informação adicional contemple o protocolo completo da RS, juntamente com informações sobre as estratégias adotadas para a busca e seleção dos estudos, extração de dados e a síntese dos resultados. É também importante apresentar de forma detalhada os dados encontrados, por exemplo, a quantidade e quais foram os estudos primários incluídos e excluídos. Decisões que foram tomadas ao longo da condução da RS devem ser também registradas. Essas informações e dados são cruciais para uma futura atualização da revisão, bem como para a reprodutibilidade da pesquisa em si, caso necessário. Exemplos

de RSs que usam essa estratégia são encontradas em (WEYNS e AHMAD, 2013 e NAKAGAWA, et al.,

2013).