Questão 1: O que são critérios de seleção?

Uma das características que difere a RS de outros métodos de revisão é que esta segue um método rigoroso de seleção de estudos com base nos critérios de seleção, que abrangem tanto critérios de inclusão quanto de exclusão. A qualidade dos resultados da RS depende dos estudos incluídos. Portanto, um passo crítico é a definição dos critérios de seleção.

Os critérios de inclusão definem características que um estudo deve conter para ser considerado

relevante para aquela RS. Por outro lado, os critérios de exclusão estabelecem características para excluírem estudos considerados irrelevantes no contexto definido. Esses critérios são criados com base nas questões de pesquisa da RS e devem ser descritos previamente no protocolo e rigorosamente aplicados. Além dos critérios, também deve estar descrito no protocolo como serão aplicados, por exemplo, quantos revisores irão participar de cada etapa da seleção ou como os desacordos entre os revisores serão resolvidos.

Os critérios de inclusão devem ser definidos de forma alinhada com o objetivo da RS. Pode-se definir

um único critério de inclusão ou vários. Quando mais de um for definido, deve ficar claro se os critérios de inclusão são alternativos (se um estudo satisfizer um dos critérios, para que, então, ele seja selecionado) ou se deverão ser aplicados em conjunto (para um estudo ser incluído, deverá satisfazer todos os critérios de inclusão).

Com relação aos critérios de exclusão, considera-se que um critério de exclusão direto é o não

atendimento do(s) critério(s) de inclusão ou o não atendimento de nenhum dos critérios de inclusão, no caso de haver vários critérios de inclusão alternativos. Pode ser definido, também, um conjunto de critérios de exclusão gerais, o que vem sendo adotado em RSs publicadas na literatura, tais como:

• O estudo não possui um resumo: Alguns estudos não têm um resumo, o que impossibilita que uma

seleção inicial seja feita sem que se tenha que ler o texto completo. Em casos como esse, usando esse

critério de exclusão, um estudo que não tenha um resumo será excluído.

• O estudo é publicado apenas como resumo: Muitas vezes, um estudo é publicado apenas na forma de

resumo. Isso acontece, por exemplo, em alguns casos em que o estudo é publicado como um pôster

em um evento. É importante não confundir resumos com artigos curtos (short papers). Um artigo curto

tem resumo e também um corpo, ainda que o possa ser pequeno (geralmente duas ou três páginas). Um

estudo publicado apenas como resumo, por outro lado, não tem corpo. Todo o seu conteúdo restringe-

se ao resumo.

• O estudo não está escrito em inglês: Uma vez que o inglês é a língua atualmente usada para a

comunicação científica, considerar estudos escritos em outras línguas pode comprometer a

reprodutibilidade ou mesmo o uso dos resultados de uma RS por outros pesquisadores. Assim, uma

boa opção é excluir tais estudos. Vale ressaltar que alguns têm título, resumo e palavras-chave

escritos em inglês, mas o seu corpo está escrito em outra língua. Nesse caso, mesmo que tenha sido

selecionado na seleção inicial (aquela que considera apenas título e resumo), ele deverá ser excluído

na final.

• O estudo é uma versão mais antiga de outro estudo já considerado: É importante não considerar

evidências repetidas de um mesmo estudo, publicado em diferentes veículos de divulgação, porque

ele pode criar distorções nas conclusões da RS (KITCHENHAM, 2004; STAPLES & NIAZI, 2007).

Algumas vezes, um mesmo estudo é publicado em mais de um veículo de publicação. Isso acontece,

por exemplo, quando um estudo é publicado em um evento e, posteriormente, uma versão estendida é

veiculada em um periódico. Nesses casos, só deve ser considerada a mais recente. Vale observar,

contudo, que um estudo só deve ser eliminado por esse critério se o mais recente considerado tratar de todo o conteúdo da versão mais antiga. Estudos com alguma interseção, mas sem que o conteúdo da versão mais antiga esteja completamente abordado na versão mais recente, não devem ser excluídos;

• O estudo não é um estudo primário: Uma RS visa coletar evidências de estudos primários. Assim,

estudos que não são resultado de pesquisa não devem ser considerados. Enquadram-se nesse caso editoriais, resumos de palestras, sumário de anais de eventos científicos (conferências, workshops, simpósios etc.), tutoriais e outros estudos secundários (outras RSs, mapeamentos sistemáticos da literatura ou mesmo estudos apresentando revisões informais da literatura).

• Não foi possível ter acesso ao estudo: A maior parte das bases bibliográficas tem acesso controlado.

Assim, é possível que o revisor não tenha acesso a alguns dos estudos selecionados. De maneira geral, informações de título, resumo e palavras-chave estão sempre disponíveis, mas o mesmo não ocorre com o texto completo. Por exemplo, pesquisadores brasileiros com acesso apenas ao Portal de

Periódicos da CAPES1 2 não têm acesso aos estudos publicados na Springer Link. Quando o revisor não tiver acesso ao texto completo, esse critério pode ser usado para excluir o estudo da seleção final. Vale ressaltar, contudo, que esse critério deve ser aplicado como último recurso. Antes de excluir o estudo, é aconselhável que o revisor use outros meios para tentar conseguir o acesso, tais como solicitar diretamente aos autores seu envio, buscar em redes sociais acadêmicas voltadas para

pesquisadores, tais como 3 4 Research Gate e Academia, ou procurar encontrar o artigo na web usando

mecanismos de busca gerais, como o Google. O trabalho de Cruz et al., (2015) é um exemplo de RS que eliminou estudos por falta de acesso aos textos completos.

É importante observar que definir critérios de exclusão relacionados com um período de tempo pode limitar o número de estudos incluídos, principalmente se o prazo estabelecido for estreito. No entanto, existem situações nas quais existe uma razão para essa escolha, por exemplo, apresentar um panorama

dos últimos 10 anos sobre um dado tópico de interesse, como a RS de Conry et al. (2012).

Os critérios de seleção devem ser avaliados por meio de um teste piloto. Nesse caso, os critérios de inclusão e exclusão são aplicados em um número reduzido de estudos candidatos, tipicamente considerando uma única base (por exemplo, IEEE Xplore). Um dos objetivos é refinar os critérios, assim

como treinar os revisores nos procedimentos de seleção e na aplicação dos critérios definidos (FABBRI

et al., 2013). Mesmo após o teste piloto, os critérios de seleção podem mudar ao longo da atividade de seleção, mas, se alterados, devem ser atualizados no protocolo e aplicados de forma retroativa nos estudos avaliados antes da modificação. Revisores podem, inclusive, adotar critérios de inclusão e exclusão gerais para a primeira etapa do processo de seleção e critérios mais específicos para a segunda

etapa. Por exemplo, Bano e Zowghi (2015) adotaram diferentes critérios para a seleção inicial e final de estudos.

Os critérios de seleção podem ser amplos ou mais específicos. Se, por exemplo, os critérios de inclusão forem muito gerais, muitos estudos (inclusive de menor qualidade) poderão ser incluídos e, consequentemente, a confiança no resultado final é diminuída. Por outro lado, se esses critérios forem muito rigorosos, os resultados podem ser baseados em um número pequeno de estudos, o que dificulta a generalização dos achados em situações em que o pesquisador enfrenta uma escassez de estudos

relevantes para responder às questões de pesquisa (LAM & KENNEDY, 2005). Por exemplo, há poucos estudos experimentais sobre o uso de mineração visual de texto (Visual Text Mining - VTM) para apoiar

a seleção de estudos no processo de RS (FELIZARDO et al., 2011). Assim, se o objetivo da RS é avaliar os efeitos do uso de VTM, os critérios de inclusão poderiam ser mais amplos para incluir outros tipos de pesquisa, como estudos de caso ou quasi-experimentos.

Para ilustrar a elaboração de critérios de seleção de estudos, considere o trabalho de Oliveira et al.

(2012). Nessa RS, o objetivo foi identificar estudos que relatam o desenvolvimento de sistemas robóticos orientados a serviços, ou seja, que foram projetados com base em SoA. Para selecionar estudos em concordância com esse objetivo, foram definidos os seguintes critérios de inclusão alternativos (ou seja, basta um deles ser satisfeito para que um estudo seja incluído):

1. O estudo propõe ou relata o projeto e/ou desenvolvimento de um sistema robótico orientado a

serviços; ou

2. O estudo propõe ou relata uma nova tecnologia para o desenvolvimento de sistemas robóticos

orientados a serviços; ou

3. O estudo propõe ou relata um processo, método, técnica, arquitetura de referência ou diretrizes de

ES para apoiar o projeto e/ou desenvolvimento de sistemas robóticos orientados a serviços.

Os critérios de exclusão de Oliveira et al. (2012) foram:

1. O estudo relata o desenvolvimento de um sistema robótico sem o uso de SoA.

2. O estudo apresenta contribuições em outras áreas que não a robótica.

3. O estudo é uma versão anterior de um estudo mais completo sobre a mesma pesquisa.

4. O estudo é a descrição de um curso, editorial, resumo de palestra, workshop ou tutorial.

Como é possível notar, os dois primeiros critérios de exclusão são relativos ao não atendimento de

nenhum dos critérios de inclusão.