Questão 2: Quais são as etapas da seleção de estudos primários?

Questão 2: Quais são as etapas da seleção de estudos

primários?

A Figura 4.1 mostra as etapas da seleção, que é iniciada após a identificação dos estudos que potencialmente podem ser incluídos na revisão. Esses estudos são retornados tanto das buscas em bases bibliográficas, quanto de outras fontes, por exemplo, estudos buscados manualmente. É importante ressaltar que um mesmo estudo pode estar indexado em mais de uma base, de modo que existirão estudos duplicados. Assim, antes de iniciar efetivamente a seleção, a duplicidade de estudos deve ser eliminada. A seleção é geralmente realizada em duas etapas: seleção inicial e seleção final.

FIGURA 4.1 Etapas da seleção de estudos.

Durante a seleção inicial, os critérios de inclusão e exclusão são aplicados em todos os estudos identificados, por meio da avaliação de seu título e resumo. Muitos pesquisadores que realizam RSs relatam que têm encontrado dificuldades para identificar se um dado estudo é ou não relevante apenas

com a leitura do título e resumo (BRERETON et al., 2007). Realmente, resumos com ausência de informações, tais como o método de pesquisa adotado ou os resultados alcançados, podem dificultar a

seleção (BRERETON et al., 2007; ZHANG & BABAR, 2011, 2013; ZHANG et al., 2011;

KITCHENHAM et al., 2008). Assim, na dúvida sobre a inclusão ou não de um estudo durante a primeira etapa, deve-se optar pela inclusão. Já durante a seleção final, os critérios de inclusão e exclusão são aplicados nos estudos incluídos na primeira etapa, por meio da avaliação de seu texto completo.

Após cada uma das etapas de seleção, seja a inicial ou a final, deve-se realizar uma revisão da seleção. Essa atividade é indicada para aumentar a confiabilidade e transparência da seleção e visa evitar que estudos relevantes sejam excluídos. Imagine uma seleção sendo realizada por dois ou mais pesquisadores de forma independente. Nesse caso, um mesmo estudo pode ter sido incluído por um e excluído pelo outro. Durante a atividade de revisão da seleção, esses estudos serão reavaliados pelos próprios pesquisadores, ou até mesmo com a ajuda de um pesquisador externo. Um exemplo é a revisão

de Galster et al. (2014), na qual os estudos foram analisados por dois pesquisadores e as diferenças solucionadas de forma colaborativa. No caso de pesquisadores que conduzem a seleção de forma isolada, a revisão da seleção pode ser usada para que o pesquisador possa discutir suas decisões com outro(s) pesquisador(es). Alternativamente, o próprio pesquisador pode reavaliar uma amostra aleatória de estudos para determinar a consistência das decisões. Essa amostra aleatória deve ser formada por, pelo menos, 1/3 dos estudos. No entanto, é importante que os pesquisadores marquem explicitamente aqueles estudos que são objetos de dúvida, os quais devem ser obrigatoriamente revisados. Se a quantidade de estudos retornados não for muito grande e houver vários pesquisadores envolvidos na seleção, mais de 1/3 dos estudos, ou até mesmo todos, podem ser reavaliados. Um exemplo é a revisão

realizada por Hall et al. (2012), na qual a seleção foi avaliada usando um conjunto aleatório de estudos. Por fim, após a seleção final, é recomendado que a qualidade dos estudos selecionados seja avaliada. Essa avaliação baseia-se em critérios de qualidade, descritos na Questão 3.

Fabbri et al. (2013) destacam que durante a seleção, palavras-chave ou suas variações que não foram adotadas inicialmente nas buscas podem ser identificadas. Isso pode acontecer por diferentes razões, como o revisor ser novato na área de pesquisa ou a palavra-chave ou suas variações ser um novo termo dessa área. Se novas palavras-chave ou termos forem descobertos, eles devem ser considerados e desencadearão uma reexecução de atividades, a começar pela busca por estudos. Consequentemente, a seleção também deverá ser reexecutada para os novos estudos encontrados. Também é possível que novos campos para o formulário de extração de dados sejam identificados durante a leitura dos estudos. Nesse caso, o formulário, elaborado inicialmente durante a criação do protocolo, também deve ser atualizado.

Na RS conduzida por Oliveira et al. (2012), a seleção de estudos foi conduzida em duas etapas: a seleção inicial e a seleção final. Inicialmente, os critérios de inclusão e exclusão foram aplicados após a leitura do título e resumo de todos os estudos retornados na busca. Como resultado, estudos que atendiam aos critérios de inclusão e que possivelmente responderiam às questões de pesquisa foram considerados

relevantes e incluídos. Por exemplo, o estudo de Blake et al. (2011) foi incluído na primeira etapa devido ao seguinte critério de inclusão: O estudo propõe ou relata uma nova tecnologia para o desenvolvimento de sistemas robóticos orientados a serviços. De fato, esse estudo propõe um mecanismo para interligar serviços web tradicionais e componentes desenvolvidos para o ambiente Robot Operating System (ROS), possibilitando a criação de sistemas robóticos orientados a serviço integráveis à Internet. Já estudos que atendiam aos critérios de exclusão foram eliminados. Nesse

contexto, o estudo de Doran e Gokhale (2010) foi excluído com base no seguinte critério de exclusão: O estudo apresenta contribuições em outras áreas que não a robótica. A justificativa para essa exclusão foi de que o estudo estava relacionado com a temática Internet Bot, que é um programa de computador desenvolvido para coletar informações da Internet com o objetivo de prever acontecimentos futuros. Durante a segunda etapa, cada estudo incluído na etapa inicial foi lido na íntegra. Como exemplo, tem-se

o estudo de Tsai et al. (2008), que foi incluído com base em dois critérios de inclusão: O estudo propõe ou relata o projeto e/ou desenvolvimento de um sistema robótico orientado a serviços e O estudo propõe ou relata uma nova tecnologia para o desenvolvimento de sistemas robóticos orientados a serviços. Isso porque o estudo elaborou um framework baseado no ambiente Microsoft Robotics Studio para o desenvolvimento de sistemas robóticos orientados a serviços e também detalhava o desenvolvimento de um sistema robótico baseado em SoA como forma de ilustrar o framework

proposto. Por outro lado, o estudo de Zhang et al. (2006) foi excluído devido ao critério de exclusão: O estudo relata o desenvolvimento de um sistema robótico, sem uso de SoA . No caso específico desse estudo, o trabalho desenvolvido não estava relacionado com SoA, mas ao conceito de robótica de serviço. Na dúvida sobre a inclusão ou exclusão desse estudo, o mesmo foi analisado por dois pesquisadores de forma independente. A decisão final foi tomada por consenso.