Questão 9: O que é bola de neve ()?

Questão 9: O que é bola de neve (snowballing)?

Snowballing, assim como a busca automática e a manual, é empregada para identificar estudos primários e, para isso, utiliza-se a lista de citações e referências dos estudos primários já selecionados. No

trabalho de Wohlin (2014), são apresentadas diretrizes para a execução de buscas utilizando a snowballing. O autor discute e formaliza a estratégia e sua execução adequada dividindo-a em duas etapas, snowballing reverso e snowballing avante, sendo ambas complementares.

Snowballing reverso consiste em avaliar a lista de referências de um estudo primário relevante,

procurando por outros estudos primários relevantes.

Snowballing avante consiste em avaliar a lista de citações para um estudo primário já considerado

relevante. É necessário utilizar um recurso computacional para identificar a lista de citações – os motores de busca e bases bibliográficas fornecem esse recurso. Um grande desafio é como avaliar o quão completa está a lista encontrada. O número de trabalhos indexados nas bases bibliográficas é limitado e

isso pode comprometer a completude da lista. Kitchenham e Brereton (2013) utilizaram snowballing avante nos estudos primários mais relevantes de suas RSs e afirmam que esse é um meio efetivo para identificar novos estudos primários.

Segundo Petersen et al. (2015), o pesquisador pode obter melhores resultados ao combinar buscas

utilizando a string de busca com estratégias secundárias de busca, como snowballing. As buscas automáticas são estratégias eficazes para a obtenção de estudos primários em uma RS, mas existem limitações para seus resultados. Estas estão relacionadas com as strings e incluem sensibilidade aos sinônimos de termos e aos idiomas. Snowballing é uma estratégia que pode ser utilizada para reduzir esses problemas, uma vez que é independente de palavras-chave.

O pesquisador pode adotar duas abordagens para aplicar snowballing: utilizá-la como estratégia

primária de pesquisa, partindo de um conjunto inicial prévio, como proposto por Wohlin (2014); ou como estratégia secundária, para melhoria de resultados de busca já executada com a string de busca. Para executar snowballing como uma estratégia primária de pesquisa, o pesquisador deverá definir um

conjunto inicial de estudos primários (BADAMPUDI, 2015). Esse deverá conter uma seleção inicial de estudos primários relevantes, nos quais se aplicam snowballing reverso e avante. Novos estudos primários serão encontrados e para cada um, o pesquisador deverá repetir o processo até não encontrar mais nenhum relevante. Em uma estratégia primária de pesquisa, a escolha do conjunto inicial é de extrema importância para atingir resultados adequados (WOHLIN, 2014). O conjunto inicial deve ser heterogêneo, caso contrário, uma grande quantidade de estudos primários relevantes poderá ser ignorada. Um conjunto heterogêneo, nesse caso, deve ser entendido como um conjunto de publicações pertencentes a diferentes grupos de pesquisa.

Para executar snowballing como estratégia secundária, inicialmente o pesquisador deverá aplicar a

busca automática utilizando a string de busca. Para cada estudo primário, deve, então, aplicar snowballing para localizar novos estudos primários. O processo repete-se até que não sejam mais encontrados estudos relevantes. Como um exemplo, snowballing pode ser utilizada para validar os resultados obtidos nas buscas com a string. Quando o pesquisador aplica snowballing em algum estudo primário previamente obtido pela busca com string e novos estudos relevantes são encontrados, a seguinte questão deve ser respondida: Por qual motivo os novos estudos encontrados não estão contidos nos resultados obtidos com a busca inicial? Se um estudo primário relevante for localizado após a aplicação de snowballing e estiver indexado nas bases bibliográficas previamente consultadas, isso significa que existem palavras-chave não contidas na string utilizada para busca. Se o estudo estiver indexado em uma dada base na qual a busca com string não foi executada, isso é indicativo de que essa base potencialmente relevante pode ter sido esquecida. Em ambos os casos, o pesquisador deverá tomar as providências e executar novamente as buscas para garantir melhores resultados. Se os novos estudos primários encontrados pela snowballing não estiverem indexados em repositórios, o pesquisador poderá incluí-los em sua pesquisa. Para esses casos, não é necessário atualizar a string de busca ou refazer as buscas.

Caso executada de forma inadequada, snowballing pode induzir a viés. Sendo assim, é necessário aplicá-la com cautela. Snowballing pode recuperar estudos que não estão indexados nas principais fontes e cabe ao pesquisador avaliar os estudos primários encontrados de forma criteriosa, principalmente com

relação à qualidade das evidências. Segundo Wohlin (2014), a qualidade dos estudos localizados com snowballing deve ser rigorosamente avaliada antes que os mesmos sejam inclusos na RS. Um exemplo é a grande quantidade de literatura cinzenta que pode ser encontrada, cabendo ao pesquisador definir se esses estudos podem ou não compor a RS. Detalhes sobre o impacto do uso de literatura cinzenta na pesquisa são discutidos na Questão 8.