Questão 5: Quais são as melhores fontes de estudos primários?

Questão 5: Quais são as melhores fontes de estudos

primários?

Durante a busca por estudos primários relevantes, deve-se adotar uma estratégia criteriosa, transparente e imparcial para a seleção das fontes de informação. Para isso, é necessário considerar fontes complementares, visando mitigar possíveis limitações que induzam vieses ou limitem a identificação de

estudos primários (KITCHENHAM & CHARTERS, 2007). Um exemplo conhecido de viés na seleção de estudos é o fato de que resultados positivos tendem a ser mais facilmente publicados do que os negativos, o que pode vir a interferir na elaboração das respostas para as questões de pesquisa. Dessa forma, durante a definição do conjunto de estudos primários que será utilizado para a identificação de evidências, deve-se considerar tanto estudos primários indexados quanto os que contenham resultados

não publicados (BRERETON et al., 2007).

Estudos primários indexados podem ser obtidos por meio da busca utilizando- se a string de busca nas diferentes bases bibliográficas. Essa atividade pode ser complementada por uma busca manual em outras fontes, tais como revistas e anais de eventos da área de pesquisa abordada pela RS. Além disso, é importante considerar como fonte adicional de evidência a lista de referências presente nos estudos

primários incluídos (KITCHENHAM & CHARTERS, 2007). Estudos primários não indexados podem, por outro lado, serem identificados em uma busca por relatórios técnicos, dissertações, teses, normas técnicas, registros de pesquisa ou revistas publicadas por empresas, tais como as organizadas pela

International Business Machines 1 (IBM). Nessa perspectiva, o contato com especialistas e pesquisadores do domínio pode facilitar a identificação de estudos primários que não foram publicados ou não estão indexados em bases bibliográficas. Uma discussão mais detalhada sobre busca manual e busca por estudos não indexados pode ser encontrada nas Questões 7 e 8 deste capítulo.

A escolha das bases bibliográficas a serem utilizadas na obtenção de estudos primários indexados deve considerar os conceitos de precisão e sensibilidade mencionados na Questão 4. Nenhuma base

bibliográfica é capaz de retornar sozinha todos os estudos primários pertinentes a uma RS (BRERETON

et al., 2007; DIESTE et al., 2009). Escolher um conjunto pouco abrangente de bases bibliográficas pode resultar na perda de estudos primários relevantes para responder às questões de pesquisa. Por outro lado, considerar todas as bases bibliográficas disponíveis para Ciência da Computação pode resultar em um conjunto muito grande de estudos fora do escopo da RS, o que leva a uma baixa precisão. Nesse contexto,

os trabalhos de Brereton et al. (2007), Kitchenham e Charters (2007) e Dybå et al. (2007) identificaram um conjunto de bases bibliográficas que podem ser úteis para a obtenção de estudos no domínio de ES.

Esse conjunto de bases é listado na Tabela 3.1.

Tabela 3.1

Principais bases bibliográficas em Ciência da Computação

 

Fonte de informação Endereço online Tipo

IEEE Xplore ieeexplore.ieee.orgm Base bibliográfica

ACM Digital library dl.acm.org Híbrida

Citeseer library citeseerx.ist.psu.edu Motor de busca

Google scholar scholar.google.com Motor de busca

Inspec www.theiet.org/resources/inspec Motor de busca

Engineering Village www.engineeringvillage.com Motor de busca

SpringerLink link .springer.com Base bibliográfica

Scopus www.scopus.com Motor de busca

ScienceDirect www.sciencedirect.com Base bibliográfica

Wiley online library onlinelibrary.wiley.com Híbrida

ISI Web of Science www.webofk nowledge.com Motor de busca

Bases bibliográficas, como a SpringerLink, retornam apenas estudos publicados pela própria editora.

Por outro lado, motores de busca são capazes de retornar estudos indexados por diversas bases bibliográficas. Motores de busca como a Scopus e o Google Scholar, por exemplo, indexam estudos publicados em algumas revistas e congressos da ACM Digital library e IEEE Xplore. Além disso, existem fontes de informação que indexam estudos primários publicados pela própria editora, mas

também retornam estudos presentes em outras bases bibliográficas (CHEN et al., 2010). Esse tipo de fonte de informação pode ser denominada como híbrida, que é o caso da ACM Digital library.

É importante notar que, diferentemente de áreas como a Medicina, as bases bibliográficas disponíveis

para a Ciência da Computação não são projetadas para apoiar a condução de RSs (BRERETON et al.,

2007). Estudos como os de Brereton et al. (2007), Dybå et al. (2007) e Dieste et al. (2009) destacaram

diversas limitações acerca das bases bibliográficas apresentadas na Tabela 3.1. Entre essas limitações, encontram-se:

• Recursos bibliográficos limitados: Algumas bases bibliográficas, tais como a IEEE Xplore,

SpringerLink e ScienceDirect, não cobrem publicações de forma abrangente, limitando-se apenas a

estudos publicados pela própria editora.

• Problemas com o algoritmo de busca: Parte das bases bibliográficas, como a SpringerLink, não

permite limitar a busca considerando somente, por exemplo, título, resumo e palavras-chave

(BRERETON et al., 2007; DYBÅ et al., 2007; DIESTE et al., 2009). Essa limitação reduz a precisão

da busca e faz com que uma grande quantidade de estudos irrelevantes seja retornada, dificultando a

realização da RS.

• Falha no reconhecimento de plurais: Em alguns casos, como no da IEEE Xplore, o plural de cada

termo deve ser informado (DIESTE et al., 2009). Por isso, antes da utilização de uma base

bibliográfica, deve-se verificar a necessidade de especificar ou não termos no plural.

• Resumos ou textos de estudos primários incompletos: Algumas das bases bibliográficas, como a IEEE

Xplore, ACM Digital library e Scopus, indexam estudos nos quais apenas o resumo está disponível.

Essa limitação dificulta a avaliação e a utilização dos estudos durante a condução da RS (DIESTE

et al., 2009).

• Uso de strings muito grandes: Em alguns casos, como na IEEE Xplore, bases bibliográficas impõem

limitações quanto ao número de caracteres ou de termos. Essa limitação faz com que a string de

busca precise ser dividida em partes menores, demandando múltiplas consultas e a retirada dos

estudos repetidos obtidos por cada consulta.

Vale a pena destacar que essas limitações foram observadas no momento da escrita deste livro,

podendo ser minimizadas futuramente. É importante considerar os pontos fortes e fracos de cada uma das bases bibliográficas sempre que se deseja estabelecer uma estratégia de busca abrangente, bem como ser capaz de identificar e mitigar possíveis limitações das bases consideradas na RS. Outra questão relevante é a sobreposição de conteúdo entre as bases bibliográficas, o que leva à obtenção de estudos

primários repetidos, conforme destacado por Oliveira et al. (2012) e Dybå et al. (2007). Na RS de

Oliveira et al. (2012), por exemplo, foi identificado que a base bibliográfica Scopus já indexava todos os estudos retornados pela base bibliográfica Engineering Village (IE Compendex), sendo a segunda pouco

útil na obtenção de novos estudos. Para auxiliar na seleção das bases bibliográficas, Dieste et al. (2009) propõem um conjunto de critérios:

• Abrangência: O conteúdo indexado pela base bibliográfica deve englobar um bom número de estudos

relacionados com a área de pesquisa.

• Atualização de conteúdo: A base bibliográfica deve indexar novos estudos regularmente.

• Disponibilidade de textos completos: Os textos completos dos estudos devem estar disponíveis na

íntegra.

• Qualidade da busca: O mecanismo de busca da base deve permitir uma fácil adaptação da string de

busca para os campos e comandos disponíveis para realizar a consulta na base bibliográfica.

• Qualidade dos resultados: As consultas na base bibliográfica devem retornar estudos de qualidade,

que podem possuir evidências confiáveis.

• Versatilidade na exportação de resultados: A base bibliográfica deve possibilitar a exportação dos

resultados obtidos na consulta, facilitando a execução de RSs, uma vez que estas tendem a ter um grande número de estudos primários durante a atividade de seleção.

• Usabilidade: A interface gráfica de acesso à base deve ser fácil de entender e operar, além de permitir

a integração com aplicativos que facilitem o gerenciamento da bibliografia, tais como o 2 EndNote,

Mendeley3 4 e StArt. Outras ferramentas são citadas na Questão 4 do Capítulo 1.

Considerando os critérios apresentados, é possível obter um bom conjunto de estudos primários indexados e, ao mesmo tempo, realizar uma busca eficiente. Uma boa estratégia é combinar motores de busca abrangentes, como a Scopus, com outras bases mais específicas, como a IEEE Xplore e a ACM Digital library. A escolha das bases bibliográficas mais específicas deve levar em consideração eventos científicos e periódicos da área investigada que não são indexados pelos motores de busca. RSs

conduzidas por Oliveira et al. (2012) e Dieste et al. (2009) reportam que a Scopus foi responsável pela indexação de aproximadamente 90% dos estudos. A utilização da Scopus também é indicada pelas

diretrizes propostas por Kitchenham e Charters (2007) para a condução de RSs. Contudo, vale lembrar que o impacto de cada base bibliográfica na obtenção de estudos primários pode variar de uma RS para

outra. Por exemplo, a RS conduzida por Santos et al. (2015) relata um menor impacto da Scopus, se comparado aos estudos supracitados.

Independentemente das bases bibliográficas utilizadas, vale lembrar que a escolha das fontes de informação deve ser definida de acordo com critérios imparciais documentados no protocolo, de forma a permitir a auditoria e reprodutibilidade da RS.