Questão 4: Como sintetizar os dados extraídos?

A atividade de síntese é essencial em uma RS e tem como objetivo principal combinar os dados extraídos de cada um dos estudos primários considerados. Diferentes métodos podem ser empregados para

estabelecer uma estrutura lógica entre os estudos primários e as conclusões geradas pela RS (CRUZES &

DYBÅ, 2011). A escolha por um determinado método deve ser pautada pelas características da RS, tais como o tipo dos estudos primários (por exemplo, experimentos controlados, estudos de caso e entrevistas), o tipo de dados extraídos (por exemplo, textos, figuras e números) e também pela quantidade de estudos disponíveis (por exemplo, dezenas, centenas ou milhares). A seguir, apresentaremos alguns métodos que têm sido empregados para sintetizar evidências na área de ES.

Métodos quantitativos são empregados para sintetizar dados provenientes de experimentos

controlados, estudos de caso ou estudos observacionais que buscam detectar a existência de um efeito, por exemplo, se o uso de um método de projeto ou ferramenta irá aumentar a produtividade ou quais

fatores impactam na qualidade de um produto (PICKARD et al., 1998). Desse modo, além de confirmar a existência de um efeito, esse tipo de análise também permite estimar sua magnitude, que é referenciada como tamanho do efeito. Para isso, a meta-análise emprega métodos estatísticos que permitem combinar

dados numéricos reportados em vários estudos independentes (WOHLIN et al., 2012; PICKARD et al.,

1998) e, assim, verificar se os resultados empíricos são consistentes entre diferentes estudos (PICKARD

et al., 1998). Os passos de uma meta-análise são: (i) decidir quais estudos incluir na síntese; (ii) estimar o tamanho do efeito em cada estudo; e (iii) combinar as estimativas individuais para estimar e testar o efeito combinado. A adoção desse método de síntese assume a homogeneidade dos estudos incluídos na análise, ou seja, os estudos são do mesmo tipo, possuem o mesmo teste de hipótese, consideram as

mesmas medidas para os efeitos e, além disso, relatam os mesmos fatores explicativos (PICKARD et al.,

1998). Uma vez que essa etapa seja concluída com sucesso, pode-se combinar as estimativas individuais para determinar o tamanho médio de um efeito. Caso os critérios de homogeneidade sejam confirmados, pode-se utilizar o modelo de efeito fixo para o tamanho do efeito médio. Caso contrário, o modelo de efeitos randômicos pode ser empregado, uma vez que também estima a variabilidade causada por um

fator desconhecido (PICKARD et al., 1998). Por exemplo, em Galin e Acrahami (2006), estudos empíricos e quantitativos são sintetizados para comprovar se podem ser observadas melhorias no desenvolvimento e manutenção de software nas empresas que investiram em programas de qualidade. A combinação desses estudos permite confirmar o impacto positivo de programas de qualidade mesmo que nenhum dos estudos incluídos tenha sido conclusivo sobre essa questão.

Vale destacar que a abrangência de tópicos tratados em ES, tais como processos, sistemas, atividades,

tecnologias e linguagens, faz com que diferentes tipos de estudos e evidências precisem ser utilizados para responder às questões de pesquisa. Por exemplo, estudos nessa área podem ter como objetivo compreender o comportamento humano no processo de desenvolvimento de software, como motivação,

percepção e experiência (SEAMAN, 2008). Nesse cenário, vários estudos relatam dificuldades em empregar a meta-análise em RSs na área de ES, isso porque estes costumam ser qualitativos e heterogêneos, poucos reportam uma estimativa para o tamanho do efeito e demais informações sobre os

dados observados (por exemplo, média, variância e normalidade) são omitidas (BRERETON et al.,

2007; MILLER, 2000). Desse modo, métodos qualitativos podem ser utilizados para extrair tendências,

padrões e generalizações de evidências que foram obtidas em estudos de tipos diferentes (DYBÅ et al.,

2007; Seaman, 2008). O resultado da síntese qualitativa pode ser rico e explicativo por levar em

consideração o contexto em que as evidências foram observadas (SEAMAN, 2008). Esses métodos

podem ser diferenciados entre (NOBLIT & HARE, 1988): (i) métodos integrativos, que visam sumarizar e agrupar evidências; e (ii) métodos interpretativos, que buscam organizar os conceitos identificados nos estudos incluídos em uma teoria que seja abrangente a todos eles, ou seja, que possa explicar todos os estudos incluídos. Em ambos os casos, os métodos qualitativos buscam estabelecer uma conexão forte entre as evidências (do inglês, chain of evidence) e os resultados para viabilizar a replicação e confirmação da análise por revisores externos. Recentemente, tem-se discutido também a adoção de

métodos de síntese mista, que visam sintetizar evidências qualitativas e quantitativas (CRUZES &

DYBÅ, 2011; SEAMAN, 2008). A seguir, sumarizamos os métodos de síntese mista que têm sido empregados nas RSs em ES.

A síntese narrativa constrói uma história a partir das evidências encontradas nos estudos incluídos. Os

passos recomendados para conduzir essa síntese são (RODGERS et al., 2009): (i) desenvolvimento de uma teoria; (ii) desenvolvimento de uma síntese preliminar; (iii) exploração de relacionamentos dentro e entre estudos; e (iv) avaliação da robustez do produto da síntese. No primeiro passo, uma possível teoria para os objetivos, contexto e resultados dos estudos é criada. Em seguida, os estudos primários podem

ser tabulados, agrupados, codificados e/ou traduzidos10. A partir desse ponto, é possível explorar relacionamentos dentro e entre os estudos incluídos, tais como a conexão entre as características de um estudo e os seus resultados e a conexão entre os resultados de diferentes estudos. Para apoiar essa

atividade, pode-se adotar a triangulação11 conceitual, do pesquisador e/ou metodológica, construir uma descrição qualitativa que sumariza as contribuições de cada estudo ou representar graficamente as conexões entre características e resultados. Por fim, a validade das conclusões geradas pela síntese narrativa pode ser fortalecida considerando-se, por exemplo, apenas as evidências de melhor qualidade, reflexão crítica sobre o processo de síntese e/ou também pela confirmação dos resultados da síntese com

os autores dos estudos que foram considerados. Por exemplo, na RS apresentada por Afzal et al. (2009), a síntese narrativa é empregada para descrever cronologicamente as evidências obtidas em cada estudo e discutir as diferenças e possíveis explicações para os resultados.

A síntese comparativa qualitativa analisa um conjunto de relações causais utilizando lógica booleana

e, por meio de uma tabela verdade, explica os caminhos que levam até um resultado específico (RAGIN,

1987). Assim, utilizam-se as combinações de variáveis independentes e resultados reportados pelos

estudos incluídos para identificar as condições necessárias e suficientes de um resultado (DIXON-

WOODS et al., 2005). É possível minimizar essa tabela verdade para eliminar combinações de variáveis que sejam logicamente inconsistentes e, desse modo, restringir seu número. De qualquer forma, esse método de síntese possibilita a exploração de padrões complexos e variados sobre a causa de um determinado resultado. Embora o conceito de tabela verdade e álgebra booleana não seja explicitamente

aplicado, Davis et al. (2006) desenvolveram uma RS em que uma tabela foi construída para comparar estudos que forneciam evidências a favor ou contra um determinado resultado obtido pela agregação de dados dos estudos incluídos, além de relatar quaisquer dificuldades encontradas durante essa agregação.

Já Kitchenham e Charters (2007) apresentaram tabelas comparando a aplicação de modelos de estimação em dois contextos distintos. Em seguida, eles consideraram vantagens e limitações de cada abordagem e verificaram as evidências trazidas por cada estudo. Por fim, a partir do resultado, foi criada uma tabela das recomendações a favor ou contra cada um.

Embora seja bastante comum em estudos que foram publicados como RS (CRUZES & DYBÅ, 2011), a análise de escopo (do inglês, scoping analysis) é um método descritivo. Em vez de sintetizar os resultados dos estudos incluídos, essas RSs apresentam apenas um panorama das pesquisas existentes sobre um determinado tópico. Por essa razão, um estudo que relata apenas esse tipo de análise deve ser

referenciado como um MS (WOHLIN et al., 2012). De fato, a falta de síntese e de avaliação da qualidade

dos estudos incluídos é um dos aspectos que diferencia um MS de uma RS (CRUZES & DYBÅ, 2011).

Considerando-se os métodos de síntese discutidos nessa questão, a escolha por um ou outro deve ser

pautada pelas características da RS, tais como, o tipo de estudos incluídos, ou seja, experimentos, estudos de caso etc., o tipo de evidência e o tipo de questão de pesquisa. Em particular, a quantidade de estudos disponíveis (dezenas ou centenas) também pode determinar a viabilidade de se conduzir a síntese utilizando um método específico. De fato, cada método é particular em relação aos pontos fortes e fracos, capacidade para lidar com evidências quantitativas e qualitativas e tipos de questão para os quais são

mais adequados (DIXON-WOODS et al., 2005). É importante ressaltar que não há consenso para algumas limitações apresentadas por métodos qualitativos e mistos, como a transformação de dados

qualitativos em quantitativos (DIXON-WOODS et al., 2005). A Tabela 5.1 sumariza as características dos métodos de síntese apresentados anteriormente e exemplifica as questões de pesquisa que já foram respondidas com eles.

Tabela 5.1

Comparação entre métodos de síntese

 

Métodos de síntese

Meta-análise Narrativa Temática Comparativa qualitativa

Pontos Fortes Permite afirmar com uma margem de Pode construir Segue um processo de síntese Segue um processo de síntese

segurança a existência ou não de explicações ricas flexível e permite sintetizar transparente, sistemático e lógico; um efeito e seu tamanho médio que incluem diferentes tipos de estudos encoraja uma abordagem

(PICKARD et al., 1998) comentários e (DIXON-WOODS et al., evolucionária e integrativa do

abstrações de 2005) conhecimento ao permitir a síntese alto nível de estudos secundários e primários

(DIXON- (DIXON-WOODS et al., 2005)

WOODS et al.,

2005)

Pontos Falta de informação sobre os estudos e Segue um processo Se considerar apenas os temas Depende da transformação de

Fracos os dados dos experimentos podem de síntese reportados pelos estudos evidências qualitativas

dificultar a adoção do método; informal que incluídos, restringirá os de em quantitativas; considera homogeneidade e qualidade dos pode ser ordem mais elevada que a ausência de evidência como

estudos incluídos impactam a criticado pela podem aparecer (DIXON- evidência da ausência (DIXON-

confiabilidade da síntese falta de WOODS et al., 2005) WOODS et al., 2005)

(PICKARD et al., 1998) transparência

(DIXON-

WOODS et al.,

2005)

Tipo de Quantitativa Quantitativa Quantitativa e Qualitativa Quantitativa e Qualitativa

evidências e Qualitativa

Exemplo de O uso de uma nova ferramenta melhora Em quais áreas de Quais são os desafios de A RS tem como objetivo comparar os

questão a produtividade de teste não coordenação apresentados resultados de estudos empíricos

de desenvolvimento (sem nenhum funcional têm por dimensões de dispersão sobre a eficácia de diferentes

pesquisa efeito prejudicial na qualidade) em sido aplicadas nos resultados de projetos técnicas para elicitação de

comparação com o uso de uma meta-heurísticas globais de desenvolvimento requisitos? (DAVIS et al., 2006)

ferramenta existente? (PICKARD de busca? de software? (NGUYEN-

et al., 1998) (AFZAL et al., DUC et al., 2015)

2009)

Nosso objetivo aqui foi apresentar os principais métodos de síntese que têm sido empregados nas RSs

da área de ES. Outros tipos também podem ser empregados, tais como contagem de votos (do inglês,

vote-counting) (PICKARD et al., 1998), teoria fundamentada em dados (do inglês, grounded theory)

(GLASER & STRAUSS, 1999), meta-etnografia (do inglês, meta-ethnography) (NOBLIT & HARE,

1988), síntese cruzada (do inglês, cross-case) (MILES et al., 2013) e síntese realista (do inglês, realist

synthesis) (PAWSON et al., 2005). O leitor poderá consultar essas referências para recomendações específicas sobre cada método, além de discussões detalhadas sobre suas diferenças, vantagens e

limitações em (CRUZES et al, 2011; SEAMAN, 2008; DIXON-WOODS et al., 2005; BARNETT-PAGE,

2009), o que poderá fundamentar a decisão pela aplicação de um ou outro método em uma dada RS.

Por fim, vale salientar que na documentação de uma RS é importante deixar registrado o método de síntese empregado e as recomendações que foram seguidas, uma vez que permitirá a avaliação e

replicação do processo de síntese e, assim, aumentar a confiabilidade dos resultados obtidos (CRUZES

et al., 2011).