Questão 10: Como extrair e categorizar dados em um MS?

De acordo com Petersen et al. (2008), as atividades em que MSs mais diferem de RSs são a classificação dos estudos e a extração e agregação de dados. A extração de dados realizada em um MS é mais abrangente e tem o objetivo de focar na categorização dos resultados. Em uma RS, é mais detalhada.

Para obter um MS de qualidade, é imprescindível ter um esquema de classificação de estudos confiável e bem definido. Além disso, para aumentar a confiabilidade da classificação realizada em um MS, é muito importante que a extração de dados seja revisada por outro(s) pesquisador(es) e que

divergências sejam debatidas, visando atingir um consenso (BRERETON et al., 2007; PETERSEN et al.,

2015).

Para derivar esquemas de classificação, três abordagens principais podem ser adotadas: (i) adotar esquemas existentes; (ii) definir um esquema previamente com base na literatura; ou (iii) deixar os esquemas emergirem dos próprios estudos selecionados, como é o caso das classificações dependentes do tópico do MS. A primeira opção é útil para definir esquemas para questões de pesquisa gerais, que podem ser aplicadas a diferentes MSs. As duas outras abordagens são mais indicadas para derivar esquemas de classificação para questões de pesquisa relacionadas com o tópico específico do MS. Na segunda abordagem, é muito comum o uso de normas e padrões, tais como normas ISO/IEC, IEEE ou corpos de conhecimento, como o SWEBOK para a ES ou o PMBOK para a Gerência de Projetos. Qualquer que seja a abordagem adotada, é sempre aconselhável consultar especialistas na área. Eles

podem até mesmo indicar esquemas de classificação existentes (PETERSEN et al., 2015).

Além disso, Petersen et al. (2015) diferenciam entre dois tipos de esquemas de classificação:

• Classificação independente do tópico do MS: referem-se aos esquemas de classificação definidos

para questões de pesquisa gerais, presentes em muitos MSs, e que, portanto, não estão diretamente relacionados com o tópico de um MS específico; e

• Classificação dependente do tópico do MS: referem-se aos esquemas de classificação definidos para

questões de pesquisa específicas, diretamente relacionadas com o tópico de um particular MS.

No caso dos esquemas de classificação independentes do tópico do MS, é recomendada a utilização dos mesmos esquemas de classificação de (ou similares a) outros MSs. Somente assim será possível

comparar MSs feitos por grupos diferentes (PETERSEN et al., 2015). Considerando os aspectos presentes em muitos MSs (ver Questão 4 deste capítulo), é possível adotar esquemas de classificação

gerais para tipos de pesquisa, veículos de publicação e métodos de pesquisa (PETERSEN et al., 2015).

No que se refere aos tipos de pesquisa, a classificação conhecida é a proposta por Wieringa et al.

(2005), que considera os seguintes tipos de pesquisa:

• Pesquisa de validação: refere-se a estudos validando novas soluções, ainda não implantadas na

indústria.

• Pesquisa de avaliação: refere-se a estudos que avaliam soluções na indústria.

• Proposta de solução: diz respeito a estudos que discutem novas soluções (ou revisões de soluções).

• Artigo filosófico: trata de estudos que estruturam um campo de conhecimento de uma nova maneira

(por exemplo, uma nova taxonomia).

• Relato de experiência: refere-se a estudos que discutem como algo foi feito na prática.

• Artigo de opinião: envolve estudos que apresentam a opinião de um pesquisador ou grupo de

pesquisadores sobre um tópico de pesquisa específico.

Um mesmo estudo pode ser classificado em mais de uma dessas categorias. Por exemplo, se um estudo apresenta uma nova solução para um problema e discute também uma avaliação em laboratório, deve ser classificado como proposta de solução e pesquisa de validação.

Vale destacar que o esquema de classificação por tipos de pesquisa proposto por Wieringa et al.

(2005) não foi desenvolvido para estudos secundários em geral, mas sim para uso na área de Engenharia de Requisitos. Isso tem feito com que pesquisadores acabem não aplicando largamente esse esquema. É, então, interessante revisitar esse esquema para ajustá-lo a outros contextos (WOLIN et al., 2013).

Recomenda-se também aplicar a tabela de decisão proposta por Petersen et al. (2015), mostrada na

Tabela 6.2, que procura auxiliar no uso mais adequado desse esquema. Para o uso dessa tabela, deve-se analisar um estudo primário e identificar em qual das regras (ou seja, colunas R1 a R6) este se encaixa, levando em consideração as seis condições (apresentadas na primeira coluna). Por exemplo, se um estudo apresentar uma solução sendo utilizada na prática juntamente com uma avaliação empírica, mas não apresentar opinião sobre algo e independentemente se ele apresenta ou não uma nova solução, estrutura conceitual ou experiência do autor, se encaixará na regra R1. Tendo a informação da regra em que se encaixa o estudo, é possível decidir a classificação considerando uma das seis decisões (listadas na primeira coluna da tabela). Dessa forma, para um estudo que se encaixa na regra R1, pode-se decidir que seja do tipo pesquisa de avaliação.

Tabela 6.2

Esquema de classificação de pesquisa

R1 R2 R3 R4 R5 R6

Condições

Usado na prática V • V F F F

Nova solução • V F • F F

Avaliação empírica V F F V F F

Estrutura conceitual • • • • V V

Opinião sobre algo F F F F F V

Experiência do autor • • • • F F

Decisões

Pesquisa de avaliação √ • • • • •

Proposta de solução • √ • • •

Pesquisa de validação • • • √ • •

Artigos filosóficos • • • • √ •

Artigos de opinião • • • • • √

Relato de experiência • • √ • • •

Fonte: adaptado de (PETERSEN et al., 2015)

Legenda: V = Verdadeiro; F = Falso; • = irrelevante ou não aplicado; R1-R6 = referentes às regras aplicadas

No que se refere aos tipos de veículos de publicação, uma classificação bastante adotada considera

três categorias básicas: periódicos, conferências (incluindo simpósios) e workshops (eventos menores, normalmente localizados no mesmo espaço ou realizados como eventos satélites de conferências).

Por fim, no tocante à classificação por métodos de pesquisa, Petersen et al. (2015) propõem um

esquema baseado em alguns trabalhos, dentre eles Wohlin et al. (2012) e Easterbrook (2007). Esse inclui os seguintes métodos de pesquisa frequentemente aplicados na ES: survey, estudo de caso, experimento controlado, pesquisa ação, etnografia, simulação, prototipagem e análise e prova matemática.

Petersen et al. (2015) ainda argumentam que a classificação por métodos de pesquisa tem de estar consistente com a classificação por tipo de pesquisa, em especial no que se refere à distinção entre pesquisa de avaliação e de validação. Pesquisa ação e etnografia só se aplicam a situações envolvendo profissionais e, portanto, o tipo de pesquisa relacionado deve ser obrigatoriamente a de avaliação. Por outro lado, prototipagem, simulação e análise e prova matemática são métodos de pesquisa usados essencialmente em pesquisa de validação. Note que certos métodos de pesquisa podem estar relacionados com ambas as categorias de tipos de pesquisa. Esse é o caso de experimentos, surveys e estudos de caso que, se realizados com estudantes, são classificados como pesquisa de validação;

enquanto se realizados com profissionais, são como pesquisa de avaliação. A Figura 6.1 ilustra essa relação.

FIGURA 6.1 Relação entre tipos de pesquisa e métodos de pesquisa. Fonte: Adaptado de Petersen

et al. (2015)

No MS apresentado em Souza et al. (2015), para algumas questões de pesquisa (a saber: QP2, QP3,

QP5, QP6, QP8 e QP9, listadas na Questão 5 deste capítulo), os esquemas de classificação emergiram dos próprios estudos selecionados; para outras duas (a saber: QP1 e QP4), foram adotados esquemas de classificação existentes (respectivamente, os esquemas por veículos de publicação e tipos de pesquisa). Finalmente para uma delas (QP7), o esquema de classificação foi definido com base na literatura (foi usada a classificação proposta por Nonaka e Takeuchi para tipos de itens de conhecimento, que considera dois tipos de itens de conhecimento: tácito e explícito), sendo que esse esquema foi posteriormente refinado com base nos próprios estudos selecionados.