2. Uso de modelos teóricos na avaliação em saúde: aspectos conceituais e operacionais

2 – Uso de modelos teóricos na

 

avaliação em saúde: aspectos

 

conceituais e operacionais

 

Maria Guadalupe Medina, Gerluce Alves Pontes Silva, Rosana

Aquino, Zulmira Maria de Araújo Hartz

 

Introdução

 

O questionamento sobre o papel desempenhado pela teoria no

campo da avaliação de programas de saúde põe, a nosso ver, a

necessidade de uma reflexão mais abrangente sobre o próprio papel

que ela desempenha na produção do conhecimento científico,

estabelecendo um diálogo entre a Epistemologia e o campo da

avaliação de serviços de saúde. Caberia indagar como este campo

se apropria dos termos teoria, modelo, modelo teórico e modelo

lógico e discutir qual o lugar do saber científico, do senso comum e

do saber prático na construção dos modelos utilizados.

A ciência é um modo particular de se produzir crenças que se

diferencia dos demais por colocar como suposto a noção do real,

isto é, “algo permanente e externo sobre o qual nosso pensamento

não pode incidir, que pode afetar os homens por igual, de modo que

a conclusão que se obtém referente a ele é a mesma para todos.

Há, portanto, coisas reais, cujos caracteres são inteiramente

independentes das nossas opiniões sobre elas” e que, além disso,

afetam os nossos sentidos de acordo com leis regulares; isto

significa que além da precedência de uma realidade objetiva, há que

afirmá-la como racional, e sendo racional, passível de teste

realizado com respeito a determinadas regras, válidas para todos os

indivíduos (SAMAJA, 1996) 1. Durkheim (1984) afirma que devemos

tomar os fatos sociais como coisas, separando os fenômenos em si mesmos das representações sociais que os sujeitos fazem a seu

respeito.

O conhecimento científico, produto da investigação científica,

resulta de um permanente ir e vir entre teoria e empiria, de uma

constante tensão entre o normativo – o universal, o endógeno, os

sistemas formais – e o constatativo – o observável. De uma

permanente mediação da experiência pela teoria e da teoria pela

experiência (SAMAJA, 1996). Até mesmo as opções técnicas mais

empíricas são inseparáveis das opções teóricas de construção do

objeto e, somente em função de um corpo de hipóteses derivado de

um conjunto de pressuposições teóricas, um dado empírico pode

funcionar como prova ou evidência (BOURDIEU, 1989).

Duas questões merecem ser assinaladas neste momento.

Primeiro, que essa mediação se faz como necessária porque o real,

o ”mundo dos fatos” não é passível de apropriação em sua

totalidade, tal como se manifesta. Como corolário, o objeto da

investigação científica é e não é o real, ou seja, é o real, mas não tal

e qual ele se apresenta; é o real recortado, reduzido ou

transformado por algo que informa sobre o real, por um arcabouço

conceitual, por um sistema de idéias, por um construto sobre esse

mesmo real. “Temos um mundo de certezas do qual sempre

partimos, inclusive para dar sentido ao nosso assombro filosófico e

nossos interrogantes científicos” (SAMAJA, 1996).

A produção do conhecimento científico opera a partir de rupturas

com o senso comum num processo de investigação que requer o

exercício do rompimento das adesões mais profundas e mais

inconscientes do sujeito, onde o pesquisador busca substituir as

suas impressões particulares sobre um determinado objeto por um

corpo de conhecimentos tão independente quanto possível de sua

relação primitivamente estabelecida com o mundo social. Isto não

significa a negação pelo pesquisador de sua própria experiência

prática, da qual, inclusive, ele extrai um conjunto de saberes, mas

sim, de tomar esta experiência como uma informação, no sentido de

que ela deve ser compreendida, completada, retificada e

reinterpretada. O pesquisador deve apreender seu ponto de vista

enquanto um ponto de vista, ao mesmo tempo desconfiando e tomando em consideração sua experiência (BACHELARD, 1996;

BOURDIEU, 1989; PINTO, 1996).

A objetividade dos objetos científicos é indissociável do ato de

objetivação: objetivar o objeto e o observador objetivando seu

objeto, exercitando a vigilância epistemológica do processo de

investigação científica em diversos níveis (BACHELARD, 1996).

O objeto da ciência é, portanto um objeto construído que mescla

componentes empíricos e componentes teóricos que é, por suposto,

inteligível, passível de investigação, o que pressupõe a possibilidade

de descrição de seus componentes e a possibilidade de sua re-

elaboração segundo alguma racionalidade (SAMAJA, 1996).

Podemos dizer que o objeto da investigação científica é um

construto da realidade passível de modelagem. Modelizar significa

representar o objeto, seus movimentos e suas relações tendo por

referência uma construção teórica: a teoria do objeto-modelo.

Segundo Bunge (1974), o passo inicial para a conquista

conceitual da realidade é, paradoxalmente, a idealização. “É o

nascimento do objeto-modelo ou modelo conceitual de uma coisa ou

de um fato”. O objeto-modelo representa os traços-chave ou

essenciais de um objeto completo. Não se trata aqui, ainda, de

representar um sistema de idéias (teoria) particular. O conceito de

modelo aqui tomado, nesta etapa, é a de representação

esquemática de um objeto completo e não de modelo enquanto

sistema hipotético-dedutivo particular, ou seja, de uma teoria relativa

àquela idealização.

Como representação esquemática de uma idealização, o objeto-

modelo deve ser, ao menos em parte, convencional, e

necessariamente reproduzirá as características comuns a classes

de fatos ou de coisas, perdendo-se, com isso, a individualidade de

um fato ou de uma coisa, mas, permitindo, por outro lado, a

representatividade de toda uma classe de coisas ou de fatos

(BUNGE, 1974).

Despido de uma teoria que o suporte, o objeto-modelo, por si só,

não auxilia muito o processo de investigação científica. Assim, ao

primeiro movimento – da intuição – há que se agregar uma segunda

condição ou qualidade: a razão. Há que dotar o objeto de certas

propriedades passíveis de serem tratadas pela teoria. Há que enxertá-lo de uma teoria suscetível de ser confrontada com os fatos.

De acordo com Bunge (1974), este é o segundo passo a ser dado

no processo de conquista conceitual da realidade: a construção da

teoria do objeto-modelo ou, em outros termos, a elaboração do

modelo teórico.

Modelo teórico é, pois, um “sistema hipotético-dedutivo que

concerne a um objeto-modelo, que é, por sua vez, uma

representação conceitual esquemática de uma coisa ou situação

real ou suposta como tal” (BUNGE, 1974).

Os objetos-modelo, portanto, fazem parte das teorias científicas e

os modelos teóricos encerram objetos-modelo. Vale ressaltar que,

ainda que seja possível, ou mesmo desejável que se represente os

modelos teóricos através de diagramas, ou de símbolos, é imperiosa

a descrição das idéias, dos enunciados que compõem a teoria

específica, pois “os componentes das teorias são idéias e não

imagens” (BUNGE, 1974).

Assim, o modelo teórico é uma teoria específica de um objeto

suposto real, constituída por uma teoria geral enriquecida de um

objeto-modelo. Para esse autor, esse movimento de enriquecimento

da teoria geral com um objeto-modelo significa o estreitamento do

domínio de ação da teoria geral e a possibilidade de torná-la

verificável. Neste sentido, nenhuma teoria geral é verificável, exceto

através da mediação de teorias específicas que a têm de suporte e

que estreitam o seu domínio. Isto não significa, contudo, que a não

comprovação de fatos relacionados a uma teoria específica invalide

a teoria geral, uma vez que isto pode implicar tão-somente a

necessidade de complexificação da teoria específica ou a

modificação do objeto-modelo (BUNGE, 1974).

Na mesma linha, Almeida Filho (2000) refere que na produção do

conhecimento científico, os objetos de conhecimento seriam

operados como objetos-modelos, isto é, figuras capazes de

instrumentalizar o pensamento sobre as coisas, sobre os processos,

fenômenos ou eventos e que a conquista conceitual da realidade

teria início pela integração do objeto-modelo em uma teoria, um

conjunto de proposições relativas às propriedades de tal objeto que

não seriam sensorialmente abordáveis, particularmente seus

determinantes.

No campo da avaliação, a idéia que operacionaliza o objeto-

modelo é a expressão “modelo lógico” (logic model ou logical

framework), consensualmente aceita pela maioria dos avaliadores

(RUSH; OGBORNE, 1991; MCLAUGHLIN; JORDAN, 1999;

ROWAN, 2000; COOKSY e outros, 2001; MILLAR, 2001; UNRAU,

2001; RENGER; TITCOMB, 2002) . Objeto deste capítulo, a reflexão

sobre o desenho dos modelos teóricos e/ou lógicos se dará

abordando o papel que a teoria desempenha no processo da

avaliação em saúde, as diretrizes para construção de modelos em

avaliação e a discussão acerca da matriz de medidas.

 

Desenhando o modelo teórico/lógico

 

A teoria no campo da avaliação

 

No campo da avaliação, o debate em torno do papel da teoria e a

utilização de modelos teóricos tem assumido contornos muito

particulares. As origens da avaliação centrada na teoria (theory-

driven evaluation) remontam aos anos 70 com a proposta do PCM

(Project Cycle Management) pelo Banco Mundial, posteriormente

incorporada como logical framework pelos avaliadores da USAID,

nos programa de ajuda ao desenvolvimento, e institucionalizada

pelo setor público canadense nos anos 80 (HARTZ, 1999a; HARTZ,

1999b; CRACKNELL, 2000). A partir da década de 80, passa a

haver um movimento de mudança de uma avaliação

metodologicamente orientada para uma avaliação orientada pela

teoria. A não utilização da teoria na avaliação de programas resultou

em uma avaliação do tipo insumos/ produtos (black box

evaluations), não sensível aos contextos políticos e organizacionais,

e que relegava temas como as relações entre a intervenção ofertada

e a intervenção planejada, entre os objetivos oficias e os objetivos

operativos, ou entre efeitos esperados e não esperados (CHEN,

1990).

Para Contandriopoulos e outros (2000), uma teoria se expressaria

pelos enunciados das relações que existem entre conceitos, que podem ser amplamente gerais e formalizados, ou ter um alcance

menor, os denominados modelos teóricos, que seriam uma solução

teórica para a questão de uma dada pesquisa.

Chen (1990) define teoria como um conjunto inter-relacionado de

pressupostos, princípios, e/ou proposições para explicar ou guiar as

ações sociais. O autor considera que para muitos cientistas sociais

a teoria estaria relacionada só com o propósito de descrever e

explicar um dado fenômeno, um tipo de “teoria descritiva”, enquanto

que o tipo de teoria que seria avaliativa em forma seria do tipo

“teoria prescritiva”, pois explicita o que deve ser feito ou como tornar

algo melhor2. Ao discutir a natureza da teoria dos programas

(intervenções) indica que ela tem preocupações tanto descritivas

como prescritivas, ou científicas e práticas.

Tal fato implicaria, segundo Chen (1990), que a teoria de um

programa teria duas partes, a primeira, a teoria prescritiva, com

referência a estrutura que o programa deveria ter (tratamento,

produtos e processo de implementação), e a segunda, a teoria

descritiva, com referência aos mecanismos causais que relacionam

o tratamento utilizado no programa, o processo de implementação e

os produtos.

Para aquele autor, a construção da teoria do programa é um

atividade carregada de valor, (idéias ou sentidos do que “deve ser”)

que precisa incorporar tanto os saberes científicos como os saberes

práticos dos grupos implicados na avaliação (stakeholders).

Alguns autores trabalham com os conceitos de macroteoria e

microteoria do Programa. A microteoria, baseada em normas,

descreveria os aspectos estruturais e operacionais do Programa,

produzindo informações sobre as sua partes; a macroteoria

detalharia os aspectos organizacionais e sócio-políticos que

favoreceriam ou inibiriam os efeitos do programa. A microteoria

estabelece, então, uma relação entre os recursos disponíveis,

atividades e resultados enquanto que a macroteoria se preocupa

com os aspectos relacionados ao contexto de implantação do

Programa (HARTZ, 1997).

Os pressupostos implícitos são ainda referidos como as teorias

das políticas, apesar de que mais freqüentemente os termos

empregados são teoria do programa ou lógica do programa, sendo apontadas diferenças importantes entre estes dois termos (LEEUW,

2003). A lógica do programa especificaria os insumos (inputs),

componentes do programa, os resultados a curto e longo prazo, e

os vínculos entre eles, raramente assinalando os mecanismos

responsáveis por essa vinculação. Por outro lado, uma teoria do

programa seria uma teoria explícita ou modelo de como o programa

causa os efeitos pensados ou observados.

O modelo lógico é entendido enquanto um esquema visual que

apresenta como um programa deve ser implementado e que

resultados são esperados (ROWAN, 2000). O processo para a

construção da representação visual permite que a racionalidade

implícita dos programas, percebidas pelos gerentes e demais

grupos implicados, seja explicitada através da busca da opinião de

especialistas e inclusão de informações de pesquisas (RENGER;

TITCOMB, 2002), levando-se a uma maior possibilidade de

construção de acordos em relação aos componentes do programa e

aos resultados da avaliação.

Apresentar e discutir o modelo lógico de um programa é o que

permite definir exatamente o que deve ser medido e qual a parcela

de contribuição do programa nos resultados observados. Explicitar o

modelo lógico implica em descortinar quais os limites ou debilidades

de seus pressupostos, possibilitando identificar onde melhores

evidências devem ser buscadas (MAYNE, 2000).

No entender de Rowan (2000) uma questão que merece ser

discutida é se o modelo lógico poderia representar a teoria de

mudança do programa (program’s theory of change). Para esse

autor, o modelo lógico estaria mais relacionado com a teoria de

implementação do programa e não com a teoria do programa, que

trataria dos mecanismos que fazem com que a implementação do

programa alcance os resultados propostos/esperados.

Concepção diferenciada a essa proposição pode ser encontrada

na literatura, em que se observa a correspondência entre os termos

modelo lógico e microteoria do programa, e dos aspectos

relacionados aos determinantes de sua implementação, à

macroteoria, onde se faz a análise do contexto (HARTZ, 1997). Há

ainda o emprego dos termos modelo lógico, modelo teórico e

teórico-lógico como equivalentes (HARTZ, 1999a).

A construção do modelo teórico ou teórico-lógico do programa,

explicitando sua racionalidade subjacente, inclui, portanto,

especificações sobre o problema ou comportamento visado, a

população alvo, as condições do contexto, o conteúdo do programa

e os atributos necessários e suficientes para produzirem isolada ou

integradamente os efeitos esperados.

O modelo teórico de um programa deve explicitar como o

programa idealmente funciona (HARTZ, 1999), que argumentações

teóricas dão suporte à hipótese apresentada e que hipóteses

alternativas (rivais) serão afastadas. É necessário mostrar

consciência da complexidade da situação e compreensão de outros

fatores que jogam papel importante na produção dos resultados

(esperados e não esperados), indicando as evidências que serão

buscadas para demonstrar que o programa em questão promoveu

uma significante contribuição para os mesmos (MAYNE, 2000).

Finalmente, é importante salientar que a elaboração de um

modelo teórico/lógico deve ser convincente, apresentando

plausibilidade das associações estabelecidas. Isto significa,

necessariamente, que sua construção não despreza o acúmulo

produzido pelas experiências e conhecimentos prévios e que as

possibilidades colocadas pelo processo de investigação, orientadas

pela teoria, podem contribuir significativamente para a redução das

incertezas sobre o impacto atribuível ao programa, bem como uma

razoável estimativa desse impacto.

Métodos para a reconstrução das teorias de programas e políticas

são apresentados com o intuito de contribuir para torná-las mais

explícitas e transparentes e evitar erros no planejamento de

programas e no resultado de avaliações (LEEUW, 2003).

Independente da terminologia assumida pelo pesquisador, o

importante a assinalar é que, em se tratando da avaliação de

programas, é fundamental a explicitação clara dos pressupostos que

orientam a sua formulação. Vantagens de tal explicitação incluem

uma maior precisão do desenho do programa, um melhor manejo na

definição de responsabilidades, um melhor planejamento dos

estudos avaliativos.

Diretrizes para a construção de modelos em

 

avaliação

 

O desenho do modelo lógico de um programa é o primeiro passo

no planejamento de uma avaliação, sendo muitos os caminhos que

podem ser utilizados na sua construção (ROWAN, 2000; MERCER;

GOEL, 1994; RUSH; OGBORNE, 1991; MCLAUGLIN; JORDAN,

1999; RENGER; TITCOMB, 2002).

Construir o desenho lógico de um programa significa esquadrinhá-

lo em termos da constituição de seus componentes e da sua forma

de operacionalização, discriminando todas as etapas necessárias à

transformação de seus objetivos em metas, abstraindo-se aqui suas

determinações contextuais.

Ao desenvolver a construção do modelo lógico em relação ao

Ontario Breast Cancer Screening Program, Mercer e Goel (1994) se

deparam com um conjunto de dificuldades, das quais destacamos

algumas, que nos fazem pensar sobre os limites e possibilidades do

desenho de modelos lógicos em avaliação de programas de saúde.

A primeira dificuldade relacionava-se à natureza complexa e

multifacetada do Programa. Assim, o conjunto de componentes,

além de ser diverso, alguns interdependentes, operavam sob lógicas

distintas e, muitas vezes, contraditórias; a segunda dificuldade

referia-se à própria ausência de consenso entre objetivos, metas e

resultados esperados do Programa por parte da própria equipe que

o concebeu; a terceira, dizia respeito à natureza descentralizada do

Programa, o que significava que sua operacionalização era

construída de forma distinta em função das características locais em

que ele se implantava.

Este artigo é ilustrativo porque o autor identifica obstáculos a

elaboração de um modelo lógico, levantando problemas muito

próprios à realidade dos sistemas de saúde que os pesquisadores

em avaliação costumam lidar. Os programas, que são um dos

objetos possíveis da avaliação, geralmente partem de uma política

governamental de larga ou de pequena escala que, às vezes, nem

apresentam diretrizes e estratégias claramente definidas, e são

permeados por contradições e lacunas, pois em geral são implementados antes da conclusão do desenho e da criação de

consenso entre os grupos implicados sobre os objetivos e

prioridades (MERCER; GOEL, 1994).

Em tese, um programa deve ter objetivos atividades e recursos

definidos. Entretanto, na realidade concreta dos serviços de saúde,

muitas vezes esses elementos são contraditórios, e tais

contradições podem ser evidenciadas através da realização de uma

análise estratégica, abordada em outro capítulo deste livro.

Diante das dificuldades apontadas, tem sido destacado que a

participação dos grupos envolvidos no programa é fundamental na

elaboração do modelo lógico, o que associado à busca da opinião

de especialistas e revisão de literatura pode transformar esta fase

inicial da avaliação em uma tarefa árdua, contudo, indispensável

(RENGER; TITCOMB, 2002).

No entender de McLaughlin e Jordan (1999) pode-se falar em um

processo do modelo lógico, tendo como produtos finais o diagrama

do modelo lógico, com a essência do programa, um texto

descrevendo o diagrama e o plano de medidas. No decorrer do

processo alguns estágios deveriam ser vencidos: realizar coleta de

informações sobre o programa a partir de várias fontes

(documentos, entrevistas, revisão de literatura); definir claramente o

problema objeto da intervenção e seu contexto; identificar os

elementos do modelo lógico; desenhar o modelo lógico; e

finalmente, avaliar continuamente, junto aos grupos envolvidos, se o

modelo produzido representa a lógica do programa.

Segundo Rossi e colaboradores (1999), o modelo lógico deve

apresentar três componentes fundamentais: primeiro, o plano da

organização do Programa; segundo, o plano da utilização do

Programa – estes dois primeiros componentes conformam a teoria

de processo do Programa – e, terceiro, a teoria de impacto do

Programa.

Em um modelo lógico de um programa devem constar:

 

a. os componentes – essenciais e secundários – do Programa;

b. os serviços relacionados e as práticas requeridas para

execução dos seus componentes;

c. os resultados esperados, suas metas e efeitos na situação de

saúde da população e organização dos serviços.

 

Vários caminhos para o desenvolvimento dos modelos estão

presentes na literatura, com diversos níveis de especificidade,

complexidade e tipos de representação visual, como já mencionado

(RUSH; OGBORNE, 1991; MERCER; GOEL, 1994; WONG-

RIEGER; DAVID, 1995; MCLAUGHLIN; JORDAN, 1999; ROWAN,

2000; RENGER; TITCOMB, 2002). Em geral, classificam-se as

propostas em dois grandes grupos, um que parte dos efeitos que se

espera que a intervenção tenha, isto é, a solução do problema

selecionado, e a partir daí se desenha o programa e suas

atividades, e o outro que é desencadeado pela seleção dos

componentes do programa e se considera a rota até os objetivos e

efeitos esperados. Há ainda a possibilidade da “abordagem mista”,

mencionada na elaboração do modelo lógico do projeto Nova Scotia

Primary Care Project (ROWAN, 2000).

A seguir, no intuito de melhor explicitar diversas possibilidades de

construção de modelos na avaliação de programas, são

apresentados exemplos de esquemas de apresentação de modelos

teóricos ou lógicos, que facilitam a compreensão de experiências

práticas de sua utilização. Ressalta-se que as ilustrações abaixo

nem sempre apresentam os fatores contextuais relacionados à

implementação dos programas, contempladas em outros capítulos

desta publicação.

 

Figura 1 – Elementos de um modelo lógico

 

Fonte: Jordan; Mclaughlin (1999).

Figura 2 – Esquema básico de modelo lógico com objetivos de

implementação e de resultados demarcados

 

Fonte: Rush; Ogborne (1991).

 

Figura 3 – Esquema de modelo lógico para programas de

conscientização na área da saúde

 

Fonte: Wong-Rieger; David (1995).

Figura 4 – Modelo lógico de um Programa de controle de Câncer

de Mama

 

Fonte: Mercer; Goel (1994)3 adaptado por Hartz (2000).

 

Após a elaboração do modelo lógico é importante verificar se o

mesmo atingiu o objetivo de representar a lógica do programa, e

para tanto são sugeridas as seguintes questões ao final do processo

(MCLAUGHIN; JORDAN, 1999):

 

1. O nível de detalhe foi suficiente para criar entendimento dos

elementos e de suas relações?

2. Está a lógica do programa completa? Foram todos os

elementos relacionados?

3. A lógica do programa é teoricamente boa? Todos os elementos

foram colocados juntos seguindo uma lógica? Existem outros

caminhos plausíveis de se alcançar os resultados esperados do

programa?

4. Todos os fatores relevantes do contexto foram identificados e

suas potenciais influências descritas?

A Unidade de Comunicação em Saúde da Universidade de

Toronto recomenda ainda que se utilize como critério de avaliação

da qualidade do modelo sua leveza (número de elementos por

página ou slide) e clareza na apresentação gráfica (HCU/CHP,

2001).

 

Matriz de medidas do modelo teórico/lógico: um

 

desafio a ser vencido

 

As razões que orientam a utilização de medidas que permitam

avaliar a perfomance de um programa relacionam-se à

responsabilidade da equipe gestora em prestar contas sobre o

alcance dos objetivos propostos, bem como à necessidade de

implementar melhorias na sua qualidade (MCLAUGHIN; JORDAN,

1999).

As estratégias de mensuração devem contemplar não apenas o

monitoramento das características essenciais do programa, mas,

especialmente, as relações de causa-efeito presumidas no modelo

lógico, incluindo os supostos fatores contextuais que interagem na

sua implantação. Trata-se, portanto, de testar a hipótese do

programa, e ainda que os resultados tenham sido alcançados, cabe

indagar que características do programa contribuíram para o

alcance dos efeitos esperados e não esperados. Mayne (2000)

ressalta que nenhum fator, isoladamente, “causa” um efeito

observado. Ao invés disso, este é sempre o resultado de um número

de fatores que contribuem para o mesmo.

O primeiro passo na avaliação de desempenho de um programa é

determinar se o que foi planejado – as atividades enunciadas no

modelo lógico – realmente ocorreu. Para tanto é necessário que as

atividades apresentem um nível de detalhamento compatível com as

necessidades de mensuração.

Em segundo lugar, é necessário avaliar os produtos e o impacto

do programa, verificando se os resultados, de fato, estão

relacionados às ações desenvolvidas ou em que medida podem ser

explicadas por hipótese causais rivais.

A implementação da avaliação de um programa requer o desenho

de uma matriz que apresente os critérios/indicadores e parâmetros

que serão utilizados, bem como as respectivas fontes de informação

a serem consideradas.

Segundo Donabedian (1986), um critério pode ser definido como

um componente ou aspecto da estrutura de um serviço/sistema 4 de

saúde, ou de um processo ou resultado de um cuidado que dá

suporte à qualidade da atenção prestada. Já o parâmetro é uma

especificação quantitativa precisa do nível de um critério que

conferirá qualidade em um grau determinado. Como exemplo, a

concentração de profissionais por leito em uma unidade de terapia

intensiva seria um critério de qualidade desse serviço enquanto que

uma razão maior ou igual a dois profissionais por leito seria um

parâmetro especificado do critério de qualidade desse serviço.

No contexto da avaliação de programas e serviços de saúde,

indicadores de saúde, além de representarem medidas do impacto

dos serviços sobre a saúde de populações, precisam considerar a

mensuração da adequação, da infra-estrutura dos serviços e da

efetividade dos processos. Indicadores isolados não são capazes de

prover um quadro conclusivo acerca do desempenho dos serviços

de saúde, sendo necessária a definição de conjuntos de indicadores

relevantes para conduzir uma determinada avaliação.

Adicionalmente, a avaliação de indicadores quantitativos não deve

ser conduzida de forma isolada nem deve encerrar-se em si mesma,

mas sim constituir-se em ferramenta que permita a formação de

opinião e a tomada de decisões (NHCP, 2002).

Para eleição de critérios/indicadores de avaliação devem ser

adotados critérios bem definidos. Tradicionalmente, os seguintes

critérios de seleção têm sido recomendados: simplicidade (facilidade

de cálculo); validade (em função da característica que se deseja

medir); disponibilidade (utilização de dados disponíveis); robustez

(pouco sensível às deficiências dos dados necessários a sua

construção); sinteticidade (refletir o efeito do maior número possível

de fatores); discriminatoriedade (alto poder discriminatório espaço e

tempo) e cobertura (referir-se, se necessário, a cada país/território e

não somente determinada área/grupo). (JORDAN FILHO, 1974).

Donabedian (1986) ressalta como características avaliativas

importantes dos critérios de qualidade a validade (que pode ser

científica ou consensual e que confere legitimidade ao processo

avaliativo), a relevância, a disponibilidade e qualidade do registro, a

adaptabilidade à avaliação (ou seja, sua susceptibilidade à

modificação ao longo do tempo), sua capacidade de ser mais ou

menos estrito e sua eficiência em rastrear o problema.

Os atributos necessários aos indicadores na avaliação de

programas, definidos pelos critérios de seleção, buscam garantir

que estes expressem medidas que considerem a abrangência

multidimensional do fenômeno saúde-doença e das intervenções em

saúde como processos complexos, variáveis e multifacetados.

Neste sentido, outras experiências têm ampliado o escopo destes

critérios definindo como relevantes que os indicadores de avaliação

de serviços devam (NHCP, 2002):

 

1. Representar aspectos importantes da saúde pública ou do

desempenho do sistema de saúde;

2. Ser mensurável (válido e confiável) na população geral e em

diversas populações (população indígena, sexo, urbano/rural,

estrato sócio-econômico);

3. Ser compreensível para as pessoas que necessitam agir;

4. Galvanizar ação de indivíduos, grupos organizados e

organizações públicas e privadas em nível nacional, estadual

ou local;

5. Ser relevante para a política e a prática dos serviços, no sentido

em que avaliam ações que podem levar a melhoria da situação

de saúde, alterando o curso do indicador;

6. Refletir resultados de ações quando medidos no tempo;

7. Ser coletado e analisado de forma oportuna exeqüível, quanto

ao custo-benefício;

8. Ser coerente com processos nacionais de definição de dados.

 

Um passo fundamental para a avaliação dos indicadores é o

estabelecimento de padrões de desempenho, que definem o que se

pretende alcançar com a execução da ação, devendo ser definidos

desde o início da avaliação, de forma a permitir determinar se a atividade foi executada com sucesso ou se foi eficaz (PAG APS,

1997).

Freqüentemente, os padrões de desempenho podem ser

quantificados. Para algumas ações e serviços, existem parâmetros

técnico-científicos que podem ser utilizados como padrões. Um

exemplo clássico é a cobertura vacinal, cujo padrão deve

corresponder com a cobertura a ser atingida para interrupção da

cadeia de transmissão da doença. Em outras situações em que não

existem parâmetros técnico-científicos, o estabelecimento de

padrões pode ser feito através da análise da série histórica dos

indicadores, pela adoção do valor dos indicadores para outras

populações ou para o estado ou país ou através de mecanismos de

consenso, definindo patamares a serem alcançados.

Assim, os parâmetros para o processo de avaliação nem sempre

estão objetivamente estabelecidos. Do mesmo modo, a forma de

medi-los pode variar. Muitas vezes, é necessário que o grupo que

conduz o processo de avaliação construa consensos, não só em

relação aos parâmetros mais apropriados, como quanto ao método

mais adequado de aferir o que se quer avaliar.

Donabedian (1986) chama a atenção para as diferentes

possibilidades de construção de consenso, quais sejam, o comitê

tradicional no qual um dos membros é o coordenador, o método

Delphi, onde os membros que definem os critérios e parâmetros não

chegam a se encontrar e todo processo de consulta é realizado por

via eletrônica ou por telefone, e o método do grupo nominal, que

prevê uma primeira etapa de consulta individual prévia, uma

segunda etapa de debate entre os participantes e, finalmente, uma

terceira etapa de consulta individual em que cada participante tem a

possibilidade de rever seu ponto de vista inicial.

Os processos de construção de consenso não só ampliam a

possibilidade de validade dos critérios/indicadores como conferem

maior legitimidade aos processos avaliativos.

Toma-se como exemplo da experiência nacional da Oficina do

Pacto da Atenção Básica que reuniu em 2001, técnicos do Ministério

da Saúde, das Secretárias Estaduais de Saúde e gestores

municipais para selecionar os indicadores para avaliação da

atenção básica no Brasil, a partir de um conjunto de critérios previamente acordados. Iniciativas desta natureza, além de

evidenciar que estes não são processos meramente técnicos, estão

em consonância com referências internacionais que têm privilegiado

o desenvolvimento de metodologias de constituição de consensos

entre gestores, financiadores, avaliadores e técnicos acerca do

conjunto de indicadores mais relevantes para medição do impacto

de serviços de saúde (KNOWLES e outros, 1997). Finalmente, há

que se destacar os aspectos relacionados à própria construção dos

indicadores. Embora o termo “dados” possa sugerir que os

elementos de informação em que se apóia a análise científica são

dados ou prontos, eles são sempre o produto de uma atividade de

construção teórica. O investigador não recebe os dados

passivamente, pois a análise e construção dos dados e indicadores

também caracterizam a “fase” de coleta de dados” (MERLLIÉ,

1996).

Merllié (1996) exemplifica, a partir de investigações conduzidas no

campo das ciências sociais, alguns aspectos relevantes quanto à

utilização de dados quantitativos:

 

A necessidade de questionamento sobre as condições práticas

da elaboração dos dados, atentando que suas inexatidões não

são equivalentes em todos os lugares e em todas as épocas e

que as causas da diferença entre o fenômeno e sua inscrição

estatística não tem efeito constante entre os grupos sociais e as

diferentes instituições responsáveis pela coleta de dados etc.;

A relevância do cuidado e do rigor ao comparar indicadores que

são construídos a partir de diferentes conceitos e critérios

gerais e a partir de diversas fontes;

A possibilidade de variabilidade dos resultados interna a uma

mesma pesquisa, ressaltando a importância do que

aparentemente não passa de “simples detalhes”: a

periodicidade da coleta (mensal/anual), a redação das

perguntas, o papel da mera repetição da passagem do

entrevistador na mudança das respostas dos entrevistados em

estudos de acompanhamento etc;

O paradoxo da utilização de categorias com grande uso em

pesquisas e nas instituições, que tem como vantagem a

possibilidade de comparação e como inconvenientes a

possibilidade do vocabulário comum dissimular diferenças na

construção da noção e a tendência das pesquisas

negligenciarem a explicitação dos procedimentos

metodológicos;

As conseqüências da utilização de dados de diversas fontes

combinados para cálculo de indicadores, devido as diferentes

condições em que são efetuadas as classificações;

Os cuidados com a construção dos instrumentos de medição e

com as condições técnicas de sua aplicação, assim como com

as formas de codificação e classificação.

 

Assim constitui etapa fundamental da avaliação a análise da

qualidade dos dados que geraram os indicadores de saúde,

especialmente quando fontes secundárias são utilizadas, embora a

produção de dados primários também deva ser objeto de reflexão

crítica rigorosa.

Especialmente quanto às fontes secundárias, vale ressaltar que a

mensuração é dificultada pelos limites da informação em saúde,

tanto a natureza das informações disponíveis, restritas, em sua

maioria a doenças, agravos e procedimentos, e quanto à qualidade

dos dados aos quais se pode ter acesso, nacional e localmente,

considerando as marcantes heterogeneidades regionais e locais dos

sistemas de informação e dos sistemas estaduais e municipais de

saúde. Somam-se a estas questões, em que pese a crescente

descentralização dos sistemas de informação, os limites quanto a

compatibilização de conceitos e critérios dos diferentes sistemas, o

que dificulta o estabelecimento de associações entre as diversas

variáveis relacionadas ao estado de saúde e entre estas, condições

de vida e produção de serviços de saúde.

 

Conclusão

 

No campo da saúde, cada vez é mais reforçada a necessidade de

uma permanente avaliação das intervenções realizadas. Em que

pese os limites e dificuldades que enfrentam os projetos de avaliação em saúde, como nos alerta Barreto (1998), o crescimento

exponencial da produção de novas tecnologias voltadas para o

cuidado, que passam a ser usadas, nem sempre tendo a sua

eficácia comprovada e, muitas vezes, gerando efeitos indesejáveis e

altos custos, impõe o desenvolvimento e aprimoramento de

metodologias de investigação dos serviços de saúde.

São vários os desafios conceituais e metodológicos presentes

para a realização de uma avaliação, e o debate em torno de

questões fundamentais, a exemplo do papel que a teoria

desempenha no processo da avaliação em saúde, está longe de ser

esgotado.

Alguns deles merecem ser pontuados pelas implicações que

apresentam para qualquer processo de avaliação em saúde.

Um primeiro desafio é o objeto da avaliação em saúde – as ações

e práticas de saúde – que têm natureza social e histórica, o que não

pode ser negligenciado por quem pretende avaliá-las (VIEIRA-DA-

SILVA; FORMIGLI, 1994). Se é fato que, pela sua natureza, o objeto

da avaliação se modifica em função do tempo e do contexto,

também o é que o próprio processo de pesquisa, na avaliação,

transforma o objeto avaliado. Conforme assinala Samaja (1993), o

objeto de investigação não é apenas o real recortado, mas, é um

objeto que se transforma no e pelo processo de pesquisa. E mais,

se transforma não em relação àqueles aspectos periféricos ao

processo de investigação, mas, possivelmente, naquilo que faz

parte da sua essência, que é tomado e problematizado no processo

de avaliação.

Em se tratando, especificamente, da avaliação de programas,

agrega-se uma dificuldade adicional, relacionada à natureza

complexa, multifacetada e abrangente que assumem (HARTZ, 1995;

MERCER; GOEL, 1994; CONTANDRIOPOULOS; CHAMPAGNE e

outros, 1997; HARTZ, 1997; HARTZ, 1999a). Programas abrigam,

freqüentemente, um conjunto de componentes e práticas que

operam, muitas vezes, com lógicas distintas e, até mesmo,

contraditórias. Nem sempre há consenso entre objetivos, metas e

resultados por parte da equipe que os concebem e sua

operacionalização apresenta, como possibilidade, uma grande

variabilidade na implementação local (MERCER; GOEL, 1994).

Um segundo desafio a se considerar é a dimensão subjetiva do

processo de avaliação (SERAPIONE, 1999). Considerando que esta

diz respeito a um julgamento sobre uma dada intervenção

(CONTANDRIOPOULOS; CHAMPAGNE e outros, 1997), deve-se

ter em mente que qualquer juízo de valor está orientado por uma

visão de mundo. Há, portanto, uma dimensão subjetiva do processo

de avaliação que não pode ser desprezada e que conforma tanto o

recorte do objeto e dos objetivos, quanto o modelo teórico que serve

de parâmetro de referência, quando se estabelecem comparações

no processo avaliativo.

Usuários dos serviços, representantes da população, profissionais

de saúde e gestores dos serviços têm objetivos e percepções

distintas em relação aos serviços de saúde e, geralmente, dão

prioridade a aspectos diferentes quando avaliam a qualidade das

ações de saúde. Não só para democratizar as avaliações que

pretendem influenciar processos de tomada de decisão nos

serviços, considerar diversos atores envolvidos amplia o poder da

avaliação de desvendar distintos aspectos de uma mesma

intervenção e de seus efeitos (SERAPIONE, 1999).

Um terceiro desafio refere-se à validade dos estudos. Avaliar

intervenções, enquanto ações de natureza transformadora, exige

suficiente flexibilidade de modelos e métodos utilizados pelo

avaliador, de forma a permitir lidar com inovações identificando seus

efeitos esperados e inesperados. Além disso, incluir diversas visões

promovendo a integração de diferentes pontos de vista no processo

de avaliação, se, por um lado, favorece a superação de visões

unilaterais dos problemas enfrentados (SERAPIONE, 1999) e facilita

a incorporação dos resultados nas decisões a serem adotadas, por

outro, intensifica o caráter subjetivo dos processos de avaliação.

O processo saúde-doença, objeto das intervenções que se deseja

avaliar, possui múltiplas determinações causais, sendo a ação dos

serviços de saúde apenas um dos fatores atuando sobre o estado

de saúde de indivíduos e populações em contextos sócio-

econômicos, políticos e culturais extremamente complexos. Mesmo

nos modelos teóricos mais simplificados, para a maioria dos

problemas de saúde, abordam-se sempre vários fatores etiológicos ou de risco, que atuam isoladamente ou em interação (ALMEIDA-

FILHO; ROUQUAYROL, 2002).

A necessidade de contextualização dos efeitos (condicionalidade

da efetividade) e as restrições dos chamados métodos quantitativos

têm promovido, no campo da avaliação de programas, o desenho de

novas estratégias metodológicas como avaliações multicêntricas e

estudos de caso múltiplos com níveis de análise imbricados (Hartz

1999), onde se combinam abordagens quantitativas e qualitativas e

se lança mão de alternativas, como a triangulação, com vistas a

aumentar a validade do estudo na aproximação com um objeto de

natureza tão complexa.

De fato, a questão da validade é uma preocupação central na

realização de qualquer pesquisa. Enquanto o aprimoramento das

alternativas metodológicas na pesquisa avaliativa contribui para o

aumento da validade interna da pesquisa, a principal vantagem de

uma avaliação orientada pela teoria (theory-driven evaluation) é

poder contribuir para a “reprodutibilidade ou validade externa das

intervenções governamentais em larga escala” (HARTZ, 1999).

Particularmente nos estudos de caso, a capacidade de uma

pesquisa fornecer resultados generalizáveis a outras populações,

contextos ou períodos, está diretamente relacionada à robustez e

capacidade de explicação da teoria no seu confronto com a

realidade empírica (YIN, 1993; CONTANDRIOPOULOS e outros,

1994).

Finalmente, é necessário trazer para o campo da Epistemologia

uma profunda reflexão do como se faz a produção do conhecimento

de “objetos mutantes” e de como se estabelecem relações entre

teoria e empiria num campo em que a subjetividade e a praxis do

investigador é constitutiva do próprio objeto, na medida em que ele

é um agente transformador da prática avaliada no momento mesmo

em que a avalia. É preciso reconhecer as dificuldades

epistemológicas no campo da avaliação para não resolver o

problema da forma menos criativa: negar a importância do papel da

teoria neste campo. Para isso, epistemólogos, avaliadores e

gestores das intervenções avaliadas precisam continuamente se

debruçar sobre problemas concretos de investigação para pensar

que especificidades relacionadas ao campo da avaliação em saúde, dada a complexidade de seu objeto e sua natureza de prática social

transformadora, devem ser consideradas na elaboração de modelos

lógicos e no desenho de estratégias de investigação, de sorte que a

Epistemologia possa contribuir de forma mais efetiva para

enriquecer o debate sobre a importância da teoria no campo da

avaliação em saúde.

 

Referências

 

ALMEIDA-FILHO, N. A ciência da saúde. São Paulo: HUCITEC,

2000.

 

ALMEIDA-FILHO, N.; ROUQUAYROL, M.Z. Introdução à

epidemiologia. 3ed. Rio de Janeiro: MEDSI, 2002. 293 p.

 

BACHELARD, G. A formação do espírito cientifico: contribuição para

uma psicanálise do conhecimento. Rio de Janeiro: Contraponto,

1996. 316p.

 

BARRETO, M.L. Por uma epidemiologia da saúde coletiva. Revista

Brasileira de Epidemiologia, v. 1, n. 2, p. 104-122, 1998.

 

BOURDIEU, P. Introdução a uma sociologia reflexiva. In:

BOURDIEU, P. O poder simbólico. Cap. 2, Lisboa / Rio de Janeiro:

DIFEL / BERTRAN BRASIL, 1998. p.18-58.

 

BUNGE, M. Os conceitos de modelo. Modelos na ciência teórica. In:

BUNGE, M. Teoria e realidade. São Paulo: Perspectiva, 1974. p. 11-

40.

 

CHEN, H. T. Theory Driven evaluations. Newbury Park: Sage

Publications. 1990.

 

CONTANDRIOPOULOS, A.P.F.; CHAMPAGNE e outros. L’

évaluation dans le domaine de la santé: concepts et méthodes.

Révue d’Epidemiologie et Santé Publique, v. 48, p. 517-539, 2000. CONTANDRIOPOULOS, A.P.F.; CHAMPAGNE, e outros. Avaliação

na área de saúde: conceitos e métodos. In: HARTZ. Z.M.A.

Avaliação em saúde: dos modelos conceituais à prática na análise

da implantação de programas. Rio de Janeiro: FIOCRUZ, 1997. p.

29-48.

 

CONTANDRIOPOULOS, A.P.C.F; POTVIN, L; DENIS, J. L.; BOYLE,

P. Saber preparar uma pesquisa. São Paulo/Rio de Janeiro:

Hucitec/Abrasco, 1994. p. 43-55, 79-86.

 

COOKSY, L.J.G.; PAIGE; KELLY; ADAM, P. The program logic

model as an integrative framework for a multimethod evaluation.

Evaluation and Program Planning, 2001, v. 24, p. 119-128.

 

CRACKNELL, B.E. Evaluating development aid. London: Sage

Publications, 2000, 384 p.

 

DONABEDIAN, AMD. Criteria and standards for quality assesment

and monitoring. QRB, v. 12, n. 3, p. 99-108, 1986.

 

DURKHEIM, E. As regras do método sociológico. Lisboa: Presença.

1984. 165 p.

 

JORDAN FILHO, L. e outros. Revisão analítica dos indicadores de

saúde. Revista Brasileira de Estatística, v. 35, p. 22-26, 1974.

 

HARTZ, Z.d.A. Uso de traçadores para avaliação de qualidade da

assistência à criança: o controle da doença diarréica e das infecções

respiratórias agudas em dois centros de saúde. Revista do IMIP, v.

9, n. 2, p. 35-50, 1995.

 

HARTZ, Z.d.A. Avaliação em saúde: dos modelos conceituais à

prática na análise da implantação de programas. Rio de Janeiro:

FIOCRUZ, 1997.

 

HARTZ, Z.d.A. Avaliação dos programas de saúde: perspectivas

teórico-metodológicas e políticas institucionais. Ciência e Saúde

Coletiva, v. 4, n. 2, p. 341-354, 1999a.

HARTZ, Z.d.A. Institucionalizing the evaluation of health programs

and policies in France: cuisine internationales over fast food and sur

mesure over ready-made. Cadernos de Saúde Pública, v. 15, n. 2, p.

229-260, 1999b.

 

HCU/CHP (Health Comunication Unit Center for Health Promotion,

University of Toronto). 2001. Logic Models.

http://www.utoronto.ca/chp/hcu

 

KNOWLES, J.C.; LEIGHTON, C.; STINSON, W. Measuring result of

health sector reform for system performance: a handbook of

indicators. Special Initiatives Report n.1. Behesada, MD:

Partnerships for Health Reform, Abt Associates Inc. 1997.

 

LEEUW, F.L. Reconstructing program theories: methods available

and problems to be solved. The American Journal of Evaluation, v.

24, n. 1, p. 5-20, 2003.

 

MAYNE, J. Addressing atribuition through contribution analysis:

using performance measures sensibly. Canadian Journal of Program

Evaluation, v. 16, n. 1, p. 124, 2000.

 

MCLAUGHLIN, J.A.; JORDAN, G.B. Logic Models: a tool for telling

your program’s performance story. Evaluation and Program

Planning, v. 22, p. 65-72, 1999.

 

MERCER, S.L.; GOEL, V. Program evaluation in the absence of

goals: a comprehensive approach to the evaluation of a population-

based breast cancer screening program. The Canadian Journal of

Program Evaluation, v. 9, n. 1, p. 97-112, 1994.

 

MERLLIÉ, D.A Construção estatística. In: CHAMPAGNE, P.;

LENOIR, R, MERLLIÉ e PINTO, L. Iniciação à prática sociológica.

Petropólis: Vozes, 1996.

 

MILLAR, A. Logic models: a system tool for performance

management. Evaluation and Program Planning, v. 24, n. 1, p. 73-

81, 2001.

NATIONAL HEALTH PERFORMANCE COMMITTEE NHCP.

National Report on Health Sector Performance Indicators 2001.

Queensland Health, Brisbane, 2002.

 

PAG APS. Programa Avançado de Gerenciamento em Atenção

Primária à Saúde. Avaliando a qualidade do serviço. Guia do

usuário. Juiz de Fora, 1997.

 

PINTO, L. Experiência vivida e exigência científica de objetividade.

In: CHAMPAGNE, P.; LENOIR, R.; MERLLIÉ; PINTO, L. Iniciação à

prática sociológica. Petropólis: Vozes, 1996.

 

RENGER, R.; TITCOMB, A. A Three-Step Approach to Teaching

Logic Models. American Journal of Evaluation, v. 23, n. 4, p. 493-

503, 2002.

 

ROSSI, P.H.; FREEMAN, H.E.; LIPSEY, M.W. Evaluation: a

systematic approach. Thousand Oaks: SAGE Publications, 1999.

 

ROWAN, M.S. Logic models in primary care reform: navigating the

evaluation. Canadian Journal of Program Evaluation, v. 15, n. 2, p.

81-92, 2000.

 

RUSH, B.; OGBORNE, A. Program logic models: expanding their

role and structure for program planning and evaluation. The

Canadian Journal of Program Evaluation, v. 6, p. 95-106, 1991.

 

SAMAJA, J. Epistemología y metodología. Elementos para una

teoría de la investigación científica. Buenos Aires: EUDEBA, 1996.

414 p.

 

SERAPIONI, M. Avaliação da qualidade em saúde: a contribuição

da sociologia da saúde para a superação da polarização entre a

visão dos usuários e a perspectiva dos profissionais de saúde.

Saúde em Debate. Rio de Janeiro, v. 23, n. 53, p. 8192, 1999.

 

UNRAU, Y. A. Using client exit interviews to illuminate outcomes in

program logic models: a case example. Evaluation and Program Planning, v. 24, p. 353-361, 2001.

 

VIEIRA-DA-SILVA, L.M.; FORMIGLI, V.L.A. Avaliação em saúde:

limites e perspectivas. Cadernos de Saúde Pública, v. 10, n. 1, p.

80-91, 1994.

 

WONG-RIEGER, D.; DAVID, L. Using program logic models to plan

and evaluate education and prevention programs. evaluation-

methods sourcebook II. A. J. Love. Ottawa, Ontario, Canadian

Evaluation Society, 1995, p. 120-137.

 

YIN, R.K. Case study designs for evaluating high-risk youth

programs: the program dictates the design. Applications of case

study research, 1993. p. 77-93.