2 - A avaliação na área da saúde: conceitos e métodos

2 - A avaliação na área da saúde:

conceitos e métodos*

 

André-Pierre Contandriopoulos; François Champagne; Jean-Louis Denis; Raynald Pineault

Introdução

A avaliação é uma atividade tão velha quanto o mundo, banal e inerente ao próprio processo de aprendizagem. Hoje, a avaliação é também um conceito que está na moda, com contornos vagos e que agrupa realidades múltiplas e diversas.

Logo após a Segunda Guerra Mundial apareceu o conceito de avaliação dos programas públicos. Ele é, de certa forma, o corolário do papel que o Estado começou a desempenhar nas áreas da educação, do social, do emprego, da saúde etc. O Estado, que passava a substituir o mercado, devia encontrar meios para que a atribuição de recursos fosse a mais eficaz possível. Os economistas desenvolveram, então, métodos para analisar as vantagens e os custos destes programas públicos; são os pioneiros da avaliação. Mas, rapidamente, suas abordagens revelaram-se insuficientes, especialmente quando queremos aplicá-las aos programas sociais e à educação. A avaliação foi, então, de certo modo, "profissionalizada", adotando-se uma perspectiva interdisciplinar e insistindo nos aspectos metodológicos. No continente americano, associações como a American Evaluation Association ou a Canadian Evaluation Society contribuíram muito para esse movimento.

No decorrer dos anos 70 a necessidade de avaliar as ações sanitárias se impôs. O período de implantação dos grandes programas, baseados no seguro médico, estava terminado. A diminuição do crescimento econômico e o papel do Estado no financiamento dos serviços de saúde tornavam indispensável o controle dos custos do sistema de saúde, sem que, por isso, uma acessibilidade suficiente de todos a serviços de qualidade seja questionada.

As decisões necessárias para que esta dupla exigência seja respeitada são particularmente difíceis de se tomar, por causa do caráter muito complexo do sistema de saúde, das grandes zonas de incerteza que existem nas relações entre os problemas de saúde e as intervenções suscetíveis de resolvê-las, do desenvolvimento muito rápido das novas tecnologias médicas e das expectativas crescentes da população. Neste contexto, a necessidade de informação sobre o funcionamento e a eficácia do sistema de saúde é considerável e a avaliação parece ser a melhor solução:

Desde então, a avaliação na área sanitária goza de um prestígio enorme. A maioria dos países (Estados Unidos, Canadá, França, Austrália etc.) criou organismos encarregados de avaliar as novas tecnologias. Os programas de formação, os colóquios, os seminários, os artigos, as obras sobre a avaliação já não se contam mais.

Esta proliferação é, certamente, o sinal de uma necessidade, mas ela também é sinal da complexidade da área. O objetivo da nossa apresentação é propor um quadro conceituai que permita uma visão mais clara.

As definições da avaliação são numerosas e poderíamos até chegar a dizer que cada avaliador constrói a sua. Patton (1981) propõe o grupamento das definições da avaliação em seis grandes famílias em razão da sua natureza. Patton (1982) nota em seguida que, em cada família, o conteúdo das definições é variável e ele agrupa os diferentes conteúdos em seis categorias. O autor constata que esta tabela que define 36 tipos de definições da avaliação só permite classificar um pouco mais de 50% dos trabalhos de avaliação publicados.

Guba & Lincoln (1990) identificam quatro estágios na história da avaliação. A passagem de um estágio para outro se faz com o desenvolvimento dos conceitos e a acumulação dos conhecimentos. O primeiro estágio é baseado na medida (dos resultados escolares, da inteligência, da produtividade dos trabalhadores). O avaliador é essencialmente um técnico que tem que saber construir e saber usar os instrumentos que permitem medir os fenômenos estudados. O segundo estágio se fortalece nos anos 20 e 30. Ele trata de identificar e descrever como os programas permitem atingir seus resultados. O terceiro estágio é fundamentado no julgamento. A avaliação deve permitir o julgamento de uma intervenção. O quarto estágio está emergindo. A avaliação é então feita como um processo de negociação entre os atores envolvidos na intervenção a ser avaliada.

Chen (1990) propõe distinguir as avaliações que são baseadas nos métodos das que são orientadas por uma discussão teórica sobre as relações entre a intervenção, o contexto no qual ela é inserida e os resultados obtidos.

Esta breve revisão do estado dos conhecimentos mostra a vaidade que seria propor uma definição universal e absoluta da avaliação. No entanto, para tentar visualizar melhor e para fixar o quadro no qual esta apresentação se insere, podemos adotar a definição seguinte, que hoje é objeto de um amplo consenso.

Avaliar consiste fundamentalmente em fazer um julgamento de valor a respeito de uma intervenção ou sobre qualquer um de seus componentes, com o objetivo de ajudar na tomada de decisões. Este julgamento pode ser resultado da aplicação de critérios e de normas (avaliação normativa) ou se elaborar a partir de um procedimento científico (pesquisa avaliativa).

Uma intervenção, qualquer que seja, pode sofrer os dois tipos de avaliação. Podemos, por um lado, buscar estudar cada um dos componentes da intervenção em relação a normas e critérios. Trata-se, então, de uma avaliação normativa. Por outro, podemos querer examinar, por um procedimento científico, as relações que existem entre os diferentes componentes de uma intervenção. Trata-se, então, de pesquisa avaliativa.

Estas definições permitem a constatação de que a área da avaliação e a área da pesquisa coincidem somente parcialmente (Shortell & Richardson, 1978). A avaliação administrativa não faz parte da área da pesquisa, da mesma forma que existe um campo de pesquisa que não faz parte da avaliação (as pesquisas

disciplinares que visam fazer progredir os conhecimentos)(Figura 1).

FIGURA 1

Pesquisa e avaliação

 

© Gris, Universidade de Montreal, 1992.

Para avançar, devemos precisar o que entendemos por intervenção. Uma intervenção é constituída pelo conjunto dos meios (físicos, humanos, financeiros, simbólicos) organizados em um contexto específico, em um dado momento, para produzir bens ou serviços com o objetivo de modificar uma situação problemática.

Uma intervenção é caracterizada, portanto, por cinco componentes: objetivos; recursos; serviços, bens ou atividades; efeitos e contexto

preciso em um dado momento (Figura 2).

FIGURA 2

Os componentes de uma Intervenção

 

Ela pode ser uma técnica, por exemplo, um kit pedagógico para melhorar os conhecimentos sobre a alimentação, um teste para detectar más formações fetais, um remédio, um programa de gerência em reanimação; um tratamento (um ato ou um conjunto de atos); uma prática (por exemplo, um protocolo de tratamento do câncer do pulmão por quimioterapia); uma organização (um centro de desintoxicação, uma unidade de tratamento); um programa (desinstitucionalização dos pacientes psiquiátricos, prevenção das doenças transmitidas sexualmente); uma política (promoção da saúde, privatização do financiamento dos serviços etc).

É necessário compreender que não podemos falar de uma intervenção sem levar em conta os diferentes atores que ela envolve

(Figura 3). São eles que dão sua forma particular em um dado momento em um dado contexto. De fato, cada um dos atores pode ter seus próprios objetivos em relação à intervenção e sua avaliação.

FIGURA 3

Os atores envolvidos pela Intervenção

É preciso entender que os objetivos de uma avaliação são numerosos, que eles podem ser oficiais ou oficiosos, explícitos ou implícitos, consensuais ou conflitantes, aceitos por todos os atores ou somente por alguns.

Os objetivos oficiais de uma avaliação são de quatro tipos:

• ajudar no planejamento e na elaboração de uma intervenção

(objetivo estratégico);

• fornecer informação para melhorar uma intervenção no seu

decorrer (objetivo formativo);

• determinar os efeitos de uma intervenção para decidir se ela

deve ser mantida, transformada de forma importante ou

interrompida (objetivo somativo);

• contribuir para o progresso dos conhecimentos, para a

elaboração teórica (objetivo fundamental).

Os objetivos oficiosos dos diferentes atores, muitas vezes implícitos, são também muito importantes de se considerar.

Os administradores que pedem uma avaliação podem querer:

• atrasar uma decisão;

• legitimar uma decisão já tomada;

• ampliar seu poder e o controle que eles exercem sobre a

intervenção;

• satisfazer as exigências dos organismos de financiamento.

Os avaliadores podem buscar:

• ampliar os conhecimentos;

• ampliar seu prestígio e poder;

• obter uma promoção;

• promover uma idéia que lhes é cara.

Os usuários podem buscar:

• benefícios com serviços diferentes dos disponíveis

habitualmente;

• reduzir sua dependência perante profissionais.

O pessoal de uma organização pode buscar:

• atropelar as regras hierárquicas;

• obter um adiantamento.

 

A avaliação normativa

A avaliação normativa é a atividade que consiste em fazer um julgamento sobre uma intervenção, comparando os recursos empregados e sua organização (estrutura), os serviços ou os bens produzidos (processo), e os resultados obtidos, com critérios e

normas (Figura 4).

FIGURA 4

A avaliação normativa

 

© Gris, Universidade de Montreal, 1992.

Os critérios e as normas nos quais se apóiam as avaliações normativas constituem o que Riveline (1991) chama de "resumos do verdadeiro e resumos do bem". Eles podem ser derivados dos resultados da pesquisa avaliativa ou de outros tipos de pesquisa, ou fundamentados no julgamento de pessoas bem-informadas ou de experts na área. Todas as avaliações normativas se apóiam no postulado de que existe uma relação forte entre o respeito aos critérios e às normas escolhidas e os efeitos reais do programa ou da intervenção (Rossi & Freeman, 1985).

A avaliação normativa é uma atividade comum em uma organização ou um programa. Ela corresponde às funções de controle e de acompanhamento, assim como aos programas de garantia de qualidade (Clemenhagen & Champagne, 1986).

Apreciação da Estrutura Trata-se de saber em que medida os recursos são empregados de modo adequado para atingir os resultados esperados. Comparamos então os recursos da intervenção, assim como sua organização, com critérios e normas correspondentes. Esse tipo de apreciação deveria permitir responder às perguntas do tipo: O pessoal é competente? A organização administrativa favorece a continuidade e a globalidade? Estes recursos são suficientes para oferecer o leque completo dos serviços prestados? É geralmente neste tipo de apreciação que se apóiam os organismos de acreditação.

Apreciação do Processo

Trata-se de saber em que medida os serviços são adequados para atingir os resultados esperados. Esta apreciação se faz comparando os serviços oferecidos pelo programa ou pela intervenção com critérios e normas predeterminadas em função dos resultados visados.

A apreciação do processo de uma intervenção visando oferecer serviços para uma clientela pode ser decomposta em três dimensões: a dimensão técnica, a dimensão das relações interpessoais e a dimensão organizacional.

A dimensão técnica dos serviços

Aprecia a adequação dos serviços às necessidades. Os serviços correspondem às necessidades dos beneficiários; dos clientes? A dimensão técnica inclui a apreciação da qualidade dos serviços. Trata-se geralmente da qualidade definida a partir dos critérios e das normas profissionais. Os programas de garantia da qualidade nas organizações fazem parte da apreciação do processo.

A dimensão das relações interpessoais

Aprecia a interação psicológica e social que existe entre os clientes e os produtores de cuidados. Nos interessamos então no apoio que o pessoal dá aos pacientes, na satisfação destes, na cortesia dos produtores de cuidados e no respeito à pessoa.

A dimensão organizacional

A dimensão organizacional do processo diz respeito à acessibilidade aos serviços, à extensão da cobertura dos serviços oferecidos pela intervenção considerada, assim como à globalidade e à continuidade dos cuidados e dos serviços. Por globalidade e continuidade entendemos o caráter multiprofissional e interorganizacional dos cuidados, assim como sua continuidade no tempo e no espaço.

A Apreciação dos Resultados

A apreciação dos resultados consiste em se perguntar se os resultados observados correspondem aos esperados, isto é, aos objetivos que a intervenção se propôs atingir. A apreciação dos resultados é feita comparando-se os índices dos resultados obtidos com critérios e com normas de resultados esperados. Esta apreciação é, muitas vezes, insuficiente para se fazer um julgamento válido sobre os resultados de uma intervenção. Para avaliá-los deve-se geralmente empregar uma pesquisa avaliativa.

 

A pesquisa avaliativa

Podemos definir a pesquisa avaliativa como o procedimento que consiste em fazer um julgamento ex-post de uma intervenção usando métodos científicos. Mais precisamente, trata-se de analisar a pertinência, os fundamentos teóricos, a produtividade, os efeitos e o rendimento de uma intervenção, assim como as relações existentes entre a intervenção, e o contexto no qual ela se situa, geralmente com o objetivo de ajudar na tomada de decisões.

A pesquisa avaliativa, como podemos ver na Figura 5, pode se decompor em seis tipos de análise. Fazer pesquisa avaliativa em uma intervenção consistirá, portanto, em fazer uma ou várias destas análises. Teremos, então, que freqüentemente apelar para várias estratégias de pesquisa e considerar as perspectivas dos diferentes atores envolvidos na intervenção.

FIGURA 5

A pesquisa avaliativa

 

© Gris, Universidade de Montreal, 1992.

Análise Estratégica

Trata-se de analisar a pertinência da intervenção, isto é, de analisar a adequação estratégica entre a intervenção e a situação problemática que deu origem à intervenção. Para isto, fazemos duas

perguntas (Figura 6): é pertinente intervir para este problema considerando todos os problemas existentes? É pertinente, considerando a estratégia de intervenção adotada, intervir como está sendo feito? Ou seja, o fator de risco no qual quer agir a intervenção é o mais importante, a população-alvo é a de maior risco? Os recursos empregados são os mais adaptados?

FIGURA 6

Análise Estratégica: julgamento sobre a pertinência de uma

Intervenção

 

Fazer estas análises implica que nos preocupemos com a forma como a situação problemática foi identificada, isto é, com métodos usados para apreciar as necessidades, com o grau de prioridade do problema de saúde escolhido em relação ao conjunto dos problemas identificados, assim como com a pertinência da intervenção escolhida em relação a todas as intervenções possíveis.

A análise estratégica de uma intervenção pode ser feita a partir de análises de mercado, análises de necessidades, de métodos de determinação de prioridades etc. (Dever & Champagne, 1984).

Análise da Intervenção

A análise da intervenção consiste em estudar a relação que existe entre os objetivos da intervenção e os meios empregados. Trata-se de interrogar sobre a capacidade dos recursos que foram mobilizados e dos serviços que foram produzidos para atingir os

objetivos definidos (Figura 7).

FIGURA 7

Análise da Intervenção

 

Para analisar esta relação, podemos nos perguntar, por um lado, se a teoria na qual a intervenção foi construída é adequada e, por outro, se os recursos e as atividades são suficientes em quantidade, em qualidade e na maneira como estão organizadas. Nos perguntamos, assim, se o algoritmo da intervenção é válido e apropriado e se os meios empregados para atingir os objetivos são adequados e suficientes. Da mesma forma que nos interrogamos sobre a confiabilidade e a validade dos instrumentos de medida em uma pesquisa, podemos nos interrogar sobre a confiabilidade e a validade da intervenção em uma pesquisa avaliativa.

Os métodos apropriados para a análise da intervenção são os que permitem apreciar a qualidade de um modelo teórico, isto é, sua veracidade e sua generalidade (Chen, 1990). Elas são extrapolações dos métodos desenvolvidos para apreciar a qualidade de um instrumento de medida (Mark, 1990).

Análise da Produtividade

A análise da produtividade consiste em estudar o modo como os recursos são usados para produzir serviços. Aí se colocam dois tipos de questões: poderíamos produzir mais serviços com os mesmos recursos? Poderíamos produzir a mesma quantidade de serviços com menos recursos?

A produtividade pode ser medida em unidades físicas ou em unidades monetárias. No primeiro caso, falaremos de produtividade física, no segundo, de produtividade econômica.

Para analisar a produtividade de uma intervenção, deve-se poder definir e medir sua produção. Na área da saúde, trata-se muitas vezes de um empreendimento difícil e para alcançá-lo é importante decompor o conceito de produção.

Podemos conceber (Figura 8) que toda intervenção na área da saúde produz diferentes tipos de resultados. Os recursos da intervenção servem, em primeiro lugar, para produzir serviços de suporte. Trata-se essencialmente de produtos intermediários que, combinados com contribuições profissionais, servem para produzir serviços clínicos que podemos chamar de resultados primários.

FIGURA 8

Produtos de uma Intervenção de saúde

 

© Contandriopoulos, A. R, Gris, 1990.

Estes serviços clínicos, quando são combinados para responder aos problemas de saúde de um paciente, produzem episódios de tratamento que são os resultados finais da intervenção. Estes episódios de tratamento, cujo objetivo é modificar um problema de saúde, podem eles mesmos se combinar com outros fatores para melhorar o estado de saúde dos pacientes em questão.

A análise da produtividade pode, portanto, ser feita em vários níveis:

• Podemos falar da capacidade dos recursos para produzir

serviços de suporte (produtividade do pessoal de manutenção

de produzir serviços de reparação, serviços alimentares de

produzir refeições).

• Podemos falar da produtividade dos recursos profissionais em

serviços clínicos (recursos de laboratório e de radiologia para

produzir exames laboratoriais e radiológicos).

Os diferentes serviços clínicos podem ser combinados para produzir tratamentos para os pacientes específicos. Falaremos então da produtividade dos recursos para produzir tratamentos.

Poderíamos ainda ampliar a análise e falar da produtividade dos recursos para produzir efeitos de saúde. Deixaríamos, então, a área da análise da produtividade de uma intervenção para entrar na análise dos seus efeitos.

Métodos apropriados para a análise da produtividade são derivados dos métodos econômicos e dos métodos da contabilidade analítica.

Análise dos Efeitos

A análise dos efeitos é aquela que se baseia em avaliar a influência dos serviços sobre os estados de saúde. Ela consistirá em determinar a eficácia dos serviços para modificar os estados de saúde. A medida dos efeitos, que sejam desejados, ou não,

depende do tipo de pesquisa adotada (Figura 9). O conceito de eficácia não tem um sentido absoluto, ele deve ser qualificado em virtude do contexto no qual a pesquisa é feita, do procedimento escolhido, da natureza da intervenção avaliada e da finalidade do exercício de avaliação.

FIGURA 9

Medida dos efeitos de uma Intervenção

 

© Gris, Universidade de Montreal, 1992.

Podemos falar de eficácia teórica quando nos situamos no contexto da pesquisa de laboratório no qual o ambiente é inteiramente controlado e no qual não há variabilidade interindividual.

A eficácia dos ensaios é a que é medida nos ensaios clínicos randomizados. A intervenção é aplicada de uma forma total e otimizada para cada um dos indivíduos a ela submetidos. A eficácia dos ensaios considera as variações inter-individuais, mas não as variações no comportamento dos usuários e dos profissionais.

A eficácia de utilização é aquela que estimamos ao analisar os resultados de uma intervenção, em um contexto natural, sobre os indivíduos que dela se beneficiaram. Nesta situação, as variáveis relativas aos usuários e aos prestadores de serviço são observadas.

Podemos ainda estender o conceito de eficácia e falar de eficácia populacional considerando os efeitos de uma intervenção não somente para aqueles que beneficiaram-se dela, mas também para toda a população a quem a intervenção era destinada. Consideramos então o grau de cobertura da intervenção, sua aceitabilidade e sua acessibilidade na população-alvo.

Na análise dos efeitos, é importante considerar não somente aqueles que são desejáveis, mas também os efeitos não desejados. Em outros termos, é importante considerar os efeitos externos para a população-alvo e também eventualmente para as outras populações não visadas diretamente pela intervenção.

Na análise dos efeitos, também é muito importante analisar, quando for possível, não somente os efeitos a curto prazo, mas também os efeitos a longo prazo.

Os métodos para analisar a eficácia de uma intervenção são muitos. Eles podem ser quantitativos e qualitativos, de natureza experimental ou sintética (Contandriopoulos et al., 1990).

A Análise do Rendimento

A análise do rendimento (ou da eficiência) é aquela que consiste em relacionar a análise dos recursos empregados com os efeitos obtidos. Trata-se de uma combinação da análise da produtividade econômica e da análise dos efeitos. A avaliação do rendimento de uma intervenção se faz geralmente com ajuda de análises custo/benefício, custo/eficácia ou custo/utilidade.

Nas análises custo/benefício, expressamos em termos monetários todos os custos da intervenção e todas as vantagens que ela traz. Nas análises custo/eficácia e custo/utilidade, os custos são expressos em termos monetários, mas as vantagens são expressas ou por índices reais de resultados (anos de vida ganhos, índice de satisfação, redução da dor etc.) ou pela utilidade que traz a intervenção para aqueles aos quais ela se destina (QALY - Quality Adjusted Life Years).

As análises de custo/benefício são as mais gerais. Elas implicam saber determinar o valor das vantagens e dos custos de uma intervenção para otimizar a atribuição de recursos. Este tipo de análise é muito difícil de se conduzir na área da saúde, particularmente por causa da dificuldade que se tem de dar um valor monetário para variações nos estados de saúde.

As análises custo/eficácia ou custo/utilidade são as mais freqüentes. Consistem em comparar os custos de diversas intervenções com sua eficácia nos usuários ou, ainda, com a utilidade que os usuários retiram da intervenção. O conceito de utilidade usado nas análises custo/utilidade permite incorporar os diferentes efeitos possíveis de uma intervenção em um só indicador. Ele permite, portanto, comparar entre elas as diferentes intervenções que não têm os mesmos objetivos. Esta comparação é, na maioria das vezes, impossível a partir dos resultados de análise custo/eficácia. Todavia, a determinação da utilidade associada a diferentes tipos de efeitos traz sérios problemas metodológicos e conceituais.

As dificuldades metodológicas desta análise estão na medida das vantagens e na definição de critérios que permitem comparar o rendimento de várias opções.

Análise da Implantação

O último tipo de análise que podemos fazer no quadro de uma pesquisa avaliativa consiste, por um lado, em medir a influência que pode ter a variação no grau de implantação de uma intervenção nos seus efeitos e, por outro, em apreciar a influência do ambiente, do contexto, no qual a intervenção está implantada nos efeitos da intervenção. Este tipo de análise é pertinente quando observamos uma grande variabilidade nos resultados obtidos por intervenções semelhantes implantadas em contextos diferentes. Devemos, então, nos perguntar se esta variabilidade pode ser explicada por diferenças existentes nos contextos. A análise da implantação é particularmente importante quando a intervenção analisada é complexa e composta de elementos seqüenciais sobre os quais o contexto pode interagir de diferentes modos.

O primeiro tipo de análise da implantação consiste em medir a influência da variação no grau de implantação da intervenção em diferentes contextos. Até mesmo uma ausência de efeito pode ser conseqüência do fato de que a intervenção avaliada não foi realmente implantada.

O segundo tipo de análise da implantação consiste em se perguntar sobre os efeitos da interdependência que pode haver entre o contexto no qual a intervenção está implantada e a intervenção em si.

Nos interrogamos, neste tipo de análise, sobre o sinergismo que pode existir entre um contexto e uma intervenção ou, pelo contrário, sobre os antagonismos existentes entre o contexto e a intervenção, isto é, sobre os efeitos inibidores do contexto e sobre os efeitos da intervenção.

Os métodos apropriados para analisar a implantação de um programa são, sobretudo, os estudos de casos (Yin, 1989).

 

Conclusão

Sendo o objetivo final da avaliação o de ajudar na tomada de decisões, é preciso se interrogar sobre a influência que as informações fornecidas pelo avaliador podem ter nas decisões.

A avaliação normativa tem como finalidade principal ajudar os gerentes a preencher suas funções habituais. Ela é normalmente feita por aqueles que são responsáveis pelo funcionamento e pela gestão da intervenção, faz parte da atividade natural de um gerente e deveria, portanto, ter uma forte validade pragmática (Dunn, 1989).

No entanto, a pesquisa avaliativa, que exige uma perícia metodológica e teórica importante, geralmente não pode ser feita por aqueles que são responsáveis pela intervenção em si. Ela é mais freqüentemente confiada a pesquisadores que são exteriores à intervenção. Neste caso, a questão de saber se seus trabalhos serão úteis para as decisões é importante.

O quadro de referência proposto evidencia que a avaliação de uma intervenção é constituída pelos resultados de várias análises obtidas por métodos e abordagens diferentes. Estes resultados não poderão ser facilmente resumidos em um pequeno número de recomendações. E até provável que quanto mais uma avaliação seja bem-sucedida, mais ela abra caminhos para novas perguntas. Ela semeia dúvidas sem ter condições de dar todas as respostas e não pode nunca terminar realmente, deve ser vista como uma atividade dinâmica no tempo, apelando para atores numerosos, utilizando métodos diversos e envolvendo competências variadas.

A avaliação é uma atividade, como a pesquisa, útil para o estabelecimento de políticas, mas nunca é suficiente para

estabelecer políticas (Figura 10).

FIGURA 10

Pesquisa - Avaliação - Políticas

 

© Gris, Universidade de Montreal, 1992.

Para aumentar as chances de que os resultados de uma avaliação sejam úteis, é importante se conscientizar de que a avaliação é um dispositivo de produção de informação e, conseqüentemente, de que ela é fonte de poder para os atores que a controlam. Deve-se portanto assegurar, inspirando-se no debate entre Patton (1986) e Weiss (1988a, b), que:

• todos os que decidem estejam implicados na definição dos

problemas que devem ser resolvidos e nas estratégias de

pesquisa a empregar-se. Se por exemplo, para medir os efeitos

de uma intervenção decidirmos fazer um teste aleatório,

conheceremos a eficácia em uma situação perfeitamente

controlada, mas este resultado será de pouco interesse para

quem decidiu que quer conhecer a eficácia de sua intervenção

em um contexto bem específico;

• sejam periodicamente informados aqueles que decidem os

resultados obtidos pela avaliação. No final é muitas vezes tarde

demais para agir;

• o avaliador faça o papel de um agente facilitador e de

pedagogo na utilização dos resultados;

• a informação extraída de uma avaliação seja considerada

como uma ferramenta de negociação entre interesses múltiplos

e não como uma verdade absoluta;

• estejamos conscientes do fato de que os que decidem não

podem definir exatamente suas necessidades de informação e,

conseqüentemente, que a avaliação poderá dar respostas

parciais aos problemas que eles enfrentam;

• a avaliação seja feita com o maior rigor possível.

 

Referências bibliográficas

CHEN, T. H. Theory-Driven Evaluations. Beverly Hills: Sage, 1990.

CLEMENHACEN, C. & CHAMPAGNE, F. Quality assurance as part of Program Evaluation: Guidelines for managers and clinical department heads. Quality Review Bulletin, 1986.

CONTANDRIOPOULOS, A. P. et al. Savoir Préparer une Recherche. Montréal: Presses de l'Université de Montréal, 1990.

DENIS, J . L. & CHAMPAGNE, F. Analyse de l'implantation. Montréal, Cahiers du GRIS, N90-05, 1990.

DEVER, G. & CHAMPAGNE, F. Epidemiology in Health Services Management. Rockville: Aspen, 1984.

DUNN, W. N. Two faces of validity in the policy sciences. Knowledge in Society, 2(1), 1989.

GEPHART, W. J . Watercolor painting. In: SMITH, N. L. (Ed.) Mataphors for Evaluation. Beverly Hills: Sage, 1981. p.247-272.

CUBA, E. G. & LINCOLN, Y. S. Fourth Generation Evaluation.Beverly Hills: Sage, 1990.

MARK, M. From program theory to tests of program theory. New Directions for Program Evaluation, 47, 1990.

PATTON, M. Q. Creative Evaluation. Beverly Hills: Sage, 1981.

PATTON, M. Q. Practical Evaluation. Beverly Hills: Sage, 1982.

PATTON, M. Q. Utilization-Focused Evaluation. 2.ed. Beverly Hills: Sage, 1986.

PATTON, M. Q. The evaluator's responsability for utilization. Evaluation Practice, 9(2), 1988.

RIVELINE, C. Un point de vue d'ingénieur sur la gestion des organisations. École des Mines de Paris, mai 1991.

ROSSI, P. H. & FREEMAN, H. E. Evaluation: A Systematic Approach. Beverly Hills: Sage, 1985.

SHORTELL, S. M. & RICHARDSON, W. C. Health Program Evaluation. St-Louis: Mosby, 1978.

WEISS, C. Evaluation for decisions: Is anybody there? Does anybody care? Evaluation Practice, 9(1), 1988a.

WEISS, C. If program decisions hinged only on information: A response to Patton. Evaluation Practice, 9(3), 1988b.

YIN, R. K. Case Study Research. Beverly Hills: Sage, 1989.

* Versão adaptada de um artigo dos mesmos autores, L'évaluation dans le domaine de la santé: concepts & méthodes, publicado nas atas do colóquio editadas por LEBRUN, SAILLY & AMOURETTI (1992:14-32). A tradução preliminar deste texto recebeu o apoio do Instituto Materno-lnfantil de Pernambuco (IMIP - projeto financiado pelo BID), com revisão de Zulmira Maria de Araújo Hartz e Luiz Claudio S. Thuller.