3 - Análise da implantação

 

Jean-Louis Denis; François Champagne

O problema: os limites do modelo da "caixa

preta"

A área de avaliação das intervenções se desenvolveu muito nos anos 60 e 70 com a implantação de grandes programas sociais nos Estados Unidos (Rossi & Wright, 1984). Esses programas diziam respeito a áreas muito diversificadas como a educação, a moradia, a reinserção social dos ex-detentos, a garantia dos cuidados médicos e as pensões para pessoas de baixa renda. A prática da avaliação, neste período, que chamamos experimenting society (Rossi & Wright, 1984), visou a objetivos essencialmente somativos -outcome evaluation model (Mark, 1986):

A pesquisa avaliativa foi, no início, vista essencialmente como

avaliação dos efeitos 'líquidos' dos programas. O principal

problema na criação da pesquisa avaliativa era especificar as

condições apropriadas ceterisparibus, que permitiriam

estimações válidas destes efeitos 'líquidos'. Dentro desta

estrutura, o experimento controlado e randomizado se torna o

paradigma que define as regras para a pesquisa avaliativa.

(Rossi & Wright, 1984:334)

Tais avaliações, baseadas unicamente nos efeitos trazidos por uma intervenção, têm geralmente como finalidade decidir pela continuidade ou interrupção dos diferentes programas sociais.

A avaliação dos efeitos ou do impacto das intervenções se apóia definitivamente no modelo da "caixa preta" (black box experiment), no qual a intervenção é tratada como uma variável dicotômica (ausência ou presença da intervenção) (Cronbach et al., 1980; McLaughlin, 1985; Mark, 1987) e uma entidade relativamente homogênea (Rossi & Wright, 1984; McLaughlin, 1985) de onde é fácil definir o conteúdo e os diferentes componentes. A intervenção, a partir deste modelo, apresenta pouca ou nenhuma variação ao ser implantada e é impermeável à influência das características dos meios nos quais ela é introduzida. Conseqüentemente, a avaliação dos efeitos não traz nenhuma atenção à especificação dos processos envolvidos na produção das mudanças observadas depois da introdução de uma intervenção. Esquematicamente, este tipo de avaliação é representado da seguinte forma:

ESQUEMA 1

Modelo da Caixa Preta

 

Estes trabalhos, mesmo tendo contribuído de forma importante para o desenvolvimento dos métodos em avaliação, suscitaram uma certa desilusão (Weiss & Rein, 1972; Filstead, 1979; Rossi & Wright, 1984). Como observa Mark (1987), esta abordagem é apoiada em uma concepção simplista das condições de implantação das intervenções. Em um mundo real, onde clientes recebem várias quantidades de serviços, onde a natureza do tratamento dado é sujeito a ser diferente de local para local ou até de um responsável pelo programa para outro, e onde o programa é sujeito a ser um amálgama de vários serviços e componentes, cada um dos quais pode ter um efeito diferente, o modelo dicotômico da caixa preta dos programas é lamentavelmente inadequado.

Criticamos essa abordagem por impor um modelo pouco condizente com a realidade de execução das intervenções, isto é, por não reconhecer até que ponto a eficiência destas últimas é indireta (Weiss & Rein, 1972; McLaughlin, 1985). Em suma, ela propõe freqüentemente uma definição muito estreita dos objetivos de um programa, negligenciando a reflexão sobre a perspectiva dos vários executores e dos vários meios de implantação. Além do mais, ela não garante um acompanhamento próximo da evolução de uma intervenção, isto é, das modificações trazidas ao ser aplicada.

A adoção de um tal modelo tende também a limitar a utilidade das conclusões tiradas das pesquisas avaliativas (Deutscher, 1976; Cronbach, 1983; McLaughlin, 1985; Patton, 1986). Este tipo de avaliação é constantemente criticado por levar muitas vezes a um julgamento negativo sobre as reformas sociais empregadas (Weiss, 1972; Rossi & Wright, 1984; McLaughlin, 1985). A realização de uma avaliação deve, portanto, ir além de um objetivo estritamente somativo e permitir um julgamento não só sobre a eficácia de uma intervenção, mas também sobre os fatores explicativos dos resultados obtidos, tendo em vista modificações posteriores (Patton, 1986, 1987; Conrad & Roberts-Gray, 1988).

Conforme veremos, a análise da implantação consiste justamente em especificar o conjunto dos fatores que influenciam os resultados obtidos após a introdução de uma intervenção. Ela visa, desta forma, minimizar os riscos de cometer um erro de terceiro tipo (Dobson & Cook, 1980), avaliando os efeitos de uma intervenção com grau de implantação inferior ao previsto e ampliar a validade externa das pesquisa avaliativas.

 

Análise de implantação e validade externa da

avaliação

A validade externa de uma pesquisa se apóia em três princípios: o princípio da semelhança, o princípio de robustez e o princípio de explicação (Mark, 1986). O da semelhança diz respeito à capacidade de generalizar os resultados para um universo empírico similar. O da robustez estipula que o potencial de generalização de um estudo se amplia se houver réplica dos efeitos em contextos diversificados. Finalmente, o da explicação, desenvolvido extensamente por Cronbach (1983), mostra os ganhos de validade externa resultantes de uma compreensão dos fatores de produção e inibição dos efeitos. Ele dá ênfase a fundamentos teóricos da generalização discutidos recentemente por Campbell (1986). O aumento da capacidade de generalização pelo princípio da explicação se faz por meio de pesquisas sobre os processos causais em avaliação (Mark, 1986, 1987).

A análise de implantação, especificando as condições de produção dos efeitos, aumenta o potencial de generalização (validade externa) das pesquisas avaliativas (Shortell, 1984; Patton, 1986) pelo princípio da explicação (Mark, 1986). Mais especificamente, ela busca, do ponto de vista metodológico, compreender primeiro os efeitos da interação (interaction effects), identificados por Campbell & Stanley (1966) como uma ameaça eventual à validade externa de um estudo. Por efeito de interação entendemos o papel ativo desempenhado por um conjunto de variáveis, que não a intervenção (características dos atores, da organização...) na determinação dos efeitos observados. Ela busca aumentar a validade externa de uma avaliação, discriminando a contribuição dos componentes verdadeiramente implantados do programa (grau de implantação) na produção dos efeitos. Este aspecto da análise de implantação aproxima-se da validade de construção causal apresentado por Campbell (1986).

A análise de implantação reconhece assim, com Cronbach (1983) e Mark (1987), a necessidade de se dar uma atenção maior à questão da validade externa das pesquisas avaliativas. Os trabalhos de Campbell & Stanley (1966) e Cook & Campbell (1979) insistiram, com razão, na importância da validade interna como primeiro critério de apreciação da qualidade de um estudo. No entanto, esta ênfase sobre a validade interna contribuiu para negligenciar o desenvolvimento de estratégias para aumentar a validade externa das avaliações e limitou, desta forma, as repercussões práticas deste tipo de pesquisa. A análise de implantação se relaciona diretamente à questão da transferabilidade dos resultados (Lincoln & Guba, 1985), isto é, a capacidade de utilizar os resultados das pesquisas avaliativas para tomar decisões sobre a generalização de uma intervenção em outros meios.

 

O interesse pelos problemas de implantação

O reconhecimento dos limites próprios do modelo da "caixa preta" em avaliação estimulou um interesse crescente pelos problemas ligados à implantação das intervenções. Por implantação entendemos a transferência, em nível operacional, de uma intervenção (Tornatzky & Jonhson, 1982; Patton, 1986). O processo de implantação de uma intervenção representa uma etapa distinta e posterior à decisão de adotar uma mudança (Downs Júnior & Mohr, 1976; Scheirer, 1981). Ele se refere à operacionalização de um projeto, isto é, à sua integração a um dado contexto organizacional.

A avaliação da implantação compreende, segundo Patton (1986), cinco tipos de procedimentos, ou seja: a avaliação do esforço, o "monitoramento" dos programas, a avaliação do processo, a avaliação dos componentes e a especificação do tratamento. Discutimos cada uma destas alternativas para propor em seguida os elementos que devem ser, na nossa opinião, associados à análise de implantação das intervenções.

A avaliação do esforço e o "monitoramento" dos programas se assemelham à avaliação da dispersão (discrepancy analysis), proposta por Provus (1971), com o objetivo de ter certeza do grau de implantação de uma intervenção. Estas dimensões da avaliação da implantação visam portanto, essencialmente, documentar (avaliação do esforço) e acompanhar ("monitoramento") o nível de operacionalização de uma intervenção (Patton, 1986; Veney & Kaluzny, 1985; Rossi & Freeman, 1985). Elas se referem à operação que consiste em comparar as características da intervenção planejada com as da intervenção realmente implantada. A avaliação do processo, proposta por Rossi, Freeman & Wright (1979) e Rossi & Freeman (1985), e a revisão do progresso da 52 intervenção (review progress) (WHO, 1981) correspondem também a estas abordagens. O interesse por este procedimento reside no fato de que o grau de conformidade entre o projeto de intervenção inicial e sua versão operacional poderia bastar para explicar seu grau de eficácia (Rossi, 1978; Rossi & Wright, 1984; Rossi & Freeman, 1985; McLaughlin, 1985; Patton, 1986). Como afirma Patton (1987), a menos que alguém saiba que o programa está funcionando de acordo com o projeto, haverá poucas razões para se esperar que ele chegue ao resultado desejado. A avaliação do esforço e o monitoramento se limitam a medir o grau de implantação de uma intervenção. Não há investigação da relação entre as variações na implantação e os efeitos trazidos pela intervenção, nem explicação das variações na implantação da intervenção. Esta abordagem pode, portanto, ser vista como um pré-requisito à realização de uma análise dos efeitos.

A avaliação do processo (Schuman, 1967, 1972; Brooks, 1972; Patton, 1980, 1982, 1986) visa definir como certas particularidades dos meios de implantação influenciam os resultados de uma intervenção. Ela parece com a avaliação qualitativa (Reichardt & Cook, 1979; Patton, 1980; Lecomte, 1982; Blacker & Brown, 1983), "transacional" (House, 1980) ou "naturalística" (Lincoln & Guba, 1985). Quer, ao estudar a influência do contexto de implantação, chegar a uma compreensão global ou holística do funcionamento operacional da intervenção (Pearsol, 1985). A avaliação do processo segue, portanto, um objetivo essencialmente analítico relacionado às variações contextuais e aos efeitos observados após a introdução de uma intervenção. Trata, desta forma, diretamente de um problema de implantação, já que procura captar como as características dos vários meios influenciam os efeitos da intervenção.

A avaliação dos componentes envolve uma avaliação formal das várias partes de um "programa" (Patton, 1986). Com esta abordagem, o nível de análise, quando de uma avaliação dos efeitos, passa da intervenção em seu conjunto a seus vários componentes. O objetivo é aumentar a capacidade de generalizar resultados de uma avaliação do impacto. De fato, um conhecimento da influência relativa dos componentes de um programa sobre os efeitos observados permite identificar os elementos críticos do sucesso da intervenção e, desta forma, reproduzir o programa mais eficazmente em outros meios.

A especificação do tratamento (Patton, 1986) visa, de modo geral, entender como variações no grau de implantação das intervenções poderiam influenciar os resultados obtidos. A especificação do tratamento envolve, para Patton (1986), uma dimensão conceitual e uma dimensão empírica, isto é, deve-se identificar os elementos ativos de uma intervenção e verificar empiricamente se eles são operacionalizados na implantação de uma intervenção. A dimensão conceitual refere-se, de fato, à teoria de ação do programa (Patton, 1986, cap. 7), onde trata-se de identificar por meio dos conhecimentos disciplinares um algoritmo de intervenção suscetível de produzir os efeitos esperados. Entretanto, a dimensão empírica da especificação do tratamento trata realmente de um problema de implantação, verificando a relação entre os componentes da intervenção que foram implantados nos diferentes meios e as variações nos efeitos trazidos pela intervenção.

A discussão de Patton (1986) sobre a avaliação da implantação demonstra bem a utilidade deste tipo de avaliação e permite ampliar o leque de parâmetros considerados quando se trata de julgar o valor de uma intervenção. Porém, a tipologia que ele propõe apresenta certos limites e ambigüidades que merecem ser discutidos. Na nossa opinião, alguns problemas ligados aos cinco tipos de avaliação da implantação descrita por Patton (1986) inibiram ou complicaram sua utilização pelos avaliadores.

De início, os diferentes itens desta tipologia não são mutuamente exclusivos, o que prejudica uma apresentação precisa das várias abordagens que podem servir para avaliação da implantação. De fato, a distinção entre avaliação do esforço e o monitoramento, tal como entre a avaliação dos componentes e a especificação do tratamento são pouco convincentes. A especificidade do monitoramento ou acompanhamento reside no recurso de um sistema de informação para acompanhar a operacionalização de uma intervenção (Patton, 1986). Trata-se aqui de um meio particular que pode ser usado para realizar uma avaliação do esforço e não de um tipo específico de avaliação da implantação. Dentro desta perspectiva, os itens 1 e 2 de sua tipologia parecem equivalentes. A avaliação dos componentes é similar à especificação do tratamento em sua dimensão empírica. Estes dois itens visam observar o ganho relativo dos diferentes componentes de uma intervenção na produção dos efeitos. A dimensão teórica da especificação do tratamento parece, como já enfatizamos, com a teoria de ação do programa (Patton, 1986, cap. 7), e não representa uma abordagem de avaliação da implantação de uma intervenção. Ela diz mais respeito à validade teórica desta última.

Finalmente, a tipologia proposta por Patton (1986) não cobre de modo exaustivo o conjunto das abordagens que podem servir para avaliar a implantação de uma intervenção. De fato, ela não propõe nenhuma explicação do grau de implantação da intervenção, isto é, dos fatores que influenciam uma maior ou menor operacionalização desta. Uma explicação do esforço ou do intervalo entre a intervenção planejada e implantada é, no entanto, útil para determinação dos meios suscetíveis de serem mais receptivos a uma intervenção.

Para responder às dificuldades evidenciadas na descrição da avaliação de implantação, feita por Patton (1986), propomos uma tipologia que compreende três abordagens bem distintas. Esta tipologia explicita os diferentes alvos da avaliação da implantação, facilitando aos usuários potenciais de recorrer a esse tipo de avaliação. Além disto, se inspira e também se distingue da apresentada por Patton (1986). Em nossa opinião, a análise da implantação visa, sobretudo, identificar os procedimentos implicados na produção dos efeitos de uma intervenção. Ela é similar ao que Mark (1987:3) chamou de estudo dos processos causais (study of causal process) em pesquisa avaliativa:

O exemplo prototípico do exame do processo causal é o

desenho das relações em uma seqüência de causas para

determinar como o tratamento e o resultado estão relacionados,

como quando observamos que pondo uma moeda em uma

máquina automática de distribuir bebidas acionamos uma série

de alavancas e mecanismos terminando em liberar uma lata de

refrigerante. Na avaliação de programas, o estudo do processo

causal envolve, não alavancas e mecanismos, mas

relacionamentos entre os componentes do programa, variáveis

contextuais e respostas dos clientes.

A análise de implantação se interessa portanto, de modo geral, ao estudo dos determinantes e da influência da variação na implantação nos efeitos trazidos pela intervenção. Ela visa, por último, entender as condições de implantação das intervenções e os processos de produção dos efeitos. A análise de implantação se apóia conceitualmente na análise da influência sobre três componentes:

• dos determinantes contextuais no grau de implantação das

intervenções;

• das variações da implantação na sua eficácia (especificação

do tratamento em sua dimensão empírica) (Patton, 1986);

• da interação entre o contexto da implantação e a intervenção

nos efeitos observados - avaliação do processo (Patton, 1986).

Estes três componentes permitem, no quadro de uma avaliação, considerar as limitações encontradas no modelo da "caixa preta", ou seja, as de não considerar as variações prováveis na integridade da intervenção e a influência das variações contextuais. Esquematicamente, a tipologia da análise da implantação que propomos se representa como segue:

ESQUEMA 2

Tipologia da análise da Implantação

 

Os componentes 2 e 3 visam explicar os efeitos observados após a introdução de uma intervenção, enquanto o componente 1 busca entender as variações na implantação da intervenção. Trata-se, neste caso, de um pré-requisito lógico para atingir-se uma maior eficácia. O objetivo visado é o de propor uma explicação à observação de uma distância entre a intervenção planejada e aquela implantada, para garantir a sua integridade. Observamos também que essa tipologia comporta essencialmente elementos analíticos, isto é, que busquem explicar as variações na implantação e nos efeitos e não somente descrevê-los (ao contrário da avaliação do esforço e do monitoramento de Patton (1986).

 

Os componentes da análise da implantação

Componente 1: Análise dos determinantes contextuais do grau de implantação da intervenção.

Por "implantação" entendemos um uso apropriado e suficientemente intensivo da intervenção (Scheirer & Rezmovic, 1983). O conceito de implantação refere-se à extensão da operacionalização adequada de uma intervenção.

Vários autores (Hall & Loucks, 1977; Leithwood & Montgomery, 1980; Yin, 1981c, 1982; Scheirer & Rezmovic, 1983; Rezmovic, 1984; Breeke, 1987; Scheirer, 1987) discutiram as etapas necessárias para a realização de uma medição adequada do grau de implantação das intervenções. Estes trabalhos devem de preferência ser consultados antes de se iniciar uma pesquisa envolvendo a medição do grau de implantação de uma intervenção. Conceitualmente, a medição do grau de implantação de uma intervenção exige (adaptado de Leithwood & Montgomery, 1980):

• especificar a priori os componentes da intervenção, isto é, a

teoria do programa no sentido de Scheirer (1987);

• identificar as práticas requeridas para a implantação da

intervenção;

• descrever as práticas correntes em nível das áreas envolvidas

teoricamente pela intervenção;

• analisar a variação na implantação em virtude da variação das

características contextuais.

O grau de implantação de uma intervenção representa aqui a variável dependente que será posta em relação com as características contextuais do meio de implantação. Esquematicamente, a análise dos determinantes contextuais do grau de implantação das intervenções se apresenta como se segue:

ESQUEMA 3

 

A utilidade deste tipo de análise da implantação é procurar entender melhor o que explica as variações observadas em nível da implantação ou da integridade de uma intervenção - tratamento não padronizado no sentido de Rossi (1978), supondo que estas últimas influenciam fortemente os efeitos produzidos pela intervenção (Scheirer, 1987). Para nós, a integridade é relativa à validade de conteúdo da intervenção, à intensidade com a qual as atividades são realizadas e à sua adequação em relação às normas existentes. A validade de conteúdo refere-se à exaustividade dos componentes da intervenção que são implantados. A intensidade traduz o esforço ou a suficiência das atividades realizadas em termos quantitativos para cada um dos componentes da intervenção. O critério de adequação representa a qualidade das atividades que são produzidas, isto é, o respeito das normas em termos da estrutura (recursos) e do processo. Ela visa definir os fatores explicativos das diferenças observadas entre a intervenção planejada e a implantada. Acrescenta, desta forma, uma dimensão analítica à avaliação do intervalo proposto por Provus (1971). Ela é apropriada quando a intervenção é complexa e composta de elementos seqüenciais.

Este primeiro componente da análise de implantação pode ser apropriada em uma grande quantidade de intervenções. A implantação de um programa de prevenção de gravidez na adolescência, por exemplo, implicando a colaboração de educadores no meio escolar, dos pais e dos responsáveis de uma clínica especializada, pode se revelar problemática. Exige a determinação e a coordenação das ações dirigidas aos jovens feitas pelos diferentes atores. A implantação deste programa enfrenta duas dificuldades maiores: deve-se antes convencê-los do bom senso das várias atividades ou componentes do programa e estabelecer um mecanismo de colaboração. É provável que a implantação de uma intervenção tão complexa seja influenciada por várias características contextuais, ou seja, por atributos dos diferentes meios de implantação (por exemplo, adesão ao projeto, coerência entre o programa e as atividades habituais da clínica e do meio escolar...). Neste caso, uma análise dos determinantes contextuais da implantação poderá permitir a identificação dos meios onde uma implantação integral da intervenção parece plausível.

Componente 2: Análise da influência da variação na implantação sobre os efeitos observados.

A implantação de uma intervenção pode se revelar difícil principalmente se ela exigir modificações importantes nas práticas habituais dos agentes de implantação. Devemos conhecer o que ocorre após uma intervenção, isto é, o grau de integridade do tratamento (Yeaton & Sechrest, 1985) no momento de sua implantação, de forma a não se tirar conclusões errôneas sobre a eficácia de uma intervenção. Dobson & Cook (1980) comentaram sobre o risco de se cometer um erro de terceiro tipo em pesquisa avaliativa, isto é, de medir os efeitos de uma intervenção cujo grau de operacionalização ou de implantação não é suficiente ou satisfatório - label fallacy discutida por McLaughlin (1985).

Nosso segundo componente da análise da implantação relaciona as variações em nível da intervenção com as que são próprias dos efeitos observados. Corresponde ao que Patton (1986) chama de a especificação do tratamento (treatment specification) na sua dimensão empírica e à análise dos componentes da intervenção (component analysis). Permite interpretar com mais exatidão os resultados de uma avaliação do impacto. Contribui também para distinguir os componentes de uma intervenção suscetíveis de facilitar o alcance dos resultados esperados. Ainda mais, em função da extensão da implantação da intervenção, pode ser possível definir os níveis mínimos de atividades em vista do alcance de certos objetivos de resultados. Assim, vários autores (Rossi, 1978; Rossi & Wright, 1984) chamaram a atenção para a utilidade de proceder a uma variação empírica intencional dos componentes das intervenções de forma a conhecer melhor os elementos necessários à sua eficácia.

De modo geral, este componente da análise da implantação busca analisar a influência do grau de implantação da intervenção. A análise da influência das variações na intervenção se apresenta esquematicamente como se segue:

ESQUEMA 4

 

Ao executar esta análise, a variável independente é o grau de implantação da intervenção e as variáveis dependentes são os efeitos observados após a introdução da intervenção.

A adoção, pelos centros hospitalares, do modelo de cuidados maternos orientados para a família com o objetivo de diminuir os procedimentos de rotina e as taxas de intervenção no nascimento é bem-apropriado para este tipo de análise de implantação. A operacionalização deste modelo pode se apoiar na implantação de salas de parto, na adoção de protocolos que devem guiar as práticas obstétricas e na formação de diferentes agentes com abordagem menos intervencionista. Esta política de intervenção está sujeita, portanto, por sua complexidade e sua falta de especificidade, a variar consideravelmente na hora de sua implantação nos diferentes hospitais. É interessante, neste caso, analisar em que essas variações na implantação fazem variar os efeitos trazidos pela intervenção. Uma tal abordagem pode levar a definir os componentes essenciais e secundários ao modelo e, assim, promover a implantação dos componentes suscetíveis de produzir o máximo de mudanças desejáveis nas práticas obstétricas.

Componente 3: Análise da influência da interação entre o contexto de implantação e a intervenção sobre os efeitos observados:

O impacto de uma intervenção pode ser influenciado pelas características contextuais dos meios de implantação (Conrad, 1988; Roberts-Gray & Scheirer, 1988). A esse respeito, McLaughlin (1985:98) comenta sobre o impacto indireto dos tratamentos ou intervenções:

Desenhos de pesquisa de correlação ou impacto assumem uma

relação direta entre tratamento ou implantação de programas e

os seus efeitos. No entanto, esta relação raramente existe na

realidade. Os efeitos do tratamento, sejam eles a melhora dos

escores de um aluno, a valorização da capacidade do ensino,

ou a queda do índice de marginalização, são resultado de

interações múltiplas e complexas entre implantação do

programa, isto é, tecnologia, treinamento, material,

financiamento ou assistência técnica, e fatores institucionais do

programa. Programas sociais são realizados dentro e através

de seus contextos institucionais.

A análise da influência da interação entre a intervenção e o contexto de implantação visa explicar as variações dos efeitos observados após a introdução de uma intervenção. Por interação entendemos a contribuição simultânea ou interdependência entre dois ou vários fatores na produção dos efeitos (Miettinen, 1982). Mais especificamente, a interação se refere a uma situação de sinergismo ou de antagonismo entre diferentes fatores em jogo na produção dos efeitos. A interação ou interdependência de tipo sinérgico diz respeito a um caso onde o efeito conjunto de dois fatores é superior ao efeito produzido pela adição dos fatores tomados separadamente. Uma situação de antagonismo entre fatores representa um caso onde o efeito individual de um fator é bloqueado ou diminuído pela presença de um outro fator.

Concretamente, na introdução de uma intervenção, alguns fatores contextuais (por exemplo, características da organização) podem contribuir para aumentar os efeitos por ela produzidos (interação sinérgica) ou bloqueá-los (interação antagônica). Por exemplo, uma diversidade importante de profissionais em um meio clínico pode ser necessária para que um programa inovador de intervenção produza os resultados esperados (situação de sinergia entre os fatores). Mas, no entanto, o fato de existir uma resistência muito forte dos agentes de implantação (implementadores) à introdução de um novo modo de intervenção pode diminuir seus efeitos (situação de antagonismo entre fatores). Neste caso, a intervenção pode ser capaz de produzir um certo impacto (validade teórica do programa), mas sofre a ação antagônica de fator presente no contexto da implantação.

Esquematicamente, a análise da interação no momento da implantação de uma intervenção se apresenta como se segue:

ESQUEMA 5

 

Este terceiro componente da análise da implantação é útil quando queremos documentar e explicar a dinâmica interna de uma intervenção. Por exemplo, o efeito de um programa visando à reinserção social dos ex-detentos pode depender fortemente das características dos meios nos quais ele é introduzido. Mais precisamente, os recursos que os organismos comunitários encarregados de aplicar o programa dispõem, o tipo e o nível de formação dos prestadores implicados e sua experiência prévia nesta área, podem interagir com a intervenção para facilitar ou bloquear o alcance dos objetivos pretendidos. Uma análise da influência de interação entre o programa e o contexto deveria permitir o reconhecimento dos fatores contextuais suscetíveis de contribuir à realização do potencial da intervenção.

 

Quando realizar uma análise da implantação

A decisão de realizar uma análise da implantação deve se apoiar, sobretudo, no conhecimento da configuração dos efeitos produzidos por uma intervenção. De fato, é pouco útil buscar especificar o conjunto e a diversidade de outros fatores, que não a intervenção, implicados na produção dos efeitos, se estes não variam entre os vários meios de implantação.

A introdução de uma intervenção produz teoricamente efeitos que variam entre os diferentes indicadores de efeitos ou de impacto tomados para medir as mudanças por ela trazidas.

O Quadro 1 ilustra o impacto potencial de uma intervenção em função de duas dimensões: robustez dos efeitos e o grau de mudança produzido por esta.

QUADRO 1

Os efeitos de uma Intervenção

 

O critério da robustez baseia-se no grau de constância com o qual uma intervenção produz um efeito dentro dos diversos meios de implantação (Tornatzky & Johnson, 1982). Assim, alguns efeitos são

julgados fixos (casas A e B do Quadro 1) já que não variam de uma organização a outra. Em outras palavras, a introdução de uma intervenção vai sempre produzir um dado efeito independentemente dos dados contextuais. Entretanto, outros efeitos são julgados

variáveis (casa C do Quadro 1) já que eles variam em função das características dos meios de implantação.

O grau de mudança representa o segundo critério utilizado para avaliar os efeitos de uma intervenção. A intervenção traz mudanças não nulas em relação a certos indicadores de impacto (casas A e C

do Quadro 1) e mudanças quase nulas em outras dimensões (casa

B do Quadro 1).

A conjugação e a aplicação destes dois critérios permitem definir três tipos de efeitos engendrados pela introdução de uma intervenção. A casa A representa os efeitos que são fixos e não-nulos ao mesmo tempo. Neste caso, a intervenção apresenta um alto grau de robustez em relação às variações contextuais e é eficaz para produzir mudanças em nível destes indicadores. A casa B compreende efeitos da intervenção que são fixos e quase nulos. Neste caso, a intervenção apresenta um alto grau de robustez, já que ela produz constantemente pouca mudança em nível do grupo de indicadores de impacto. A casa C corresponde a efeitos que podem ser potencialmente trazidos pela intervenção, já que eles dependem de certos fatores contextuais. A intervenção provoca provavelmente, neste nível, mudanças não-nulas, mas variáveis de uma organização a outra. Ela apresenta, neste caso, um baixo grau de robustez em relação às variações contextuais. Finalmente, a casa D é logicamente impossível. A intervenção não pode ser simultaneamente ineficiente para produzir mudanças em nível de um indicador e ser pouco robusta nesta dimensão. O efeito da intervenção deve ser aqui necessariamente fixo, já que ele é quase nulo devido à inaptidão da inovação de agir neste nível.

A presença de indicadores de impacto na casa C sugere a necessidade de se realizar uma análise de implantação. Deve-se, portanto, fazer uma análise deste tipo quando os efeitos da inovação são pouco robustos, sensíveis às variações contextuais e não nulas.

Dois dos três tipos de análise de implantação precisam, portanto, da realização conjunta de uma análise dos efeitos. E mais: se os efeitos são robustos ou constantes dentro dos diferentes meios, não há razão para se conduzir uma análise de implantação. Antes de proceder a uma análise de implantação do tipo 2 ou 3, é importante escolher corretamente os indicadores dos efeitos do programa. Estes indicadores devem variar em termos de efeitos dentro dos diferentes meios que receberam a intervenção. A seleção dos indicadores de impacto a serem tomados para análise da implantação pode ser feita com a ajuda do coeficiente de variância (Feinstein, 1985) para permitir a detecção dos indicadores que apresentem uma variação importante.

 

O estudo do contexto

Como vimos anteriormente, a análise da implantação visa, entre outras coisas, definir a influência dos fatores contextuais nos efeitos (componente 3) e no grau de implantação da intervenção (componente 1). Esta seção apresenta sumariamente, a partir da teoria das organizações, os modelos que podem servir para analisar o contexto na ocasião de uma análise de implantação.

Autores bem-conhecidos, tais como Drucker (1987), Mintzberg (1988) e Perrow (1983, 1986), insistem no fato de que nossa sociedade é uma destas organizações. Conseqüentemente, a implantação de uma intervenção vai supor necessariamente mudanças organizacionais, isto é, processos complexos de adaptação e de apropriação das políticas ou programas nos diferentes meios em questão. Neste sentido, a literatura sobre a mudança è a inovação nas organizações pode vantajosamente servir de guia à análise da implantação das intervenções (Greene et al., 1987; Shortell, 1983, 1984). O processo de inovação nas

organizações comporta seis fases ilustradas no Esquema 6 da página seguinte: a iniciação; a difusão (Rogers, 1983); a adoção; a implantação (Scheirer, 1981); a rotinização ou a institucionalização (Yin, 1981c; Goodman & Dean, 1982); e a "ex-novação" ou abandono da inovação (Levine, 1980; Kimberly, 1981). A análise da implantação se orienta no estudo dos processos de mudança ocorridos após uma organização ter decidido introduzir ou adotar uma intervenção.

ESQUEMA 6

Processo de produção de mudança nas organizações

 

Os teóricos da organização estão, todavia, bem longe de um consenso sobre as variáveis explicativas da implantação de uma intervenção. Os trabalhos nesta área se apoiam em vários modelos conceituais bem diferentes uns dos outros (Schultz & Selvin, 1975; Elmore, 1978; Shultz, Ginzberg & Lucas Júnior, 1984). Estes modelos podem ser agrupados em cinco perspectivas (adaptado de Scheirer, 1981): racional; desenvolvimento organizacional;

psicológico; estrutural; e político (Quadro 2). Apresentaremos rapidamente cada um destes modelos fornecendo, desta forma, hipóteses que poderiam ser úteis para explicar o nível de implantação de uma intervenção e sobre a maneira como o contexto age sobre seu impacto.

QUADRO 2

Modelos de análise da mudança

 

O Modelo Racional

A perspectiva racional ou "modelo de planejamento e controle" (Majone & Wildavsky, 1978) representa a concepção tradicional da mudança planejada nas organizações (Kunkel, 1975). Segundo este modelo, um contexto favorável a uma implantação suficiente da intervenção e a otimização do impacto esperado depende, principalmente, de quatro fatores: de um processo de planejamento de qualidade, isto é, de uma identificação do problema, de uma determinação das alternativas e de uma escolha de soluções adequadas; do exercício de um controle hierárquico suficiente sobre os indivíduos responsáveis em implantar a intervenção (Harrison, 1985; Kirkpatrick, 1986); de um grau de coerência elevado entre as expectivas dos gestionários em posição de autoridade e os comportamentos esperados pela introdução da intervenção (Elmore, 1978); de uma comunicação adequada dos planos aos agentes de implantação e de uma elevada conformidade entre seus comportamentos e as diretrizes que são emitidas (Harrison, 1985).

Não há, do nosso conhecimento, pesquisas empíricas que permitiram testar a capacidade deste modelo em explicar as variações em nível do sucesso da implantação de mudanças nas organizações. O modelo racional compreende, provavelmente, vários limites quando se trata de explicar a natureza dos processos de implantação das intervenções. De fato, ele negligencia o reconhecimento da textura e da complexidade essencialmente social dos meios de implantação. E tende a mascarar as tensões ou contradições que se articulam em torno dos processos de implantação das intervenções. Em suma, esta perspectiva, mesmo sendo freqüentemente apresentada como um ideal a ser atingido na gestão das intervenções (Harrison, 1985), parece só levar em conta parcialmente os fatores explicativos da implantação.

O Modelo do Desenvolvimento Organizacional

O desenvolvimento organizacional é relativo a uma abordagem aplicada de gestão, favorecida normalmente pelos consultores na área da administração (Beckhard, 1969; French, Bell & Zawacki, 1978; Lippitt, 1982). Esta perspectiva parece, como no caso da abordagem racional, muito mais normativa que analítica. O estudo de Van de Ven (1980a, 1980b) representa uma exceção, já que tende empiricamente para os benefícios relativos "de um modelo participativo" em relação a um modelo "autoritário" de implantação de 14 programas de saúde infantil no Texas. Ele conclui pela superioridade do modelo participativo quando se trata de garantir uma probabilidade maior de sucesso da implantação.

Esta abordagem sugere que um contexto favorável à implantação se caracteriza pela presença de um estilo participativo de gestão, de uma descentralização dos processos de decisão nos programas de enriquecimento das tarefas e de mecanismos que favorecem uma boa comunicação na organização (Fullan, 1972; Berman, 1980; Geis, 1985; Herman-Taylor, 1985; Goodman & Kurke, 1982). Esta abordagem propõe, em suma, mecanismos compensatórios ao controle hierárquico praticado nas organizações para facilitar a implantação das intervenções: " O desenvolvimento organizacional é normativo de baixo para cima, contrário à estratégia racionalista que é ditada de cima para baixo" (Scheirer, 1981:27). A perspectiva do desenvolvimento organizacional enfatiza, à maneira da escola das relações humanas em teoria das organizações (Mouzelis, 1983), os diferentes aspectos dos comportamentos dos indivíduos em situação de trabalho para maximizar a implantação das intervenções e sua eficácia.

O sucesso desta abordagem depende da capacidade de uma organização gerar um consenso em torno dos objetivos perseguidos pela mudança (Elmore, 1978). Segundo esse modelo, a elaboração de mecanismos que favorecem relações positivas e não conflitantes entre os membros de uma organização permite, em princípio, ultrapassar as tensões que possam afetar a solidariedade intra-organizacional.

O Modelo Psicológico

A perspectiva psicológica (Argyris, 1982, 1985a, 1985b) sobre a mudança nas organizações foi desenvolvida a partir da literatura sobre as atitudes, a mudança das atitudes e a relação atitudes-comportamentos (Fishbein & Ajzen, 1975). Este modelo postula uma relação seqüencial entre as crenças, as atitudes, as intenções e os comportamentos. Conseqüentemente, convém logicamente supor que as atitudes e as crenças vão influenciar a propensão dos indivíduos em aceitar a implantação de uma nova intervenção.

Segundo a abordagem psicológica, os indivíduos terão uma tendência a resistir à implantação de uma intervenção apesar da sua adesão inicial (Staw, 1982). Eles têm, em geral, modos conservadores de ação e uma capacidade limitada de se adaptar às novas situações (Norman, 1985). A implantação de uma intervenção encontra, provavelmente, obstáculos importantes e necessita da elaboração de mecanismos para contorná-los.

Dentro desta perspectiva, um contexto favorável à implantação de uma intervenção e à sua eficácia dependerá essencialmente de três fatores, ou seja: a ausência de um intervalo entre os modos habituais de ação dos indivíduos e as exigências da intervenção; a implantação de um processo de troca entre os membros envolvidos na organização sobre as dificuldades encontradas na implantação da intervenção; e a instauração de mecanismos de reforço das novas normas buscadas para a intervenção (Staw, 1982; Argyris 1985a, 1985b; Argyris, Putnam & McLain-Smith, 1985; Norman, 1985).

Mesmo que esta abordagem apresente um atrativo conceitual evidente, a perspectiva psicológica é fundamentada essencialmente em uma relação hipotética entre as atitudes e os comportamentos, que permanece fortemente controvertida (Schuman-Jonhson, 1976). Segundo esse modelo, a capacidade de uma organização implantar uma intervenção e favorecer sua eficácia depende de modificações nos fundamentos cognitivos e emotivos da ação organizacional. Finalmente, devemos lembrar que existe pouca evidência empírica sobre o impacto das resistências individuais em relação à implantação de uma intervenção quando o conjunto do ambiente organizacional a suporta (Gross, Giacquinta & Bernstein, 1972; Scheirer, 1981).

O Modelo Estrutural

A abordagem estrutural é representativa de uma parte importante dos estudos realizados na área da implantação há 20 anos. Segundo a perspectiva estrutural, as organizações que conseguem implantar uma intervenção e que apresentam um contexto favorável à sua eficácia se distinguem das outras por toda uma série de características referentes aos atributos organizacionais: tamanho, centralização, formalização, nível de especialização etc. (Burns & Stalker, 1961; Hage & Aiken, 1970; Pierce & Delbecq, 1977; Moos, 1983; Hage, 1986; Bennis, 1966; Thompson, 1965; Harvey & Mills, 1970; Zaltman, Duncan & Holbeck, 1973); contexto organizacional -incerteza ambiental, grau de competição, facilidade organizacional, grau de urbanização etc. (Harvey & Mills, 1970; Pierce & Delbecq, 1977; Shortell, 1983); e aos atributos dos gestionários - locus of control, atenção prestada à inovação, orientação cosmopolita ou local (Thompson, 1965; Rotter, 1966; Miller, 1983; Shortell, 1983; Pierce & Holbecq, 1977).

Os estudos inscritos neste modelo são essencialmente analíticos e se distanciam do aspecto normativo das abordagens anteriores. No entanto, os resultados destes estudos são mais instáveis, o que torna difícil julgar as relações entre certas características estruturais e a implantação das intervenções (Downs & Mohr, 1976).

O Modelo Político

A perspectiva política da análise de implantação foi sugerida por vários autores (Burns & Stalker, 1961; Wilson, 1966; Becker & Whisler, 1967; Harvey & Mills, 1970; Zmud, McLaughlin & Might, 1984; Robey, 1984; Pettigrew, 1985; Barley, 1986; Carnall, 1986; Deber & Leatt, 1986). O modelo político é extraído, de modo geral, de uma perspectiva crítica dialética (Benson, 1983), aberta ou natural (Scott, 1981), de análise das organizações. Segundo esta abordagem, a adoção e a implantação de intervenções são consideradas como jogos de poder organizacional, cujo resultado constitui um ajuste às pressões internas e externas (Harrison, 1985; Wilson, 1966; Elmore, 1978; Majone & Wildavsky, 1978; Hansenfeld, 1980; Dyer & Page, 1987). U m contexto favorável à implantação e à eficácia de uma intervenção depende da abordagem política de três fatores: de um suporte importante dado à intervenção pelos agentes de implantação; do exercício, por estes, de um controle suficiente na organização para estar apto a operacionalizar e tornar eficaz a intervenção; e de uma forte coerência entre os motivos subjacentes ao suporte que eles dão à intervenção e os objetivos que ali estão associados. As dificuldades ligadas à implantação de uma intervenção não dependem, segundo esta abordagem, de uma ineficácia do processo de planejamento ou do sistema de controle, mas sim de interesses particulares dos atores influentes na organização.

Que Abordagem Escolher para Analisar a Implantação de uma Intervenção?

A literatura propõe, portanto, cinco perspectivas que levam a explicações bem diferentes dos fatores que podem facilitar ou fazer obstáculo à implantação de uma intervenção e à sua eficácia. Cada um destes modelos sugere uma definição particular dos elementos contextuais que podem influenciar a implantação. Vemos, todavia, como insuficiente o caráter normativo das abordagens racionais e de desenvolvimento organizacional. Conhecemos pouco, também, da relação criada pelo modelo psicológico entre as resistências individuais e a capacidade de uma organização em implantar uma intervenção. Além do mais, os resultados de estudos fundados no modelo estrutural se revelaram muitas vezes contraditórios. O modelo político foi sugerido com o objetivo de contribuir para uma

melhor compreensão dos processos de implantação. O Quadro 3 apresenta, para cada um dos modelos, o tipo de dúvida que eles suscitam para explicar o grau de implantação e os efeitos das intervenções. Esta reflexão sobre os diferentes modelos de implantação das intervenções nos leva a formular um modelo

político e contingente (Figura 1) que se inspira nas abordagens política e estrutural definidas anteriormente. Segundo este modelo, a organização é uma arena política no interior da qual os atores perseguem estratégias diferentes.

QUADRO 3

Características contextuais que podem influenciar os efeitos e o grau de implantação segundo os diferentes modelos de análise das

mudanças

FIGURA 1

Um modelo político e contingente de análise da Implantação das

Intervenções

 

*E.F.: Estratégias fundamentais

No entanto, objetivos particulares são associados à intervenção que procuramos implantar. Os diferentes atores organizacionais podem apoiar a implantação de uma intervenção se virem nela um meio de atualização de suas estratégias fundamentais. O apoio dado pelos atores às características e aos objetivos associados a intervenção se traduz em um conjunto de estratégias de reação a intervenção que interagem dentro de uma distribuição particular do poder na organização. O nível de atualização das estratégias dos atores depende do seu grau de controle das bases de poder na organização. O nível de alcance dos objetivos associados à intervenção depende do apoio dos atores dominantes a esses objetivos. Finalmente, os atores devem levar em consideração, na busca de suas estratégias respectivas, as características estruturais da organização no decorrer do processo de implantação de uma intervenção.

Segundo este modelo, o processo de implantação de uma intervenção deve, antes de tudo, ser abordado segundo uma perspectiva política. Ele sofre, todavia, as pressões de caráter estrutural, isto é, as características estruturais de uma organização que funcionam em sinergia ou em antagonismo na atualização das estratégias dos atores.

Este modelo visa, em suma, definir os determinantes contextuais do grau de implantação das intervenções ou de sua eficácia. Ele propõe um quadro conceitual que pode ser utilizado para realizar os componentes 1 e 3 da análise da implantação.

 

Considerações metodológicas para a análise de

implantação: descrição e exemplos

Três tipos de estratégias de pesquisa são propícios à análise de implantação: o estudo de caso, o estudo comparativo e a experimentação. A apresentação de cada uma destas estratégias de pesquisa é seguida de um exemplo. Uma atenção maior é dada à discussão do estudo de caso, já que ela parece ser uma estratégia de pesquisa particularmente útil para conduzir este tipo de avaliação.

Estudo de Caso

De um modo geral, o estudo de caso é definido como a investigação empírica de um fenômeno que pode dificilmente ser isolado ou dissociado do seu contexto (Yin, 1984). Por exemplo, esta estratégia deve ser privilegiada quando for difícil diferenciar os efeitos produzidos por uma intervenção dos que podem ser atribuídos às características do meio de implantação (Yin, 1981 a; Patton, 1980; Dorr-Brenne, 1986). Ela procura estudar o conjunto das variações intra-sistema (Lipset, Trow & Coleman, 1957), isto é, as variações que se produzem naturalmente em um dado meio (Guba & Lincoln, 1981).

O estudo de caso é uma estratégia na qual o pesquisador decide trabalhar sobre uma quantidade muito pequena de unidades de análise. A observação é feita no interior de cada caso. A potência explicativa desta estratégia se apóia na coerência da estrutura das relações entre os componentes do caso, assim como na coerência das variações destas relações no tempo. A potência explicativa decorre, portanto, da profundidade da análise do caso e não do número de unidades.

Validade dos Estudos de Caso

Validade interna dos estudos de caso

De modo geral, a validade interna de um estudo se baseia no grau de segurança com o qual podemos estabelecer uma ligação de causalidade entre dois conjuntos de variáveis independentes e dependentes (Campbell & Stanley, 1966; Cook & Campbell, 1979). Mais precisamente, a validade interna do estudo depende da capacidade do pesquisador de minimizar a presença de viéses que

comprometem a exatidão das conclusões de uma pesquisa. 1

A validade interna de um estudo de caso depende de dois fatores: a qualidade e a complexidade da articulação teórica subjacente ao estudo; e a adequação entre o modo de análise escolhido e o modelo teórico (Yin, 1984). Vários autores (Campbell, 1975; Yin, 1981 a, 1981 b, 1984) reconhecem o quanto a validade interna dos estudos de casos se apóia no recurso a propostas teóricas formais.

A adoção de um modelo teórico, no estudo de caso, tem um papel análogo aos graus de liberdade em análise estatística (Campbell, 1975). De fato, estas propostas compensam o problema inerente a essa estratégia de pesquisa, seja o de um número de variáveis que excede fortemente o número de pontos de observação (Yin, 1981a, 1984). É o grau de conformidade entre um conjunto de proposições teóricas derivado de um mesmo modelo e a realidade empírica observada que permite fazer um julgamento sobre o valor explicativo deste.

Como vimos anteriormente, a validade interna de um estudo de caso depende também da adequação entre o modo de análise escolhido e o modelo teórico. Yin (1984) propõe três estratégias de análise dos estudos de caso: o pareamento de um modelo, o desenvolvimento de uma explicação e a série temporal. O pareamento de um modelo supõe a comparação de uma configuração prévia com uma configuração empírica observada. Esta estratégia de análise se divide em duas abordagens. O modelo teórico construído pode servir para prever os impactos variáveis de uma intervenção. Trata-se aqui do pareamento de um modelo do tipo variáveis dependentes não-equivalentes. O interesse desta estratégia, por exemplo para a análise da interação (componente 3 da análise de implantação), é o de formular previsões sobre os efeitos variáveis produzidos por uma intervenção introduzida em contextos diferentes.

O recurso a uma rede de explicações rivais representa o outro tipo de análise por pareamento de um modelo. Esta abordagem se apóia na formulação de vários modelos para explicar os resultados obtidos após a introdução de uma intervenção dentro de um ou vários casos. Estes modelos ou conjuntos de variáveis independentes constituem entidades teóricas bem distintas uma das outras. A abordagem por explicações rivais visa à definição do modelo explicativo mais apropriado ante os efeitos produzidos por uma intervenção ou ao seu grau de implantação.

O desenvolvimento de uma explicação se refere a uma abordagem essencialmente interativa (Yin, 1984). A abordagem parece com a pesquisa naturalística desenvolvida por Lincoln & Guba (1985) e com os princípios de construção das teorias trazidas por Glazer & Strauss (1967). O pesquisador encaixa os dados já existentes em uma situação ou um caso e elabora, com a ajuda de um conjunto de teorias, a explicação mais adequada ao fenômeno. Esta abordagem é exigente e difícil, pois necessita um conhecimento aprofundado das diferentes correntes teóricas que podem levar a uma explicação ótima do fenômeno. Ela pede também que se estude várias vezes os dados, de forma a garantir uma confrontação suficiente das diferentes correntes teóricas com a realidade empírica.

A abordagem das séries temporais consiste em formular previsões sobre a evolução neste tipo de fenômeno (Yin, 1984). Por exemplo, no caso de análise das variações na intervenção (componente 2 da análise da implantação), o pesquisador pode querer prever vários níveis de impacto de um programa em virtude da produção mais ou menos completa de uma série de acontecimentos (atividades ou componentes do programa). Trata-se, em suma, de propor hipoteticamente um cenário de acontecimentos que explica a tendência ou a evolução dos efeitos produzidos por uma intervenção.

Estes vários modos de análise dos estudos de caso podem ser utilizados conjuntamente em uma pesquisa. O recurso a séries temporais pode ser combinado com propostas teóricas que ultrapassam a previsão de tendências empíricas. A escolha de um método de análise está ligada intimamente ao quadro teórico formulado antes de empreender-se o estudo de caso. Ele reflete a estratégia utilizada para garantir que o modelo teórico em questão passe por um teste suficientemente rigoroso.

Validade de construção dos estudos de caso

A validade de construção de uma pesquisa se apóia no grau de certeza com o qual podemos tirar conclusões sobre as construções teóricas em questão, a partir das medidas e operações utilizadas (Cook, Cook & Mark, 1982). Ela diz respeito à capacidade dos indicadores escolhidos de medir corretamente os conceitos ou construções que nos interessam (Bagozzi & Philips, 1982). Uma baixa validade de construção retrata uma correspondência limitada entre uma estratégia de medida e os conceitos a que se refere, minimizando assim as repercussões teóricas de uma pesquisa.

A validade de construção é quase sempre percebida como um ponto fraco dos estudos de caso (Yin, 1984). Várias atitudes podem ser tomadas para minimizar os riscos de uma baixa validade de construção. É importante definir bem, no início de um estudo, os procedimentos que queremos observar. Estes procedimentos somente são bem-definidos se forem coerentes com os objetivos teóricos buscados. Por exemplo, uma pesquisa sobre a implantação de um programa de prevenção da toxicomania nos adolescentes em meio escolar exige a definição, a priori, do conjunto dos procedimentos que devemos observar para conhecer os fatores determinantes do grau de implantação. Se nos interessamos acerca da influência da reação de diferentes instituições escolares em relação ao programa sobre o processo de implantação, deveremos definir, a priori, os diferentes contextos que permitem captar essa reação e as medidas operacionais apropriadas. Nestes casos, a reação do meio pode ser definida em função do volume de informação divulgado sobre o programa aos diferentes agentes escolares, do tempo de formação concedido, da amplitude dos recursos designados para o programa, da atenção prestada pelos dirigentes das organizações envolvidas na evolução do programa... e, ainda, é necessário especificar o tipo e a fonte dos dados a serem recolhidos para medir as diferentes dimensões adotadas no conceito mais geral de reação das organizações.

Recorrer a múltiplas fontes de dados pode contribuir para aumentar a validade de construção de um estudo de caso (Yin, 1984). Trata-se de verificar aqui se há convergência de várias fontes de dados que medem um mesmo conceito. O postulado é que o uso de fontes múltiplas de dados permite um controle de diferentes fontes de erros e uma melhor representação do procedimento estudado. No momento de medir a reação de uma organização no exemplo citado antes, poderíamos comparar dados obtidos de entrevistas com o registro de atividades do programa mantido pelos responsáveis por sua implantação.

Uma outra estratégia para aumentar a validade de construção dos estudos de casos consiste em desenvolver ao longo da coleta de dados uma cadeia de evidências (Yin, 1984). Concretamente, isto supõe traçar ligações lógicas entre diferentes observações, de modo a descrever o procedimento estudado. Para o programa de prevenção da toxicomania, pode tratar-se de levantar empiricamente as diferentes etapas que permitiram determinar a natureza da reação dos diferentes meios. A validade de construção será aumentada se pudermos descrever os elementos empíricos que levaram a uma interpretação particular dos fatos.

A validade de construção de um estudo de caso pode ser também aumentada se submetermos o relatório de pesquisa a informantes-chave (Yin, 1984). Estes revisores do meio podem se opor às interpretações e conclusões de um estudo, mas devem estar de acordo com o material que serve à sua formulação. Em suma, eles devem reconhecer a existência de acontecimentos empíricos na base do caso. A validade de construção de um estudo de caso se desenvolve, portanto, principalmente em nível da estratégia de coleta de dados (estratégia de medida das variáveis). Um julgamento pode, entretanto, ser feito sobre o grau de validade de construção de um estudo de casos, permitindo a um ou mais informantes opinar sobre a veracidade dos fatos e procedimentos observados ao longo da pesquisa.

Validade externa dos estudos de caso

A questão da validade externa dos estudos de caso é também vista freqüentemente como um elemento problemático desta estratégia de pesquisa. A fonte desta crítica se apóia em um conceito muito difundido, porém errôneo, das condições de generalização no quadro dos estudos de caso. A validade externa desta estratégia de pesquisa não depende da observação exaustiva de um conjunto diversificado de elementos, isto é, de vários casos com características diferentes (Yin, 1984). Esta definição da generalização se apóia em uma lógica de amostragem onde o pesquisador deve parar ao atingir um conjunto representativo de elementos, para poder generalizar os resultados para uma população teórica definida anteriormente (generalização estatística). O estudo de caso visa particularmente a uma generalização analítica. Esta forma de generalização se fundamenta no confronto da configuração empírica de vários casos similares a um quadro teórico particular, para verificar se há réplica dos resultados de um caso para o outro. A validade externa desta estratégia de pesquisa se baseia, portanto, essencialmente na realização de estudos de casos múltiplos (Yin, 1984). Para Yin (1984), não podemos falar de validade externa de um estudo de caso único.

Outros autores (Guba, 1981; Kennedy, 1979; Lincoln & Guba, 1985) preferem não discutir a validade externa desta estratégia de pesquisa. Segundo eles, é mais correto falar de facilidade com a qual podemos transferir (transferability) um programa em outros meios. A análise em profundidade da dinâmica operacional de um programa sugere a importância de certas variáveis contextuais para facilitar o alcance dos resultados esperados de uma intervenção. O conhecimento destes fatores contextuais leva a fazer um julgamento sobre a eficácia provável de uma generalização do programa. Neste contexto, um estudo de caso único poderia representar um certo potencial de generalização.

Yin (1984) distingue quatro desenhos que podem ser utilizados nesta estratégia de pesquisa:

• Caso único (análise holística).

• Caso único com níveis de análise imbricados.

• Casos múltiplos com um só nível de análise.

• Casos múltiplos com vários níveis de análise imbricados.

Estes desenhos mostram uma distinção fundamental entre o estudo de caso único e o estudo de caso múltiplo. Estes dois tipos de estudos de caso podem envolver um ou vários níveis de análise. Quando o estudo de caso único ou múltiplo se articula em torno de um único nível de análise, ele estuda em profundidade uma situação ou fenômeno, sem definir diferentes níveis de explicação aos procedimentos que são observados. Ele leva a descrever e a explicar de modo global a dinâmica de uma ou várias organizações ou funcionamento de programas sem dar atenção aos componentes específicos que estruturam o objetivo de estudo.

Quando o pesquisador se apóia em vários níveis de análise, ele se interessa pelos diferentes níveis de explicação de um fenômeno. A definição dos níveis de análise deve ser feita com ajuda da teoria subjacente à pesquisa. Recorrer a vários níveis de análise permite, muitas vezes, desenvolver um ou vários casos que melhor respondam à pergunta de pesquisa. Por exemplo, o estudo da evolução de uma intervenção pode ser feito em relação ao mesmo tempo das reações dos prestadores de serviços (primeiro nível de análise) e dos comportamentos das organizações (segundo nível de análise) envolvidas neste estudo.

Estudo de caso único

O estudo de caso único com ou sem níveis de análise imbricados se limita à análise em profundidade de um fenômeno em um só meio. Ele se impõe, omitindo os casos de limitação de despesa e tempo, em três circunstâncias. Este desenho é útil primeiramente à avaliação de uma teoria bem-estruturada. Trata-se, nesta situação, de um estudo de caso único, do tipo crítico, onde o pesquisador confronta um modelo teórico bem-desenvolvido com uma realidade empírica. Por exemplo, um modelo de análise da mudança nas organizações pode ser posto à prova observando-se o processo de implantação de uma intervenção. Segundo Patton (1980), este tipo de estudo de caso único oferece um potencial elevado de "generalização lógica", isto é, as conclusões de uma tal pesquisa poderão eventualmente servir para explicar um grande número de situações análogas. No entanto, o estudo de caso único do tipo crítico pode desapontar se a escolha do caso não for sensata e conseqüentemente não representar uma avaliação rigorosa e informativa da teoria (Yin, 1984).

Justifica-se recorrer ao caso único também ao se estudar um fenômeno de baixa incidência. O estudo de casos extremos ou raros pode contribuir muito para o desenvolvimento de uma disciplina (Yin, 1984). O estudo em profundidade de um programa que apresente resultados inesperados ou que se apóia em abordagens inovadoras de intervenção pode produzir informações interessantes sobre as condições de eficácia de um tratamento (Patton, 1980). O estudo de caso único pode servir também para estimular o interesse para um novo tipo de problema (Yin, 1984). Pode tratar-se, na área da análise da implantação, do estudo do funcionamento de um programa que envolve uma problemática pouco desenvolvida, como a prevenção do suicídio nos jovens ou os programas de desinstitucionalização dos deficientes mentais. Falaremos aqui do estudo de caso único do tipo revelador.

O estudo de caso único, do tipo crítico, extremo ou revelador, pode articular-se em torno de um ou vários níveis de análise. O estudo de caso único oferece, se for bem-construído, um potencial elevado de validade interna (Lecomte & Goetz, 1982). A observação de uma única situação compromete ou limita, todavia, a validade externa desta abordagem, segundo Yin (1984). Para Patton (1980), a avaliação rigorosa de um modelo teórico pelo estudo em profundidade de um só caso pode apresentar um potencial importante de generalização lógica.

A realização de um estudo de caso múltiplo permite, operando segundo uma lógica de réplica, generalizar com mais confiança os resultados de uma pesquisa (Yin, 1984). De fato, se constatarmos entre vários casos similares a reprodução de um mesmo processo é provável que este retrate de modo mais exaustivo a realidade operacional de uma intervenção. No entanto, esta estratégia de pesquisa pode se revelar particularmente exigente com relação aos recursos financeiros e humanos.

Lançar mão do recurso da réplica obriga a se considerar cada um dos casos como uma entidade única submetida a uma análise particular e seqüencial. Na realização de um estudo de caso múltiplo, cada meio é analisado sem agregar os dados obtidos dos diferentes casos. Cada um dos casos estudados pode se articular em torno de um ou vários níveis de análise.

Exemplo 1

Após um acordo entre o Ministério da Saúde e dos Serviços Sociais e a Federação dos Médicos-Generalistas do Quebec, uma nova modalidade de remuneração dos médicos-generalistas foi introduzida em caráter experimental em 27 instituições asilares por um período de 15 meses. Uma análise de implantação desta mudança foi feita para verificar, entre outros, a influência do contexto político da organização sobre os efeitos trazidos por esta forma de remuneração, resultado de um jogo de poder entre diferentes atores organizacionais com estratégias potencialmente divergentes (Denis, 1988). Mais especificamente, a implantação da remuneração por tempo de serviço (carga horária e não número de atendimentos) é vista como um processo essencialmente político, cuja probabilidade de sucesso é ampliada se ela receber o apoio dos atores que exercem controles importantes na organização.

Para análise da interação entre o contexto político e esta nova forma de remuneração, um estudo de casos múltiplos com níveis de análise imbricados foi utilizado. Este procedimento comportava a análise em profundidade do processo de implantação desta forma de remuneração em cinco unidades. A realização de estudos de caso em várias organizações visa aumentar o potencial de generalização desta estratégia de pesquisa. Por "níveis de análise imbricados" entendemos a observação de comportamentos e processos organizacionais em vários níveis. Três níveis de análise foram definidos neste projeto. Um primeiro nível de análise se baseia nas reações dos atores no decorrer do processo de implantação desta forma de remuneração em cada uma das cinco organizações. O segundo busca entender, apesar de certas variações intragrupos, as reações dos diferentes grupos na organização, sejam eles os administradores, os médicos, o pessoal de enfermagem ou os paramédicos. Finalmente, um terceiro nível toma o conjunto da organização para extrair uma teoria sobre a implantação da intervenção.

A coleta dos dados para este estudo consistiu na realização de 67 entrevistas dos gerentes dos cinco estabelecimentos, dos médicos, do pessoal de enfermagem, dos paramédicos e dos representantes dos comités dos beneficiários, de modo a captar a dinâmica política ligada à implantação desta forma de remuneração. Documentos administrativos, principalmente dos vários comités encontrados nestes centros, também foram consultados.

Para julgar a influência do contexto político, uma análise interna de cada um dos casos permitiu captar as reações dos diferentes atores e grupos à mudança da forma de remuneração. Esta análise corresponde a uma lógica de pareamento de um modelo. Em seguida, para ampliar a validade externa do estudo, uma análise transversal dos casos foi realizada para determinar os fatores políticos associados à mudança organizacional.

A análise da interação entre o contexto político e a nova forma de remuneração precisa definir primeiramente a diversidade dos efeitos após a introdução desta mudança. Para isto, um subconjunto do universo dos indicadores de impacto na nova forma de remuneração foi tomado, pois representava bem as mudanças esperadas com esta forma de remuneração e que podia ser medido em um contexto de um estudo de caso. Estes cinco indicadores são: a acessibilidade aos serviços médicos; a qualidade da relação médico-paciente; a disponibilidade da mão-de-obra médica; a multidisciplinaridade; e a integração organizacional dos médicos. Estes indicadores podem ser agrupados segundo diferentes tipos de efeitos produzidos por esta forma de remuneração.

Nesse estudo mostra-se que a nova modalidade de remuneração traz mudanças na acessibilidade dos serviços médicos e na qualidade da relação médico-paciente (efeitos fixos e não-nulos). Ela produz pouca ou nenhuma mudança no grau de disponibilidade da mão-de-obra médica em centros de abrigo (efeitos fixos e quase nulos). Ela traz modificações importantes e dependentes do contexto de implantação nas práticas multidisciplinares e na integração organizacional dos médicos (efeitos variáveis e não-nulos).

No conjunto, os resultados da análise da influência da interação entre o contexto político e a remuneração por tempo de consulta se resumem como segue.

O apoio dos médicos à inovação é necessária, mas não suficiente para garantir uma forte probabilidade de sucesso de implantação. Além disso, os motivos que suscitam o apoio dado por um médico à inovação devem ser coerentes com os objetivos associados à implantação desta forma de remuneração. O apoio que os gerentes dão à inovação também tem um peso importante.

Influência dos Médicos

O desenvolvimento das práticas multidisciplinares é fortemente ligado à propensão do médico a envolver-se em tais atividades, o que por sua vez depende do modelo de intervenção defendido por este ator. De fato, os médicos têm opiniões diversas sobre a utilidade dos outros atores no processo de execução de cuidados. Em duas organizações estudadas, os médicos resistem à colaboração interprofissional porque percebem aí uma ameaça ao seu papel decisional predominante na forma de produção dos cuidados. Dão, conseqüentemente, pouco apoio à inovação. Em dois outros centros de acolhimento, os médicos vêem a implicação multidisciplinar como um meio de desenvolver uma perspectiva global de intervenção. Os intercâmbios multidisciplinares não apresentam riscos de uma redução de seu papel na produção de cuidados. Neste caso, os médicos fornecem um suporte importante à inovação. Em outro centro de acolhimento, não havia consenso a respeito do modelo de intervenção a ser adotado. O médico que exerce funções administrativas neste estabelecimento teve um efeito determinante no sucesso da implantação.

De modo geral, a nova prática da remuneração por tempo de serviço estimula o interesse dos médicos por atividades multidisciplinares quando eles são favoráveis a um modelo de intervenção baseado na colaboração interprofissional e quando eles apóiam a inovação.

A integração organizacional dos médicos depende de vários fatores. É evidente que os médicos gostam de ser consultados pelos gerentes dos estabelecimentos de saúde. Esta consulta é um pré-requisito para o controle que eles querem exercer sobre as decisões, podendo afetar suas condições de prática. Paradoxalmente, este desejo fundamental de autonomia em relação à organização exige, às vezes, por parte dos médicos, uma implicação administrativa forte, em vista de manter este controle sobre suas condições, na prática. Em outras circunstâncias, os médicos aspiram a uma forte implicação administrativa para implantar um estilo institucional de prática. As responsabilidades administrativas são fiéis à sua definição do papel do médico no estabelecimento. Estas atividades são julgadas necessárias ao exercício de um controle sobre o processo de atribuição de cuidados no centro de acolhimento.

Em duas organizações, a remuneração por tempo de serviço prestado incitou os médicos a uma forte integração organizacional com o objetivo de preservar sua autonomia profissional e de impor aos outros atores seu estilo de prática no estabelecimento. Em dois outros centros de acolhimento, os médicos se envolveram pouco em nível médico-administrativo após a implantação da inovação. Esta estratégia parecia preferível, já que eles não constatavam nenhuma ameaça ao controle exercido sobre suas condições de prática. Em um último caso, os médicos privilegiaram um estilo institucional de prática e buscaram, conseqüentemente, uma implicação administrativa maior para responder melhor às necessidades e aos pedidos do estabelecimento.

De modo geral, os médicos que têm uma preocupação importante com a qualidade dos cuidados, que acreditam que devem desenvolver um papel de primeira ordem neste nível e que não vêem a implicação administrativa como uma ameaça à autonomia profissional, apoiam a inovação.

Influência dos Gerentes

O apoio dos gerentes à inovação também tem um papel importante no processo de implantação da remuneração se ele for acompanhado de uma forte preocupação e atenção à qualidade dos cuidados prestados. Esta preocupação se manifesta com a presença dos programas de formação contínua para interventores, de relações com outras organizações e de iniciação ou de participação em projetos inovadores visando uma globalidade maior dos cuidados.

No conjunto, os gerentes são favoráveis a um desenvolvimento das práticas multidisciplinares. Eles acham que é um meio de ampliar o nível de globalização dos serviços ou cuidados no estabelecimento. Em três centros de acolhimento, os gerentes querem uma integração organizacional forte dos médicos, com o objetivo de sensibilizá-los com os problemas e obrigações encontradas na administração do estabelecimento. Nas duas outras organizações, a implicação administrativa dos médicos é vista pelos gerentes como um risco de medicalização das intervenções. Eles não dão um apoio importante para a inovação.

O apoio dado à inovação pelos outros atores e o tipo de implicação que eles valorizam no centro de acolhimento pouco influenciam a probabilidade de sucesso da implantação.

Resumindo, os resultados deste estudo mostram a importância do contexto político ao longo do processo de implantação. A probabilidade de sucesso da implantação é fortemente determinada pelas estratégias adotadas pelos atores que dominam a cena organizacional e por sua reação à inovação. Estes atores apóiam a inovação se a remuneração por tempo de consulta apresentar um alto grau de centralização em relação às suas estratégias fundamentais. Se, ainda por cima, estas estratégias fundamentais forem coerentes com os objetivos associados à inovação, a probabilidade de sucesso da implantação é fortemente ampliada.

O Estudo Comparativo

O estudo comparativo é uma estratégia na qual o pesquisador decide trabalhar sobre um grande número de unidades de análise. Para que esta estratégia seja utilizável, é necessário que o número de unidades de análise seja maior que o número de atributos estudados (grau de liberdade do estudo). O estudo comparativo se importa com as variações concomitantes entre um conjunto de variáveis independentes e uma ou mais variáveis dependentes. A validade interna deste procedimento depende essencialmente de três elementos: o tamanho da amostra, de modo a garantir que as variações observadas não sejam aleatórias; a qualidade do modelo teórico utilizado, pois este permite antecipar de modo mais ou menos exaustivo as fontes de variações conceitualmente prováveis no interior de um estudo; e a qualidade das estratégias de modelização dos dados para controlar as fontes rivais de explicação das variações observadas na variável dependente quando da análise.

Exemplo 2

O exemplo que segue é tirado do livro de Scheirer (1981): Program Implementation: the organizational context. Scheirer avaliou a influência do contexto organizacional na implantação de dois programas inovadores em saúde mental, em duas instituições diferentes. Apresentaremos a análise da implantação de uma só destas intervenções. O programa é introduzido em uma organização responsável por pacientes que sofrem de deficiências físicas e mentais no estado de Nova York. Consiste em uma abordagem comportamental da planificação das intervenções (Generalized Goal Planning System) para cada um dos pacientes. Mais precisamente, com este novo programa os interventores são incumbidos de determinar objetivos comportamentais e de produzir relatórios periódicos sobre a evolução da intervenção. A implantação deste programa exige uma reforma das práticas convencionais de intervenção que prevalecem neste meio.

Scheirer (1981) conduziu um estudo comparativo para analisar os determinantes contextuais do grau de implantação do programa (componente 1) em uma organização (The Developmental Center of the New-York State Department of Health) que tem várias unidades ou departamentos. Ela buscou entender como certas características dos indivíduos/interventores (micro-level variables) e da organização (intermediate-level variables) influenciam e fazem variar o grau de implantação do programa medido aqui pelo número de planos de intervenção adequadamente elaborados para os pacientes. Scheirer (1981, capítulo 4) resume como segue a influência das características do ambiente na implantação deste programa.

As variáveis no nível intermediário contribuem para explicar de modo importante o grau de implantação da intervenção. As expectativas atuais e percebidas das pessoas encarregadas da supervisão, a presença de rotina organizacional, a antigüidade do pessoal na unidade e a freqüência das trocas entre os profissionais influenciam positivamente no grau de implantação do programa. Individualmente, Sheirer (1981: 140) relata com surpresa que as variáveis ligadas às habilidades suscetíveis a uma intervenção do tipo comportamental (nível de educação, número de cursos em psicologia, número de horas de treinamento no novo programa) não predizem o grau de implantação da intervenção. No entanto, as variáveis individuais ligadas à motivação intrínseca do interventor tais como a satisfação no trabalho, a percepção de uma oportunidade profissional e a propensão a aceitar este modelo de intervenção e o interesse dado à terapia são fatores explicativos importantes do grau de implantação do programa. E ainda, a idade é também associada ao grau de implantação da intervenção.

A análise de Scheirer (1981) permite mostrar em que certas características individuais e as ligadas à dinâmica interna da organização (intermediate-level variables) contribuem para facilitar ou pôr um obstáculo para a implantação de um programa inovador de intervenção nesta área.

A Experimentação

Digamos que se trata de procedimentos nos quais o pesquisador quer testar o efeito de uma variável sobre uma ou várias outras, seja manipulando-as de modo ativo e intencional ou se utilizando de variações naturais, segundo a mesma lógica.

Exemplo 3

Uma clínica de um centro hospitalar opera diferentes programas de desintoxicação para a população adulta de seu território. Ela quer verificar como diferentes combinações de componentes de um tratamento da toxicomania influenciam os resultados obtidos por este tipo de intervenção. Os componentes do programa são quatro:

• série de encontros semanais individuais com um médico e um

psicólogo (E);

• receita de medicamentos (M);

• série de encontros semanais de grupo envolvendo um

psicólogo e duplas (G);

• estadia do grupo em um centro de desintoxicação (C).

As modalidades de implantação da intervenção são decididas pelos responsáveis do programa e se apresentam na seguinte forma:

• 20 indivíduos: M + E (intervenção clássica);

• 20 indivíduos: M + E + G;

• 20 indivíduos: C + M + E + G.

Os indivíduos recrutados dentro de um grupo de pacientes que tem prognósticos comparáveis e uma experiência de toxicomania similar são designados aleatoriamente para uma ou outra das alternativas de intervenção. Esta abordagem permitirá ver como as variações na implantação da intervenção influenciam os resultados trazidos por este programa. Evidentemente, esta estratégia de pesquisa é aplicável no caso de uma intervenção da qual não sabemos quais as vantagens relativas destas diferentes alternativas (M + E ; M + E + G; C + M + E + G).

 

Conclusão

A análise da implantação se preocupa com as relações entre o contexto, as variações na implantação e os efeitos produzidos pela intervenção. Ela visa especificar as condições de implantação e os processos de produção dos efeitos de uma intervenção. A realização deste tipo de avaliação deveria, portanto, aumentar a utilidade dos resultados das pesquisas avaliativas. De fato, a análise da implantação traz informações sobre os meios suscetíveis de serem beneficiados por uma intervenção (componentes 1 e 3). Ela permite também definir melhor a variável independente em uma análise dos efeitos (componente 2), especificando como variações no grau de implantação agem no impacto de uma intervenção. A análise da implantação se distingue de abordagens descritivas visando documentar o grau de implantação das intervenções e das análises teóricas da estrutura e do conteúdo das intervenções.

A especificidade que reconhecemos na análise da implantação tem repercussões teóricas e metodológicas importantes. Do lado das teorias organizacionais, os modelos de análise das mudanças que ela propõe representam uma pista interessante para o estudo dos elementos contextuais que envolvem a implantação das intervenções. No plano metodológico, várias estratégias de pesquisa podem ser utilizadas para analisar a implantação das intervenções. A abordagem teórica selecionada para o estudo do contexto (componentes 1 e 3) terá, provavelmente, repercussões na escolha da estratégia de pesquisa. O estudo de casos parece particularmente desejável quando o estudo do contexto se baseia nas dinâmicas de interação entre atores envolvidos na implantação de uma intervenção. A experimentação, mesmo podendo ser utilizada para os componentes 1 e 3, fazendo variar intencionalmente os sítios de implantação, parece mais facilmente realizável em uma análise da relação entre as variações na implantação e a eficiência da intervenção (componente 2). No conjunto, constata-se que a análise da implantação é um tipo exigente de avaliação que deveria contribuir para aumentar a utilidade das conclusões das pesquisas avaliativas.

 

Referências bibliográficas

ARGYRIS, C. Creating long-term Organizational change. In: GOODMAN, R S. et al. Change in Organizations. San Francisco: Jossey-Bass Publishers, 1982. p.47-86.

ARGYRIS, C. Dealing with threat and defensiveness. In: PENNINGS, J. M. et al. Organizational Strategy and Change. San Francisco: Jossey-Bass Publishers, 1985a. p.412-430.

ARGYRIS, C. Strategy, Change and Defensive Routines. Boston: Pitman, 1985b.

ARGYRIS, C.; PUTNAM, R. & McLAIN-SMITH, D. Action Science. San Francisco: Jossey-Bass Publishers, 1985.

BAGOZZI, R. R & PHILIPS, L. W. Representing and testing organizational theories: A holistic construal. Administrative Science Quarterly, 27: 459-489, 1982.

BARLEY, S. R. Technology as an occasion for structuring: Evidence from observations of scanners and the social order of radiology department. Administrative Science Quarterly, 31: 78-108, 1986.

BECKER, S. W. & WHISLER, T. L. The innovation organization: A selective view of current theory and research. The Journal of Business, 40: 462-49, 1967.

BECKHARD, R. Organizational Development: strategies and models. Reading: Addison-Wesley, 1969.

BENNIS, W. Changing Organizations. New York: McCraw Hill, 1966.

BENSON, J. K. A dialectical method for the study of organizations. In: MORGAN, G. (Ed.) Beyond Method. Beverly Hills: Sage, 1983. p.331-346.

BERMAN, P. Thinking about programmed and adaptive implementation: matching strategies to situations. In: MANN, D. & INGRAM, H. (Eds.) Why Policies Succeed and Fail. Beverly Hills: Sage, 1980.

BLACKER, F. H. M & BROWN, C. A. Qualitative research and paradigmes of practice. Journal of Management Studies, 20(3): 349-365, 1983.

BREEKE, J . S. The model-guided method for monitoring program implementation. Evaluation Review, 11(3): 281-299, 1987.

BROOKS, M. P. The community action program as a setting for applied research. In: CARO, F. G. (Ed.) Readings in Evaluation Research. New York: Russell Sage Foundation, 1972. p.53-62.

BURNS, T. & STALKER, G. The Management of Innovation. London: Tavistock Publications, 1961.

CAMPBELL, D. T. "Degrees of freedom" and the case study. Comparative Political Studies, 8(2): 178-193, 1975.

CAMPBELL, D. T. Relabeling internal and external validity for applied social scientists. In: TROCHIM, W. M. K. (Ed.) Advances in Quasi-Experimental Design and Analysis. San Francisco: Jossey-Bass Publishers, 1986. p.67-78.

CAMPBELL, D. T. & STANLEY, J. C. Experimental and Quasi-Experimental Designs for Research. Chicago: Rand McNally, 1966. CARNALL, C. A. Toward a theory for the evaluation of organizational change. Human Relations, 39(3): 745-766, 1986.

CHIN, R. B. & BENNE, K. D. General strategies for effective changes in human systems. In: BENNIS, W. G. The Planning of Change, 3.ed. New York: Hold, Rinehart & Winston, 1976. p.22-45.

CONRAD, K. & ROBERTS-GRAY, C. Editor's note. In: CONRAD, K. J. & ROBERTS-GRAY (Eds.) Evaluating Program Environment n 40. San Francisco: Jossey-Bass Publishers, New Directions for Program Evalution, 1988. p.1-5.

COOK, T. D. & CAMPBELL, D. T. Quasi-Experimentation: Design and analysis for field settings. Boston: Houghton Mifflin, 1979.

COOK, T. D.; COOK, F. L. & MARK, M. M. Modèles expérimentaux & quasi-expérimentaux en recherche évaluative. In: LECOMTE, R. & RUTMAN, L. Introduction aux Méthodes de Recherche Évaluative. Québec: Les Presses de l'Université Laval, 1982. p.105-143.

CRONBACH, L. J. Designing Evaluations of Educational and Social Programs. San Francisco: Jossey-Bass, 1983.

CRONBACH, L. J. et al. Toward Reform of Program Evaluation: aims, methods and institutional arrangements. San Francisco: Jossey-Bass, 1980.

DEBER, R. B. & LEATT, P. Technology acquisition in Ontario hospitals: you can lead a hospital to policy, but can you make it stick? In: HORNE, J. M. (Ed.) Proceedings of the Third Canadian Conference on Health Economics. Winnipeg, 1986. p.259-277.

DENIS, J . L. Un Modèle Politique d'Analyse du Changement dans les Organisations - le cas de l'implantation de la vacation en centre d'hébergement au Quebec, 1988. Tese de Doutorado, Quebec: Université de Montréal.

DEUTSCHER, I. Toward avoiding the goal-trap in evaluation research. In: ABT, C. C. (Ed.) The Evaluation of Social Programs. Beverly Hills: Sage, 1976. p.249-269.

DOBSON, L. D. & COOK, T. J . Avoiding type III error in program evaluation: Results from a field experiment. Evaluation and Program Planning, 3: 269-276, 1980.

DORR-BRENNE, D. W. Ethnographic evaluation: A theory and method. Evaluation Studies Review Annal, 11: 378-396, 1986.

DOWNS JÚNIOR., G. R. & MOHR, L. B. Conceptual issues in the study of innovation. Administration Science Quarterly, 21(4): 700-714, 1976.

DRUCKER, P. F. Management: The problems of success. Executives, 1(1): 13-20, 1987.

DYER, W. G. & PAGE, R. A. The Politics of Innovation. Working paper 87-1. Brigham Young University, School of Management, 1987.

ELMORE, R. F. Organizational models of social program implementation. Public Policy, 26(2): 185-228, 1978.

FEINSTEIN, A. R. Clinical Epidemiology. Philadelphia: W. B. Saunders Company, 1985.

FILSTEAD, W. S. Qualitative methods: A needed perspective in evaluation research. In: COOK, T. D. & REICHARD, C. S. (Ed.) Qualitative and Quantitative Methods in Evaluation Research. Beverly Hills: Sage, 1979. p.33-48.

FISHBEIN, M. & AJZEN, I. Belief, Attitude, Intention and Behavior: an introduction to theory and research. Reading: Addison-Wesley, 1975.

FRENCH, W. L.; BELL, C. H. & ZAWACKI, R. A. (Eds.) Organization, Development: theory, practice and research. Dallas, Texas: Business Pub, 1978.

FULLAN, M. Overview of the innovative process and the uses. Interchange, 3(2-3): 1-46, 1972.

GEIS, G. T. Risk taking, innovation and organizational environment. In: KUHN, R. L. (Ed.) Frontiers in Creative and Innovative Management. Cambridge: Ballinger Publishing Company, 1985. p.157-161.

GLASER, B. G. & STRAUSS, A. L. Discovery of Grounded Theory: strategies for qualitative research. Chicago: AVC, 1967.

GOODMAN, P. S. & DEAN JÚNIOR., J. W. Creating long-term organizational change. In: GOODMAN, P. S. et al. Change in Organizations. San Francisco: Jossey-Bass Publishers, 1982. p.226-279.

GOODMAN, P. S. & KURKE, L. B. Studies of change in organizations: A status report. In: GOODMAN, P. S. et al. Change in Organizations. San Francisco: Jossey-Bass Publishers, 1982. p.1-46.

GREENE, L. et al. Health Education Planning: a diagnostic approach. Palo Alto: Mayfield Publishing Company, 1987.

GROSS, N.; GIACQUINTA, J . B. & BERNSTEIN, M. Implementing Organizational Innovation. New York: Basic Books, 1972.

GUBA, E. G. Criteria for assessing the trustworthiness of naturalistic inquiry. Education, Communication and Technology Journal, 29(2): 75-91,1981.

GUBA, E. G. & LINCOLN, Y. S. Effective Evaluation. San Francisco: Jossey-Bass Publishers, 1981.

HAGE, J . Responding to technological and competitive change: organizational and industry factors. In: DAVIS, D. D. et al. Managing Technological Innovation. San Francisco: Jossey-Bass Publishers, 1986. p.44-71.

HAGE, J . & AIKEN, M. Social Change in Complex Organizations. New York: Random House, 1970.

HALL, G. E. & LOUCKS, S. F. A developmental model for determining whether the treatment is actually implemented. American Education Research Journal, 14(3): 263-276,1977.

HARRISON, S. Perspectives on implementation. In: LONG, A. F. & HARRISON, S. (Ed.) Health Services Performance. London: Croom Helm, 1985. p.105-125.

HARVEY, E. & MILLS, R. Patterns of organizational adaptation: A political perspective. In: ZLAD, M. N. (Ed.) Power in Organizations. Nashville: Vaderbilt University Press, 1970.

HANSENFELD, Y. Implementation of change in human service organizations: A political economy perspective. Social Service Review, 54: 508-520, 1980.

HERMAN-TAYLOR, R.J. Finding new ways of overcoming resistance to change. In: PENNINGS, J. M. et al. Organizational Strategy and Change. San Francisco: Jossey-Bass Publishers, 1985. p.383-411.

HOUSE, E. R. Evaluating with Validity. Beverly Hills: Sage, 1980.

KENNEDY, M. M. Generalizing from a single case study. Evaluation Quarterly, 3(4): 661-678, 1979.

KIMBERLY, J. R. Managerial innovation. In: STARBUCK, W. & NYSTROM, P. (Ed.) Handbook of Organizational Design nº 1. New York: Oxford University Press, 1981. p.84-104.

KIRKPATRICK, D. K. How to Manage Change Effectively. San Francisco: Jossey-Bass Publishers, 1986.

KUNKEL, J . H. Behavior, Social Problems and Change: a social learning approach. Englewood Cliffs, New Jersey: Prentice-Hall Inc., 1975.

LECOMTE, R. Les apports de l'évaluation qualitative & critique en recherche évaluative. In: LECOMTE, R. & RUTMAN, L. (Eds.) Introduction aux Méthodes de Recherche Évaluative. Québec: Les Presses del'Université Laval, 1982. p.143-154.

LECOMTE, M. D. & GOETZ, J . P. Problems of reliability and validity in ethnographic research. Review of Educational Research, 52(1): 31-60, 1982.

LEITHWOOD, K. A. & MONTGOMERY, D. J. Evaluating program implementation. Evaluation Review, 4(2): 193-214, 1980.

LEVINE, A. Why Innovation Fails. Albany: State University Press, 1980.

LINCOLN, Y. S. & GUBA, E. G. Naturalistic Inquiry. Beverly Hills: Sage, 1985.

LIPPITT, G. Organization Renewal: a holistic approach to organization development. 2.ed. Englewood Cliffs, New Jersey: Prentice-Hall Inc., 1982.

LIPSET, S. M.; TROW, M. & COLEMAN, J. Union Democracy: the inside politics of the International Typographical Union. New York: Free Press, 1957.

MAJONE, G. & WILDAVSKY, A. Implementation as evolution. Policies Studies Review Annual, 2: 103-117, 1978.

MARK, M. M. Validity typologies and the logic and practice of quasi-experimentation. In: TROCHIM, W. M. K. (Ed.) Advances in Quasi-Experimental Design and Analysis. San Francisco: Jossey-Bass Publishers, 1986. p.47-66.

MARK, M. M. The Study of Causal Process in Evaluation Research: A Content Analysis. Paper presented at Evaluation '87, Annual Meeting of the American Evaluation Society, Boston, October 15, 1987.

McLAUGHLIN, M. W. Implementation realities and evaluation design. In: SHORTLAND, R. L. & MARK, M. M. (Eds.) Social Science and Social Policy. Beverly Hills: Sage, 1985. p.96-120.

MIETTINEN, O. S. Causal and preventive interdependence. Scandinavian Journal of Work and Environmental Health, 8: 159-168, 1982.

MILLER, D. The correlates of entrepreneurship in three types of firms. Management Science, 29(7): 770-791, 1983.

MINTZBERG, H. Society has become unmanageable as a result of management. In: ______. Mintzberg on Management: Inside our Strange World of Organizations. New York: Free Press, 1988.

MOOS, N. An organization environment framework for assessing program implementation. Evaluation and Program Planning, 6: 153-164, 1983.

MOUZELIS, N. L'approche des relations humaines & l'organisation. In: SÉGUIN-BERNARD, F. & CHANLAT, J. F. (Eds.) Les Théories de l'Organisation. Saint-Jean-sur-Richelieu: Editions Préfontaine Inc., 1983. p.149-174.

NORMAN, R. Developing capabilities for organizational learning. In: PENNINGS, J. M. et al. Organizational Strategy and Change. San Francisco: Jossey-Bass Publishers, 1985. p.217-248.

PATTON, M. Q. Qualitative Evaluation Methods. Beverly Hills: Sage, 1980.

PATTON, M. Q. Practical Evaluation. Beverly Hills: Sage, 1982.

PATTON, M. Q. Utilization-Focused Evaluation. 2.ed. Beverly Hills: Sage, 1986.

PATTON, M. Q. How to Use Qualitative Methods in Evaluation. Beverly Hills: Sage, 1987.

PEARSOL, J . A. The nature of explanation in qualitative research. Evalution and the Health Profession, 8(2): 129-147, 1985.

PERROW, C. La théorie des organisations dans une société 'organisation. In: SÉGUIN-BERNARD, F. & CHANLAT, J . F. (Eds.) Les Théories de l'Organisation. Saint-Jean-sur-Richelieu: Editions Préfontaine Inc., 1983. p.461-471.

PERROW, C. Complex Organizations. 3.ed. New York: Random House, 1986.

PETTIGREW, A. M. Examining change in long-term context of culture and politics. In: PENNINGS, J. M. et al. Organizational Strategy and Change. San Francisco: Jossey-Bass Publishers, 1985. p.269-318.

PIERCE, J . L. & DELBECQ, A. L. Organization structure, individual attitudes and innovation. Academy of Management Review, 2: 27-36, 1977.

PROVUS, M. Discrepancy Evaluation for Educational Program Improvement and Assessment. Berkeley: McCutchan, 1971.

REZMOVIC, E. L. Assessing treatment implementation amid the slings and arrows of reality. Evaluation Review, 8(2): 187-204, 1984.

REICHARDT, C. S. & COOK, T. D. Beyond qualitative versus quantitative methods. In: COOK, T. D. & REICHARDT, C. S. (Eds.) Qualitative and Quantitative Methods in Evaluation Research. Beverly Hills: Sage, 1979. p.7-32.

ROBERTS-GRAY, C. & SCHEIRER, M. A. Checking the congruence between a program and its organizational environment. In: CONRAD, K. J. & ROBERTS-GRAY, C. (Eds.) Evaluating Program Environment. San Francisco: Jossey-Bass, New Directions for Program Evaluation, 1988. p.63-82.

ROBEY, D. Conflict models for implementation research. In: SCHULTZ, R. I. & GINZBERG, M. J. (Eds.) Management Science Implementation. Greenwich: JAI Press Inc., 1984. p.89-106.

ROGERS, E. Diffusion of Innovation. New York: Free Press, 1983.

ROSSI, P. H. Issues in the evaluation of human services delivery. Evaluation Quarterly, 2(4): 573-599, 1978.

ROSSI, P. H. & WRIGHT, J. D. Evaluation research: An assessment. Annual Review of Sociology, 10: 331-352, 1984.

ROSSI, P. H. & FREEMAN, H. E. Evaluation: A Systematic Approach. 3.ed., Beverly Hills: Sage, 1985.

ROSSI, P. H.; FREEMAN, H. E. & WRIGHT, S. R. Evaluation: A Systematic Approach. 2.ed., Beverly Hills: Sage, 1979.

ROTTER, Generalized expectancies for internal versus external control of reinforcemnt. Psychological Monograph, 80(1): 1-28, 1966.

SCHEIRER, M. A. Program Implementation: the organizational context. Beverly Hills: Sage, 1981.

SCHEIRER, M. A. Program theory and implementation theory: Implications for evaluators. In: BICKMAN, L. Using Program Theory in Evaluation. San Francisco: Jossey-Bass Publishers, 1987. p.59-76.

SCHEIRER, M. A. & REZMOVIC, E. L. Measuring the degree of program implementation: A methodological review. Evaluation Review, 7: 599-633, 1983.

SCHULTZ, R. I. & SELVIN, D. R (Eds.) Implementing Operations Research/Management Science. New York: American Elsevier, 1975.

SCHULTZ, R. I.; GINZBERG, M.J. & LUCAS JÚNIOR., H. C. A structural model of implementation. In: SCHULTZ, R. I. & GINZBERG, M. J. (Eds.) Management Science Implementation. Greenwich: JAI Press Inc., 1984. p.55-88.

SCHUMAN, E. A. Evaluative Research: Principles and Practices in Public Service and Social Action Program. New York: Russell Sage Foundation, 1967.

SCHUMAN, E. A. Action for what? A critique of evaluative research. In: WEISS, C. H. (Ed.) Evaluating Action Programs. Boston: Allyn & Bacon Inc., 1972. p.42-84.

SCHUMAN-JOHNSON, M. P. Attitudes and behavior. In: INKELS; A., COLEMAN, J. & SMELSER, N. (Eds.) Annual Review of Sociology. v.2, Palo Alto: Annual Reviews, 1976.

SCOTT, R. W. Organizations: rational, natural and open systems. Englewood Cliffs: Prentice Hall, 1981.

SHORTELL, S. M. Organization Theory and Health Services Delivery. Conference American Public Health Association Annual Meeting. Dallas, Texas, november 16, 1983.

SHORTELL, S. M. Suggestions for improving the study of health program implementation. Health Services Research, 19(1): 118-125, 1984.

STAW, B. M. Counterforces to changes. In: GOODMAN, P. S. et al. Changes in Organizations. San Francisco: Jossey-Bass Publishers, 1982. p.87-121.

THOMPSON, V. A. Bureaucracy and innovation. Administrative Science Quarterly, 10:1-20, 1965.

TORNATZKY, L. G. & JOHNSON, E. C. Research on implementation. Evaluation and Program Planning, 5: 193-198, 1982.

VAN DE VEN, A. H. Problem solving, planning and innovation. Part I: Test of the Program Planning Model. Human Relations, 33(10): 731-740, 1980a.

VAN DE VEN, A. H. Problem solving, planning and innovation. Part II: Speculations for theory and practice. Human Relations, 33(11): 757-779, 1980b.

VENEY, J. A. & KALUZNY, A. D. Evaluation and Decision Making for Health Services Programs. Englewood Cliffs: Prentice-Hall Inc., 1985.

WEISS, C. H. Evaluating educational and social action programs: A treeful of owls. In: WEISS, C. H. (Ed.) Evaluating Action Programs. Boston: Allyn & Bacon Inc., 1972. p.3-27.

WEISS, R. S. & REIN, M. The evaluation of broad aim program: Difficulties in experimental design and our alternative. In: WEISS, C. H. (Ed.) Evaluating Action Programs. Boston: Allyn & Bacon Inc., 1972. p.273-249.

WORLD HEALTH ORGANIZATION (WHO). Health Program Evaluation. Geneve: World Health Organization, 1981.

WILSON, I. Q. Innovation in organization: Notes toward a theory. In: THOMPSON, J. D. (Ed.) Approaches to Organization Design. Pittsburg: University of Pittsburg Press, 1966. p.194-216.

YEATON, J . & SECHREST, L. Evaluating health care. American Behavioral Scientist, 28(4): 527-542, 1985.

YIN, R. K. The case study crisis: Some answers. Administrative Science Quarterly, 26: 58-65, 1981a.

YIN, R. K. The case study as a serious research strategy. Knowledge, Creation, Diffusion, Utilization, 3(1): 97-114, 1981b.

YIN, R. K. Life histories of innovation: How new practices become routinized. Public Administration Review, 41: 21-28, 1981c.

YIN, R. K. Studying the implementation of public programs. In: WILLIAM et al. (Eds.) Studying Implementation: methodological and administrative issues. Chatham: Chatham House Publishers Inc., 1982. p.36-72.

YIN, R. K. Case Study Research. Beverly Hills: Sage, 1984.

ZALTMAN, G.; DUNCAN, R. & HOLBEK, J. Innovation and Organizations. New York: John Wiley and Sons, 1973.

ZMUD, R. W; McLAUGHLIN, C. P. & MIGHT, R. J. An empirical analysis of project managemen technique implementation. In: SCHULTZ, R. L. & GINZBERG, M. J. (Eds.) Management Science Implementation. Greenwich: JAI Press Inc., 1984. p.107-132.

* Tradução da publicação dos mesmos autores - Analyse d'Implantation. GRIS: Universidade de Montreal, 1990. A versão preliminar deste texto recebeu o apoio do Instituto Materno-Infantil de Pernambuco (IMIP - projeto financiado pelo BID), com revisão de Zulmira Maria de Araújo Hartz e Luiz Claudio S. Thuller.

1 As obras bem conhecidas de CAMPBELL & STANLEY (1966) e de COOK & CAMPBELL (1979) apresentam as diferentes ameaças à validade interna e externa de um estudo. A consulta destas obras permitirá ao leitor abordar com mais segurança a questão da validade de uma pesquisa.