Pesquisa sobre Oferta e Demanda por Serviços de Monitoramento e Avaliação e a prática no Setor Público Federal: O Caso Brasileiro 06.12.11 Marcia Paterno Joppert

1. Pesquisa sobre Oferta e Demanda por Serviços de
Monitoramento e Avaliação e a prática no Setor
Público Federal: O Caso Brasileiro
06.12.11 Marcia Paterno Joppert

2. Panorama
 Crescente relevância do tema avaliação: gestores, órgãos de
controle, financiadores, pesquisadores e acadêmicos, consultores,
escolas – segmentos público e privado.
 Diversidade de usos (aprendizado, legitimação de políticas e
programas, controle, usos políticos)
 Órgãos de controle modernizando-se no sentido de enfocar
resultados (evolução)
 Entendimento da importância do papel de avaliadores externos
aos processos trabalhando em conjunto com as equipes de
implementação
 Tendência a um aumento da demanda por serviços e necessidade
de identificar e desenvolver oferta
2

3. O dilema da Avaliação de Políticas
Públicas
Objetivos:
 Responsabilização: descobrir se a organização encarregada de
uma intervenção fez o melhor trabalho possível sob suas
circunstâncias, ou seja, em que extensão foram utilizados os
recursos e alcançados os resultados esperados: conformidade.
Geralmente realizada por entes externos
 Promover o aprendizado: descobrir se uma intervenção foi
bem sucedida ou não e o porquê; participação intensa dos
implementadores; divulgação cuidadosa para transformar
conhecimento em melhores práticas: grande valor
3

4. O aprendizado em diferentes níveis
4

5. Avaliação segundo o ciclo de vida das
intervenções
5

6. Contexto
 O Banco Interamericano de Desenvolvimento – Programa
PRODEV (Programa de Implementación del Pilar Externo
de Acción a Mediana Plazo para la Efectividad en el
Desarrollo) promoveu o estudo sobre Demanda de serviços
de Monitormaento e Avaliação no setor público na América
Latina
 15 países, incluindo o Brasil, foram pesquisados e os
resultados apresentados ao Banco em julho de 2010
6

7. Objetivo da Pesquisa
Contribuir com elementos que permitissem
desenhar uma estratégia de fortalecimento das
capacidades institucionais e dos sistemas de M&A
7

8. Objetos investigados
 Demanda e oferta de serviços correlatos a
monitoramento e avaliação
 Prática de M&A: Programas do Governo
Federal do Brasil PPA 2008-2011
8

9. Metodologias empregadas
Pesquisa exploratória com enfoque misto
(qualitativo e quantitativo): estudos documentais,
aplicação de um questionário a 10 atores chave;
levantamento junto aos sistemas de informações e
internet
9

10. Itens pesquisados
 Demanda (Contratação e uso de serviços correlatos a
M&A): especialistas, assistência técnica e capacitação
 Frequência
 Modo de contratação
 Grau de facilidade em conseguir os serviços
 Qualidade dos serviços
 Temas mais demandados
 Demanda por parte da sociedade civil
 Reivindicação da avaliação como mecanismo de transparência e
responsabilização social
10

11. Itens pesquisados
 Oferta (Prestação de serviços: pessoal, assistência
técnica, capacitação ou recursos financeiros)
 Provedores mais frequentes
 Oferta acadêmica de cursos de pós-graduação
 Qualidade da oferta
 Déficit Metodológico / técnico recorrente
11

12. Itens pesquisados (outros)
 Grau de institucionalização no sistema político-
administrativo
 Maiores restrições políticas, institucionais, econômicas e
culturais
 Produtos que contribuiriam mais para o fortalecimento
dos sistemas de M&A no Brasil
 A prática de M&A em Programas do PPA
12

13. Hipóteses
 a prática de avaliação de programas no governo federal
restringe-se em geral aos atos normativos de auto-avaliação.
Avaliações de resultados e impactos, em especial as realizadas
por agentes externos não ocorrem com freqüência;
 por conseqüência, a demanda por avaliação, seja na forma de
assistência técnica, serviços de especialistas ou capacitação, é
baixa;
 a oferta de especialistas, assistência técnica e capacitação
também é baixa, tanto em termos quantitativos como
qualitativos, por ser um campo novo no Brasil e por haver
restrições culturais e institucionais, por parte do setor
público, à contratação de serviços.
13

14. Perfil dos Entrevistados
Origem No. de entrevistados
Setor Público 5
Organismos Internacionais 3
ONGs 2
Universidade / Escola de
Governo 1
Consultores Autônomos 1
TOTAL 12
14

15. Caracterização da Demanda - Frequência
15

16. Demanda – Modo de contratação
 Setor Público:
 Licitações Públicas
 Seleção pública segundo procedimentos
próprios (Bancos internacionais e agências
multilaterais de crédito)
 Setor Privado:
 Contratação Direta
16

17. Demanda – Facilidade em Conseguir
Serviços no Mercado
17

18. Demanda: Temas mais Importantes
18

19. Demanda por parte da sociedade civil
 80% dos entrevistados do setor público: sim
 Mencionaram congresso nacional (mecanismos legais)
 Organizações representativas (confederações)
 Sociedade em geral que “com certeza” recebe informações divulgadas
pelas diversas áreas governamentais
 Conselhos de política – algum grau de demanda
 57% dos entrevistados dos demais setores: sim
 Grande demanda para demonstrar real impacto dos investimentos do
setor privado e das OSC para o desenvolvimento
 Demanda dos próprios governos (MG)
 Demanda cada vez maior por parte da sociedade (Rio Como Vamos)
19

20. Avaliação reinvidicada como mecanismo de
transparência e responsabilização social
 Setor público: sim:
 reivindicação relacionada aos mecanismos legais, princípios
constitucionais e atuação de órgãos de controle;
 gestores e conselhos
 mídia
 Demais setores: não:
 despreparo da sociedade (reivindicações relacionadas a um
melhor nível educacional);
 mídia como único meio reconhecido pela sociedade, porém de
forma despreparada;
 financiadores como importante indutores;
 OSC executoras são partes interessadas em interferir na
realidade
20

21. Oferta – Provedores mais frequentes
Universidades: Consultores Individuais
 Facilidade de contratação Facilidade de identificação em
(direta) setores específicos
 Expertise estabelecida
Facilidade de acesso (em especial,
universidades privadas)
21
Não oferta privada

22. Oferta de Pós Graduação em M&A
…. maioria dos entrevistados não sabia citar as 3
melhores ofertas…..
22

23. Oferta de pós-graduação
 Curso Avaliação Econômica de Projetos Sociais – Fundação
Itau Social (72 horas)
 Mestrado Profissional em Avaliação – Fundação
CESGRANRIO/RJ e Univ Federal do Ceará
 Mestrado em Gestão e Avaliação da Educação Pública –
Universidade Federal de Juiz de For a
 FIOCRUZ – limitado a gestores públicos da saúde
23

24. Oferta: qualidade
24

25. Oferta: déficits metodológicos ou
técnicos recorrentes
25

26. A avaliação de políticas no país está
organizada e institucionalizada no sistema
político-administrativo?
 Não (100%)
 Governo Federal: avanços diferenciados, sujeitos às
características de cada liderança setorial (MDS, MS, MEC)
 Governos sub-nacionais: mais atrasados com raras exceções
(MG)
 Tendência positiva, mas muito uso político da informação e
baixo interesse em dar real transparência.. Deveria estar
blindada e ancorada nas demandas da sociedade
 Iniciativas esporádicas
 Alta resistência por parte do poder público em
institucionalizar / avaliação associada a controle
26

27. Produtos que contribuiriam para o
fortalecimento dos sistemas de M&A no
Brasil
 Mestrados nacionais
 Cursos de capacitação não universitários
 Assistência Técnica Nacional
 Intercâmbio de experiências com outros países
 Mestrados Internacionais
 Assistência Técnica Internacional
 Cursos e diplomas virtuais
27

28. Conclusões – pesquisa oferta e
demanda
 Demanda:
 Órgãos públicos demandam poucos serviços de M&A
 Organismos internacionais exercem papel indutor em seus
acordos de cooperação
 Setor Público: Assistências Técnicas  Especialistas 
Capacitação
 Demais setores: Especialistas  Capacitação  Assistências
Técnicas
 Modo de contratação mais comum: seleção pública ou
procedimentos próprios
 Facilidade: capacitação  assistência técnica  especialistas
 Difícil encontrar profissionais experientes
28

29. Conclusões – pesquisa oferta e
demanda
 Oferta:
 Principais provedores de AT e capacitação: para o setor público,
universidades e para os demais setores, consultores individuais
 Oferta acadêmica de cursos de pós-graduação em M&A:
insuficiente para os dois grupos
 Qualidade da oferta: regular
 Déficits metodológicos: modelos e métodos, baixo valor
agregado da avaliação na geração de aprendizado, limitação da
dimensão da avaliação em apenas resultados (deixando de lado
processos e impactos) e falta de avaliação ex-ante de projetos
 Institucionalização do M&A: não alcançou o sistema político
administrativo de forma definitiva
29

30. A prática de M&A nos Programas
Federais
30

31. Recomendações Estratégicas
Desenvolver capacidades e fortalecer os sistemas de M&A no
Brasil depende, basicamente, de:
 Conscientizar gestores públicos sobre a importância e utilidade
do M&A no ciclo de políticas, em especial, na fase de
formulação
 Conscientizar os órgãos de controle sobre o valor do enfoque
em resultados
 Conscientizar o poder legislativo sobre a importância do uso de
avaliações de resultados e impactos das ações do poder
executivo para a melhoria na qualidade das políticas
 Formular uma estratégia de desenvolvimento de capacidades
31

32. Recomendações Estratégicas (cont)
 Organizar o conhecimento existente e trazer o conhecimento
de outros países com a criação de instrumentos como: uma
biblioteca virtual e um banco de experiências relacionado a um
banco de currículos e de portfolios
 Estimular pesquisas na área de M&A
 Apoiar o desenvolvimento da demanda
 Adequar o marco regulatório para contratação de serviços
 Organizar a oferta existente e desenvolver novas possibilidades
 Aprimorar os instrumentos de comunicação e disseminação do
conhecimento (redes)
 Articular Oferta e Demanda
32

33. OBRIGADA!!!!
MÁRCIA P JOPPERT
marciapaterno@agenciadeavaliacao.org.br
+55 61 8186-2306
PARTICIPE DA REDE BRASILEIRA DE
MONITORAMENTO E AVALIAÇÃO
http://redebrasileirademea.ning.com
33