Pesquisa sobre Oferta e Demanda por Serviços de Monitoramento e Avaliação e a prática no Setor Público Federal: O Caso Brasileiro 06.12.11 Marcia Paterno Joppert
Pesquisa sobre Oferta e Demanda por Serviços de Monitoramento e Avaliação e a prática no Setor Público Federal: O Caso Brasileiro
06.12.11
Marcia Paterno Joppert
Semelhante a Pesquisa sobre Oferta e Demanda por Serviços de Monitoramento e Avaliação e a prática no Setor Público Federal: O Caso Brasileiro 06.12.11 Marcia Paterno Joppert
Semelhante a Pesquisa sobre Oferta e Demanda por Serviços de Monitoramento e Avaliação e a prática no Setor Público Federal: O Caso Brasileiro 06.12.11 Marcia Paterno Joppert (20)
Pesquisa sobre Oferta e Demanda por Serviços de Monitoramento e Avaliação e a prática no Setor Público Federal: O Caso Brasileiro 06.12.11 Marcia Paterno Joppert
1. Pesquisa sobre Oferta e Demanda por Serviços de
Monitoramento e Avaliação e a prática no Setor
Público Federal: O Caso Brasileiro
06.12.11 Marcia Paterno Joppert
2. Panorama
Crescente relevância do tema avaliação: gestores, órgãos de
controle, financiadores, pesquisadores e acadêmicos, consultores,
escolas – segmentos público e privado.
Diversidade de usos (aprendizado, legitimação de políticas e
programas, controle, usos políticos)
Órgãos de controle modernizando-se no sentido de enfocar
resultados (evolução)
Entendimento da importância do papel de avaliadores externos
aos processos trabalhando em conjunto com as equipes de
implementação
Tendência a um aumento da demanda por serviços e necessidade
de identificar e desenvolver oferta
2
3. O dilema da Avaliação de Políticas
Públicas
Objetivos:
Responsabilização: descobrir se a organização encarregada de
uma intervenção fez o melhor trabalho possível sob suas
circunstâncias, ou seja, em que extensão foram utilizados os
recursos e alcançados os resultados esperados: conformidade.
Geralmente realizada por entes externos
Promover o aprendizado: descobrir se uma intervenção foi
bem sucedida ou não e o porquê; participação intensa dos
implementadores; divulgação cuidadosa para transformar
conhecimento em melhores práticas: grande valor
3
6. Contexto
O Banco Interamericano de Desenvolvimento – Programa
PRODEV (Programa de Implementación del Pilar Externo
de Acción a Mediana Plazo para la Efectividad en el
Desarrollo) promoveu o estudo sobre Demanda de serviços
de Monitormaento e Avaliação no setor público na América
Latina
15 países, incluindo o Brasil, foram pesquisados e os
resultados apresentados ao Banco em julho de 2010
6
7. Objetivo da Pesquisa
Contribuir com elementos que permitissem
desenhar uma estratégia de fortalecimento das
capacidades institucionais e dos sistemas de M&A
7
8. Objetos investigados
Demanda e oferta de serviços correlatos a
monitoramento e avaliação
Prática de M&A: Programas do Governo
Federal do Brasil PPA 2008-2011
8
9. Metodologias empregadas
Pesquisa exploratória com enfoque misto
(qualitativo e quantitativo): estudos documentais,
aplicação de um questionário a 10 atores chave;
levantamento junto aos sistemas de informações e
internet
9
10. Itens pesquisados
Demanda (Contratação e uso de serviços correlatos a
M&A): especialistas, assistência técnica e capacitação
Frequência
Modo de contratação
Grau de facilidade em conseguir os serviços
Qualidade dos serviços
Temas mais demandados
Demanda por parte da sociedade civil
Reivindicação da avaliação como mecanismo de transparência e
responsabilização social
10
11. Itens pesquisados
Oferta (Prestação de serviços: pessoal, assistência
técnica, capacitação ou recursos financeiros)
Provedores mais frequentes
Oferta acadêmica de cursos de pós-graduação
Qualidade da oferta
Déficit Metodológico / técnico recorrente
11
12. Itens pesquisados (outros)
Grau de institucionalização no sistema político-
administrativo
Maiores restrições políticas, institucionais, econômicas e
culturais
Produtos que contribuiriam mais para o fortalecimento
dos sistemas de M&A no Brasil
A prática de M&A em Programas do PPA
12
13. Hipóteses
a prática de avaliação de programas no governo federal
restringe-se em geral aos atos normativos de auto-avaliação.
Avaliações de resultados e impactos, em especial as realizadas
por agentes externos não ocorrem com freqüência;
por conseqüência, a demanda por avaliação, seja na forma de
assistência técnica, serviços de especialistas ou capacitação, é
baixa;
a oferta de especialistas, assistência técnica e capacitação
também é baixa, tanto em termos quantitativos como
qualitativos, por ser um campo novo no Brasil e por haver
restrições culturais e institucionais, por parte do setor
público, à contratação de serviços.
13
14. Perfil dos Entrevistados
Origem No. de entrevistados
Setor Público 5
Organismos Internacionais 3
ONGs 2
Universidade / Escola de
Governo 1
Consultores Autônomos 1
TOTAL 12
14
19. Demanda por parte da sociedade civil
80% dos entrevistados do setor público: sim
Mencionaram congresso nacional (mecanismos legais)
Organizações representativas (confederações)
Sociedade em geral que “com certeza” recebe informações divulgadas
pelas diversas áreas governamentais
Conselhos de política – algum grau de demanda
57% dos entrevistados dos demais setores: sim
Grande demanda para demonstrar real impacto dos investimentos do
setor privado e das OSC para o desenvolvimento
Demanda dos próprios governos (MG)
Demanda cada vez maior por parte da sociedade (Rio Como Vamos)
19
20. Avaliação reinvidicada como mecanismo de
transparência e responsabilização social
Setor público: sim:
reivindicação relacionada aos mecanismos legais, princípios
constitucionais e atuação de órgãos de controle;
gestores e conselhos
mídia
Demais setores: não:
despreparo da sociedade (reivindicações relacionadas a um
melhor nível educacional);
mídia como único meio reconhecido pela sociedade, porém de
forma despreparada;
financiadores como importante indutores;
OSC executoras são partes interessadas em interferir na
realidade
20
21. Oferta – Provedores mais frequentes
Universidades: Consultores Individuais
Facilidade de contratação Facilidade de identificação em
(direta) setores específicos
Expertise estabelecida
Facilidade de acesso (em especial,
universidades privadas)
21
Não oferta privada
22. Oferta de Pós Graduação em M&A
…. maioria dos entrevistados não sabia citar as 3
melhores ofertas…..
22
23. Oferta de pós-graduação
Curso Avaliação Econômica de Projetos Sociais – Fundação
Itau Social (72 horas)
Mestrado Profissional em Avaliação – Fundação
CESGRANRIO/RJ e Univ Federal do Ceará
Mestrado em Gestão e Avaliação da Educação Pública –
Universidade Federal de Juiz de For a
FIOCRUZ – limitado a gestores públicos da saúde
23
26. A avaliação de políticas no país está
organizada e institucionalizada no sistema
político-administrativo?
Não (100%)
Governo Federal: avanços diferenciados, sujeitos às
características de cada liderança setorial (MDS, MS, MEC)
Governos sub-nacionais: mais atrasados com raras exceções
(MG)
Tendência positiva, mas muito uso político da informação e
baixo interesse em dar real transparência.. Deveria estar
blindada e ancorada nas demandas da sociedade
Iniciativas esporádicas
Alta resistência por parte do poder público em
institucionalizar / avaliação associada a controle
26
27. Produtos que contribuiriam para o
fortalecimento dos sistemas de M&A no
Brasil
Mestrados nacionais
Cursos de capacitação não universitários
Assistência Técnica Nacional
Intercâmbio de experiências com outros países
Mestrados Internacionais
Assistência Técnica Internacional
Cursos e diplomas virtuais
27
28. Conclusões – pesquisa oferta e
demanda
Demanda:
Órgãos públicos demandam poucos serviços de M&A
Organismos internacionais exercem papel indutor em seus
acordos de cooperação
Setor Público: Assistências Técnicas Especialistas
Capacitação
Demais setores: Especialistas Capacitação Assistências
Técnicas
Modo de contratação mais comum: seleção pública ou
procedimentos próprios
Facilidade: capacitação assistência técnica especialistas
Difícil encontrar profissionais experientes
28
29. Conclusões – pesquisa oferta e
demanda
Oferta:
Principais provedores de AT e capacitação: para o setor público,
universidades e para os demais setores, consultores individuais
Oferta acadêmica de cursos de pós-graduação em M&A:
insuficiente para os dois grupos
Qualidade da oferta: regular
Déficits metodológicos: modelos e métodos, baixo valor
agregado da avaliação na geração de aprendizado, limitação da
dimensão da avaliação em apenas resultados (deixando de lado
processos e impactos) e falta de avaliação ex-ante de projetos
Institucionalização do M&A: não alcançou o sistema político
administrativo de forma definitiva
29
31. Recomendações Estratégicas
Desenvolver capacidades e fortalecer os sistemas de M&A no
Brasil depende, basicamente, de:
Conscientizar gestores públicos sobre a importância e utilidade
do M&A no ciclo de políticas, em especial, na fase de
formulação
Conscientizar os órgãos de controle sobre o valor do enfoque
em resultados
Conscientizar o poder legislativo sobre a importância do uso de
avaliações de resultados e impactos das ações do poder
executivo para a melhoria na qualidade das políticas
Formular uma estratégia de desenvolvimento de capacidades
31
32. Recomendações Estratégicas (cont)
Organizar o conhecimento existente e trazer o conhecimento
de outros países com a criação de instrumentos como: uma
biblioteca virtual e um banco de experiências relacionado a um
banco de currículos e de portfolios
Estimular pesquisas na área de M&A
Apoiar o desenvolvimento da demanda
Adequar o marco regulatório para contratação de serviços
Organizar a oferta existente e desenvolver novas possibilidades
Aprimorar os instrumentos de comunicação e disseminação do
conhecimento (redes)
Articular Oferta e Demanda
32
33. OBRIGADA!!!!
MÁRCIA P JOPPERT
marciapaterno@agenciadeavaliacao.org.br
+55 61 8186-2306
PARTICIPE DA REDE BRASILEIRA DE
MONITORAMENTO E AVALIAÇÃO
http://redebrasileirademea.ning.com
33