Upload
internet
View
104
Download
0
Embed Size (px)
Citation preview
O monitoramento da Pós-Graduação: O monitoramento da Pós-Graduação: questões, desafios, perspectivas questões, desafios, perspectivas
Oswaldo H. YamamotoOswaldo H. Yamamoto
UFRN/CAPESUFRN/CAPES
IV Congresso Norte-Nordeste de PsicologiaIV Congresso Norte-Nordeste de Psicologia
Salvador, maio de 2005Salvador, maio de 2005
2
Roteiro
A CAPES e a avaliação da pós-graduação Avaliação da pós-graduação: comparando áreas Questões acerca da avaliação da pós-graduação
A CAPES e a avaliação da pós-graduaçãoA CAPES e a avaliação da pós-graduação
4
CAPES
Coordenação de Aperfeiçoamento de Pessoal de Nível Superior: criada como “campanha” em 11 de julho de 1951
1965: CAPES classifica os 38 cursos existentes (27 de mestrado; 11 de doutorado)
1976: início do processo de avaliação sistemática da PG
Primeiras tentativas: desenvolvimento de sistemas de indicadores objetivos quantificáveis que gerassem uma classificação
Sistema atual: avaliação trienal (desde 1998), com acompanhamento anual, por comissões por área de conhecimento
5
Avaliação da pós-graduação: objetivos
A avaliação da PG deve permitirA avaliação da PG deve permitir tomar decisões com relação ao fomento e ao planejamento do sistema de C&T (incluindo atendimento das necessidades nacionais e regionais) estabelecer padrões de qualidade visando a certificação dos programas que compõem o sistema aprimorar dos próprios programas, pela identificação de fragilidades registrar a memória do sistema
6
Representação e Comissões de Área
Representação:– consulta à comunidade, construção de lista tríplice (CS), indicação da Direção
Comissão de Área:– indicação conjunta representação/direção– 2005: Comissão ad hoc e “núcleo duro”
Critérios para composição da Comissão:– diversificação regional– representação de sub-áreas– reconhecimento da comunidade** CAPES: Pesquisadores CNPq (1)/Programas acima de 4
– Não são (necessariamente) especialistas em avaliação
7
Comissões de Área: Avaliação 2004
Grandes Áreas: 8 (44 áreas)– Ciências Humanas: 8 áreas– Ciências Sociais Aplicadas: 7 áreas– Ciências Agrárias: 4 áreas– Saúde: 8 áreas– Ciências Biológicas: 4 áreas– Engenharias: 4 áreas– Ciências Exatas e da Terra: 5 áreas– Letras, Lingüística e Artes: 2 áreas Multidisciplinar e Ensino: 2 áreas
Consultores:– Consultores: 547
Avaliação da pós-graduação: Avaliação da pós-graduação: comparando áreascomparando áreas
9
Áreas comparadas
Grande Área
C. Humanas
C. Sociais Aplicadas
C. Biológicas
Saúde
Engenharias
C. Exatas e da Terra
Área
Psicologia Educação Sociologia
Direito
C. Biológicas II
Medicina II
Engenharias II
Química
10
0%
25%
50%
75%
100%
Sete
Seis
Cinco
Quatro
Três
Comparando áreas: conceitos na Avaliação 2004
11
Avaliação: etapas
Fase preparatória: definição de critérios e de procedimentos elaboração de documentos elaboração/atualização do Qualis da área
Fase de execução da Avaliação: avaliação dos Programas pelas Comissões de Área análise dos resultados pelas Grandes Áreas (2004) deliberação sobre os resultados pelo CTC comunicação dos resultados avaliação de recursos pelas Comissões de Área deliberação final sobre os recursos pelo CTC
Fase de homologação dos resultados (CNE)
12
Sete quesitos (ponderados): Proposta do Programa Corpo Docente Atividade de Pesquisa Atividade de Formação Corpo Discente Teses e Dissertações Produção Intelectual
Subdivisão de cada quesito em itens (4-6) Possibilidade de inclusão de itens e de ponderação pelas áreas
Critérios: a Ficha de Avaliação
13
Comparando áreas: pesos dos quesitos
Psi Edu Soc Dir*CBio
IIMed
IIEng
IIQuim
Proposta Qual Qual Qual Qual Qual Qual Qual Qual
C. Docente 15 15 10 20 5 20 15 20
A. Pesquisa 5 20 30 20 15 10 10 5
A. Formação 15 15 10 10 20 15 15 5
C. Discente 15 10 10 10 10 10 15 20
Teses/Dissertações 25 20 10 20 20 15 20 20
P. Intelectual 25 20 30 20 30 30 25 30
14
Psicologia
Procedimentos Atualização do Qualis
periódicos* Reunião para definir critérios** Distribuição dos Programas
pelos avaliadores (2 Programas para cada dupla)
Elaboração de análise preliminar
Preparação de análise de produção intelectual
Reunião: dia 1- ajuste de critérios
Trabalho em duplas (variáveis) Discussão grupo todo (busca de
consenso) Revisão das Fichas (grupo
menor)
Critérios Documento de Critérios:
descrição das características que correspondem às avaliações (ex.)
Atividades de formação: “Quando todos os docentes atuam lecionando disciplinas (ainda que isso não ocorra em todos os anos do triênio), quando todos orientam, quando não há dependência de docentes colaboradores, quando os alunos estão bem distribuídos entre os orientadores, quando a maior parte dos docentes atua também na graduação, além de orientar alunos em iniciação científica, e quando as ementas e a bibliografia das disciplinas mostram-se pertinentes e atualizadas, o quesito é avaliado como “muito bom”.”
15
Psicologia
% de artigos em relação ao total de itens de produção % de artigos com autoria exclusivamente discente % de artigos publicados em periódicos estrangeiros % de artigos concentrados em um mesmo periódico % de docentes sem artigos publicados no triênio total de itens de produção (artigos + capítulos + livros +
trabalhos completos) por docente, por ano total de artigos por docente, por ano total de artigos por docente, por ano, considerando a
qualificação dos periódicos total de itens de produção por docente, por ano, considerando a
qualificação dos periódicos no caso dos artigos
16
Educação
Procedimentos Elaboração do Qualis (eventos,
periódicos, livros) Reunião para afinar critérios Definição de critérios para
Programas 6 e 7 Distribuição dos Programas pelos
avaliadores (2 a 5 Programas) Elaboração de pareceres
preliminares (individualmente/correio eletrônico)
Reunião: dia 1- ajuste de critérios Discussão das fichas Indicação para Programas 6 e 7 Revisão das Fichas (grupo menor)
CritériosDefinidos critérios quantitativos para
cada quesito e item (ex.:) Corpo docente: Abrangência e
especialização do NRD6
Tabela 4: MB=+75; B=65-74; R=55-64; F=45-54; D=-45
Indicadores Peso Critério
% doc com doutorado
D ou pesos abaixo
Abaixo de 100%= D
Doutor em Ed. NRD6/NRD6
40 Tabela 4
Vinculação titulados Ed. em áreas e linhas
30 Quali
Vinculação não-titulados Ed.
30 Quali
17
Sociologia
Procedimentos Visita a todos os Programas Busca de homogeneidade: tomada
de decisões por consenso 4 reuniões com coordenadores no
triênio Entrega dos CDs Reunião prévia de 5 membros para
qualificar livros e coletâneas (+200 livros em 2 dias...)
Produção de síntese dos indicadores de cada Programa
Primeiro dia: consenso sobre padrões de qualidade
Trabalho em duplas (pelo menos 1 dos visitantes)
Leitura em voz alta das avaliações
CritériosDescrição dos critérios por
quesito/item (Ex.)Teses e dissertações: Tempo médio de titulação - O tempo médio de titulação para a menção Muito Bom deve observar dois critérios: 1) o tempo ideal proposto pela Capes, e 2) a série histórica do programa. Tempo elevado em instituições consolidadas há bastante tempo, mas que têm se esforçado para a redução do TMT, com resultados visíveis, é aceitável.Produção intelectual: Qualidade dos veículos - Muito bom implica publicar boa parte dos resultados de pesquisa em periódicos nacionais e internacionais de níveis A e B classificados no Qualis da Sociologia.
...
18
Direito
Procedimentos Distribuição dos Relatórios na
reunião preliminar Divisão da Comissão em
subgrupos para relato Análise coletiva, a partir dos
relatos dos subgrupos Avaliadores relataram
Programas diferentes dos da Avaliação Continuada
Discussão ampla antes de definir conceito final
Discussão do Programa do avaliador sem a sua presença
Avaliação predominantemente qualitativa
CritériosProdução intelectual
Adequação (25): MB (Entre 80 e 100% da produção de publicações originárias de autores-docentes e autores-discentes, com adequação à proposta do Programa e vinculada às Áreas de Concentração, Linhas e Projetos de Pesquisa) ...
Qualidade (25): MB (70% e 100% de sua produção intelectual veiculada em publicações distribuídas de acordo com o perfil das respectivas áreas de concentração e publicadas por editoras de reconhecida expressão nacional ou internacional para a área do Direito)...
19
Ciências Biológicas II
Procedimentos Elaboração de tabela-síntese
com 51 indicadores (total de docentes, pesquisadores com bolsa, publicações cf. Qualis, publicações por orientador, somatório do índice de impacto por orientador, etc.)
Avaliação pelo conjunto dos itens contemplados
Ex.: Conceito 5:Produção de pelo menos 3 artigos completos publicados em revistas classificadas como categoria "A" do Qualis da área por 50% dos orientadores do programa no triênio.
Regularidade da produção científica individual, indicando adequada contribuição coletiva dos orientadores para o desempenho do programa.Somatório do índice de impacto das revistas.Relação índice de impacto por orientador.Número de publicações categoria "A" do Qualis da área por discentes.Total de dissertações e teses defendidas.Relação entre as publicações categoria "A" do Qualis da área com discente sobre número de dissertações e teses defendidas.Baixa dependência de orientadores externos.Tempo médio de titulação dos mestres e doutores.Baixo índice de evasão.
20
Engenharia II
Procedimentos Atualização do Qualis Distribuição do CD
(avaliação por pares) Reunião para uniformização
de critérios Análise detalhada dos casos
limites Análise por subáreas
(Química, Materiais, Metalúrgica, Minas e Nuclear)
Definição de procedimentos/planilhas por Grande Área
Critérios Produção intelectual:M=fração computada por itemIA, IB, CLI, LI, PI Qualidade dos produtos do
NRD6 (15%): M=M1/NRD6 onde
M1 =IA+0,5 IB+ xCLI + yLI + zPI(MB=1 M; B=0,75 M 1...) Qualidade dos produtos no
Programa (10%): M=M2/n docentes
M2= IA+0,5 IB+ xCLI + yLI + zPI...
21
Medicina II*
Procedimentos Seguiu critérios definidos pela
Grande Área Publicações: Qualis (definido
em reunião anterior da Comissão)
Critérios Quantificação de todos os
quesitos/itens. Ex.:Corpo Discente: Dimensão do corpo discente com relação ao NRD6: MB=até 5 alunos; B=5-6; R=6-7; F=7-8; D=+8
Teses e dissertações: Tempo médio de titulação (M): MB=24 meses;
B=25-30; R=31-36; F=37-42; D=+42
Produção bibliográfica: Adequação dos veículos: MB=80% NDR6 3 Qualis Nac A + 1 In A ou B/doc no triênio; B= 80% NDR6 3 Qualis Nac B + 1 In C/doc no triênio; R= 80% NDR6 3 Qualis Nac C + 0,5 In C/doc no triênio
Produção científica: QualisIn A: fator de impacto (fi) 1In B: 1 fi 0In C: sem fi, mas no Medline
Nac A: Scielo
Nac B: Lilacs
Nac C: demais
22
Química
Procedimentos Análise prévia dos
Programas (duplas) Preenchimento de planilha
com indicadores definidos na reunião de preparação
Reunião: construção de planilha única
Revisão dos dados (falhas detectadas nos documentos)
Critérios
Produção intelectual: JCR: 0,007-0,499 (IC) JCR: 0,5-0,999 (IB) JCR: 1 (IA) Equiparação de tipos de
produção (livros=artigos; capítulos i/n=art. nacional ...)
Questões Questões acerca da avaliação da pós-graduaçãoacerca da avaliação da pós-graduação
24
Questões e perspectivas
O que é avaliado: o relatório ou o Programa? Modelo comum às 44 áreas Caráter declaratório Visitas como alternativa Mudanças no Coleta e na Ficha de Avaliação
A produção científica é adequadamente avaliada? Qualis Periódicos: classificação da Comissão CAPES-ANPEPP Classificação das demais áreas aceita Livros e capítulos de livros: Qualis? Qualis livros e indicação de melhor produção
25
Questões
O processo de avaliação é cuidadoso? A questão do tempo destinado à preparação e à avaliação
propriamente dita A análise do CTC (diante do volume de processos) O material é adequado? Meta-avaliação (Spagnolo e Souza, 2005)
A avaliação é objetiva? Subjetividade da Comissão (escolha de membros; definição de
critérios e pesos; seleção, análise e interpretação dos dados; compromissos e tendenciosidade)
A base de dados
26
Questões
Como articular (a) padrões gerais do SNPG, (b) quadro evolutivo da área e (c) proposta do Programa? O significado do “padrão médio da área” Avaliar processo ou estabilidade? Avaliação como indutor (de qualidade ou de padrão comum?) Padronizar ou inovar? Flexibilização do tempo de titulação + Portaria 68
Ênfase na produção científica Pressuposto: uma formação adequada só pode ser assegurada por
um corpo docente qualificado Formação de recursos humanos como missão da CAPES A questão do egresso