RELATÓRIO FINAL DO PROJETO DE INVESTIGAÇÃO
IMPACTO E EFEITOS DA AVALIAÇÃO EXTERNA DE ESCOLAS DO ENSINO NÃO SUPERIOR
José A. Pacheco (Coordenador)
Este trabalho é financiado por Fundos FEDER através do Programa
Operacional Fatores de Competitividade – COMPETE e por Fundos
Nacionais através da FCT – Fundação para a Ciência e a Tecnologia
no âmbito do projeto PTDC/CPE-CED/116674/2010.
Julho, 2015
2
RELATÓRIO FINAL DO PROJETO DE INVESTIGAÇÃO
IMPACTO E EFEITOS DA AVALIAÇÃO EXTERNA DE ESCOLAS DO ENSINO NÃO SUPERIOR
José A. Pacheco – Universidade do Minho Ana Mouraz – Universidade do Porto Carla Figueiredo – Universidade do Porto Carlinda Leite – Universidade do Porto Carlos Barreira – Universidade de Coimbra Conceição Lamela – Universidade do Minho Diana Gonçalves – Universidade de Coimbra Eduarda Rodrigues – Universidade do Minho Fernando Gonçalves – Universidade do Algarve Filipa Seabra – Universidade Aberta Helena Queirós – Universidade do Minho Isabel Fialho – Universidade de Évora Joana Sousa – Universidade do Minho João Moreira – Universidade de Lisboa José Carlos Morgado – Universidade do Minho José Saragoça – Universidade de Évora Liliana Paulos – Universidade do Algarve Luísa Carapeta – Universidade de Évora Maria Graça Bidarra – Universidade de Coimbra Maria José Silvestre – Universidade de Évora Maria Piedade Vaz-Rebelo – Universidade de Coimbra Marta Sampaio – Universidade do Porto Natália Costa – Universidade do Minho Pedro Rodrigues – Universidade de Lisboa Preciosa Fernandes – Universidade do Porto Sandra T. Valadas – Universidade do Algarve Valentim Rodrigues Alferes – Universidade de Coimbra
3
Índice
Introdução ……………………………………………………………………………………………… 4
1. Estrutura do projeto de investigação ………………………………………………………. 5
2. Problema/questões de investigação e objetivos …………………………………..…... 6
3. Tarefas de investigação ……………………………………………………………………….. 8
3.1. Quadro teórico/conceptual………………………………………………………………. 8
3.2. Relatórios de avaliação externa de escolas …………………………………………. 10
3.3. Contraditórios elaborados pelas escolas …………………………………………….. 12
3.4. Inquérito por questionário a Diretores ……………………………………………….. 16
3.5. Página web…………………………………………………………………………………… 16
3.6. Produtos………………………………………………………………………………………. 17
3.7. Eventos científicos………………………………………………………………………….. 18
3.8. Estudos de caso…………………………………………………………………………….. 18
4. Impacto e efeitos………………………………………………………………………………… 19
Bibliografia………………………………………………………………………………………………. 27
Sumário executivo…………………………………………………………………………………….. 30
4
Introdução
O Projeto de investigação “Impacto e Efeitos da Avaliação Externa de Escolas do Ensino
não Superior”, financiado pela Fundação para a Ciência e Tecnologia (FCT), incide na produção
de conhecimento sistematizado sobre a avaliação externa de escolas (AEE), mediante a análise
teórica de modelos e o estudo empírico do impacto e efeitos nas escolas e comunidade. Com a
sua conclusão poderá ser criado um observatório nacional interuniversitário sobre a AEE, de
manifesto interesse social, incluindo para responsáveis pela formulação e execução de políticas
educativas. O projeto justifica-se porque, terminado o primeiro ciclo de AEE, em 2011, “é
importante realizar, por uma entidade independente do ME, um estudo de metaavaliação da AEE
que permita identificar o grau de cumprimento dos objetivos definidos e os principais efeitos
conseguidos, bem como os eventuais efeitos perversos” [Conselho Nacional de Educação (CNE),
2010]. Não existem estudos nacionais sobre a AEE, desconhecendo-se qual o seu impacto e
efeitos. A avaliação externa produz consequências, ainda que as dificuldades existentes na
mensuração do impacto da avaliação da escola sejam amplamente reconhecidas, de acordo
com relatório da OECD (2013). Assim, é válido socialmente o financiamento de um projeto de
investigação que tenha por finalidade estudar qual o impacto e efeitos produzidos pela AEE nas
escolas e comunidade. Tratando-se de estudo de âmbito nacional, de natureza meta-avaliativa, o
projeto de investigação não é uma avaliação, sendo desenhado de acordo com quadros teóricos
e metodológicos amplamente utilizados.
O problema traduz-se nesta interrogação - Que impacto e efeitos produziu a avaliação
externa de escolas, no primeiro ciclo de implementação de 2006/07 a 2010/11, tendo em
referência a melhoria da escola, a participação da comunidade e a implementação de políticas
de accountability?
São formulados dois objetivos gerais: explorar quadros teóricos e metodológicos sobre
AEE, incluindo seu impacto e seus efeitos na melhoria das escolas face às políticas de prestação
de contas; realizar estudos empíricos centrados no impacto e efeitos da avaliação externa.
O problema fundamenta ainda o design da investigação e a opção por metodologias
quantitativas e qualitativas, materializadas num modelo misto de recolha de dados, com
destaque para análise de documentos, entrevistas e questionários. O estudo enquadra-se numa
avaliação de eficiência, com a consideração dos aspetos inerentes a uma avaliação do impacto e
efeitos.
5
Todos os elementos da equipa, oriundos de seis universidades portuguesas, participaram
em estudos de avaliação e têm um conhecimento aprofundado do objeto de investigação. Os
investigadores têm experiência letiva e de supervisão em cursos de pós-graduação, sendo alguns
deles coordenadores de cursos, o que é um fator decisivo para a proposta e cumprimento de
indicadores relativos à formação avançada. A dimensão nacional da equipa justifica-se porque a
AEE seguia um modelo de implementação em seis regiões, segundo o modelo funcional da
Inspeção, entretanto alterado para três áreas territoriais.
A organização da equipa inclui investigadores de universidades inseridas no Norte, Centro,
Lisboa e Vale do Tejo, Alentejo e Algarve. Não havendo na AEE um grupo de controlo, a
realização de um estudo de eficiência exige que a investigação tenha por base o universo das
escolas avaliadas, segundo uma amostra estratificada por regiões, bem como a singularidade
das escolas, estudada mediante casos aleatórios. O projeto é de manifesta relevância social,
respondendo ao desafio do CNE (2008): dar atenção particular à fase da entrega do relatório de
avaliação na escola e sua discussão, uma vez é aqui que se joga uma parte importante das
consequências da avaliação para a escola e para as aprendizagens dos alunos – mudar práticas,
processos e modelos em função das conclusões e orientações da avaliação externa. A
pertinência da investigação justifica-se quer pela crescente valorização social da AEE, quer pela
inexistência em Portugal de um estudo de âmbito nacional, como constata o CNE (2010): “não
existe um estudo ou reflexão sistemática sobre os efeitos da AEE e a sua utilidade” e, “embora
se possa considerar elevada a utilidade percebida pelos responsáveis das escolas avaliadas, até
à data, não é possível identificar claramente as consequências e efeitos da AEE, quer junto das
escolas, quer ao nível das instâncias responsáveis pela formulação e execução de políticas”.
Para além da divulgação dos resultados em seminários, a realizar em cada uma das
universidades, será criado um sítio, contendo dados bibliográficos, dados de investigação,
modelos teóricos e metodológicos e processos e práticas de avaliação interna e externa.
O projeto foi iniciado em 1 de março de 2012, com terminus em 31 de julho de 2015,
constituindo este texto uma avaliação final da sua realização.
1.Estrutura do projeto de investigação
Na candidatura a projetos de investigação, a FCT tem um modelo que, para além, da
vertente financeira em termos de elaboração de um orçamento e gestão dos recursos humanos,
sobretudo a nível de contratação de bolseiros, inclui a identificação do problema e questões de
6
investigação, a formulação de objetivos, a descrição das tarefas, a previsão de produtos gerados
o nível da produção científica, a composição da equipa de investigação e a previsão de
resultados.
Na avaliação de um projeto, geralmente na forma de relatório, é fundamental que sejam
respeitados os passos identificados, entre outros, por Walliman (2011) e Mertens e Wilson
(2012), incluindo-se a discussão sobre o consultor do projeto. Este papel foi assumido por Ivor
Goodson, da Brighton University, que deu não só o aval teórico/conceptual e metodológico à
proposta do projeto, mas também apoio crítico em cada uma das tarefas da sua implementação,
tendo-se convertido num “smart enemy”. A este respeito, citado por Mertens e Wilson (2012, p.
515), Scriven (2009) “worries that a critical friend not be ruthless enough, and so recomends a
smart enemy on the grounds that this person would be inclined to give a more honest appraisal”.
Deste modo, o relatório percorre todas as etapas da concepção/realização e avaliação do
projeto com o objetivo de clarificar situações que poderiam ter sido mais ou menos exploradas.
Uma situação que se revelou crítica diz respeito à inclusão no projeto de bolseiros de
investigação, representando uma significativa percentagem do financiamento atribuído pela FCT.
A escolha da tipologia dos bolseiros foi algo que mereceu algumas anotações, tendo sido
substituídas as duas bolsas de iniciação científica por bolsas de investigação, facto que atrasou a
realização de tarefas, principalmente a da página web. Revela-se, por outro lado, que a inclusão
de bolseiro num tempo superior ao previsto na candidatura do projeto pode contribuir para
inserção de novos investigadores que possam realizar os seus estudos na temática.
2.Problema/questões de investigação e objetivos
Ao longo dos três anos e meio da implementação do projeto constata-se que a formulação
do problema foi reformulada para integrar o segundo ciclo de avaliação, pois inicialmente estava
previsto abordar somente o primeiro ciclo, de 2005 a 2011. A sua formulação - Que impacto e
efeitos produz a AEE no primeiro e segundo ciclos do modelo, tendo em referência a melhoria
da escola, a participação da comunidade e a implementação de políticas de accountability? -
revelou-se pertinente, clara e exequível (Quivy & Campenhoudt, 1997. Sendo “a fase mais difícil
de um processo de investigação” (Tuckman, 1994, p. 22), o problema foi um ponto de
referência constante dos investigadores, com suficiente valor teórico e prático.
Para a sua mais fácil operacionalização, o problema foi desdobrado nas seguintes
questões: a AEE produz impacto e efeitos na melhoria da escola ao nível organizacional,
7
curricular e pedagógico?/na consolidação da autoavaliação institucional?/ na participação da
comunidade na vida social da escola?; a AEE produz impacto e efeitos na apropriação pela
escola e comunidade dos referentes utilizados no processo de avaliação?
A formulação dos objetivos gerais foi complementada com a formulação de objetivos
empíricos, de acordo com o seguinte design de investigação (Quadro I):
Quadro I – Design da investigação
Questões de investigação
Estudos empíricos
Objetivos empíricos
Tarefas de investigação
A AEE produz impacto e efeitos na melhoria da escola ao nível organizacional, curricular e pedagógico?; na consolidação da autoavaliação institucional?; na participação da comunidade na vida social da escola?
Análise dos relatórios de avaliação Análise dos contraditórios Impacto e efeitos da AEE: perspetivas dos diretores de escola
Recolher/analisar dados sobre os relatórios de AEE Recolher/analisar dados sobre os contraditórios no contexto da AEE. Estudar o impacto e efeitos da AEE nas dimensões organizacional, curricular e pedagógica Estudar o impacto e efeitos da AEE na relação escola/comunidade Estudar o impacto e efeitos da AEE na consolidação da autoavaliação
Análise dos relatórios de AEE de 2006/07 to 2013/14 Análise dos contraditórios de AEE de 2006/07 to 2013/14 Inquérito por questionário a Diretores (N= 822) .
A AEE produz impacto e efeitos na apropriação pela escola e comunidade dos referentes utilizados no processo de avaliação?
Impacto e efeitos da AEE: perspetivas das escolas (professores e pais) e da comunidade.
Estudar o grau de apropriação dos referenciais da AEE pelas escolas e comunidade
Estudos de caso (n=9) Inquérito por entrevista a Diretores (n=9) Inquérito por entrevista a Coordenadores de Equipas de autoavaliação (n=9) Grupo focal a Coordenadores de gestão intermédia (n=9) Inquérito por questionário a professores das escolas com realização de estudos de caso (n=210)
Porém, o projeto de investigação não foi totalmente cumprido, tendo faltado a recolha de
dados relativos à comunidade, uma vez que não foram construídos instrumentos de recolha de
dados. A equipa de investigação participou ativamente nas decisões sobre a construção de
recolha de dados e nos procedimentos para a sua análise. Assim, foram amplamente partilhados
os inquéritos por questionário a diretores e professores, os guiões para os inquéritos por
entrevista a diretores, coordenadores de equipas de autoavaliação, coordenadores de gestão de
liderança intermédias (através de focal group). Além disso, para que existisse uma maior
8
consistência da investigação, foi elaborado um guião para a realização e análise dos estudos de
caso. Estando prevista a realização de 12 estudos de caso, dois por cada universidade, foram
realizados nove estudos, por motivos que se prendem com dificuldades de acesso a dados pelos
investigadores. Reconhece-se ainda que o inquérito por questionário a professores, onde foram
realizados os estudos de caso, não foi implementado do mesmo modo.
3.Tarefas de investigação
3.1. Quadro teórico/conceptual
Através da publicação do livro Avaliação Externa de Escolas: Quadro Téorico/conceptual,
publicado pela Porto Editora, em 2014, a equipa de investigação foi responsável pela escrita de
vários textos sobre referenciais teóricos e metodológicos ligados ao objeto de investigação, isto é,
a avaliação externa de escolas. No capítulo I, José Augusto Pacheco, Filipa Seabra e José Carlos
Morgado abordam a avaliação externa em termos da referencialização de quadro teórico sobre o
impacto e efeitos da avaliação externa. Maria José Silvestre, Isabel Fialho e José Saragoça, no
capítulo II, analisam a avaliação externa das escolas à luz das políticas educativas, seguindo-se
quatro capítulos centrados relativos à contextualização nacional e internacional do modelo:
avaliação externa das escolas em Portugal – políticas e processos (Elisabete Gonçalves, Preciosa
Fernandes e Carlinda Leite, capítulo III); avaliação externa em Portugal: do referencial aos
estudos empíricos (Eduarda Rodrigues, Joana Sousa, Helena Queirós e Natália Costa, capítulo
IV); modelos internacionais de avaliação externa. A avaliação de escolas em Portugal e na
Inglaterra – origem, fundamentos e percursos (Carla Figueiredo; Carlinda Leite e Preciosa
Fernandes, capítulo V); relatórios internacionais e nacionais. Um olhar sobre a avaliação externa
de escolas (Isabel Fialho, José Saragoça, Maria José Silvestre, Ana Paula Correia e Sónia Gomes,
capítulo VI). Os capítulos VII e VIII são dedicados, respetivamente, a questões de metodologia na
avaliação de escolas (Pedro Rodrigues e João Moreira) e a aspetos metodológicos do inquérito
por entrevista na avaliação externa de escolas (Sandra Valadas e Fernando Gonçalves). O livro
engloba, ainda, o capítulo IX dedicado aos relatórios de avaliação externa: da análise das
redundâncias à pontuação diferencial dos resultados no primeiro ciclo de avaliação.
O segundo livro (Estudos sobre Avaliação Externa de Escolas), em publicação, na Porto
Editora, inclui os estudos empíricos do projeto, sendo coordenado por Carlos Barreira,
responsável pela equipa de investigadores da Universidade de Coimbra:
9
Capítulo 1 - Do referencial da avaliação externa de escolas à criação de um modelo de autoavaliação (Maria José Silvestre, José Saragoça e Isabel Fialho) Capítulo 2 - Efeitos da avaliação externa de escolas nos processos de autoavaliação: Convergências e tendências de ação (Marta Sampaio, Carla Figueiredo, Carlinda Leite e Preciosa Fernandes) Capítulo 3 - Evolução do desempenho das escolas no quadro da avaliação externa (Valentim Rodrigues Alferes, Carlos Folgado Barreira, Maria da Graça Bidarra e Maria da Piedade Vaz-Rebelo) Capítulo 4 - Contraditórios do primeiro e segundo ciclos de avaliação externa de escolas. Uma análise quantitativa-qualitativa (José Augusto Pacheco) Capítulo 5- Impacto e efeitos da avaliação externa de escolas: A perspetiva dos Diretores de Agrupamento (Pedro Rodrigues e João Moreira) Capítulo 6 - Liderança e resultados escolares: Que relações? (Isabel Fialho e Luísa Carapeta) Capítulo 7 – Efeitos da avaliação externa das escolas - uma análise centrada nas lideranças (Preciosa Fernandes, Carlinda Leite e Ana Mouraz) Capítulo 8 – Impacto e efeitos da avaliação externa de escolas: A perspetiva das lideranças a partir de um estudo de caso (Fernando Gonçalves, Liliana Paulos e Sandra T. Valadas) Capítulo 9 - Avaliação externa de escolas e impacto da(s) liderança(s): Estudo de caso (Diana Gonçalves, Maria da Piedade Vaz-Rebelo, Maria da Graça Bidarra e Carlos Folgado Barreira) Capítulo 10 - Avaliação externa e seus efeitos: A perspetiva dos atores escolares (Joana Sousa, Natália Costa, Eduarda Rodrigues, Helena Queirós, Conceição Lamela, Filipa Seabra e José Carlos Morgado)
Foi publicado, ainda, mais um livro (online), organizado por Ana Mouraz, José Augusto
Pacheco e Sandra Valadas, em 2015 - Avaliação externa de escolas do ensino não superior.
Coordenadas e processos de um projeto de investigação, pelo Centro de Investigação e
Intervenção Educativas, disponível em
https://drive.google.com/file/d/0B3kJxfZNFmsTeWY0WG9jeDNIY00/view?usp=sharing
Este e-book resulta da produção efetuada no contexto do projeto de investigação. Mais
concretamente, são divulgados os produtos da investigação apresentados nos Seminários
organizados pelas equipas, realizados nas diferentes instituições participantes: Universidade do
Minho, Universidade do Porto, Universidade de Coimbra, Universidade de Lisboa, Universidade
de Évora e Universidade do Algarve.
Durante a fase de desenvolvimento do projeto, estrategicamente, foram sendo realizados
seminários de monitorização e de apresentação de resultados parcelares entretanto produzidos
pela equipa. Se tal estratégia manteve em contacto a equipa ao longo da vida do projeto,
também pode ir levantando novas questões que resultaram da estratégia de disseminação
10
seguida de abrir os seminários aos utilizadores finais do projeto (os professores e as escolas).
Tal estratégia foi “tomando o pulso” ao modo como os resultados foram sendo entendidos pelos
seus utilizadores e destinatários e foi apurando a argumentação e especificando novas
abordagens para “esmiuçar” os dados recolhidos. É possível dizer que a variabilidade e
multidimensionalidade das apresentações que se incluem neste e-book resultam da
complexidade do objeto em análise – os efeitos da AEE –, mas resultam também da diversidade
de olhares que o mesmo objeto provocou na equipa. As comunicações aqui coligidas totalizam
62 autores, que são elementos da equipa a que se juntaram outros investigadores, que são, na
sua maioria, estudantes de doutoramento e de mestrado a realizar estudos sobre a temática da
AEE.
3.2. Relatórios de avaliação externa de escolas
Todos os relatórios de avaliação externa de escolas, divulgados na página web da
Inspeção-geral da Educação e Ciência, de 2006/2007 a 2013/14, foram analisados em termos
de tratamento estatístico das classificações obtidas nos domínios de avaliação, sem que tivesse
sido possível estabelecer uma evolução comparativa dos resultados por motivos que se
prenderam quer com a constituição de agrupamentos de escolas, reforçada pelo Decreto-lei
78/2008, de 22 de abril, quer com a agregação de agrupamentos verificada sobretudo a partir
do ano letivo de 2011/2012, quer ainda com a alteração do modelo de avaliação externa
(alteração dos domínios, da escala de classificação e introdução do valor esperado), no início do
segundo ciclo, no mesmo ano letivo. Com efeito, muitas escolas avaliadas no primeiro ciclo (de
2006/2007 a 2010/2011). Considerando-se os resultados do primeiro ciclo de avaliação, e
tendo em conta as classificações obtidas pelas 1107 escolas nos cinco domínios, verifica-se o
predomínio do Muito Bom e Bom, os dois níveis mais altos da escala de classificação, de acordo
com a Tabela I.
Tabela I - Classificações dos relatórios do primeiro ciclo de AEE (N= 1107)
Domínios Muito Bom Bom Suficiente Insuficiente
Resultados 8,1% 60,5% 30,4% 1%
Prestação Serviço Educativo 11,3% 67,6% 21% 0,1%
Organização e Gestão Escolar 26% 64,7% 9% 0,3%
Liderança 33,8% 53,6% 11,9% 0,7%
Capacidade de Autorregulação… 5,1% 41,6% 48,8% 4,5%
Fonte: IGE, 2012
11
Da análise destes resultados verifica-se que a AEE, no primeiro ciclo, traduziu-se num
“efeito de teto”, isto é, sobrevalorização das classificações mais elevadas” (Bidarra, Barreira,
Vaz-Rebelo & Alferes, 2014, p. 237). Fazendo-se a adição do Bom e Muito Bom, são obtidas
estas percentagens elevadíssimas: Organização e Gestão Escolar (90.7%); Liderança (87,4%);
Prestação do Serviço Educativo (87,4%). Os domínios Resultados (68,6%) e Capacidade de
Autorregulação e Melhoria da Escola (46,7%) têm valores mais baixos, dado o peso da
classificação de Insuficiente ser bastante expressivo, respetivamente, 30,4% e 48,8%. Tais
resultados, permitem dizer que “a escala utilizada perdeu progressivamente o poder
discriminativo” (Ibid., p. 244). Há um outro aspeto que os investigadores da Universidade de
Coimbra realçam: “os avaliadores utilizam ponderações implícitas dos fatores, sendo que no
caso do domínio Resultados o fator Sucesso Académico tem objetivamente o dobro do peso dos
restantes fatores” (Ibid., p. 244). Estas duas situações estão diferentemente colocadas no
segundo ciclo de avaliação. Com a introdução da classificação Excelente, e uma vez que
raramente é atribuída nos domínios, não havendo qualquer escola no território continental com
esta classificação, o poder discriminativo da escala não é tão significativo, ainda que se
mantenha no Bom e Muito Bom a atribuição das classificações, de acordo com as classificações
atribuídas em 2011/12 e 2012/13 (Tabela II).
Tabela II - Classificações dos relatórios do segundo ciclo de AEE (N=275)
Domínios Excelente Muito Bom
Bom Suficiente Insuficiente
Resultados - 24,8% 55,1% 19,7% 0,4%
Prestação Serviço Educativo - 31,7% 55,3% 13% -
Liderança e Gestão 0,6% 40,6% 45,6% 12,2% -
Fonte: IGE, 20151
Todavia, o efeito de teto continua a observar-se, no segundo ciclo da AEE, sendo que as
classificações continuam elevadas. Somando-se as classificações de Bom e Muito Bom, obtêm-
se os seguintes resultados nos diferentes domínios: Resultados (79,9%, Prestação do Serviço
Educativo (87%) e Liderança e Gestão (86,2%). Isto traduz-se num aumento significativo da
primeiro para o segundo ciclo das classificações nos domínios Resultados (de 68,6% para 74,3%)
1 Dados apresentados pela IGEC no Seminário Avaliação Externa de Escolas, a 13 de março de 2015, em Coimbra.
12
e Liderança e Gestão (de 37,5% para 86,2%) e num aumento diminuto no domínio Prestação do
Serviço Educativo (de 78,9% para 79,4%).
Por outro lado, a introdução do valor esperado e a sua indexação à descrição da escala de
classificação - a ação da escola tem produzido um impacto consistente e muito acima
(Excelente)/consistente e acima (Muito Bom)/em linha (Bom)/aquém (Suficiente)/muito aquém
(Insuficiente) dos valores esperados (isto é, dos resultados académicos) – contribuiu para a não
atribuição dos níveis extremos da escala. Nas classificações obtidas pelas escolas, no segundo
ciclo de avaliação, observa-se que há uma tendência forte para que o nível atribuído ao domínio
Resultados determine os que são conferidos ao da Prestação do Serviço Educativo e da
Liderança e Gestão, e caso sejam diferentes, são entendidos, nos documentos de orientação da
IGEC, como situações de exceção.
3.3. Contraditórios elaborados pelas escolas
A tarefa de investigação correspondeu à elaboração de um estudo empírico sobre os
contraditórios, elaborados pelas escolas, a nível nacional, em função dos relatórios externos de
avaliação, de 2006/07 a 2013/14, abrangendo o primeiro ciclo e o segundo ciclos (três
primeiros anos) de implementação do modelo da IGEC. Todos os contraditórios foram
consultados a partir da página Web da IGEC. No quadro de referência do modelo de avaliação
externa (IGE, 2009), as escolas, depois de receberem os relatórios de avaliação, “dispõem de
um prazo (no mínimo de 15 dias úteis) para apresentar contraditório”, sem que exista um
modelo a seguir ou mesmo limite de páginas.
Decorrendo de uma análise apreciativa dos avaliadores, o contraditório é considerado nos
aspetos factuais, e não propriamente no que é considerado juízo valorativo, correspondendo a
uma possível discordância improdutiva, já que a instância de recurso jamais veio a ser instituída
como organismo independente2. Segundo o que foi previsto, mas jamais concretizado, os
recursos deveriam ser avaliados por “uma comissão de recurso da avaliação externa das
escolas, [que] aprecia os recursos apresentados pelos diretores de agrupamentos de escolas ou
2 A partir de 2009/10, a escola, em caso de discordância com a classificação, para além do contraditório, pode submeter um recurso. A comissão de recurso, que funciona no interior da Inspeção, sem qualquer independência funcional, pode decidir pela manutenção das classificações ou ordenar a repetição total ou parcial do procedimento de avaliação externa. Neste caso, o recurso é de natureza hierárquica, sendo dirigido à tutela administrativa da escola, não existindo, por isso, nem distanciamento administrativo, nem independência do decisor sobre o recurso. Esta situação revela a omnipresença da Inspeção no modelo de avaliação, sendo, simultaneamente, responsável pela construção do modelo, pela avaliação e pelo julgamento do recurso.
13
de escolas não agrupadas. Esta comissão é composta por três elementos, sendo um designado
pelo membro do governo responsável pela área da educação, que preside, outro pelo Inspetor-
geral da educação e o terceiro designado pelo Conselho de Escolas (IGE, 2009).
Tal omissão foi salientada pelo CNE (2010, p.9), em cujo parecer são tecidas “críticas à
forma como o contraditório está organizado e à ausência de mecanismos de recurso”, pelo que
não só “os atuais limites do contraditório turvam a leitura que o público pode fazer da realidade
do estabelecimento de ensino” (Ibid., p. 10), como também o “atual processo do contraditório
deve ser profundamente revisto” (Ibid., p. 10). Num documento de transição, com propostas de
enquadramento do segundo ciclo, a IGE (2011, p. 55) refere mais uma vez a instância de
recurso, no entendimento de que “as consequências da avaliação externa, designadamente as
que decorrem da atribuição de classificações, justificam a definição de procedimentos
específicos que acautelem a possibilidade de recurso por parte das escolas, em circunstâncias
específicas e previsivelmente limitadas”, o que, na prática, “suspende a publicação do relatório”.
A entidade que tiver o encargo de apreciar o recurso pode propor ao membro do governo
responsável pela área da educação a manutenção das conclusões da avaliação, designadamente
das classificações atribuídas, ou a repetição total ou parcial do procedimento de avaliação
externa” (Ibid., p. 56).
Ainda sobre procedimentos relativos ao contraditório, a IGE esclarece de modo mais
assertivo alguns procedimentos: “recebido o relatório, a escola pode apresentar, no prazo de
quinze dias úteis, o seu contraditório. Analisado este, a equipa de avaliação, além de introduzir
no relatório as alterações que considere adequadas – o que pode abranger a alteração das
classificações atribuídas, elabora uma resposta que acompanhará o envio da versão final do
relatório ao presidente do Conselho Geral e ao Diretor da escola. Posteriormente, essa versão
final será divulgada na página web da IGE junto com o contraditório e com a respetiva resposta
da equipa” (Ibid., p. 55). Constata-se, assim, que a resposta ao contraditório é obrigatória pelos
avaliadores, tendo-se tornado efetiva no ano letivo de 2011/12, que marca o início do segundo
ciclo de avaliação, ainda que da sua análise resulte uma significativa diversidade em termos de
modelos.
Da análise dos documentos de orientação do modelo de avaliação externa de escola,
complementados pelos pareceres do CNE, observa-se que o mesmo não foi totalmente
implementado, tendo ficado na intenção, publicamente registada num despacho ministerial, a
criação de uma instância de recurso. De todos os contraditórios elaborados, apenas um seguiu a
14
tramitação do recurso, observando-se que os seus fundamentos discordantes não foram aceites
pela tutela em termos de alteração da classificação atribuída aos domínios. Mesmo assim, trata-
se de um processo oculto, pois na página da Inspeção é apresentado o relatório, o contraditório
e a resposta ao contraditório, sem a inclusão de qualquer referência ao recurso. De todos os
contraditórios apresentados, nos oitos primeiros anos de implementação do modelo de
avaliação, em apenas um caso se verificou a alteração da classificação num dos domínios, facto
que se registou no ano letivo 2011/12, na área territorial do Centro. De resto, as classificações
nos domínios foram mantidas pelos avaliadores, ainda que, em casos também pontuais, sejam
apresentadas frases corretivas do relatório inicial, o que comprova a quase nula eficácia dos
contraditórios, demonstrando a reduzida ou nula eficácia dos contraditórios.
A partir da resposta aos relatórios de avaliação externa (N=1619), a análise estatística dos
Contraditórios (N=481), elaborados pelas escolas, nos primeiros oito anos de implementação do
modelo de avaliação externa de escolas do ensino não superior (Tabela III), permite constatar a
existência de dois enunciados empíricos gerais:
Tabela III – Total de Relatórios (R) e Contraditórios (C) do primeiro e segundo ciclos de AEE
Fonte: IGEC, 20153
No cálculo do rácio relatório/contraditório, 29,7% das escolas avaliadas externamente
apresentaram contraditório, sendo mais elevada a percentagem no primeiro ciclo (33,2%) do que nos
3 Dados da página web da IGEC - http://www.ige.min-edu.pt/ - Consulta em janeiro e fevereiro de 2015.
Ano/Região
Norte Centro Sul Total R
Total C
R C R C R C R C
2006/07 33 14 19 10 48 24 100 48
2007/08 104 33 47 29 122 46 273 108
2008/09 102 16 57 11 128 55 287 82
2009/10 102 24 63 19 135 38 300 81
2010/11 40 16 35 10 72 23 147 49
2011/12 84 22 42 9 105 35 231 66
2012/13 59 8 28 4 57 16 144 28
2013/14 55 9 30 3 52 7 137 19
Total 579 142 321 95 719 244 1619 481
15
três primeiros anos do 2º ciclo (22,1%). O ato de contraditar os resultados da avaliação externa não se
torna, assim, suficientemente abrangente, pois verifica-se a tendência para a aceitação dos resultados por
mais de 2/3 das escolas.
A apresentação dos contraditórios diminuiu à medida que tem sido generalizada e consolidada a
avaliação externa (Gráfico 1), sendo notória esta tendência nos primeiros quatro anos do primeiro ciclo,
com exceção do último ano (2010/11), sendo que o resultado do 1º ano do segundo ciclo (2011/12)
aproxima-se dos resultados de 2008/09 e 2009/10. O valor mais baixo (13,9%) ocorre no terceiro ano
do segundo ciclo. Com efeito, ocorre a diminuição dos contraditórios ao longo dos oito anos de
implementação do modelo de avaliação. Esta situação pode ter como base explicativa quer a mudança
para a liderança unipessoal nas escolas, operada em 2008/09, quer a socialização das escolas para com
o modelo, demonstrando uma tendente progressividade na sua apropriação.
Dos resultados globais dos contraditórios, são destacados os seguintes aspetos:
a) 61,1% nada dizem sobre a concordância/discordância com o modelo de avaliação, ainda que 38,9%
dos contraditórios incluam referências à concordância com o modelo e/ou reconhecimento de
vantagens;
b) 93,6 % não incluem referências teóricas a noções de avaliação;
c) 68,6% incluem discordâncias sobre a avaliação atribuída a um ou mais domínios do modelo,
predominando mais do que um domínio; a existência de uma discordância não significa que a avaliação
tenha sido insuficiente ou suficiente, pois há muitas discordâncias quando é atribuído a classificação de
Bom e/ou Muito Bom a certos domínios;
d) 41,6% invocam a correção de factos dos relatórios de avaliação, sobretudo os que estão relacionados
com os resultados e com a caracterização socioeconómica da escola;
e) 73,6% discordam da interpretação dos avaliadores, sendo o domínio mais focado o dos resultados;
f) 6 % fazem referência ao tempo diminuto para a avaliação externa;
g) 80 % fazem referência à divulgação/análise do relatório na escola, havendo referências à comunidade
em 20% dos contraditórios;
h) 31,4% são contraditórios minimalistas, isto é, incluem observações, correção de factos em diminuto
número, comentários, validação da avaliação externa, satisfação para com os resultados;
i) 50,7 % são contraditórios reativos moderados, sendo predominante a discordância quanto à
interpretação de passagens do texto, o pedido de alteração da classificação em domínios e fatores, a
reposição de interpretações e a justificação dos pontos fracos;
j) 17,9% são contraditórios reativos enfáticos, com predomínio da ironia, do levantamento de questões, de
interrogações frequentes, da exigência de recomendações, da retificação dos pontos fracos, da
valorização dos pontos fortes, da desculpabilização.
16
3.4. Inquérito por questionário a Diretores
A tarefa ligada à recolha e análise de dados empíricos através de um inquérito por
questionário a Diretores de escolas (N=811) foi concretizada de um modo parcial, visto que o
número de respondentes (n=222) ficou aquém do que seria minimente exigido, ou seja, 40%.
Mesmo assim, e dada a distribuição geográfica, os resultados são significativos e indicam que os
diretores têm uma visão globalmente positiva da AEE (+1.1, numa escala -3 Extremamente
negativo a +3 Extremamente positivo) (Tabela IV):
Tabela IV- Perspetivas dos Diretores sobre AEE
Média DP
Geral + 1.11 0.82
Resultados + 0.96 0.82
Prestação do Serviço Educativo + 1.10 0.85
Liderança e Gestão + 1.28 0.87
Perante a questão das mudanças da AEE nas dimensões estruturantes do processo de
avaliação, de acordo com os seus três domínios, os diretores são de opinião que o impacto se
verifica mais na Liderança e Gestão (+1.28) e na Prestação do Serviço Educativo (+1.10) do que
nos Resultados (+0.96), ainda que todos os valores sejam positivos
Considerando todos os dados do inquérito por questionário, pode concluir-se:
a) O impacto e efeitos da avaliação externa são, de forma global, vistos como moderadamente positivos.
b) O impacto e efeitos mais fortes são notados nos aspetos mais próximos do processo de avaliação
externa: avaliação interna, documentos orientadores, atuação da liderança.
c) Em aspetos mais distais (resultados dos alunos, atuação de alunos e famílias), os impactos e efeitos
são vistos como menores.
d) Os principais fatores potenciadores do impacto e efeitos da avaliação externa têm a ver com o grau em
que esse processo impregnou a escola, sendo difundido e incorporado.
e) A perceção dos efeitos da avaliação está relacionada com os seus resultados: os resultados no primeiro
ciclo de avaliação não estão relacionados com as perceções dos seus efeitos e impacto; os resultados
mais elevados no segundo ciclo de avaliação estão relacionados com perceções mais favoráveis dos
seus efeitos, sobretudo nos aspetos da autoavaliação e ligação com a comunidade.
f) A avaliação parece, em larga medida, exercer os seus efeitos positivos através da apropriação dos seus
pressupostos pelas Escolas, sobretudo no âmbito da autoavaliação.
3.5. Página web
Para que existisse uma divulgação do projeto, com a inclusão a estudos realizados sobre a
AEE, o projeto incluiu a elaboração e manutenção de uma página web, identificada neste
endereço: http://webs.ie.uminho.pt/avaliacaoexternaescolas/
17
O conteúdo da página web contém informação relativamente aos separadores Projeto,
Equipa de investigação, Tarefas de investigação, Eventos organizados, Publicações, com a
realização do estado da arte sobre estudos nacionais realizados no âmbito da avaliação externa e
interna de escolas, e Produção científica dos investigadores do projeto, não só os que constam
da listagem da FCT, mas também os mestrandos e doutorandos que foram sendo associados ao
projeto.
3.6. Produtos
Da tabela V constam os produtos quantificados na candidatura do projeto e efetivamente
publicados/executados. Observa-se que apenas dois indicadores não foram atingidos:
dissertações de mestrado e artigos em revistas científicas. O primeiro é explicável pela
significativa diminuição dos alunos a frequentar os mestrados académicos nas universidades
portuguesas, decorrente do processo de Bolonha, e o segundo deve-se a atrasos nas respostas
das revistas à submissão de artigos, pois muitos investigadores já submeteram artigos em
revistas nacionais e estrangeiras. Porém, os produtos foram ultrapassados nos restantes
indicadores, sendo de referir a publicação de capítulos de livros, não previsto no formulário da
FCT, bem como o número de publicações de mestrandos e doutorandos associados ao projeto
ao longo dos três anos. É ainda de realçar que, em ligação à equipa de investigação do Porto e
da Universidade do Minho, duas alunas tiveram, em 2013, os seus projetos de doutoramento
aprovados e financiados pela FCT.
Tabela V – Produtos do projeto de investigação previstos e publicados/executados
Publicação
Publicado/ Executado
Previsto na Candidatura
Livros 2 1
E-book 1 -
Capítulos de Livro (Nacional e Estrangeiro) 15 -
Artigos em Revistas Científicas (Nacional e Estrangeiro) 16 20
Comunicações em Eventos Científicos (Nacional e Estrangeiro) 49 25
Dissertações de Mestrado 10+6(a) 20
Teses de Doutoramento 3+7(a) 8
Eventos Científicos 6 3
Publicações de Mestrandos e Doutorandos no âmbito do Projeto (como únicos autores)
25 -
(a) em curso
18
3.7.Eventos científicos
Na proposta de candidatura, da tarefa dos eventos científicos constava a realização de três
seminários, tendo-se duplicado esse número, sendo cinco nacionais (em cada uma das
universidades associadas do projeto), e um internacional, na instituição coordenadora do projeto:
a) Universidade do Porto (8/11/2012): Avaliação Externa de Escolas – princípios, processos e efeitos.
b) Universidade de Évora (6/4/2013): Avaliação Externa de Escolas – percursos, consensos e
divergências.
c) Universidade de Coimbra (7/11/2013): Avaliação Externa de Escolas para a melhoria educacional.
d) Universidade de Faro (7/6/2014): Avaliação Externa de Escolas – contributos da investigação.
e) Universidade de Lisboa (8/11/2014): Avaliação Externa de Escolas – processos e impactos.
f) Universidade do Minho (8 e 9/5/2015): Avaliação Externa de Escolas.
O Conselho Nacional de Educação, em parceria com a Universidade do Minho, instituição
coordenadora do projeto, organizou o Seminário Avaliação Externa de Escolas, a 13 de março de
2105, onde foi apresentado o relatório preliminar do projeto.
3.8.Estudos de caso
Dos 12 estudos de caso previstos, dois por cada universidade, foram realizados nove, de
acordo com esta distribuição: região norte (4), região centro (2) e região de Lisboa e sul (3).
Todos os casos seguiram um mesmo guião, com destaque para inquérito por entrevista a
Diretores, Coordenadores de equipas de autoavaliação e Coordenadores de órgãos de liderança
intermédia, bem como um inquérito por questionário a professores das escolas onde os casos
foram realizados. A escolha das escolas foi determinada pelas classificações obtidas nos dois
ciclos de avaliação, pelo que as nove escolas estudadas tiveram duas experiências de avaliação
externa.
Os resultados de cada estudo de caso fazem parte do livro organizado por Carlos Barreira,
sendo de referir os seguintes trabalhos:
a) Do referencial da avaliação externa de escolas à criação de um modelo de autoavaliação (Equipa da
Universidade de Évora).
b) Efeitos na institucionalização de práticas de autoavaliação (Equipa da Universidade do Porto).
c) Lideranças e construção de melhorias educacionais (Equipa da Universidade do Porto).
d) Liderança e resultados escolares: Que relações? (Equipa da Universidade de Évora)
e) Avaliação externa de escolas: Contributos para a melhoria das escolas (Equipa da Universidade do
Algarve).
f) Avaliação externa de escolas: efeitos perspetivados a partir das escolas" (Equipa da Universidade do
Minho).
g) Avaliação externa de escolas e impacto da(s) liderança(s) (Equipa de Universidade de Coimbra).
19
4. Impacto e efeitos
Em resposta ao problema de investigação - Que impacto e efeitos produz a AEE no
primeiro e segundo ciclos do modelo, tendo em referência a melhoria da escola, a participação
da comunidade e a implementação de políticas de accountability? – constata-se que, face aos
dados empíricos recolhidos e analisados, no âmbito do projeto, a AEE tem produzido impacto e
efeitos na:
a) melhoria da escola, mais a nível organizacional do que a nível curricular e dos modos de trabalho
pedagógico, sendo o impacto nesta última dimensão reconhecido como reduzido ou inexistente;
b) consolidação da autoavaliação institucional, o que está em linha com os relatórios da OECD (2013)
e da European Commission/EACEA/Eurydice (2015);
c) participação da comunidade na vida social da escola, reforçando as parcerias existentes e dando voz
aos diversos atores sociais que intervêm diretamente na escola;
d) apropriação pela escola dos referentes utilizados no processo de avaliação, no seguimento da
aceitação de um modelo que foi implementado, a partir de 2006, sem conflitos de qualquer espécie,
tendo atravessado incólume um dos períodos mais conturbados do sistema educativo português
com a avaliação do desempenho docente;
e) institucionalização de planos de melhoria focados nas fragilidades identificas pela AEE;
f) monitorização de resultados académicos, embora sem efeitos visíveis.
Sendo a escola um lugar de avaliação, como é referido por Silvestre, Saragoça e Fialho
(2015), a AEE foi contribuindo para a maior sustentabilidade das práticas de autoavaliação,
legitimado pelo mandato externo da IGEC, mesmo que tal dimensão tenha sido diluída, no
segundo ciclo do modelo, no domínio Liderança e Gestão. Aliás, o domínio Capacidade de
autorregulação e melhoria da escola, no primeiro ciclo, foi o que teve a maior dispersão dos
níveis de classificação atribuídos: Muito Bom (5,1%); Bom (41,6%); Suficiente (48,8%);
Insuficiente (4,5%).
Uma simples comparação com as classificações dos primeiros anos do segundo ciclo
(Tabela II) revela que as classificações são completamente distintas: Excelente (0,5%); Muito
Bom (42,2%); Bom (44,8%; Suficiente (12,5%); Insuficiente (0%). Pelos valores descritos das
classificações obtidas nos dois ciclos de avaliação pode ser dito que a autoavaliação contribuiu
para uma classificação mais elevada do domínio Liderança e Gestão, deixando-se antever que a
autoavaliação está em linha com a avaliação externa. Com efeito, os dados empíricos (Sampaio,
Figueiredo, Leite & Fernandes, 2015) tendem a confirmar que um dos objetivos centrais da AAE
foi conseguido, na medida em que as escolas desenvolveram procedimentos de autoavaliação,
20
promovendo condições para a instituição de uma cultura de autoavaliação. Porém, fica ainda por
estudar de forma mais ampla, ainda que os resultados do estudo de Gomes (2015) permitam
formular esta hipótese de trabalho, se a autoavaliação tende a substituir na sua essência e
diversidade a avaliação interna, revelando alguns estudos de caso (Sousa et al, 2015) que as
escolas discordam da existência de um modelo de autoavaliação completamente estruturado e
definido pela IGEC, não apenas na composição da equipa, como também na definição do seu
objeto em função de parâmetros predefinidos, mesmo que seja reconhecida a sua dependência
de apoios externos, seja através da IGEC, seja mediante parcerias de colaboração com
entidades.
Os dados empíricos revelam, ainda, que um dos principais contributos da AEE é o de
identificar os pontos fortes e fracos, originando a elaboração de um plano de melhoria, que
começou por ser para as escolas com classificações de Insuficiente e Suficiente e se alargou a
todas elas, independentemente das classificações. A partir de 2013, a IGEC começou, de acordo
com o seu plano de atividades, a monitorizar os planos de melhoria, se bem que tal
procedimento esteja por concretizar enquanto processo de melhoria organizacional.
Para além desta mudança organizacional, os dados empíricos do estudo corroboram o
efeito exógeno da AEE, obrigando as escolas à uniformização de documentos, seguindo um
modelo uniforme que impõe um processo de formatação única, pois as escolas,
independentemente da sua autonomia e da sua tipologia, são avaliadas externamente através do
mesmo modelo, permanecendo a tendência de uma avaliação uniformizada e estandardizada.
Tal efeito está agregado a outros dois efeitos: o efeito de legitimação discursiva e o efeito
procedimental.
Como a escola tende para a apropriação dos referentes utilizados no processo de
avaliação, não sendo tão explícitos os dados para a comunidade, embora os atores sociais
comunguem da pertinência e vantagem da avaliação externa, há uma lógica de aceitação do
modelo que se inscreve no quadro teórico político da avaliação de escolas com algo que foi
sendo implementado sem conflitualidade escolar ou mesmo profissional. O discurso da
qualidade, da eficácia, da eficiência e da accountability entrou nas escolas e afetou alunos,
professores, pais e diretores e fez da avaliação externa um processo que tacitamente foi
largamente aceite e desproblematizado no seu objeto e na sua metodologia.
O estudo realizado por Rodrigues e Moreira (2015) revela que os diretores têm uma
atitude moderamente positiva face à AEE, considerando que existe mais impacto positivo na
21
Liderança e Gestão, do que na Prestação do Serviço Educativo e Resultados, corroborando, de
igual modo, que a AEE parece, em larga medida, exercer os seus efeitos positivos através da
apropriação dos seus pressupostos pelas escolas, sobretudo no âmbito da autoavaliação.
No estudo de Fernandes, Leite e Mouraz (2015), constata-se que os diretores conferem
um significado acrescido à AEE e que os relatórios elaborados pela IGEC merecem a sua
concordância quanto ao facto de representarem um retrato do agrupamento, contribuindo para
que os diretores conheçam melhor a sua organização e procurem resposta para as fragilidades e
problemas identificados. Ainda neste estudo, as autoras afirmam que a AEE, através da primazia
que confere aos resultados académicos, está a ter um grande impacto nos modos de
organização e de desenvolvimento do currículo, funcionando como um forte dispositivo de
controlo e regulação da ação dos professores.
A questão dos resultados académicos converteu-se na assunção do efeito procedimental,
de modo que cada escola pudesse obter a melhor classificação possível, refletindo-se na
autoavaliação, na elaboração de documentos estruturantes, na valorização das lideranças
intermédias (Fernandes, Leite & Mouraz, 2015; Gonçalves, Vaz-Rebelo, Bidarra & Barreira,
2015), na medida em que a avaliação externa exige uma prestação pormenorizada de contas,
com um papel ativo para os coordenadores de órgãos de gestão e liderança intermédias, e na
implementação de mudanças curriculares ligadas à definição dos critérios de avaliação das
aprendizagens (adaptando-os à valorização dos resultados académicos), a mecanismos formais
ou informais de articulação e sequencialidade curriculares e à promoção do trabalho cooperativo
docente.
Apesar da tendência generalizada observada nas escolas e na comunidade, no sentido da
valorização dos resultados académicos, o impacto e efeitos da avaliação nesta componente
escolar não é um dado diretamente observável, sendo possível observá-lo indiretamente pela
valorização da avaliação externa das aprendizagens, tanto a nível de provas no ensino básico,
quanto de exames no ensino secundário. Por isso, as mudanças a nível pedagógico são mais
residuais e menos valorizadas por diretores e professores.
Cabe perguntar, assim, se a AEE tem sido perspetivada pelos docentes pela lógica
formativa, pela lógica sumativa ou por ambas. No estudo de caso de Gonçalves, Paulos e
Valadas (2015), a investigação permite dizer que a autoavaliação, e não tanto a avaliação
externa, parece começar a funcionar como um projeto formativo emergente que permite, entre
outras coisas, fortalecer a identidade profissional e promover o princípio da legitimidade
22
explicativa. Por outro lado, os dados do mesmo estudo revelam que os docentes não têm tempo
para o processo de AEE, estando este mais centrado nas estruturas de gestão e administração,
facto que é corroborado pelo estudo de Sousa et al (2015), quando é afirmado que os
professores estão moderamente de acordo com o processo e que demonstram ter um certo
alheamento relativamente ao que se passa na AEE. Daí que a AEE implementada de 2006 a
2015 tenha produzido um impacto mais forte na dimensão organizacional, sobretudo na
uniformização de documentos, na valorização das lideranças intermédias, menos significativo na
dimensão curricular, quando se fala da uniformização de critérios de avaliação, da promoção do
trabalho colaborativo docente, e quase reduzido na dimensão pedagógica, se bem que os
resultados académicos sejam altamente valorizados.
Considerando outros resultados empíricos do projeto (Sousa et al, 2015; Pacheco, 2015;
Silvestre, Saragoça & Fialho, 2015) é possível constatar que o efeito procedimental faz com que
as escolas reajam numa visão em túnel, através da valorização dos resultados académicos,
perfilhando quer uma perspetiva de ossificação, com tendência para a implementação de
medidas decorrentes do modelo de avaliação, quer uma perspetiva de miopia, com decisões
orientadas para o curto prazo, em resposta ao que é solicitado externamente. Os dados
empíricos recolhidos ao longo deste projeto de investigação permitem afirmar que a AEE,
passada quase uma década da sua implementação, através de um modelo único, tem produzido
um efeito parcial, respondendo as escolas a medidas de mudanças pontuais, ainda que a
autoavaliação possa ser considerada, a longo prazo, uma mudança estrutural, se for consolidada
como prática que decorra da afirmação formativa da avaliação interna. Dado que o modelo
determinado pela IGEC foi plenamente aceite pelas escolas, colhendo uma aceitação lógica, os
professores dizem atribuir-lhe uma espécie de papel de avaliação formativa, reconhecendo o
feedback que fornece para a elaboração de um plano de melhoria (Silvestre, Saragoça & Fialho,
2015).
Se toda a avaliação externa produz efeitos colaterais, que podem ser pretendidos ou não,
são salientados os seguintes efeitos positivos/negativos, dependendo a sua focagem no modo
como cada escola olha para o seu processo de avaliação:
- Aceitação do modelo pelos órgãos de gestão e administração: 30% de contraditórios
elaborados pelas escolas, em reação aos relatórios, nos oitos anos de implementação
da AEE, revelam que as mesmas aceitam a lógica inerente ao processo de avaliação
implementado pela IGEC (Pacheco, 2015). No entanto, a escola pode estar a assumir
23
uma resistência colaborante, não deixando de se adaptar aos procedimentos externos
(Sousa et al, 2015), aceitando mudanças pontuais que não são senão uma resposta
direta e imediata ao que é exigido pelo modelo de avaliação (Silvestre, Saragoça &
Fialho, 2015).
- Fortalecimento da relação da escola com a comunidade, assumindo os professores e
diretores que a avaliação externa é um processo que torna mais visível o trabalho da
escola, reforçando as lideranças híbridas dos diretores, ancoradas em princípios
defensores de uma visão humanista de educação, do trabalho colaborativo docente e
de uma escola eficaz em ternos da cultura de exigência de resultados (Fernandes,
Leite & Mouraz, 2015).
- Existência de uma relação forte entre o desenvolvimento da autoavaliação e os
procedimentos seguidos na AEE (Sampaio, Figueiredo, Leite & Fernandes, 2015),
devendo, contudo, ser questionado o modo como o processo de avaliação externa
conduz não apenas à estandardização de práticas de autoavaliação das escolas, mas
também à desvalorização da avaliação interna, aliás como se observa na investigação
de Gomes (2015).
- Valorização da imagem social da escola, pois as escolas veem o instrumento de
avaliação externa como um fator da sua afirmação perante os pais, alunos e demais
atores sociais, contribuindo para fortalecer estilos de liderança (Fialho & Carapeta,
2015; Sousa et al, 2015).
- Visão otimista dos diretores que perspetivam a AEE como uma oportunidade para que as
escolas mudem de acordo com regras estabelecidas externamente (Rodrigues &
Moreira, 2015).
- Modelo de AEE central na análise documental, na voz dos painéis e nos processos
administrativos e de gestão) (Sousa et al, 2015).
- Há um certo alheamento dos professores relativamente à AEE, uma vez que as suas
perspetivas fazem do processo uma forma de integração, sobretudo dos docentes com
cargos de gestão intermédia, considerando que a AEE não chega à sala de aula de
modo direto e que a sua participação é delimitada temporalmente ao período de
avaliação (Gonçalves, Paulos & Valadas, 2015; Sousa et al, 2015). Os professores
olham para a AEE como uma questão essencialmente organizacional, com algumas
mudanças curriculares mais nos discursos que nas práticas, por exemplo, na
24
articulação e sequencialidade e no trabalho colaborativo docente, e não como uma
questão pedagógica, pois não chega à sala de aula. Porém, a AEE intersecta de modo
mais direto os professores responsáveis pelas estruturas de gestão intermédia,
sentindo-se mais comprometidos com o processo de avaliação que envolve a escola.
- Valorização da avaliação externa das aprendizagens através da importância que é
concedida aos resultados académicos, demonstrando as escolas uma preocupação
contínua com as classificações obtidas em provas e exames nacionais (Sousa et al,
2015; Silvestre, Saragoça & Fialho, 2015). A AEE pode estar a contribuir para a
segregação das escolas em função dos resultados académicos, provocando um efeito
de uniformização e uma aparente similitude das escolas (Veloso, 2013). Neste caso, a
AEE processa-se com intenções classificativas e muito pouco formativas, assumindo-se
como um instrumento de controlo organizacional (Gonçalves, Paulos & Valadas, 2015),
sendo pertinente a recomendação do CNE (2015, p. 14): necessidade de “conter a
excessiva importância concedida aos resultados das provas de avaliação externa,
no âmbito do processo de avaliação externa das escolas desenvolvido pela
IGEC”.
- Validade e pertinência dos planos de melhoria: a obrigatoriedade da elaboração dos
planos de melhoria, independentemente das classificações obtidas pelas escolas,
torna-se inconsequente se de facto a IGEC não tiver um programa efetivo de
monitorização e se o processo de avaliação não começar a ser adequado quer à
tipologia de escolas, quer aos resultados obtidos, uma vez que uma escola que
obtenha piores resultados não pode estar dependente de um calendário que é igual
para todas as escolas.
- A melhoria das classificações do segundo ciclo, como é visível no estudo de Alferes,
Barreira e Vaz-Rebelo (2015), significa que houve uma melhoria efetiva das Escolas,
resultante do feedback obtido no primeiro ciclo da AEE? As modificações introduzidas
no quadro de referência, a alteração dos procedimentos de atribuição de
classificações, incluindo o valor esperado dos resultados académicos, e a relativização
do sentido das mesmas tornam problemática uma resposta assertiva. Numa síntese
comparativa da média das classificações nos três domínios, no primeiro ciclo (2006-
2011) e segundo ciclo (2011-2014) da AEE, e considerando-se os níveis de Muito Bom
e Bom, verifica-se que as instituições escolares portuguesas obtêm classificações
25
elevadas, nomeadamente, 81,4% na Prestação do Serviço Educativo, 80,3% na
Liderança e Gestão e 72% nos Resultados. No entanto, não houve até agora, no
território português, uma única escola com a classificação de excelente nos três
domínios, no segundo ciclo, embora algumas escolas tivessem obtido, no primeiro
ciclo, a classificação máxima de Muito Bom, nos cinco domínios. Esta é de facto a
imagem de uma escola do território continental, que bem pode originar a seguinte
pergunta: por que razão numa escola com níveis elevados na Prestação do Serviço
Educativo e Liderança e Gestão, os alunos não obtêm melhores resultados nas suas
provas/exames nacionais?
- O primeiro ciclo de AEE é considerado, por diversos intervenientes escolares
essencialmente formativo (Sampaio, Figueiredo Carlinda, & Fernandes, 2015; Silvestre,
2013), ao passo que o segundo é perspetivado pela sua natureza de prestação de
contas (Pacheco, 2015), colocando as escolas em busca da excelência escolar, que se
torna difícil de alcançar na sua totalidade, uma vez que não houve até agora, no
território português, uma única escola com a classificação de excelente nos três
domínios.
- Estando ligada de modo muito direto à avaliação das aprendizagens, sobretudo pela
valorização dos resultados académicos e da consequente imposição da IGEC que o
nível atribuído ao domínio Resultados determine os níveis da Prestação do Serviço
Educativo e da Liderança e Gestão, a AEE deve estar relacionada com a avaliação de
desempenho docente? No estudo de Gonçalves, Paulos e Valadas (2015), é advogado
que se torna fundamental apostar na formação adequada em AEE e avaliação do
desempenho docente, tanto para as equipas de AEE, como para os inspetores, não
existindo uma pronúncia sobre a inclusão da observação de aulas no terceiro ciclo de
AEE, que começará em 2015/2016. Apesar de a observação de aulas ser uma
questão recorrente nos relatórios internacionais (OECD, 2013; European
Commission/EACEA/Eurydice (2015), a sua inclusão na AEE é algo que necessita de
ser devidamente ponderado, sobretudo se a AEE tiver um impacto no desenvolvimento
profissional docente mediante um processo bem fundamentado e organizado.
- Na diversidade do seu objeto, a avaliação que se realiza nas escolas não pode reduzir a
simples ilhas os alunos, as escolas na sua componente organizacional, curricular e
pedagógica, e os professores, sendo pertinente que exista uma política educativa
26
suficientemente abrangente e não fragmentada destas três facetas da avaliação.
Introduzir a observação de aulas apenas em algumas disciplinas, ditadas pelos
resultados de provas e exames nacionais, pelo simples facto de que se torna
necessário fazê-lo, para responder a relatórios internacionais, pode significar a
introdução da conflitualidade no modelo de AEE, que não conheceu nos dois ciclos de
avaliação, bem como tornar a avaliação do desempenho docente num dispositivo
meramente burocrático.
Por último, e porque se pretende que os dados desta investigação possam ser
socialmente relevantes, apresentam-se as seguintes recomendações quer para os que têm a
responsabilidade de definir as políticas públicas de educação e adotar procedimentos a nível de
organismos da Administração central, quer para as escolas, sobretudo diretores, coordenadores
de gestão intermédia e professores:
i) repensar a Lei 31/2000, de 20 de dezembro, focando de forma mais ampla a
autoavaliação da escola no contexto da relação entre avaliação interna e avaliação
externa; ii) consolidar a avaliação externa de escolas mediante a tomada de decisões
que permitam o recurso para uma instância independente das decisões dos
avaliadores; iii) implementar a avaliação externa num contexto de diversidade dos
processos de autoavaliação das escolas; iv) reconhecer a avaliação externa como um
processo que não pode ficar prisioneiro de uma lógica unicamente centrada nos
resultados externos dos alunos dos ensinos básico e secundário; v) fomentar a criação
de observatórios de autoavaliação das escolas nas instituições de ensino superior.
27
Bibliografia
Alferes, Valentim R., Barreira, Carlos, Bidarra, Maria da Graça, & Vaz-Rebelo, Maria da Piedade (2015). Evolução do desempenho das escolas no quadro da avaliação externa. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).
Barreira, Carlos (Org.). (2015). Estudos sobre avaliação externa de escolas. Porto: Porto Editora. Bidarra, Maria da Graça, Barreira, Carlos Folgado, Vaz-Rebelo, Maria da Piedade, & Alferes,
Valentin Rodrigues (2014). In J. A. Pacheco (Org.), Avaliação externa de escolas: quadro teórico/conceptual (pp. 229-246). Porto: Porto Editora.
Churton, Mel, & Brown, Anne (2010). Theory and method (2ª ed.). New York: Palgrave Macmillan. CNE (2008). Parecer sobre Avaliação Externa de Escolas. Lisboa: CNE. CNE (2010). Parecer sobre Avaliação Externa das Escolas (2007-2009). Lisboa: CNE. CNE (2011). Avaliação Externa das Escolas. Recomendação do Conselho Nacional de Educação.
Lisboa: CNE. CNE (2015). Recomendação 2/2015. Lisboa: CNE. Esteves, Manuela (2007). Análise de conteúdo. In J. Á. Lima & J. A. Pacheco (Org.), Fazer
investigação (pp. 105-126). Porto: Porto Editora. European Commission/EACEA/Eurydice (2015). Assuring Quality in Education: Policies and
Approaches to School Evaluation in Europe. Eurydice Report. Luxembourg: Publications Office of the European Union.
Fernandes, Preciosa, Leite, Carlinda, & Mouraz, Ana (2015). Efeitos da avaliação externa das escolas - uma análise centrada nas lideranças. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).
Fialho, Isabel, & Carapeta, Luísa (2015). Liderança e resultados escolares: Que relações? In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).
Fialho, Isabel, Saragoça, José, Silvestre, Maria José. Correia, Ana Paula, & Gomes, Sónia (2014). Relatórios internacionais e nacionais. Um olhar sobre a avaliação externa de escolas. In J. A. Pacheco (Org.), Avaliação externa de escolas: quadro teórico/conceptual (pp. 147-180). Porto: Porto Editora.
Figueiredo, Carla, Leite, Carlinda, & Fernandes, Preciosa (2014). Modelos internacionais de avaliação externa. A avaliação de escolas em Portugal e na Inglaterra – origem, fundamentos e percursos. In J. A. Pacheco (Org.), Avaliação externa de escolas: quadro teórico/conceptual (pp. 119-146). Porto: Porto Editora.
Fernandes, Preciosa, Leite, Carlinda, & Mouraz, Ana (2015). Efeitos da avaliação externa das escolas - uma análise centrada nas lideranças. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).
Gomes, Sónia (2015). Autoavaliação em escolas do Alentejo: constrangimentos e oportunidades. Tese de doutoramento. Évora: Universidade de Évora.
Gonçalves, Diana, Vaz-Rebelo, Maria da Piedade, Bidarra, Maria da Graça, & Barreira, Carlos (2015). Avaliação externa de escolas e impacto da(s) liderança(s): Estudo de caso. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).
Gonçalves, Elisabete, Fernandes, Preciosa, & Leite, Carlinda (2014). Avaliação externa das escolas em Portugal – políticas e processos. In J. A. Pacheco (Org.), Avaliação externa de escolas: quadro teórico/conceptual (pp. 71-87). Porto: Porto Editora.
Gonçalves, Fernando, Paulos, Liliana, & Valadas, Sandra T. (2015). Impacto e efeitos da avaliação externa de escolas: A perspetiva das lideranças a partir de um estudo de caso. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).
IGE (2009). Avaliação externa das escolas. Referentes e instrumentos de avaliação. Lisboa. IGE. IGE (2011). Propostas para um novo ciclo de avaliação externa de escolas Relatório Final. Grupo
de trabalho para o novo ciclo da avaliação externa. Lisboa: IGE.
28
IGE (2012). Avaliação externa das escolas: avaliar para a melhoria e a confiança – 2006-2011. Lisboa: IGE.
Lima, Jorge Ávila (2007). Ética na investigação. In J. Á. Lima & J. A. Pacheco (Org.), Fazer investigação (pp. 127-159). Porto: Porto Editora.
Merteens, Donna M, & Wilson, Amy J. (2012). Program evaluation theory and practice. New York: The Guilford Press.
Moreira, João Manuel (2007). Investigação quantitativa: fundamentos e práticas. In J. Á. Lima & J. A. Pacheco (Org.), Fazer investigação (pp. 41-84). Porto: Porto Editora.
Mouraz, A., Pacheco, J. A., & Valadas, S. (2015). Avaliação externa de escolas do ensino não superior. Coordenadas e processos de um projeto de investigação. Porto: Centro de Investigação e Intervenção Educativas. https://drive.google.com/file/d/0B3kJxfZNFmsTeWY0WG9jeDNIY00/view?usp=sharing
OECD (2009). Literature Review. OECD Education Working Paper, nº.42. http://econpapers.repec.org/paper/oeceduaab/42-en.htm
OECD (2013). School evaluation: From compliancy to quality. In Synergies for Better Learning: An International Perspective on Evaluation and Assessment, OECD Publishing. http://dx.doi.org/10.1787/9789264190658-10-en
Pacheco, José Augusto (2015). Contraditórios do primeiro e segundo ciclos de avaliação externa de escolas. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).
Pacheco, José Augusto (Org.).(2014). Avaliação externa de escolas: quadro teórico/conceptual. Porto: Porto Editora.
Pacheco, José Augusto, Seabra, Filipa, & Morgado, José Carlos (2014). Avaliação externa. Para a referencialização de um quadro teórico sobre o impacto e efeitos nas escolas do ensino superior não público. In J. A. Pacheco (Org.), Avaliação externa de escolas: quadro teórico/conceptual (pp. 15-55). Porto: Porto Editora.
Quivy, Raymond, & Campenhoudt, Luc Van (1997). Manual de investigação em ciências sociais. Lisboa: Gradiva.
Rodrigues, Eduarda, Queirós, Helena, Sousa, Joana, & Costa, Natália (2014). Avaliação externa de escolas: do referencial aos estudos empíricos. In J. A. Pacheco (Org.), Avaliação externa de escolas: quadro teórico/conceptual (pp. 89-118). Porto: Porto Editora.
Rodrigues, Pedro, & Moreia, João (2015). Impacto e efeitos da avaliação externa de escolas: A perspetiva dos Diretores de Agrupamento. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).
Rodrigues, Pedro, & Moreira, João (2014). Questões de metodologia na avaliação de escolas. In J. A. Pacheco (Org.), Avaliação externa de escolas: quadro teórico/conceptual (pp. 181-211). Porto: Porto Editora.
Sampaio, Marta, Figueiredo, Carla, Leite, Carlinda, & Preciosa Fernandes (2015). Efeitos da avaliação externa de escolas nos processos de autoavaliação: Convergências e tendências de ação. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).
Silvestre, Maria José (2013). Avaliação das escolas. Avaliação nas escolas. Tese de doutoramento. Évora: Universidade de Évora.
Silvestre, Maria José, Fialho, José, & Saragoça, José (2014). A avaliação externa das escolas à luz das políticas educativas. In J. A. Pacheco (Org.), Avaliação externa de escolas: quadro teórico/conceptual (pp. 57-69). Porto: Porto Editora.
Silvestre, Maria José, Saragoça, José, & Fialho, Isabel (2015). Do referencial da avaliação externa de escolas à criação de um modelo de autoavaliação. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).
Sousa, Joana, Costa, Natália, Rodrigues, Eduarda, Queirós, Helena, Lamela, Conceição, Seabra, Filipa, & Morgado, José Carlos (2015). Avaliação externa e seus efeitos: A perspetiva dos atores escolares. In C. Barreira (Org.), Estudos sobre avaliação externa de escolas. Porto: Porto Editora (em publicação).
29
Stake, Robert E. (2007). A arte de investigação com estudos de caso (2ª ed.). Lisboa: Fundação Calouste Gulbenkian.
Tuckman, Bruce W. (1994). Manual de investigação em educação (4ª ed.). Lisboa: Fundação Calouste Gulbenkian.
Valadas, Sandra, & Gonçalves, Fernando (2014). Aspetos metodológicos do inquérito por entrevista na avaliação externa de escolas. In J. A. Pacheco (Org), Avaliação externa de escolas: quadro teórico/conceptual (pp. 213-228). Porto: Porto Editora.
Veloso, Luísa (2013). Conclusão. Avaliação externa e educação em três regiões portuguesas. In L. Veloso (Org.), Escolas e avaliação externa. Um enfoque nas estruturas organizacionais (pp.179-190). Lisboa: Editora Mundos Sociais.
Walliman, Nichols (2012). Social research methods. London: Routledge.
30
Sumário executivo do Projeto de Investigação Impacto e Efeitos da Avaliação Externa de Escolas do Ensino não Superior4
Ao longo de três anos (2012-2015), investigadores de seis universidades públicas portuguesas (Minho, Porto, Coimbra, Lisboa, Évora e Algarve) envolveram-se num projeto de investigação sobre Avaliação externa de Escolas (AEE), com financiamento da FCT, que recolheu dados para responder a esta questão: Que impacto e efeitos são produzidos pela AEE, no primeiro e segundo ciclos do modelo, tendo em referência a melhoria da escola, a participação da comunidade e a implementação de políticas de accountability?
Regulada pela Lei 31/2002, de 20 de dezembro, a AEE é implementada pela IGEC por ciclos: o primeiro de 2006 a 2011; o segundo de 2011 a 2016.
Pelos dados dos estudos empíricos do projeto de investigação, realizado por esta equipa nacional, constata-se que a AEE tem produzido impacto e efeitos: a) na melhoria da escola, mais a nível organizacional do que a nível curricular e dos modos de trabalho pedagógico, sendo o impacto nesta última dimensão considerado reduzido ou inexistente; b) na consolidação da autoavaliação institucional, o que está em linha com situações internacionais; c) na participação da comunidade na vida social da escola, reforçando as parcerias existentes e dando voz aos diversos atores sociais que intervêm diretamente na escola; d) na apropriação pela escola dos referentes utilizados no processo de avaliação externa e aceitando um modelo que tem sido implementado sem qualquer conflitualidade; d) na institucionalização de planos de melhoria focados nas fragilidades identificadas pela AEE; e) na monitorização de resultados académicos, embora sem efeitos revelantes.
Os resultados empíricos sustentam a afirmação de que a AEE tem produzido um efeito exógeno que origina vários efeitos: de legitimação discursiva (na apropriação dos referenciais do modelo pelos docentes e outros intervenientes escolares); de ordem procedimental, com vista à implementação de uma cultura de prestação de contas mediante a observação de determinadas regras burocráticas. Este efeito procedimental faz com que as escolas reajam numa visão em túnel, através da valorização dos resultados académicos, perfilhando quer uma perspetiva de ossificação, com tendência para a implementação administrativa de medidas decorrentes do modelo de avaliação preconizado pela IGEC, quer uma perspetiva de miopia, com decisões orientadas para o curto prazo, em resposta ao que é solicitado externamente.
Se toda a avaliação externa produz efeitos colaterais, que podem ser pretendidos ou não, são salientados os seguintes efeitos positivos/negativos, dependendo a sua focagem do modo como os intervenientes escolares olham para o seu processo de avaliação externa. São disso exemplos os seguintes resultados:
- Aceitação do modelo pelos órgãos de gestão e administração: 30% de contraditórios (em reação aos relatórios da IGEC), elaborados pelas escolas nos oitos anos de implementação da AEE, revelam que as mesmas aceitam a lógica inerente ao processo de avaliação implementado pela IGEC.
- Fortalecimento da relação da escola com a comunidade, assumindo os professores e diretores que a avaliação externa é um processo que torna mais visível, mas também mais controlado, o trabalho da escola.
- Valorização da imagem social da escola, pois as escolas veem a avaliação externa como um fator da sua afirmação perante os pais, alunos e demais atores sociais.
- Existência de uma relação forte entre o desenvolvimento da autoavaliação e os procedimentos seguidos na AEE.
- Visão otimista dos diretores que perspetivam a AEE como uma oportunidade para que as escolas mudem de acordo com regras estabelecidas externamente.
- Modelo de AEE centrado na análise documental, na voz dos painéis e nos processos administrativos e de gestão, não interferindo nem com questões dos processos de organização e desenvolvimento curriculares, nem com questões pedagógico-didáticas.
- Há um certo alheamento dos professores relativamente à AEE, olhando-a como uma questão essencialmente organizacional, com algumas mudanças curriculares mais nos discursos do que nas práticas, por exemplo, na articulação e sequencialidade e no trabalho colaborativo docente, e não como uma questão pedagógica,
4 Este projeto é financiado por Fundos FEDER através do Programa Operacional Fatores de Competitividade –
COMPETE e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto PTDC/CPE-CED/116674/2010.
31
pois a AEE, tal como tem sido implementada, não chega à sala de aula. Porém, a AEE intersecta de modo mais direto os professores responsáveis pelas estruturas de gestão intermédia.
- Valorização da avaliação externa das aprendizagens (provas e exames nacionais) através da importância que é concedida aos resultados académicos e, de certo modo, desvalorizando resultados sociais.
- Validade e pertinência dos planos de melhoria: a obrigatoriedade da elaboração dos planos de melhoria, independentemente das classificações obtidas pelas escolas, torna-se inconsequente se de facto a IGEC não tiver um programa efetivo de monitorização e se o processo de avaliação não começar a ser adequado à tipologia de escolas e às classificações obtidas.
- A melhoria das classificações do segundo ciclo de AEE não significa uma melhoria efetiva das escolas, resultante do feedback obtido no primeiro ciclo da AEE.
- O primeiro ciclo de AEE é considerado, por diversos intervenientes escolares, essencialmente formativo, ao passo que o segundo é perspetivado pela sua natureza de prestação de contas, colocando as escolas em busca da excelência escolar, que se torna difícil de alcançar na sua totalidade, uma vez que não houve até agora, no território português, uma única escola com a classificação de excelente nos três domínios, no segundo ciclo, embora algumas escolas tivessem obtido, no primeiro ciclo, a classificação máxima de Muito Bom, nos cinco domínios.
- Apesar de a observação de aulas ser uma questão recorrente nos relatórios internacionais (OECD, 2013; European Commission/EACEA/Eurydice (2015), a sua inclusão na AEE é algo que necessita de ser devidamente ponderada, sobretudo se a AEE tiver um impacto no desenvolvimento profissional docente através de um processo bem fundamentado e organizado. Na diversidade do seu objeto, a avaliação que se realiza nas escolas não pode reduzir a simples ilhas os alunos, as escolas, na sua componente organizacional, curricular e pedagógica, e os professores, sendo pertinente que exista uma política educativa suficientemente abrangente e não fragmentada destas três facetas da avaliação. Introduzir a observação de aulas apenas em algumas disciplinas, ditadas pelos resultados de provas e exames nacionais, pelo simples facto de que se torna necessário fazê-lo administrativamente, para responder a relatórios internacionais, pode significar a introdução da conflitualidade no modelo de AEE, que não conheceu nos dois ciclos de avaliação, bem como tornar a avaliação do desempenho docente num dispositivo meramente burocrático.
- Em termos de recomendações, torna-se essencial: i) repensar a Lei 31/2000, de 20 de dezembro, focando de forma mais ampla a autoavaliação da escola no contexto da relação entre avaliação interna e avaliação externa; ii) consolidar a avaliação externa de escolas mediante a tomada de decisões que permitam o recurso para uma instância independente das decisões dos avaliadores; iii) implementar a avaliação externa num contexto de diversidade dos processos de autoavaliação das escolas; iv) reconhecer a avaliação externa como um processo que não pode ficar prisioneiro de uma lógica unicamente centrada nos resultados externos dos alunos dos ensinos básico e secundário; v) fomentar a criação de observatórios de autoavaliação das escolas nas instituições de ensino superior.