Inflação de notas: para além das médias
A correcta análise da inflação de notas deve ser feita a partir de dados dos alunos e considerando diferenças entre classificações internas e em exame para alunos do mesmo nível de desempenho.
A comparação das notas internas das escolas com as notas em exame dá-nos uma ideia quanto à sua concordância e à possibilidade de estas estarem inflacionadas. Essa inflação existirá necessariamente porque os critérios de avaliação interna não contemplam apenas dados objectivos relativos ao desempenho académico do aluno. A questão que se coloca é perceber se essa inflação acontece em algumas escolas para além do limite do razoável (e qual é esse limite?) e se a inflação é generalizada a todas as disciplinas ou prevalece apenas em algumas. Esta questão é de extrema importância, porque a classificação interna é tida em conta na média de candidatura ao ensino superior e, como tal, pode criar claras injustiças no acesso.
A correcta análise da inflação de notas deve ser feita a partir de dados dos alunos e considerando diferenças entre classificações internas e em exame para alunos do mesmo nível de desempenho. O indicador de alinhamento das notas internas no Infoescolas é calculado dessa forma. Aqui analisamos dados das escolas e não dos alunos, pelo que as conclusões não têm em conta o nível de desempenho dos alunos da escola.
Considerando apenas alunos internos (para os quais a comparação entre notas de exame e classificações internas faz sentido), para o conjunto das 8 disciplinas do secundário e todas as escolas a média de exames é 10,6 e a média das classificações internas finais (CIF) é 13,6. Existindo em média uma sobrevalorização de cerca de 3 pontos. Se ordenarmos todas as escolas por ordem crescente da média nas 8 disciplinas, mais concorridas, em exame nacional (com mais de 50 exames) e colocarmos no mesmo gráfico as suas classificações internas obtemos a figura 1.
A linha contínua representa as classificações em exame nacional. Traçou-se uma linha paralela a esta cerca de 3 pontos acima que deveria corresponder às classificações internas caso todas as escolas sobreavaliassem os seus alunos em 3 pontos. Verificam-se alguns aspectos interessantes neste gráfico. Primeiro as escolas que obtêm classificações em exame abaixo de 10 valores são as que mais sobreavaliam os seus alunos (a maior parte dos pontos está acima da linha esperada se a sobreavaliação fosse de 3 pontos). Segundo, para todos os níveis de notas em exame há claros desvios face ao esperado. Terceiro, estes desvios são tendencialmente abaixo do esperado (subavaliação de notas) quando as notas médias de exame são elevadas (destacam-se aqui os colégios São João de Brito, em Lisboa, e Bartolomeu Dias, em Loures, onde em média as classificações em exame são praticamente coincidentes com as avaliações internas). De notar que esta análise não entra em conta com o nível sócio-económico dos alunos que tendencialmente é mais elevado quando as notas de exame também o são (83% das escolas com média acima de 12 são privadas).
A análise em cima é feita ao agregado das 8 disciplinas, escondendo a diversidade da eventual “sobreclassificação” ou “subclassificação” em cada disciplina.
Analisando as diferenças por disciplina na Tabela 1 verificamos que a disciplina com maior diferença é Física e Química (FQ) — eventualmente devido ao facto dos exames não avaliarem a componente laboratorial importante nesta disciplina —, seguida de Biologia e Geologia (BG). A disciplina com menor diferença entre notas internas e classificações em exame é Geografia.
Há algumas diferenças na sobreavaliação interna entre públicas e privadas, com as públicas a sobreavaliarem mais do que as privadas as classificações internas a FQ e BG. Mais uma vez este facto estará influenciado pelo contexto das escolas públicas que é, no geral, mais desfavorável, levando a que os seus alunos apresentam piores resultados médios em exame (e como tal maior probabilidade de sobreavaliação).
Mais importante do que a análise geral é, contudo, a análise individual, escola a escola. Olhando para as 6 escolas (com mais de 50 exames) que mais sobreavaliam os alunos e as 6 escolas que menos o fazem (na Tabela 2) podemos observar perfis muito diferentes para cada disciplina.
Considerando o Colégio São João de Brito e analisando o lugar que ocupa no ranking nacional das CIF e no ranking nacional dos exames, para cada disciplina, temos o perfil de escola na figura 2.
Verificamos que em todas as disciplinas o seu lugar no ranking dos exames é melhor do que o que ocupa no ranking da CIF (o que significa critérios internos de exigência elevados já que os alunos estão melhor posicionados no universo de todos os alunos nacionais em exame do que quando os posicionamos em termos de CIF). A maior discrepância observada é na disciplina de FQ onde os alunos obtêm uma classificação interna que os coloca no lugar 258 do ranking nacional, enquanto em exame os mesmos alunos se posicionam no lugar 17.
Já no Colégio Bartolomeu Dias (figura 3) a discrepância entre rankings é ainda maior e acontece para mais disciplinas (na FQ está no lugar 441 no ranking das CIF e em 22.º no ranking dos exames; na BG é 402.º no ranking das CIF e 83.º no ranking dos exames, etc.)
No Colégio St Peter’s School, em Palmela, o perfil é diferente (figura 4). Este colégio apresenta uma grande discrepância em duas disciplinas mas em sentidos inversos. Em História é 5.º no ranking dos exames e 419.º no ranking das CIF — mostrando uma clara discrepância entre critérios de avaliação interna (muito exigentes) e em exame. No caso da Matemática Aplicada às Ciências Sociais há uma clara sobreavaliação interna da escola. No ranking das CIF os alunos ficam em 47.º lugar, mas quando avaliados em exame estes descem para o lugar 208.
Olhando agora para as escolas cuja diferença média nas 8 disciplinas é maior verificamos perfis de sobre/subavaliação diferentes. A Escola Secundária da Baixa da Banheira é a que apresenta uma maior diferença média nas 8 disciplinas. Contudo, quando analisamos os rankings a cada uma delas percebemos que esta diferença acontece essencialmente devido a 2 disciplinas (já que nas restantes os rankings dos exames e das CIF estão bastante alinhados): BG e Geografia. Por exemplo, em BG os alunos desta escola estão no lugar 75 das notas internas, mas apresentam-se no lugar 581 dos exames nacionais.
Na Escola Básica e Secundária de Santo António, no Barreiro, acontece uma situação semelhante (figura 6) com a sobreavaliação a acontecer essencialmente na disciplina de Português e de Matemática Aplicada às Ciências Sociais. Nesta escola a disciplina de Geografia é na prática subavaliada pois na CIF os alunos encontram-se no ranking 365 e em exame sobem para o lugar 235.
Na Escola Básica e Secundária da Ponta do Sol, na Madeira (figura 7) há duas disciplinas onde os critérios internos parecem ser mais exigentes do que os critérios em exame (Matemática Aplicada e Geografia). Assim, o elevado desalinhamento das notas nesta escola (refletido numa diferença média entre a CIF e a classificação em exame elevada) não reflete a exigência em algumas disciplinas.
Muitos outros exemplos poderiam ser analisados, mas o objectivo principal é mostrar aquilo que o agregado de 8 disciplinas esconde. A sobre ou subavaliação dos alunos depende essencialmente dos critérios de exigência do docente ou equipa de docentes de uma disciplina. Assim, falar em sobreavaliação de notas numa escola, pode ser claramente injusto para alguns docentes que já têm elevados critérios de exigência e ter o efeito contraproducente de aumentar ainda mais os mesmos.
Os exemplos dados mostram também que a sobreavaliação pode ser, de facto, muito forte em algumas disciplinas, o que significa que alunos provenientes de escolas onde exista esta clara sobreavaliação a uma ou várias disciplinas acabam por entrar com vantagem no ensino superior relativamente aos seus colegas provenientes de escolas onde os critérios de avaliação interna são mais exigentes. Claramente a vantagem existe apenas à entrada porque alunos provenientes de escolas mais exigentes têm maior probabilidade de sucesso no ensino superior. Contudo, enquanto os critérios de acesso ao ensino superior se basearem nas classificações de exame ponderadas com classificações internas a questão da sobreavaliação de notas é um aspecto de extrema importância.
Se olharmos para as escolas (com mais de 50 exames) cuja média nos exames nacionais é superior a 13 (aquelas que em principio colocarão mais alunos no ensino superior) (Ver Tabela 3) verificamos que alunos provenientes das escolas no topo da lista (as que mais sobreavaliam os alunos) entrarão muito mais facilmente na universidade do que os provenientes de escolas no fim da lista (onde as médias das CIF são claramente mais baixas mas os alunos obtêm melhores resultados em exame nacional).
Comparem-se por exemplo os alunos provenientes do Colégio São João de Brito com os provenientes do Externato Ribadouro, no Porto. Os primeiros (com uma média de exame de 14,52) apresentam em média mais um ponto em exame nacional do que os segundos (13,59), mas quando se trata de entrar na universidade estes alunos apresentam uma desvantagem relativamente aos do Ribadouro que poderá ser superior a 1 valor. De acordo com um estudo do CNE (Acesso ao ensino superior: desafios do século XXI), diferenças de 1 valor na nota de acesso significam, nos cursos mais competitivos, um salto entre 80 e 90% na lista ordenada de candidatos. Isto é, em 100 candidatos o salto no ranking que corresponde a 1 valor pode ser de cerca de 80 ou 90 lugares na lista ordenada.
O problema da sobrevalorização das notas é claramente visível quando se analisam dados relativos ao sucesso dos alunos universitários no seu primeiro ano de faculdade e se comparam as suas escolas de origem em alguns indicadores de sucesso. Num estudo que está a ser levado a cabo pela Católica Porto Business School e pela Faculdade de Engenharia do Porto constata-se que os alunos que entraram em vantagem no ensino superior (com médias de acesso mais elevadas) não têm necessariamente o melhor desempenho universitário (medido pelo número de disciplinas feitas e pelo score da média obtida ao fim do primeiro ano) principalmente quando provenientes de certas escolas que tendencialmente inflacionam as notas. Nota-se, por exemplo, num universo de mais de 10.000 alunos da Universidade do Porto e da Universidade Católica no Porto, que os alunos provenientes das escolas privadas entram na universidade em vantagem (posicionados acima da média de entrada do curso num determinado ano), mas terminam o primeiro ano em desvantagem (com menos disciplinas feitas em média, com notas abaixo da média do curso, e com uma menor percentagem de alunos no top10% do curso). Estes resultados são preliminares e agrupam as escolas em públicas e privadas (sendo que dentro de cada grupo há escolas bastante diferentes). Contudo, ilustram que de facto a inflação das notas conduz, ou pode conduzir, a injustiças graves no acesso ao ensino superior onde o mérito do aluno assume um papel secundário face à sua escola de origem.
