A análise dos resultados das provas ModA baseia-se na Teoria da Resposta ao Item (doravante, TRI), mais concretamente no modelo de Rasch. O modelo de Rasch tem vindo a ser utilizado em estudos internacionais, como o PISA ou o TIMSS, uma vez que contribui para garantir que a prova mede de forma consistente e fiável o construto em estudo. Este modelo estatístico posiciona a capacidade dos indivíduos e a dificuldade dos itens numa escala comum, permitindo prever os itens que têm maior probabilidade de serem respondidos corretamente por cada estudante (Bailes & Nandakumar, 2020). Em termos simples, o modelo pressupõe que um aluno com proficiência relativamente alta terá maior probabilidade de responder com sucesso aos itens, mesmo os mais difíceis. Por outro lado, um aluno com proficiência relativamente baixa terá menor probabilidade de responder corretamente aos itens, sobretudo aos mais exigentes.

A abordagem do Modelo de Rasch pressupõe que a distribuição do conhecimento subjacente à pontuação em bruto segue uma curva normal. Se se pretender medir a capacidade de salto de uma pessoa, deve determinar-se a altura de um obstáculo que se consegue saltar e comunicá-la em unidades, por exemplo, em metros, o que permite comparar a capacidade das pessoas com a altura dos obstáculos (Bond & Fox, 2003). Esta comparação é possível porque são utilizadas as mesmas unidades de medida, tanto para a altura de um obstáculo como para a capacidade de uma pessoa. 

A aplicação do Modelo de Rasch permite que um teste não dependa da amostra usada e que haja uma independência entre os itens e a amostra. O Modelo de Rasch pode ser resumido da seguinte forma: a probabilidade de um aluno responder corretamente a um item depende da diferença entre a sua capacidade e a dificuldade desse item.

Relação Entre a Dificuldade dos Itens e a Proficiência (Adaptado de IAVE a partir de OECD (2019))

Para garantir a consistência entre anos de realização das provas ModA, está a ser desenvolvido um banco de itens calibrados, que cobre toda a escala de níveis de dificuldade para cada literacia. Estes itens podem ser reutilizados em diferentes provas de ano para ano, assegurando que os resultados continuam comparáveis mesmo que o conjunto de itens e de alunos não seja o mesmo.

A Escala ModA, que varia entre 0 e 100 pontos ModA, não indica a percentagem de respostas corretas, mas sim a proficiência estimada para cada aluno nas literacias em avaliação, calculada a partir do Modelo de Rasch.

Os resultados são apresentados numa escala própria (Escala de Pontos ModA), organizada em seis níveis de proficiência, que correspondem a intervalos desta Escala ModA.

As fronteiras entre cada nível de proficiência, ou seja, as “linhas de corte” (cut scores), foram definidas através da metodologia de consenso direto (Direct Consensus Method), na qual um conjunto de peritos em cada literacia acordou, de forma coletiva, os pontos da escala que correspondem a cada nível de proficiência. Assim, as linhas de corte são diferentes para cada literacia. 

Foram definidas três linhas de corte para os quatro níveis de proficiência (em cada uma das dimensões), nomeadamente nas fronteiras entre os níveis Inicial e Básico, Básico e Proficiente e Proficiente e Avançado. Manter, ao longo dos anos, para cada literacia, as linhas de corte entre os níveis de proficiência, irá assegurar a comparabilidade entre os resultados desses anos.

[Para aceder à versão integral do Relatório das Provas ModA 2025, clique aqui.]